沪ICP备06058754号-1
推荐系统用户感知调研

高梦晨

2019-12-05

用户体验 文集

2018年学术论文欣赏

本文段落精选

 

本文从用户感知的层面,分析了当前S*网站中用户体验层面的问题,全面的梳理了影响个性化推荐系统用户感知的因素,并且以ResQue推荐系统评测模型为参考,以S*网站作为研究对象,调查了S*网站推荐功能的用户感知体验。

 

基于研究结果,对S*网站提出如下改进建议:应该提升推荐系统,并加入“互动”功能,增强用户对于系统的可操作性,就是让他们自定义推荐系统。这样会增强用户对推荐功能的信赖程度,提升好感度。本文试图从用户角度出发,帮助S*网站找到提升用户体验的优化解决方案,从而建立用户对网站的信任度。

 

 

 

 

推荐系统用户感知调研

 

高梦晨

华为技术有限公司

 

 

摘要:

本文全面的梳理了影响个性化推荐系统用户感知的因素,并且以ResQue推荐系统评测模型为参考,以S*网站作为研究对象,调查了S*网站推荐功能的用户感知体验,通过对调研数据的有效分析,挖掘出当前S*网站存在的用户体验问题,并给出了解决方案。

 

关键词:推荐系统,用户体验,用户调研

 

1. 研究背景

1.1 背景简介

推荐系统最初是一种电子商务网站使用的技术,它可以根据网站畅销产品的一些有价值的信息包括浏览或搜索历史记录,用户以前的购物行为或明确说明的偏好自动向客户推荐有趣且需要的产品。因此,这种技术被用来帮助用户节省寻找想要的产品的时间和帮助用户快速做出明智的选择。但是,随着网络带宽的增长及存储容量的升级带来的是数据指数级的爆炸,互联网每一秒钟都在生产出庞大冗杂的数据信息,我们湮没在数据的海洋里不知道自己想要什么,而个性化推荐解决了这一难题,根据用户以往的网络行为(搜索、浏览、收藏、点赞、评论、转发等)构建每个人独特的用户画像,然后智能推荐引擎根据预先设定的机器算法向用户推送可能感兴趣的内容。所以推荐系统又被广泛的应用于知识搜索以及信息获取的场景中,比如谷歌推荐搜索等。因此,推荐系统已经成为一个必不可少的工具,尤其是在当前这样竞争激烈的商业环境中(Knijnenburg et al., 2012)。事实上,不仅仅是给用户提供方便,推荐系统也会帮助网站与用户建立紧密关系从而提升网站收益(Pu, Chen, and Hu, 2012)。

在这篇文章中,我挑选S*网站的推荐功能进行分析。华为作为全球领先的电信解决方案供应商,服务于全球超过180个供应商用户,研究推荐功能的可用性,提升用户的信息获取体验,对华为公司来说是必要的。

 

1.2 研究重点

以前,许多研究人员认为推荐算法是决定推荐系统的成败的关键,尤其是像亚马逊这样的大型零售商来说,它们花费了大量的资金投资于如何提升推荐算法的性能(Herlocker et al. 2004)。因为,推荐算法是任何一个推荐系统必不可少的核心内容,以前的研究人员也认为更精确的推荐算法会给出更准确的推荐结果,从而会给客户带来满意的用户体验(Konstan和Riedl,2012)。但实际上,对于今天的商业竞争环境来说远远不够,越来越多的研究证明,算法的准确性并不足以说服用户做出正确的选择。许多研究已经证明了用户对推荐系统的感知,如系统的整体感知质量,推荐建议的有效性等不仅可以帮助用户快速做出选择,也会严重影响用户的满意度,(McNee et al. 2006, Hu 和 Pu, 2010, Knijnenburg 等, 2012)。因此,华为的S*网站用户获取产品信息的主要渠道,因此为了提供给客户更好的信息获取体验,非常有必要做一个用户调研去评测该网站的推荐功能,同时可以对用户的偏好和推荐功能的实际使用状态有个更深入的了解。

那么,如何从用户角度进行推荐系统评估?在这个领域里,研究人员已经建立了几个以用户为中心框架并试图制定评估推荐系统的关键标准(Ziegler 等,2005),其中最具代表性的是Pu和Chen(2011) 提出的ResQue推荐系统评测模型。ResQue 模型分为四个主要维度:“感知系统质量”,“用户信念”,“用户的主观态度”和“用户行为意图”。这个模型可以更加清晰的解释系统的物理特性例如算法准确性,信息呈现样式等是如何影响用户的态度,信念和行为意图的(Pu, Chen,和 Hu, 2011)。

因此本文的研究重点主要集中在利用ResQue模型完成对S*网站推荐功能的用户满意度分析。考虑到实验的可操作性和代表性,被调查的对象主要是内部工程师和部分局点用户。

因此,此次的调研目的如下:

A:基于以前的推荐系统用户调研结果,使用以用户中心模型来识别关键的影响用户感知的变量,以此来设计调查问卷。

B:结合实际环境和收集的数据,试着分析S*网站推荐功能的用户体验并给出一些改进建议。

 

2. 影响用户感知的因素

2.1 推荐准确性

准确性一直被认为评测推荐系统的主要标准。在以前的研究中,大部分都是通过提升算法的准确性去提升推荐结果的准确性。最近,研究者开始关注用户的感知准确性。这个变量是用来衡量推荐结果是否符合用户的喜好和需要。感知准确性是相对容易测量的,并且它对建立用户对推荐系统的信任是有很直接的影响的。换句话说,如果用户在这个变量上面给出更高的分数,就能推断出底层的算法逻辑是可以准确预测用户的喜好的(Pu, Chen, and Hu, 2012)。

 

2.2 推荐熟悉度

Pu (2011)年提出“ 熟悉度是用来描述用户对推荐给他们的结果是否具有适当的知识或经验。”相似地,Swearingen也在他的研究中阐述了推荐熟悉度的重要性。实验的结果证明推荐用户熟悉的东西会加强他们对系统的信任度,并且用户更愿意去选择对他们来说感觉熟悉的结果而不是陌生的选项。然而,即使用户倾向于选择熟悉的产品,但是他们也并不总是对他们喜欢的东西感兴趣。例如,如果推荐系统总是推荐给某个用户喜欢的作者或者喜欢类别的内容,他们可能会认为推荐系统是无聊且不能帮助他们找到新鲜的东西。但是在后面的实验中,这一变量不会包括在测试范围内,因为被试者可能会对准确性和熟悉度的定义混淆。

 

2.3 新颖性

新颖性代表推荐系统是否具有能帮助用户发现新颖且有趣的产品的能力。McNee等人(2006)将这一标准称为“意外事件”,强调收到偶然和意想不到的推荐项目的结果,并且认为这个特性与准确度同样重要,因为如果系统非常擅长推荐顾客在购物车或愿望清单中的产品,这仍然可能是无用的推荐系统。另外,Jones(2007)已经证明了新颖性的影响,通过基于音乐推荐系统的用户学习,发现用户感觉推荐系统推荐的歌曲比他们朋友推荐的歌曲更加符合他们的口味。在这里我们讨论的新颖性不仅涵盖“新颖”的意思,而且还包括让人感到意外的意思。

 

2.4 多样性

多样性是用来衡量系统呈现推荐列表的多样性水平。用户会感到无聊如果总是给他推荐一些相同的东西(McGinty,Smyth,2003)。Jones(2007)表示,较低水平的多样性可能令客户失望,并降低他们的决策信心,从而导致他们对这个推荐系统失去信心。基于分类学相似性原理,Ziegler等人(2005)在他们的研究中开发了一个话题多样性理论,且调查结果显示与准确度相比,多样性更加能影响用户的满意度。另外,McNee等(2006)发现“item-to-item” 的协作过滤算法可能会将用户陷入“相似性漏洞”中,意味着只提供非常相似的建议。并且根据之前的研究,这种协同过滤的算法被广泛应用于推荐系统中,因此调查推荐系统的多样性尤为重要。

 

2.5 环境背景兼容性

环境背景兼容性的核心概念是一个好的推荐系统应该具备的在相关使用场景给出推荐建议的能力。例如,当电影网站推荐顾客电影时,需要考虑的环境因素包括用户的情绪,他们看电影的环境,是否有同伴等。Pu等人(2012)的研究证明了某种产品对用户的实用性不仅取决于用户和产品这两个维度,还包括其他因素,包括时间,共用或者共享者等。 因此在这些场景下,简单的基于用户-产品两个维度生成的推荐建议是不足以让用户满意的。所以推荐系统需要思考怎样包括另外的环境信息去给出更加符合用户需要的推荐。因此这也是确定用户感知的重要因素,因为考虑各种背景因素来制定推荐的能力应该对构建有效的推荐系统具有显着影响。

 

2.6 界面充分友好性

不仅仅是在推荐系统中,界面因素在可用性和用户体验评估中一直占据着很重要的地位。以前的一些研究密切关注如何设计和优化推荐列表的布局以便为用户提供更好的视觉效果体验,以提高整体推荐人满意度(Pommeranz等,2012)。例如,根据不同的推荐理由,推荐的产品可能是标有图片,文字或两者结合并显示在不同的区域网页来吸引客户的关注。基于可用性的标准概念模型,Ozok,Fan和Norcio(2010)提出了一系列行之有效的推荐系统的界面设计规则。最近,无论是商业网站还是学术研究人员都逐渐意识到系统的界面设计可能比实际的算法会对用户体验的提升更有影响和帮助。

 

2.7 解释性

解释性代表着推荐系统具备的可以向用户清晰的解释为什么做出这样的推荐的能力(Tintarev和Masthoff,2012)。Herlocker等人(2000)进行了可用性实验,用不同的方法来解释为什么给出建议的时候要有具体的解释。研究表明,针对不同的客户需求,有很多种方法来解释其内在的推荐逻辑。例如,“推荐该结果给你是因为你给了X积极的评价”,“买个此商品的人也买了Y”等等。除此之外,Pu(2007) 进行了一些用户研究,证明了解释推荐结果可以有效的提高用户对推荐系统的信任度和满意度。

 

2.8 信息充足性

信息充足意味着每个建议的内容应该足够帮助用户做出正确的决定。因为对于用户来说,推荐系统是用来帮助他们节省时间和精力去挑选想要获得东西,并能协助用户做出自信的选择。Sinha等人(2002)提出,推荐项目详细的描述是对推荐系统的感知有用性和易用性有很积极的影响。他们也建议使用有效的导航结构来组织所要呈现的信息。信息充足性需要被考虑在内,因为它关注推荐信息本身如何能最大化的激发客户的兴趣并且能快速有效的帮助客户做出正确的决定。

 

2.9 感知有用性

感知有用性是用来衡量用户是否能有效感知到通过使用推荐系统可以有效帮助他们获取想要的东西或结果。在本文中,主要从两个方面考虑感知有用性:信息获取效率和信息获取质量。因为推荐系统的一个主要目的就是帮助用户通过最小的努力去找到相关资源去满足他们的需求。除此之外,信息获取的质量也很重要,因为信息质量决定着用户能否通过推荐系统获得对让自己自信的感到获取到了有价值且最正确的资源和信息。

 

2.10 感知可用性

可用性是用来衡量系统是否能帮助用户正确且快速的完成任务的能力,在此我们为了更好的从用户角度出发,在本文中,我们使用感知有用性来代替可用性进行研究。例如,亚马逊的推荐系统可以快速的帮助用户找到他们想要的优惠产品。根据之前的研究,任务完成效率和完成任务使用的时间是可以用于衡量一个系统是否易用。但从某种程度上来说,实际使用情况复杂,会有很多原因让我们在评测时很难区分测试时间和实际完成时间,因为在当前纷繁的互联网环境下,当他们在完成被指定的任务时,用户可能会无意识的探索一些不相关的信息。因此,与其测量完成任务的时间来评测系统的易用性,测量感知易用性会更加有效。

 

2.11 控制和透明度

与推荐系统交互的过程中,用户控制取决于用户是否感觉能控制这个系统。这意味着推荐系统允许用户修改他们的偏爱内容,去设置新的兴趣内容以及定制收到推荐建议的形式等,这些都严重影响整体的用户体验。透明度衡量推荐系统是否能让用户理解内在的推荐逻辑。例如如果推荐建议是基于用户的搜索记录,心愿单等会让用户觉得推荐逻辑清晰且让人信服。到目前为止,许多研究表明,清晰的界面会帮助系统传递内在的推荐逻辑并且高透明度的系统对用户满意度有着很重要的影响。

 

3. 研究方法

问卷调研被视为评估用户偏好最适当的工具,尤其是在多样化和复杂的Web的环境中去测量用户体验,因此问卷调查已被广泛用作一种有效的测量方法。(Ozok和Salvendy 2001)。为此在本文中,为了更加全面且准确的调研用户对华为S*网站推荐功能的满意度,本次结合ResQue模型中确定的影响变量去设计问题,并结合用户使用习惯来设计了结构清晰的问卷来评估用户的感知体验,试图找到S*网站推荐系统中的当前问题。本次调研的主体是华为工程师和部分局点用户,因为这些人是最经常访问且关注华为s*网站的忠实用户。 下面具体解释了研究策略(包括问卷设计和目标人群选择),以及本研究的数据收集方法。

 

3.1 基于ResQue模型的数据调研

在本文中,为了评估使用者对S* 网站推荐功能的看法,基于ResQue模型中确定的影响变量,设计了15个问题的调研问卷,旨在评估用户对S*网站的推荐功能的满意度并且帮助S*网站识别当前的用户体验问题。

事实上,用户感知是一种主观的感受所以很难精确确定用户感知的组成结构。因此需要借助ResQue模型来分析,影响用户对推荐系统的感受的变量在 ResQue模型中被分为四层。

此外,Pu等人在2011年的研究中证实了这四个层次之间的关系:第一层感知质量会对下一层用户新年以及用户态度有着重要的影响。而第三层用户态度和态度的改善会最终影响用户的行为意图,例如用户分会分享他们的使用经验给朋友,会有强烈意愿反复使用推荐功能等。因此这四层框架很清晰的解释了从如何物理层的质量一步步影响最终用户行为意图。由于明确了这些变量的因果关系,就可以利用数据分析来逐层分解找到问题所在,从而提升用户的感知体验。

此外,对于调查问卷,设计使用李克特LIKERT五分量表法来衡量用户的意见,这种衡量方法是相对准确的衡量网站上的用户研究(Ozok,Fan和Norcio,2010)。 包括对查看推荐结果的频率,我们给出了五个量级,对于用户感知变量如系统准确性,感知易用性,行为意图等也被分配了五个维度,这样也使得整个问卷结构更加合理。

 

3.2 数据收集方式

考虑到调查对象是具有丰富的s*网站使用经验的华为工程师和体验感受对我们有重要影响的局点客户,我们通过内部发布调研问卷的形式将问卷更广泛的扩展出去。最终我们收集了65份数据Nielsen(2012)说“确定系统最重要的用户感知和互动问题,测试5个用户通常就足够了。”,因此65份可以提供足够的样本数量,并得出相对正确的结论。

 

4. 数据分析

4.1数据分析基础

此次调研的目的是评估用户对S*网站推荐功能的整体看法,包括满意程度,感知有用性和信任程度等。换句话说,通过问卷调查的方法收集数据并根据模型进行数据分析找到目前S*推荐系统存在的问题,为后续的功能演进打基础。ResQue模型提供了一个清晰直观的数据分析框架。在第一个ResQue的维度,有七个变量:互动充足性,推荐准确性,解释性,推荐新颖性,推荐多样性,信息充足性,界面友好性。与其他用户的主管感受变量比,这些底层变量可以被看作是系统的物理和客观特性,并且这些底层变量都会直接或间接的影响下面三个感知层面的维度,而这些底层变量往往是系统可以改进的重点。例如,提升推荐系统的准确性和新颖性,就会提升用户对系统满意度。因此,结合数据分析结果,本文试图从用户角度出发,帮助S*网站找到提升用户体验的优化解决方案,从而建立用户对网站的信任度。

 

4.2 人口统计学分析

本次调研的对象主要面向有S*网站使用经验的工程师和部分局点用户,他们通过S*网站获取相关产品的技术支持,包括产品文档,多媒体资源等。由于产品种类众多,多媒体资源形式众多,要想在S*网站中找到自己最需要的技术支持对于用户来说是非常重要的。

 

表1 调查者基本信息数据

 

 

很明显,该样本数据在性别年龄以及使用网站经验的角度来说是相对均衡的,因此我们可以认为这是一份合适的,有代表性的样本数据,因此可以得出相对可信赖的结论。

 

4.3用户使用习惯讨论

 

表2 用户使用习惯数据结果(1)

 

对于这个问题,大部分的被调查者,表示有注意到S*网站的推荐功能,但是仍有47%的受访者表示,并没有注意到推荐功能。换句话说,S*网站的推荐功能并没有很深入人心,还有很大一部分人没有“享受”到推荐功能带来的便利。

 

表3 用户使用习惯数据结果(2)

 

从上面的数据中,我们不难看出,大部分的人(70%)对网站推荐的内容是很少或者从不仔细去查看的,也就是说,推荐的内容并不能吸引用户的注意,兴趣以及浏览的意图。这也就能解释下一个问题的结果,超过50%的人很少或者从不会选择仔细阅读S*推荐给他们的内容。所以,我们可以得出结论,目前S*网站的推荐功能并不能引起用户仔细查看的兴趣,而推荐的内容本身也不是很符合用户的期望。

 

 

4.4基于ResQue模型的分析

 

通过上面的讨论,我们已经明确了当前S*网站的推荐功能的现状和问题,那么到底是哪些因素导致推荐功能不起作用呢?在这个部分,我们试图通过ResQue模型,更加直观且详细的去理解用户当前的感受和对待推荐功能的态度。该模型从用户的角度出发,ResQue定义了四层评估模型用以指导推荐系统的设计。如下图所示:

 

表4 ResQue模型调研结果

 

4.4.1 用户感知质量层

用户感知质量层主要是评测推荐系统最底层的质量,也是评测用户最直接的感受,在这一层的变量中,我们不难发现,得分最高的是准确度,也就是说大部分用户认为推荐给他们的内容是准确的,符合他们的需要的。但是在新颖性和多样性这两项指标中,推荐系统并没有很好的表现,也就是说,S*网站的推荐系统不能帮助用户发现新的有用的东西且推荐的种类比较单一。其次对于推荐的内容,其推荐原因的解释度和描述信息充足性这两项得分也很低,这也就能解释为什么使用者很少仔细看推荐的内容,有一部分原因是推荐内容本身没有吸引到用户兴趣,但更重要的一点是在呈现这些推荐内容时,S*网站并没有很好的解释为什么做出这样的推荐且没能把关于推荐内容最有价值的信息呈现出来。比如,S*网站在推荐相关产品的文档说明书时,只是简单了放上了版本编号,说明书标题等一些基本信息,没有告诉读者一些更详细的信息,也并没有试图告诉读者是基于怎样的逻辑进行的推荐,所以就导致大部分的推荐内容是无效的。同时,交互充分性得分也偏低,也就是说用户认为跟推荐功能不能有一个相对良性的“互动”,我们发现,当前的推荐内容都是主动的推送给用户,用户被动的接受,没有提供给用户一个反馈的过程,所以是单向传递而不是双向选择,这也是导致用户选择忽略推荐内容的原因,即用户会认为“ 既然不是我主动选择的,我也不是很感兴趣。”

 

4.4.2 用户信念层

在用户信念层中,透明度和感知易用性得分相对偏高。从ResQue的模型我们知道,透明度主要受准确度和解释度有关,也就是说,虽然S*网站在推荐的同时没有很好的阐述推荐逻辑,但是由于其推荐的内容相对准确且符合用户期望,所以用户最终还是能理解为什么会收到类似的推荐。也从侧面反映出,我们的推荐逻辑相对简单。但推荐系统的感知有用性和用户控制得分偏低,用户控制得分低很容易解释,因为这个变量在很大程度上受“交互充分性”影响,也就是说用户感觉不能“控制”推荐系统的推荐结果,展示样式等,不能形成一个良性的信息交互循环。而“感知有用性”偏低的结果偏低证明了虽然很多时候推荐的内容符合用户预期,但用户的要求不仅是看到需要的内容,他们对推荐系统有更高的期待,比如说,推荐的内容要保持多样性和新颖性,帮助他们更好更快的获取有价值的信息才是他们认为有价值的推荐系统。

 

4.4.3 用户态度层和行为意图层

从用户态度层的两项指标“用户满意度”以及“信任度自信度”的结果可以明显感受到,大部分的用户对推荐系统的态度是中立的,也可以说是毫不关心的,也就是说S*网站的推荐功能并没有在他们日常的使用中起作用,用户既没有过高的期待也没有太失望,而用户态度层的结果也就直接的解释了行为意图层的结果,也就是说,大部分的用户不太会反复使用推荐功能,也不会经常采纳推荐结果。同时这样的结论也对应了问题“你喜欢S*推荐功能吗?”的结果,在调查中,绝大部分人其实对推荐系统的态度是“没有感觉的”。 也从侧面说明,我们在推荐领域可发展的空间很大。

 

表5 用户使用习惯数据结果(3)

 

5结论和建议

从研究的角度来看,本文从用户感知的层面,分析了当前S*网站中用户体验层面的问题。首先,根据前人所做的一系列的用户体验评估模型,我们将影响用户感知的15个变量设计到我们的调查问卷中,期望通过这样的方法,全方位的评估用户在使用推荐功能时的感受,并帮助S*网站发现非技术层面的用户感知问题,从而提升用户的整体满意度。结论总结如下:

A:最明显的问题是大多数用户没有意识到推荐功能的作用,他们对其的态度是漠不关心,也就是说,我们的推荐系统从根本上来讲并没有引起用户的重视,并不能让用户觉得推荐功能是一个他们在获取信息时的有力助手。

B:我们的推荐系统虽然能推荐相对准确的内容,但是在内容的多样性,丰富性上有待提高。并且这里的准确度相对较高的结果很可能是因为我们推荐逻辑相对简单,比如基于用户的浏览记录,下载记录,当前热门产品等做的千篇一律的推荐。为什么这样猜测是因为大部分用户认为推荐系统没有合理的解释为什么做出对应的推荐但反而他们却认为他们能理解推荐系统的逻辑。因此,我们应该丰富推荐系统的结果同时在推荐的同时告知用户我们背后的推荐逻辑,这样不仅可以提升系统的感知有用性也可以让用户更加信任我们的推荐结果。

因此基于研究结果,我们对S*网站提出如下改进建议:

A:首先要功能最大化我们的推荐系统,就是要先引起使用者的注意,比如说,在页面的“热区”放置推荐信息,且可以用一些提示告诉使用者推荐的内容并不只是一个类似“广告”一样千篇一律的推荐,是针对不同用户的特殊建议,让使用者有种“量身定制”的感觉,总结就是先引起他们对推荐功能的兴趣。

B:本身推荐逻辑相对简单,首先应该提升我们的推荐系统,其次应该加入用户与推荐系统的“互动”功能,增强用户对于系统的可操作性,就是让他们自定义推荐系统。比如,添加收藏喜欢的产品和常用的文档等功能。并且,在推荐的同时解释清楚我们为什么要做这样的推荐。类似于浏览亚马逊网站时“买过这类东西的人也买过xxx”的提示。这样会增强用户对推荐功能的信赖程度,提升好感度。

 

6. 局限性和未来研究方向

该研究测量了用户对华为S*网站的推荐系统的看法,但是这个工作只是华为S*网站推荐系统研究的冰山一角。 这项研究的一方面局限在它讨论的问题都是以用户的角度出发。 另一个缺点是研究只是给出修改意见但并没有看到实际应用效果。 因此,在后续的研究中,我们会持续推动华为S*网站的推荐功能的改进,并且给出更加明确和详细的改进方案。同时也会深入探究如何评测改进前后用户体验效果。笔者也坚信,在当前激烈的互联网竞争环境下,会有越来越多的人投入到推荐系统优化的工作中来,也会有越来越多人关注运营商客户的体验工作中来。

 

 

 

参考文献

 

[1] Cramer, H., Evers, V., Ramlal, S., van Someren, M., Rutledge, L., Stash, N., Aroyo, L. andWielinga, B. (2008) ‘The effects of transparency on trust in and acceptance of a content-based art recommender’, User Modeling and User-Adapted Interaction, 18(5),pp. 455–496.doi:10.1007/s11257-008-9051-3.

[2] Herlocker, J.L., Konstan, J.A. and Riedl, J. (2000) ‘Explaining collaborative filtering recommendations’, CSCW ’00 Proceedings of the 2000 ACM conference on Computer S*ed cooperative work, , pp. 241–250. doi: 10.1145/358916.358995.

[3] Knijnenburg, B.P. and Willemsen, M.C. (2009) ‘Understanding the effect of adaptive preference elicitation methods on user satisfaction of a recommender system’, , pp. 381–384. doi: 10.1145/1639714.1639793.

[4] Knijnenburg, B.P., Willemsen, M.C., Gantner, Z., Soncu, H. and Newell, C. (2012) ‘Explaining he user experience of recommender systems’, User Modeling and User Adapted nteraction, 22(4-5), pp. 441–504. doi: 10.1007/s11257-011-9118-4.

[5] Nielsen, J. (2012) Usability 101: Introduction to usability. Available athttps://www.nngroup.com/articles/usability-101-introduction-to-usability/

[6] Pu, P. and Chen, L. (2006) ‘Trust building with explanation interfaces’, IUI ’06 Proceedings f the 11th international conference on Intelligent user interfaces, , pp. 100–93. doi: 0.1145/1111449.1111475.

[7] Pu, P. and Chen, L. (2007) ‘Trust-inspiring explanation interfaces for recommender systems’, nowledge-Based Systems, 20(6), pp. 542–556. doi: 0.1016/j.knosys.2007.04.004.

[8] Pu, P., Chen, L. and Hu, R. (2011) ‘A user-centric evaluation framework for recommender systems’, RecSys ’11 Proceedings of the fifth ACM conference on Recommender systems, , pp. 157–164. doi: 10.1145/2043932.2043962.

[9] Pu, P., Chen, L. and Hu, R. (2012) ‘Evaluating recommender systems from the user’s perspective: Survey of the state of the art’, User Modeling and User-Adapted Interaction, 22(4-5), pp. 317–355. doi: 10.1007/s11257-011-9115-7.

[10] Pu, P., Chen, L. and Kumar, P. (2008) ‘Evaluating product search and recommender systems for e-commerce environments’, Electronic Commerce Research, 8(1-2), pp. 1–27. doi: 10.1007/s10660-008-9015-z.

[11] Pu, P., Viappiani, P. and Faltings, B. (2006) ‘Increasing user decision accuracy using suggestions’, CHI ’06 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, , pp. 121–130. doi: 10.1145/1124772.1124793.

[12] Schafer, J.B., Konstan, J.A. and Riedl, J. (2001) ‘E-Commerce Recommendation Applications’, Data Mining and Knowledge Discovery, 5(1/2), pp. 115–153. doi: 10.1023/a:1009804230409.

[13] Schafer, Ben, J., Konstan, J. and Riedl, J. (1999) ‘Recommender systems in e-commerce’, EC ’99 Proceedings of the 1st ACM conference on Electronic commerce, , pp. 158–166. doi: 10.1145/336992.337035.

[14] Sheeran, P. (2002) ‘Intention—Behavior relations: A conceptual and empirical review’, European Review of Social Psychology, 12(1), pp. 1–36. doi:10.1080/14792772143000003.

[15] Swearingen, Kirsten, and Rashmi Sinha. ‘Interaction design for recommender systems.’ Designing Interactive Systems. Vol. 6. No. 12. 2002.

[16] Tintarev, N. and Masthoff, J. (2012) ‘Evaluating the effectiveness of explanations for recommender systems’, User Modeling and User-Adapted Interaction, 22(4-5), pp. 399–439. doi: 10.1007/s11257-011-9117-5.

[17] Tintarev, N. and Masthoff, J. (2015) ‘Explaining recommendations: Design and evaluation’, Recommender Systems Handbook, , pp. 353–382. doi: 10.1007/978-1-4899-7637-6_10.

 

附录一

调查问卷

 

l 人口统计学问题

1. 性别?  男    女   

2. 年龄?  20-30   30-40   40-50   >50

3. 所在国家?  中国    其他

4. 使用S*网站多久? 半年以内   半年到一年   一年到三年   超过三年

 

l S*网站整体用户习惯评估

1. 你有注意到S*网站的推荐功能吗? 是     否

2. 你是否经常仔细看S*网站推荐给你的内容? 

从不   很少    有时     大部分时候     总是

3. 你是否经常阅读并使用S*网站推荐给你的内容?

从不   很少    有时     大部分时候     总是

4. 总体来说,你喜欢S*推荐功能吗?

非常不喜欢   不太喜欢   没有感觉    喜欢    非常喜欢

 

l 下面的问题是帮助你更深入的理解推荐功能,请对下面的描述给出自己的真实反映,分为五个维度:非常不同意,不太同意,没有感觉,同意,非常同意。非常满意5分并依此类推。

系统特性

5. 准确度:推荐的内容是我想要的且是我感兴趣的。

6. 新颖性:推荐的内容会帮助我发现新的有用的东西。

7. 多样性:推荐的内容比较丰富多样,不单一。

8. 界面充分性:界面的布局和标签等元素非常清晰。

9. 解释性:网站会非常清晰的解释为什么推荐给我这个内容。

10. 信息充足性:推荐内容的信息足够清晰,让我明白推荐的东西是什么。

11. 交互充分性:网站会记录我的偏好,我也能很轻松的告诉网站我喜欢什么。

用户感受

12. 感知易用性:S*网站的推荐功能很容易使用。

13. 感知有用性:推荐功能总是能帮助你找到你想要的。

14. 控制:在S*网站中,修改自己的偏好信息是很容易的。

15. 透明度:我知道为什么推荐给我这些内容。

用户态度

16. 整体满意度:我对推荐功能是满意的,因为他帮助我很多。

17. 自信度和信任度:我很相信推荐给我的东西就是我想要的。

用户意图

18. 使用意图:我愿意尽量多的重复使用S*网站的推荐功能。

19. 采纳意图:我愿意查看并使用推荐给我的内容,因为推荐功能帮助我更快的获取我想要的东西。

 

UXPA中国会员登录

记住我

第三方登录

×

微信登录

×
请使用微信扫描二维码登录 “UXPA中国官网”

下雨的春天

已使用微信登录(更换账号)

×

会员密码找回

×