卖家反馈影响因素的量化研究

不懂技术怎么做产品?15天在线学习,补齐产品经理必备技术知识,再也不被开发忽悠。了解一下>

引子

为了能够更快速地收集用户对淘宝服务、工具等产品的反馈意见,及时了解用户的需求,今年初,我们陆续在淘宝重要产品页面挂出了各自的用户反馈问卷,希望能够广泛倾听用户心声,实时做出改进,不断提升各产品的使用体验。优盈娱乐_[官网首页]其实这种方法,已经普遍应用于各类网站。

经过不断摸索,反馈问卷的样式已经基本定型,主要有以下几个部分组成:

1)目前使用某产品过程中遇到的障碍——一般是半开放的选择题,能够快速掌握用户的使用痛点;

2)对该产品的意见和建议——更细致地了解用户的需求;

3)使用该产品的频率或次数,或该产品对经营店铺的重要程度等——根据不同产品特性选择适当题目,用于区分轻中重度用户,便于对问题进行分类,确定优先级;

4)对该产品的分项满意度,包括视觉和排版布局、操作流程、文案引导等;

5)使用该产品过程中的总体满意度。

由于卖家业务线服务/工具的特性和用途存在差异,使得各产品反馈入口的样式有所不同。样式不同,会不会对填答的效果有所影响呢?现以六个卖家服务/工具为例,对影响用户打开并完成反馈的因素进行量化分析。

确定影响因素

首先,选取的六个产品,涉及到卖家经营店铺的不同层面,都是比较重要的服务/工具,反馈入口的样式如下:

可见,这些产品反馈入口的位置、文案、外观等方面不尽相同,导致用户看到反馈入口的概率、理解反馈入口作用的概率都会不同,从而使得各产品最终完成问卷的概率同样有差异。可以从如下图例看出差异(数据已经去重):

优盈娱乐_[官网首页]打开率(日)=打开人数(日)÷该产品UV(日),打开率在一定程度上能够反映反馈入口位置、外观、文案引导等因素的明显性,卖家容易看到容易点击。

有效率(日)=完成人数(日)÷打开人数(日),有效率在一定程度上能够反映了反馈入口文案引导的明确性,卖家知道来到这里就是针对这个产品提意见,而非其他内容或其他产品意见的收集。

促销管理的三个工具(满就送、限时打折、搭配套餐)虽然用户群体不尽相同,使用频率也不同,但它们的反馈入口都处于设置流程的终点,且文案明确,日均打开率、有效率都普遍较高;

软件订购反馈入口采用了左侧浮动条的方式,但只存在于软件订购的首页,点击了某个应用,浮动条就消失了;且文案也不太明确,所以打开率不高,有效率较低;

旺铺的反馈入口很有设计感,做成banner与页面融为一体,但处于操作流程之前,文案引导同样不直观,导致打开率和有效率都不高;

站内信的反馈入口位于页面中上方,处在操作流程之中,点击了下方的某个应用,入口还在,但点击了具体的信件,入口就没了;文案引导虽然明确,但与其他文字信息混排在一起,使得打开率不高,有效率稍高。

完成比例(日)=完成人数(日)÷该产品UV(日),综合了前两个指标,考察了最终的有效填答。

优盈娱乐_[官网首页]综上所诉,反馈入口的位置明显程度、文案明确程度对有效完成反馈问卷起到较大影响作用。优盈娱乐_[官网首页]促销管理的三个工具呈现的结果,很明显地说明了这个问题。

另外,随着反馈入口挂出时间的自然增长,衡量效果的三个指标都存在明显差异,挂出时间也是一个影响因素。再根据经验判断,各群体用户对产品的满意度也会对反馈的意愿有所影响。

影响因素的操作化

根据上节分析,反馈入口的位置明显程度和文案明确程度可以细分出五个小指标:在页面处于什么位置、处于操作流程的哪个阶段、外观是否经过设计、文案是否直白、文案排版是否独立。六个产品在五个小指标的情况如下:

为了把这些变量操作化,需要对各指标的不同情况赋值,如处于操作流程结束后为3,操作中为2,操作前为1。

加上挂出时间、产品的分项满意度(排版布局合理、操作便捷、文案表述清晰)、总体满意度等,一共10个影响因素。

优盈娱乐_[官网首页]先用这10个影响因素对样本做聚类分析,两步聚类的结果显示分成三群的统计效果很好。从各群与六个产品的交叉表来看,促销管理的三个工具、软件订购和旺铺、站内信各为一群,且拟合效果达到100%,也与实际情况相当。表明10个影响因素比较适合用于评估产品。也可判断,五个与位置和文案相关的小指标赋值比较合理。

相关分析

将打开率、有效率、完成比例与10个影响因素做相关分析,结果如下:

与打开率相关性最高的影响因素是操作流程,正相关;其次是产品排版布局的满意度,负相关;内容独立,正相关。即越处于操作流程结束后、对产品排版布局的合理性越不满意、入口文案的排版越独立,反馈问卷的打开率越高。

优盈娱乐_[官网首页]与有效率相关性最高的影响因素也是操作流程,正相关;其次是文案直白,正相关。

与完成比例相关性最高的影响因素也是操作流程,正相关;其次是产品排版布局的满意度,负相关;产品操作便捷的满意度,负相关;文案直白,正相关。

由此可见,反馈入口处于操作流程的哪个阶段对三个指标的影响都很明显,文案直白对最终的有效完成影响较大。

相关分析的局限在于相关系数是一对一的结果,没有考察到多个影响因素共同作用下,不同因素的相对重要性如何。优盈娱乐_[官网首页]下半部分博文将作深入讨论。

*优盈娱乐_[官网首页]本研究如果要做得更完善,至少需要做两个补充:1、加入卖家的星级、销售状况、店铺规模等背景信息,但为了其他类型网站也能够借鉴本研究,暂时未引入这些淘宝特有的影响因素。2、同时也需要引入更多产品,本例只是用了6个产品,主要是作为研究思路的介绍和结论的探讨。

相对重要性分析

完成比例是反馈收集中最重要的指标,我们先采用多元回归的方法考察10个影响因素共同作用下,对完成比例差异的解释,从而推测10个影响因素的相对重要性。

从本文上本部分中的相关分析中,可知10个影响因素之间普遍显著相关,会导致回归方程存在多重共线性,使得偏回归系数可能不准确、难以评估影响因素之间的相对重要性。因此,先采用逐步回归的方法,查看结果:

校正后的R平方(决定系数)为0.446,对于社会科学而言已经比较理想;剩余标准差为0.00053,已经非常小了;Durbin-Watson的值为0.638,与2有差距,残差间的独立性一般。综合评估,回归模型的拟合程度较好。

在这个多元回归模型中,综合考虑标准化回归系数(Beta)和偏相关系数(Partial),相对而言,操作流程对完成比例的重要性最强,正向;其次是外观设计(正)、操作便捷满意度(负)、挂出天数(负)和页面位置(负)。其中外观设计的影响方向与相关分析中相反,主要是由于多个影响因素共同作用,存在共线性造成的。

另外,操作流程的容忍度(Tolerance)虽然大于0.1但不到0.2,多重共线性比较严重。

为了消除回归模型中的多重共线性,先对10个影响因素做因子分析,再用因子进行回归。

提取影响因素公因子

利用方差最大正交旋转(Varimax),最终萃取出五个公因子,依次为入口模糊、分项满意度、内容独立、挂出天数、总体满意度等,累积方差贡献率为92.854%(详见下表),解释效果很强。

其中文案不直白、处于操作流程之前,用于解释因子“入口模糊”容易理解,但外观经过设计解释“入口模糊”,是例子中的旺铺反馈入口经过设计后,banner与页面融为一体,反而不容易联想到反馈;位置靠上本来容易被发现,但此时还没有作相应的操作,反馈的冲动较弱,能够解释“入口模糊”。

影响因素公因子的相对重要性

用五个公因子进行多元回归,已经去除了自变量的多重共线性,结果如下:

校正后的R平方(决定系数)为0.431,剩余标准差为0.00054, Durbin-Watson的值为0.595,表明回归模型的拟合程度较好。

相对而言,入口模糊的重要性最强,负向;其次是分项满意度,负向;之后是挂出天数(负)、内容独立(正)。且入口越清晰、分项满意度越低、挂出天数越近、文案内容越独立,完成比例越高。

对比五个因子对完成比例、打开率、有效率的影响,相对重要性排序存在差异。内容独立、分项满意度对打开率的相对重要性最强;入口模糊对有效率的相对重要性最强;而完成比例的影响因素相对重要性综合了打开率、有效率的,这一点由三者的计算公式也可判断,完成比例=打开率*有效率。

来源:http://ued.taobao.com/blog/2010/10/23/feedback_effect_factor_part2/

给作者打赏,鼓励TA抓紧创作!
评论
欢迎留言讨论~!
圈子
关注微信公众号
大家都在问

页面底部区域 foot.htm