数据驱动的互联网营销和运营
宋星的个人博客

案例求助——如何设定KPI

【前言】

  新的一年到来了,先祝读者朋友们在2011年平安幸福,心想事成!也祝愿在新的一年里我们能够共同进步!

  很久没有写新的文章,最近有不少朋友问关于工具方面的问题,我将在近期写一篇关于工具的文章。今天的这篇短文,严格意义上是一篇“求助帖”,希望得到大家的帮助,集思广益。

image【案例】

  我的朋友Karen Tang在去哪网(Qunar.com)负责酒店(http://hotel.qunar.com/)的用户评论产品。今天,用户评论作为一种重要的UGC(User Generated Content),对网站的作用非常重大。我能够想到的网站评论的作用至少包括:对其他访问者产生直接且强效的影响、增加产品信服力、增加网站内容并进而促进SEO效果、建立产品官方与消费者的直接联系等等。所以,电子商务网站对于用户评论都是极为重视的。

  可是,重视归重视,如何评价你对用户评论改善所做出的努力呢?这是一个看起来容易但细想起来非常困难的问题。如果用户评论改善且直接帮助了网站,却无法通过具体的方法和数据指标衡量出来,这很杯具。问题在哪儿呢?

  原来,用户评论的改善本身虽然可以用用户评论数量的增加来简单说明,但用户评论真正起到的效果却无法简单用评论数量的多寡来衡量。例如,用户评论对网站访客忠诚度有所增加吗?用户评论肯定能够帮助增加网站的收入,但反过来,收入增加是一个综合效果,很难定量剥离出用户评论对它产生的具体作用。在这个页面中:http://hotel.qunar.com/city/beijing_city/dt-2921/#from=qunarChoice_2,评论内容非常充实可靠,但怎么评价这些评论的作用呢?

  这样,用户评论绩效评价要么被固定为单纯地定量统计,要么成为一种说不清的模糊感受,而负责评论产品的朋友,很难找到能够说明自己工作卓有成效的KPI指标。

  现在,Karen需要跟老板定义她在2011年的工作的KPI,大家能够帮她提出衡量评论产品工作效果的KPI指标吗?谢谢!

未经允许不得转载:网站分析在中国——从基础到前沿 » 案例求助——如何设定KPI
分享到: 更多 (0)

评论 30

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #-49

    所有评论都放在review的二级域名下(如http://review.qunar.com/comment_5573355.html):1. 是否可以对用户做细分:浏览过评论页的用户和未浏览评论页的用户。 看一下这二类用户在目标达上有没有区别。或者细分看了N页以上评论的用户与小于N页的用户。2.从产品角度分析,影响目标达成的因素有很多如酒店星级,位置,价格,供应商多少,评论多少,评论质量。 计算评论指标与目标的关系系数,如果此系数为正的大于0.7(貌似是这个数)则评论指标与目标是高度正相关的,如果是长期KPI考核可以观察此系数的变化。如果是正值,逐步增大,说明评论对目标达成的正面影响越来越高。
    这样的KPI考核好像也不太科学,听听大家的意见吧。顺祝博主新年快乐

    yoyo7年前 (2011-01-01)回复
  2. #-48

    做的太细了。祝元旦快乐。

    Sandy7年前 (2011-01-01)回复
  3. #-47

    1、整体业务的核心是什么?
    2、个人工作的重点是什么?
    3、个人工作对整体业务的影响是什么?
    4、这个影响是如何发生的?
    5、形成影响的关键点是什么?
    6、这个关键点如何量化?
    7、是否具备以往的对比数据?或者可以有被认可的假设?——KPI就是从这里来的。
    再有一种方法就是你在2011要做什么事情,这些事情量化出来就是你的KPI。

    沈蚊7年前 (2011-01-01)回复
  4. #-46

    @yoyo
    个人感觉,“系数”变化作为KPI……很杯具……
    准确的分析很重要,但对于boss而言,如何展示你的成绩,也是很重要滴——别人的KPI都是十万、百万级的,你一下子就小数点后面几位去了……= =

    沈蚊7年前 (2011-01-01)回复
  5. #-45

    最后补充一句,KPI应该表现的是你所做工作的价值。
    这个明确之后,再说怎么来量化这个价值。

    沈蚊7年前 (2011-01-01)回复
  6. #-44

    觉得先应该做出target list

    leo.li7年前 (2011-01-01)回复
  7. #-43

    一个角度,供参考;
    评论作为一个产品,本身宜选取标杆模型化,具体如下:
    1)用标杆比较的方法:可以选取业界形成共识的优秀和极差酒店同行及业界口碑对其主要的评价维度形成KPI,作为标杆,可以得出若干KPI及列表项,由用户进行选择;当然还可以补充选取一些之前已有的用户自发填写的评论内容类别及指标;
    2)承前启后,对之前已有的评论按以上模型处理后用直观图呈现,便于后面的用户的参与;
    3)不同业务快评论的针对性:例如,针对潜在用户营销环节的和针对已是用户服务环节的分开;
    4)严禁马甲,评论不在多,在精简;每一个评论,有明确的用户激励反馈,原因是用户参与(服务)产品的运营和演进,用户帮我们在做产品优化,当然可以得到相应的报酬,具体激励方式可以灵活参照 "3)"进行针对性激励;
    5)每一个评论,都尽可能的进行人工反馈;这个是qunar网的特色之一;
    顺祝新年万事如意!

    郑首昌7年前 (2011-01-02)回复
  8. #-42

    这个fb有一个insight工具也就是观察用户feedback的作用了。
    1. like的数量,就只有喜欢按钮(喜欢page,喜欢具体产品,喜欢post,喜欢图片,喜欢视频等)
    2. 用户评论user comment和user share
     
    当然去哪不是fb,嘿嘿嘿~不过我觉得这个可以作为一种参照。

    jessegold7年前 (2011-01-03)回复
  9. #-41

    这个fb有一个insight工具也就是观察用户feedback的作用了。
    1. like的数量,就只有喜欢按钮(喜欢page,喜欢具体产品,喜欢post,喜欢图片,喜欢视频等)
    2. 用户评论user comment和user share
     
    当然去哪不是fb,嘿嘿嘿~不过我觉得这个可以作为一种参照。

    hero4u7年前 (2011-01-03)回复
  10. #-40

    静坐学习

    今天是什么日子7年前 (2011-01-03)回复
  11. #-39

    参考方案:
    第一步:统计用户在review屏占对应URL页面的停留时间比例,能记录mouse drag更理想;
    第二步:记录session路径行为,统计next click 的置信度;
    最后与goals统筹计算,得出contribution value.
    【PS】没有参照的KPI,我也想知道 how to do. O(∩_∩)O

    Daniel7年前 (2011-01-03)回复
  12. #-38

    谢谢大家…我就是Karen  呵呵
    我先回答沈蚊的问题,可能可以提供更多信息,请大家帮我解解…
    1、整体业务的核心是什么?→产品最终是吸引用户预定,booking转化率是最终的核心价值
    2、个人工作的重点是什么?→用户运营,建构更完善的分享平台,让用户愿意来qunar分享他的旅游经验,酒店点评等
    3、个人工作对整体业务的影响是什么?→点评的覆盖量直接提升会提供用户在预定时更多具有参考价值的信息,最终提高booking
    4、这个影响是如何发生的?→拥有最多,最全面,真实用户最即时,高质量的点评,
    5、形成影响的关键点是什么?→ 点评的数量跟质量!
    6、这个关键点如何量化? →就是不知道如何量化会更洽当,求解
    7、是否具备以往的对比数据?或者可以有被认可的假设?——KPI就是从这里来的。
    →没有,这是个新的项目,想知道其他平台是否有些经验可以参考
    再有一种方法就是你在2011要做什么事情,这些事情量化出来就是你的KPI。→应该是相反地,先订定KPI然后具体细分需要完成的行动方案

    Karen7年前 (2011-01-03)回复
  13. #-37

    最近公司也在给一部分产品做评论功能,感觉评论能够提升用户的购买欲望和信任度!

    lvjianhua7年前 (2011-01-04)回复
  14. #-36

    @Karen,
     
    就目前的情况了解,貌似评论是整个消费过程中一个环节,属“支持行动”,最终的目的是转化。
     
    这样说的话,可以考虑设定联合的KPI——举个例子:偶们公司市场部的KPI中的80%是所服务的业务KPI完成,剩下20%则是日常和例行任务。
     
    头一年先这样做(前提是要取得boss及关联环节的认可),第二年有头年的参照就可以逐步进行独立量化了。

    沈蚊7年前 (2011-01-04)回复
  15. #-35

    一些想法,供参考:
    考虑酒店产品的特性,列出主要影响因素,验证这些因素是否同涵盖绝大多数用户的评论。
    将用户定性的评论量化,方法可以参考一般用户满意度调研的方式。比如“酒店环境不错”给X分,“酒店环境相当好,打开房门一看,哇……”给2X分,这个需要首先进行标准化的设定。对负面评论,在减分的基础上,再设定个权重,因为负面评论的影响远大于正面。
    得到了各个维度的数据列表后,可以做一些相关性分析了,看看哪些维度是影响最终booking的主要因素,是价格,还是环境,还是交通……?
    找出最具相关性的几项,应该可以让KPI浮现出来了吧。。

    Leslie7年前 (2011-01-04)回复
  16. #-34

    1、整体业务的核心是什么?→产品最终是吸引用户预定,booking转化率是最终的核心价值
    这个可能是一个逆向的思考方式了,根据你回答的业务核心,就回到你搭建平台的目标上来了。回答了这个就知道了Kpi,你在搭建这个产品的时候希望通过这个平台实现什么目标呢?
    如果你的商业目标是吸引用户预定,那么你就需要分析,依照你目前搭建的平台,哪些指标是跟你形成最终完成转换相关的就可以了,这个kpi也是需要逐步跟着你的产品和商业模式完善的,方法一:完成你预定的用户必经流程,注册数量,发帖数量,预定数量等等。。。。。具体就要你自己分析,因为不清楚你网站的功能架构和流程,方法二,结合一在通过你的经验和网站分析来找出其他与你商业目标相关指标。当然也是需要优先权的。我只是举个例子,就当是个启发,因为一切都建立在不了解你网站基础上。

    athena7年前 (2011-01-04)回复
  17. #-33

    个人做过四个网站的评论系统。。。
    觉得评论做KPI的确很难。有的时候,评论甚至会对销售产生副作用。
    (以前一些B2C对开启评论功能持谨慎态度。)
    如果需要考核,建议由定量改为定性吧。
    并不是所有的事情都可以定量考核的。

    realalley7年前 (2011-01-04)回复
  18. #-32

    量化,细分,哈哈

    Brucewang7年前 (2011-01-05)回复
  19. #-31

    用户最终是否booking其实和很多因素相关,短期内其实很难知道点评运营的状况和booking之间的贡献数量关系,所以把 booking的转化率当做 KPI肯定是不靠谱的。
    就事论事地说,就是衡量关于点评的相关指标即可。大致有以下三个方面:
    1.点评的数量和质量
    可能包括  每日新增点评数,点评总数,有50个以上的合格点评的酒店比率(点评覆盖率),回应数在一定数量的点评比率,获得鲜花数在一定数量的点评比率
    2.点评获得的回应
    每日新增点评回应数 和 鲜花数……
    3.点评获得浏览量
    点评产品详情页的pv
    以上三个方面应该可以扩展指标,根据不同的衡量方法。但我觉得最后制定的KPI最好不要超过3个指标。

    bornde7年前 (2011-01-05)回复
  20. #-30

    谷歌有个工具叫再营销,在相关的评论页面加标记代码可以量化之

    老白7年前 (2011-01-06)回复
    • 求问GA remarketing在用户评论衡量上的作用?

      Elia2年前 (2016-04-03)回复
  21. #-29

    简单说几句:
    1. 数量 – 用户点评的数量;
    2. 流量量 – 浏览更多评论页面的IP、PV、UV;
    3. 跳出率 – 评论详情页面与更多评论页面的Bounce Rate值;
    4. 订单转化 – 着陆页如果是评论页面的话可以计算一下订单的转化;
    5. 其它 – 如订单的金额等… 

    泥鳅7年前 (2011-01-11)回复
  22. #-28

    建议对用户进行跟踪,对浏览过review的用户的转化率进行分析,计算出其同比和环比情况,作为一个指标,不断增长自然说明你操作的产品在一定程度上提升了用户的转化率;
    另外对预定过产品再回头进行评论的用户比例计算出来,进行相应的比对。

    鳄梦船说7年前 (2011-01-13)回复
  23. #-27

    我也在做类似的点评系统,感觉比较重要的有:
    1、  点评的覆盖率:也就是有多少酒店有有效的点评(>N条),这里涉及到一个问题,就是酒店有可能会作假,你如何制定规则判断虚假点评。
    2、点评的可持续发展:每天/每月新增的点评数(或者被点评的酒店数等),保证整个点评系统稳定的发展下去。
    3、点评在用户浏览过程中的作用:有多少Session是查看过点评的,查看过点评的Session的转化率与未查看的Session相比较,高出多少百分点?
    也可以用从“http://review.qunar.com/comment_2293785.html”,“http://review.qunar.com/hotel_beijing_city_2921.html”这两个相关页面进入预定流程的Session数作为指标。
     
    个人意见,仅供参考。

    HelloFOFO7年前 (2011-01-17)回复
  24. #-26

    数据挖掘,评论也是其中一个

    蚂蚁7年前 (2011-02-11)回复
  25. #-25

     
    我对评论的数据分析是这样定义:
    内容提供者:
    WHO  —-将更多的提供评论的内容?此类用户与不提供评论内容的用户群体在历史消费行为上是否有显著的差异性?(ebay论坛的重度参与者是购买价值是非参与者的7倍),是否存在(内部)数据来刻画用户群体的特征或者可接触点。
    When  —-用户在消费后间隔多长时间参与评论,这将edm机会,重要的是保持用户的熟悉度与获取用户的好感。
    HOW  —- 我们的评论平台是否是方便用户更好的提供评论内容
    What Message — 用户评论提供了哪些message,这些message是否传递了用户选择产品的偏好与顺序以及满意度,基于此,可以优化“推荐机制”。 message 的分解,可能是数据处理的一个挑战哦

    frank7年前 (2011-02-11)回复
  26. #-24

     
    我和Karen同属于旅游行业,面临相似的工作职责
    我对评论的数据分析是这样定义:
     
    内容使用者
    How many —-访问者查看了评论内容?评论内容使用者与非使用者转换率的差异性
    HOW  —–访问者是查看与参与评论内容的。“总评”冷热图,“热点关注”的冷热图,可以让我们识别访问者需要求哪些信息,这也许是产品展示中需要强调的。也许可以回答,什么样的message可以引起更多的用户反馈。
    Where  —- 用户是在哪些页面上开始查看我们的评论内容的,我们是否需要优化该路径
    产品与评论的关联分析: 是否存在一些满意度是极差的产品,他们应该从我们的产品列表中剔除。

    frank7年前 (2011-02-11)回复
  27. #-23

    新手也来说说。
    我觉得这个工作的业务核心是提高booking, 可以通过前期分析评论的各指标与booking行为之间的相关度,选取相关度最高的三个指标作为评论价值的核心指标,评论的及时性和数量是基本指标。

    yl0017年前 (2011-05-24)回复
  28. #-22

    对有回应的和有送鲜花的评论,设定标准,进行内容分析,提取内容的维度,分析各维度被提及的次数比率,建立有效内容的指标。

    yl0017年前 (2011-05-24)回复
  29. #-21

    同样建议对用户进行跟踪,对浏览过review的用户的转化率进行分析,计算出其同比和环比情况,作为一个指标,不断增长自然说明你操作的产品在一定程度上提升了用户的转化率;
    另外对预定过产品再回头进行评论的用户比例计算出来,进行相应的比对。

    eason4年前 (2013-08-05)回复