Avinash – 卓越分析系列1：统计学意义
Sidney的翻译前言：从今天开始，将逐步介绍Avinash在网络营销分析方面的一个系列帖子，叫做Excellent Analytics Tip（即“卓越分析的小贴士”），目前他一共撰写了11篇。这个系列的帖子不求语多惊人，但求实用可操作，是难得的好帖子。各位看官，我会抽出时间慢慢翻译，并且试着加入一些我的理解。
当然，非常感谢Avinash大师为网站分析所做的巨大贡献。
【译文正文】
我们都希望我们最重要的那些公司内的伙伴——商业决策的制定者能够大量利用网站分析的数据去进行决策。那么，我们要如何让我们的建议/决策更加令人信服呢？我们如何让我们的工作不仅仅是堆砌数据呢？解决这些问题的关键之一是把有用的信号从噪声中分离出来，并且使我们能够更容易的区分开二者的区别。
这就是卓越的分析第一篇的由来，也是这个系列帖子的开篇。这里我们将利用统计学的力量。
[译文版权归译者Sidney Song所有，转载请事先声明并得到许可]
假设有如下场景（场景A）：
你发送了两种报价给潜在消费者，下面则是消费者反馈的结果：
- 报价1：有5300个消费者收到报价，反馈订单46个。因此转化率（Conversion Rate）是0.87%
- 报价2：有5200个消费者收到报价，反馈订单55个。因此转化率（Conversion Rate）是1.06%
是不是第二个报价要比第一个更好呢？第二个的确有“更好的”转化率，高出第一个0.19%。你能根据这两个报价每一个只获得了大约四五十个订单就做出决策吗？你可能会说，报价2毕竟比报价1还要少100个消费者，却得到了多出9个的订单。
通过统计学技术，我们得到了答案。这两个转化率之间，只有0.995的标准差，并不具备统计学意义。或者换句话说，我们并不能给予这个结果很大的信心，因为很有可能是一些噪音造成的二者之间的转化率差异。
[译文版权归译者Sidney Song所有，转载请事先声明并得到许可]
再假设第二个场景（场景B）：
你再次发送了两种报价给潜在消费者，下面则是消费者反馈的结果：
- 报价1：有5300个消费者收到报价，反馈订单46个。因此转化率（Conversion Rate）是0.87%
- 报价2：有5200个消费者收到报价，反馈订单63个。因此转化率（Conversion Rate）是1.21%
统计学技术告诉我们，这一次，二者之间的标准差是1.74，因此这个结果有95%的统计学意义。95%的统计学意义是一个非常强的信号。基于此，这样一个5k的样本加上60个订单回馈，我们能够认为报价2更为成功。
计算标准差是不是很难？不难！用这个excel文件就能轻松搞定：StatCalc.xls。
你要做的就是把相应的数字填入蓝色的格内，然后你就得到统计学意义的结果了。这个方法论能够非常方便的实施在我们分析研究的很多方面，包括：
- 搜索引擎市场营销
- 各种直复营销和提供报价方案
- 带百分号的度量（即比率性的度量）
- 研究A/B测试和多变量测试结果之间的差异
你也能利用上面的数据表计算绝对数之间的统计学意义。（意思是，你可能想知道不同页面PV/V和不同人群的Time on site的值是否有统计学意义）
[译文版权归译者Sidney Song所有，转载请事先声明并得到许可]
研究统计学意义而不仅仅只看转化率的好处在于：
- 你把自己从坑中挖了出来。如果你能告诉客户：“根据统计学分析，我们可以认为这个结论……”
- 把精力集中到信号的定性研究上，这意味着我们比那些仅仅给我们分析数据的人要更聪明。
- 你能够把你的思想和问题从等式中取出来。如果某个结果具有统计学意义，我们就采取行动，反之，我们就试试其他情况。不是数据报告，而是实实在在的具体行动。
下面是两个很好的工具/数据表，你能够通过它们挖的更深。
- http://www.mwrms.com/wwwRMS/DirectMarketing/MarketingCalc2.asp
- http://www.analyticalgroup.com/sigtest.html
两个小提示：
- 一般而言，如果可信度高于95%才能算“最佳实践”。虽然并不是必须的，但是建议达到这个数值才算具有统计学意义。
- “统计学就像一件比基尼。露出来的部分只不过是一些暗示，遮住的部分才是关键。”——Aaron Levenstein。
同意吗？或者不同意？不算是一个卓越的分析提示吗？请通过留言分享你的想法吧！
学习中！
回复(Reply)
学习,对于统计分析我还是很白痴滴,这个xls文件收了.
回复(Reply)
我自己用excel的STDEV函数统计标准差，为啥结果和你的不一样哪。
A1=0.87，A2=1.21， STDEV(A1:A2)=0.24
http://baike.baidu.com/view/78339.htm
如果用上面链接中标准差的公式自己算，结果是0.17。
到底该咋计算呀，另外怎么知道是否有95%的统计学意义呢？
谢谢
回复(Reply)
Sidney Song reply on 九月 10th, 2008 3:46 下午:
初步的研究了一下，这里的计算是否有统计学意义使用了费希尔理论和p值，而不是指我们通常的标准差。具体的计算方式可以参考数理统计的专业数据，我已经鞭长莫及了:)。
回复(Reply)
banruo reply on 九月 10th, 2008 6:14 下午:
哦。如此啊，谢谢。
另，发现在FF下点击“回复(Reply)”无反应，呵呵，只好再到IE里点击回复。
回复(Reply)
Sidney Song reply on 九月 10th, 2008 8:21 下午:
是的，我也发现了这个问题，其实不是在FF下，在IE下很多时候也不行。应该是我添加的代码对它造成了影响。我会查出来并且去掉。
感谢你的提醒！:)
回复(Reply)
你好! 能否做个链接,我在广州,对网站分析也非常感兴趣,希望能一起探讨和交流.~:)我的博客大部分都是原创文章，基本上都会被中国站长站等网站采集发表。你的我已经加上去了.你看是否合适?
链接的地址和名称是:
http://www.gzsem.cn
黄凌的广州网络营销博客
回复(Reply)
Sidney Song reply on 九月 10th, 2008 3:22 下午:
没有问题。谢谢。
回复(Reply)
在SEM中统计确实非常重要，数据能说明一切问题！
回复(Reply)
Sidney Song reply on 十月 25th, 2008 9:31 上午:
是的。当我们做比较的时候，不能简单的下结论。需要考虑置信区间的问题。而这个工具实际上免除了我们复杂的数学方法，只要用它就解决了，相信在经常需要做对比分析的情况下能起到很大作用。
回复(Reply)
学习中……
最近找到方法，可以把我目前用的几乎所有的网络推广渠道中，具体的某个网络渠道的费用消耗跟项目某一时间段内最终销售金额清晰挂钩，就是还没有达到95%，只有80%左右的数据可以清晰统计。
回复(Reply)
Sidney Song reply on 十月 25th, 2008 9:33 上午:
回复峥嵘：怎么做到的？能否简单介绍？谢谢！
回复(Reply)
刚刚对Excellent Analytics Tip#2: Segment Absolutely Everything进行了翻译，有些地方不太确定，麻烦指点下Song，谢谢。
翻译文章发布的地址：
http://youping.cn/archives/377
回复(Reply)
非常同意你的观点，要学的还很多啊！
Chrisitian Louboutin
回复(Reply)
呵呵，看到这篇译文满欣慰的（统计学出生）。对于2种转换率的高低情况用标准差来衡量在下真不敢苟同，对于这样的问题在统计学上我想用均值检验或许更合理一些，也就是你在留言中所提到的FISHER提出的相关检验。
PS：对于P值检验，国际上比较通用的一种方法，更多的出现统计软件中，也就是SAS和SPSS中常见的SIG值（不过统计软件给出的都是双侧检验值，像译文中的例子明显是单侧检验，所以在结果sig.值的结果上还需*2然后再和给定的置信度水平进行比较）
回复(Reply)
是不是这个东西还需要有统计学的知识
我之前都没有接触过统计类的东西
咋办呢
回复(Reply)
Leave your response!
最近文章
最近评论
标签
分类目录
文章存档
链接
最新文章
Most Commented
最新评论
备案/许可证编号为: 京ICP备09063066号