Avinash – 卓越分析系列1：统计学意义 | 网站分析在中国—

Avinash – 卓越分析系列1：统计学意义

9 九月 2008 22 Comments

　　Sidney的翻译前言：从今天开始，将逐步介绍Avinash在网络营销分析方面的一个系列帖子，叫做Excellent Analytics Tip（即“卓越分析的小贴士”），目前他一共撰写了11篇。这个系列的帖子不求语多惊人，但求实用可操作，是难得的好帖子。各位看官，我会抽出时间慢慢翻译，并且试着加入一些我的理解。

　　当然，非常感谢Avinash大师为网站分析所做的巨大贡献。

【译文正文】

　　我们都希望我们最重要的那些公司内的伙伴——商业决策的制定者能够大量利用网站分析的数据去进行决策。那么，我们要如何让我们的建议/决策更加令人信服呢？我们如何让我们的工作不仅仅是堆砌数据呢？解决这些问题的关键之一是把有用的信号从噪声中分离出来，并且使我们能够更容易的区分开二者的区别。

　　这就是卓越的分析第一篇的由来，也是这个系列帖子的开篇。这里我们将利用统计学的力量。

[译文版权归译者Sidney Song所有，转载请事先声明并得到许可]

　　假设有如下场景（场景A）：

　　你发送了两种报价给潜在消费者，下面则是消费者反馈的结果：

报价1：有5300个消费者收到报价，反馈订单46个。因此转化率（Conversion Rate）是0.87%
报价2：有5200个消费者收到报价，反馈订单55个。因此转化率（Conversion Rate）是1.06%

　　是不是第二个报价要比第一个更好呢？第二个的确有“更好的”转化率，高出第一个0.19%。你能根据这两个报价每一个只获得了大约四五十个订单就做出决策吗？你可能会说，报价2毕竟比报价1还要少100个消费者，却得到了多出9个的订单。

　　通过统计学技术，我们得到了答案。这两个转化率之间，只有0.995的标准差，并不具备统计学意义。或者换句话说，我们并不能给予这个结果很大的信心，因为很有可能是一些噪音造成的二者之间的转化率差异。

[译文版权归译者Sidney Song所有，转载请事先声明并得到许可]

　　再假设第二个场景（场景B）：

　　你再次发送了两种报价给潜在消费者，下面则是消费者反馈的结果：

报价1：有5300个消费者收到报价，反馈订单46个。因此转化率（Conversion Rate）是0.87%
报价2：有5200个消费者收到报价，反馈订单63个。因此转化率（Conversion Rate）是1.21%

　　统计学技术告诉我们，这一次，二者之间的标准差是1.74，因此这个结果有95%的统计学意义。95%的统计学意义是一个非常强的信号。基于此，这样一个5k的样本加上60个订单回馈，我们能够认为报价2更为成功。

　　计算标准差是不是很难？不难！用这个excel文件就能轻松搞定：StatCalc.xls。

　　你要做的就是把相应的数字填入蓝色的格内，然后你就得到统计学意义的结果了。这个方法论能够非常方便的实施在我们分析研究的很多方面，包括：

搜索引擎市场营销
各种直复营销和提供报价方案
带百分号的度量（即比率性的度量）
研究A/B测试和多变量测试结果之间的差异

　　你也能利用上面的数据表计算绝对数之间的统计学意义。（意思是，你可能想知道不同页面PV/V和不同人群的Time on site的值是否有统计学意义）

[译文版权归译者Sidney Song所有，转载请事先声明并得到许可]

　　研究统计学意义而不仅仅只看转化率的好处在于：

你把自己从坑中挖了出来。如果你能告诉客户：“根据统计学分析，我们可以认为这个结论……”
把精力集中到信号的定性研究上，这意味着我们比那些仅仅给我们分析数据的人要更聪明。
你能够把你的思想和问题从等式中取出来。如果某个结果具有统计学意义，我们就采取行动，反之，我们就试试其他情况。不是数据报告，而是实实在在的具体行动。

　　下面是两个很好的工具/数据表，你能够通过它们挖的更深。

　　两个小提示：

一般而言，如果可信度高于95%才能算“最佳实践”。虽然并不是必须的，但是建议达到这个数值才算具有统计学意义。
“统计学就像一件比基尼。露出来的部分只不过是一些暗示，遮住的部分才是关键。”——Aaron Levenstein。

　　同意吗？或者不同意？不算是一个卓越的分析提示吗？请通过留言分享你的想法吧！

22 Comments »

Kurtshen said:

学习中！

# 9 九月 2008 at 3:10 下午

Yacca said:

学习,对于统计分析我还是很白痴滴,这个xls文件收了.

# 9 九月 2008 at 4:17 下午

banruo said:

我自己用excel的STDEV函数统计标准差，为啥结果和你的不一样哪。
A1=0.87，A2=1.21， STDEV(A1:A2)=0.24

http://baike.baidu.com/view/78339.htm
如果用上面链接中标准差的公式自己算，结果是0.17。

到底该咋计算呀，另外怎么知道是否有95%的统计学意义呢？

谢谢

# 9 九月 2008 at 5:53 下午

Sidney Song (author) said:

没有问题。谢谢。

# 10 九月 2008 at 3:22 下午

Sidney Song (author) said:

初步的研究了一下，这里的计算是否有统计学意义使用了费希尔理论和p值，而不是指我们通常的标准差。具体的计算方式可以参考数理统计的专业数据，我已经鞭长莫及了:)。

# 10 九月 2008 at 3:46 下午

黄凌 said:

在SEM中统计确实非常重要，数据能说明一切问题！

# 10 九月 2008 at 4:53 下午

banruo said:

哦。如此啊，谢谢。

另，发现在FF下点击“回复(Reply)”无反应，呵呵，只好再到IE里点击回复。

# 10 九月 2008 at 6:14 下午

Sidney Song (author) said:

是的，我也发现了这个问题，其实不是在FF下，在IE下很多时候也不行。应该是我添加的代码对它造成了影响。我会查出来并且去掉。

感谢你的提醒！:)

# 10 九月 2008 at 8:21 下午

峥嵘 said:

学习中……

最近找到方法，可以把我目前用的几乎所有的网络推广渠道中，具体的某个网络渠道的费用消耗跟项目某一时间段内最终销售金额清晰挂钩，就是还没有达到95%，只有80%左右的数据可以清晰统计。

# 18 九月 2008 at 10:00 上午

Sidney Song (author) said:

是的。当我们做比较的时候，不能简单的下结论。需要考虑置信区间的问题。而这个工具实际上免除了我们复杂的数学方法，只要用它就解决了，相信在经常需要做对比分析的情况下能起到很大作用。

# 25 十月 2008 at 9:31 上午

Sidney Song (author) said:

回复峥嵘：怎么做到的？能否简单介绍？谢谢！

# 25 十月 2008 at 9:33 上午

Youping said:

刚刚对Excellent Analytics Tip#2: Segment Absolutely Everything进行了翻译，有些地方不太确定，麻烦指点下Song，谢谢。
翻译文章发布的地址：
http://youping.cn/archives/377

# 30 六月 2009 at 3:10 下午

christian shoes said:

非常同意你的观点，要学的还很多啊！

Chrisitian Louboutin

# 14 十月 2009 at 3:45 下午

Wayne said:

呵呵，看到这篇译文满欣慰的（统计学出生）。对于2种转换率的高低情况用标准差来衡量在下真不敢苟同，对于这样的问题在统计学上我想用均值检验或许更合理一些，也就是你在留言中所提到的FISHER提出的相关检验。
PS：对于P值检验，国际上比较通用的一种方法，更多的出现统计软件中，也就是SAS和SPSS中常见的SIG值（不过统计软件给出的都是双侧检验值，像译文中的例子明显是单侧检验，所以在结果sig.值的结果上还需*2然后再和给定的置信度水平进行比较）

# 17 十二月 2009 at 1:15 下午

网站分析 said:

是不是这个东西还需要有统计学的知识
我之前都没有接触过统计类的东西
咋办呢

# 27 八月 2010 at 2:23 下午

fly321283 said:

报价1：有5300个消费者收到报价，反馈订单46个。因此转化率（Conversion Rate）是0.87%
报价2：有5200个消费者收到报价，反馈订单55个。因此转化率（Conversion Rate）是1.06%

这是有关两个总体比例差的统计推断的问题，通过假设检验来说明转化率高的是是否表明报价成功.
这是一个单侧检验的问题，从提供的Excel模板来看，也确实是用假设检验做的，没有任何问题.
我习惯用区间估计的方法去解决这些问题，不过最终结论总是一样的.
@Wayne
对于2种转换率的高低情况用标准差来衡量在下真不敢苟同，对于这样的问题在统计学上我想用均值检验或许更合理一些，也就是你在留言中所提到的FISHER提出的相关检验.
用标准差来衡量是没有问题的，本质上是一样。如果你还记得切比雪夫不等式，以及人们经常提到的6 sigma管理，就不会感觉这种说法奇怪了. 从管理角度上操作，一般总是首先与sigma 做比较.
@Sidney
如果你想深入了解统计这方面的统计知识，建议看《商务与经济统计》10edition David R.Anderson

# 19 九月 2010 at 11:36 下午

fly321283 said:

事实上0.995是（计算出来的具有正态分布的）统计量的值，并不是两个转化率的标准差.
统计量的值计算比较复杂：
z=(1.06%-0.87%)/sqrt{[(46+55)/(5300+5200)]*[1-(46+55)/(5300+5200)]*[1/5300+1/5200]}=0.99731
z=(1.21%-0.87%)/sqrt{[(46+63)/(5300+5200)]*[1-(46+63)/(5300+5200)]*[1/5300+1/5200]}=1.72

# 20 九月 2010 at 12:00 上午

Sidney Song (author) said:

谢谢，我已经买了这本书。我觉得你在统计学上的知识非常不错！抱歉我不是专家。

# 21 九月 2010 at 12:00 上午