【导言】网站分析本质上是为互联网营销服务的，而互联网营销可以分为两个大类，其一是直接带来收入（Revenue）的电子商务，其二则是扩大品牌影响力的品牌营销活动。本篇译文译自Avinash的近期博客文章：《品牌监测：品牌营销的分析和度量》，内容很有指导意义。文章较长，我将分两部分连载。
[版权归译者Sidney Song（宋星）所有，欢迎转载，但请事先告知作者并注明出处]
【正文】
　　不对市场营销活动进行监测的一个最“无敌”的借口是：“噢，那不就是个品牌营销嘛！”你肯定听到过这样的说法，我猜，你甚至可能也这么认为呢！不过，在我继续我的文章之前，我必须澄清一点，我对品牌营销的热爱可跟这些人不一样，我可是真正的热爱。
　　我喜欢Visa现在在跑的营销活动，我也喜欢看IBM的广告（尤其是那个Linux小孩的最棒了），我当然也喜欢微软的我是PC系列，还有任天堂的勇士之地：震撼的广告。我也喜欢好的招贴广告，例如现在百威啤酒正在做的那些。当然，我永远最欣赏的品牌广告是：Think Different（与众不同的思考）。
　　我能列举的还有很多很多……
　　上面这些营销活动的主题是共同的，即以“品牌影响”为主要目标。它们希望与你建立联系，或者是打扰你，以使你产生对它们的印象，形成某种感觉，并进一步使你在选择信用卡的时候考虑的是Visa卡而不是万事达卡，或者在选择咨询服务的时候考虑的是IBM而不是其他的什么品牌。
　　看起来很不错。可是，有一个小问题。
　　这个问题是：品牌营销活动和最终的商业收入之间的联系，是非常模糊细微的（tenuous），这种联系大多数情况下是从建立忠诚开始的。如果想要用“数据”来支持这种联系的话，实际上是非常困难的（通常的情况是，只要CEO在超级碗的比赛上看到自己的广告就觉得非常愉快了，甚至比他拿到可执行性的数据还要愉快）。
　　难怪他们如此固执地说：“不就是品牌营销嘛！”。

　　最近刚刚买了新的电脑(DT)，嗯，相当快，所以这个周末都去搞超频啊，测试速度之类的事情了——哈哈，我也是个DIYer哦！不过WA毕竟才是真正的乐趣，正好又看了一些有意思的东西，拿出来跟大家分享一下。所以不是一个长文，我想大家该开心看到短的帖子了。:)
　　第一件事情是要赞叹一下Omniture的强大。继增加了对Twitter的监测功能后，又在最近发布了对Facebook的监测功能（实际上是一整套监测平台）。点击这两个链接会看到相关的详细介绍。

　　第二件事情是一个很好的GA的学习资源：完整的Google Analytics超级用户手册。不过是英文的，不算复杂的英文。作为一个对GA的快速了解是非常适合的。
　　第三件事情还是关于GA的，据说Google会在GA中增加Google搜索引擎流量的权重。办法是把从Google来的流量的cookie设置为6个月过期。如果你在点击了Google关键词访问我的博客又收藏了我的博客的话，那么此后你六个月从收藏夹里面打开我的博客的流量都会算作Google的。呵呵，这也算是给自己开个后门，不过似乎不太厚道。具体内容见这个帖子：Does Google Analytics overstate the value of search?也是不太复杂的英文，有点儿意思。
　　最后一个是关于WA展望的一个文章，讲对WA发展趋势的理解。我总是认为Web技术和应用的快速发展对WA一直是一个很大的挑战，而且我们将越来越依赖于工具，这让我有些后怕。有些朋友问我，WA是不是一定要懂数理统计和网站编程，我会说——最好懂一些，但是最关键的，是你要对互联网的应用有非常准确的把握——不然两年一个革命的互联网会把你迅速淘汰。看了这个帖子，你可能会有一些相关的想法：The Future of Web Analytics is…Online Analytics!。
　　大家有什么好东西分享的吗？集思广益是最高效的学习哦！

　　原帖地址见：http://www.kaushik.net/avinash/2006/05/experimentation-and-testing-a-primer.html
【译文正文】
　　这篇文章是一个带你进入多姿多彩的测试和实验世界的一个启蒙。这些测试和实验例如A/B测试，多变量(Multivariate)测试，以及一个对我来说崭新的名字：体验测试(Experience Testing)。现在已经有很多网站介绍A/B测试和多变量测试，所以我只想谈一谈这些实验和测试的基本原理，然后再就运用每种小技巧的方法说说我自己的观点。
　　我在Emetrics Summit 的演讲中专门谈到了实验和测试，下面是这次演讲的一些文字总结：
　　要么做实验，要么回家去吧，这是因为：

顾客总是不断嚷嚷着给我们提出各种问题（只要他们给我们打电话或遇到我们），他们是“杂种”，因为他们从来都只会嚷嚷，而不会提出任何解决办法；
我们的老版总是认为他自己就能代表网站的访问者，而且他们总是越俎代庖地做网站设计（此后还让我们迅速实施这些设计！）
今天最常见的那些网站访问体验到了明天就不会那么吸引人了
80%的情况下，你对一个顾客在网站上想要什么/期待什么的估计都是不正确的

　　最后一点很难被我们承认，毕竟我们都是如此自负。但是现实是，我们并不是我们网站的顾客，我们离公司、产品以及公司网站太近了，这会根本上影响我们的判断。实验和测试能帮助我们既快速又持续的发现错误。如果你是这么想的，那么对顾客和雇主来说，都是一个福音。
　　长期进行实验和测试能够代替那些最传统的收集网站用户定性数据的方法，例如，这些测试和实验能够取代“模拟用户使用感受的试验（Lab Usability）”。模拟用户使用感受（在实验室或者在家中进行或者远程控制进行）本身没问题，但是如果我们的顾客有一些私密的上网习惯，难道也要请他们演示出这些私密的习惯吗？
　　有一点很重要，实验和测试听起来既空洞又复杂，实则不然。这是因为，我们很幸运的生活在一个提供了各种选择的时代里，这些选择使我们能够按照我们所期望的程度尽可能深入的去测试，也能够更广范围的做测试，而付出的代价并不是那么夸张。一般而言，有三种普遍采用的测试方式，其中下面的前两种是最常见的。
　　A/B 测试：A/B测试这个名词常常被做为一个无所不包的范畴而被滥用。不过，A/B测试在这里是指测试一个网页的多个不同版本。每个版本通常必须与其他版本有明显的区别，而且跟其他版本不相互链接，目的是为了通过测试看哪个版本的页面更有效果。例如，创建三个版本的网站首页或是产品页面，或是服务支持FAQ页面等等。通常，利用A/B测试，你只需要衡量一个最终的结果（点击到下一页的点击量或是转化情况等），如果你不需要看其他的情况，做A/B测试就是很合适的。
　　如何做A/B测试：让你的网站设计/开发者创建一个页面的几个不同版本，然后根据你网站平台的能力，你能把这些版本同时放上去开始测试，或分别放上去测试它们。当你不能同时测试它们的时候，你可以把它们一周一换，然后尽可能地让每一周的访问者的情况和网站的外部因素都保持一致。

A/B测试的优点：

它可能是最廉价的测试方式了，因为你拿着现成的资源和工具就能实现；
即使不想真的做测试，这也是一个很好的方法让你的团队做点儿什么并且能从中找到乐趣；
我的提示是：头几次的测试，你应该让大家下点儿赌注，赌哪个页面更好，然后找出获胜者。你一定会惊讶于最后的结果。

  A/B测试的缺点：

存在难以控制的外部因素（外部促销、搜索流量、新闻影响以及淡旺季影响等），因此你不能100%的保证结果是由网页造成的（因此下结论前先给一个70%的置信度吧！）
只能测试有限的几种事物，而且这些被测对象都很简单。如果想要了解一个页面版本内部各元素之间的联系和相互促进与否，用这个方法就很困难了。

　　多变量测试：现在坊间的“酷玩”，引发了许多的炒作和话题。在前面所说的A/B测试中，你需要创建多个页面。而多变量测试则是利用“模块化”的思维方法——你的页面（被划分成多个模块）在测试时不需要额外做多个版本，而是直接动态地分配页面的这些模块，让不同的页面模块组合显示给不同的访问者。这样，就能通过一些相对复杂的数学工具来研究页面各部分之间的关系和相互作用，而不仅仅只是哪个页面的版本更有用。
　　例如，在我的博客中，我把核心内容页面、top header、左边导航区的每一个元素（比如页面导航，分类，链接和搜索等等）都作为“模块”。在一个多变量测试中，我能通过单独变换每一个模块的内容来看哪一种组合方式更有效。

多变量测试的优点：

多变量测试能够让你更快的做更多的事情。我这么说有如下原因：

有很多的服务提供商如Offermatica, Optimost, SiteSpect 以及 Kefta，能够帮助你很快地实现多变量测试。因为他们能够远程为你提供host在他们主机上的所有功能（实际上就是ASP或SAAS模式），这些功能包括内容设定，测试属性设定，分析功能以及统计功能等等。
你不需要依靠你的IT/开发团队。他们需要做的只是放几行JavaScript代码在页面中就行了。这对于节省时间而言大有裨益。

它也是一个能够不断为你提供研究素材的测试方法

多变量测试的缺点：

古老的计算机格言：小心GIGO（garbage in, garbage out，垃圾进，垃圾出。意思是输入的东西没用，输出的肯定也没用，译者注）。你需要有一个清晰的思路，这个思路得来源于对顾客抱怨点的清晰了解，或是来源于一个战略性的目标。优化一堆没有用的东西很多时候都是又快又容易的，但毫无用处。
网站的访问体验对于大多数网站而言是复杂的多页面体验。对于一个电子商务网站而言，从进入网站到成功的购买商品的一个完整过程得经历12到18个页面访问的过程。而对于一个服务支持性的网站，可能有更多页面过程（因为我们有时候为了一个答案得不停地翻找各种页面！）。通过多变量测试，我们只能优化一个页面，而无论这个页面多么优化，它对最终效果的影响也都是有限的。这不过是优化整个网站的最初一两步而已。

　　做多变量测试的时候请一定要明白它的这些局限性（当然，服务提供商总是告诉你这东西能包治百病。你倒是应该细细琢磨到底多变量测试能给你带来什么）。
　　体验测试（Experience Testing）：这是一个我杜撰出来的词。我用这个词表明那些能够通过使用一些特殊的网站平台功能（例如ATG，Blue Martinique等），来完全的改变一个顾客访问网站体验的测试方式。你不仅能够改变某个页面上的内容，例如改变左边的导航区或者一段文字等，你还能改变网站访问者在访问你网站的一切体验。
　　例如，如果你的网站是卖电脑硬件的。那么利用这个方法你能创立两个完全不同的网站版本，一个完全是支持Windows的产品，另一个完全是支持Macintosh的产品的。或者一个只显示给新来的顾客，另一个则显示给老顾客。或者一个用紫色的页面白色的字体，且不加左边的导航条；另一个则是用一个微笑的美女取代那些产品包装的照片。
　　通过体验测试，实际上不需要单独做几个不同的网站，而是利用你的网站后台轻易地在你的网站上创建两个或者三个长期存在的不同体验方式。你可以据此研究哪一个方式能带来更好的反响，反正你可以用网站分析搜集多个方式的网站数据，分析方法则是完全一样的。

体验测试的优点：

这种测试是理想境界的测试。你能够让顾客在自己的环境中接受不知不觉的测试（想想前面所说的“私密环境”吧！），并且能够搜集那些接近于客户真实想法的数据；
如果你能整合你的定量研究方法，你就能“逐字逐句”地读懂他们对于每一种体验的想法；
你能获得的结果比用其他方式来的有力10倍。

体验测试的缺点：

你需要找一个能够支持这种测试的网站后台，比如ATG；
需要花费的时间也要远长于其他两个；
显然，这个方法也需要耗费更多的脑力。

　　体验测试是相当有前景的，不过现在很多公司才刚刚接触它。不过，迟早（其实我相信是早，而不是迟）会有更多的服务提供商会在这一块拓展他们的空间。
　　同意吗？或者是不同意？你的意见是什么？在评论区分享吧！:)

　　Sidney的翻译前言：从今天开始，将逐步介绍Avinash在网络营销分析方面的一个系列帖子，叫做Excellent Analytics Tip（即“卓越分析的小贴士”），目前他一共撰写了11篇。这个系列的帖子不求语多惊人，但求实用可操作，是难得的好帖子。各位看官，我会抽出时间慢慢翻译，并且试着加入一些我的理解。
　　当然，非常感谢Avinash大师为网站分析所做的巨大贡献。
【译文正文】
　　我们都希望我们最重要的那些公司内的伙伴——商业决策的制定者能够大量利用网站分析的数据去进行决策。那么，我们要如何让我们的建议/决策更加令人信服呢？我们如何让我们的工作不仅仅是堆砌数据呢？解决这些问题的关键之一是把有用的信号从噪声中分离出来，并且使我们能够更容易的区分开二者的区别。
　　这就是卓越的分析第一篇的由来，也是这个系列帖子的开篇。这里我们将利用统计学的力量。
[译文版权归译者Sidney Song所有，转载请事先声明并得到许可]
　　假设有如下场景（场景A）：
　　你发送了两种报价给潜在消费者，下面则是消费者反馈的结果：

报价1：有5300个消费者收到报价，反馈订单46个。因此转化率（Conversion Rate）是0.87%
报价2：有5200个消费者收到报价，反馈订单55个。因此转化率（Conversion Rate）是1.06%

　　是不是第二个报价要比第一个更好呢？第二个的确有“更好的”转化率，高出第一个0.19%。你能根据这两个报价每一个只获得了大约四五十个订单就做出决策吗？你可能会说，报价2毕竟比报价1还要少100个消费者，却得到了多出9个的订单。
　　通过统计学技术，我们得到了答案。这两个转化率之间，只有0.995的标准差，并不具备统计学意义。或者换句话说，我们并不能给予这个结果很大的信心，因为很有可能是一些噪音造成的二者之间的转化率差异。
[译文版权归译者Sidney Song所有，转载请事先声明并得到许可]
　　再假设第二个场景（场景B）：
　　你再次发送了两种报价给潜在消费者，下面则是消费者反馈的结果：

报价1：有5300个消费者收到报价，反馈订单46个。因此转化率（Conversion Rate）是0.87%
报价2：有5200个消费者收到报价，反馈订单63个。因此转化率（Conversion Rate）是1.21%

　　统计学技术告诉我们，这一次，二者之间的标准差是1.74，因此这个结果有95%的统计学意义。95%的统计学意义是一个非常强的信号。基于此，这样一个5k的样本加上60个订单回馈，我们能够认为报价2更为成功。
　　计算标准差是不是很难？不难！用这个excel文件就能轻松搞定：StatCalc.xls。
　　你要做的就是把相应的数字填入蓝色的格内，然后你就得到统计学意义的结果了。这个方法论能够非常方便的实施在我们分析研究的很多方面，包括：

搜索引擎市场营销
各种直复营销和提供报价方案
带百分号的度量（即比率性的度量）
研究A/B测试和多变量测试结果之间的差异

　　你也能利用上面的数据表计算绝对数之间的统计学意义。（意思是，你可能想知道不同页面PV/V和不同人群的Time on site的值是否有统计学意义）
[译文版权归译者Sidney Song所有，转载请事先声明并得到许可]
　　研究统计学意义而不仅仅只看转化率的好处在于：

你把自己从坑中挖了出来。如果你能告诉客户：“根据统计学分析，我们可以认为这个结论……”
把精力集中到信号的定性研究上，这意味着我们比那些仅仅给我们分析数据的人要更聪明。
你能够把你的思想和问题从等式中取出来。如果某个结果具有统计学意义，我们就采取行动，反之，我们就试试其他情况。不是数据报告，而是实实在在的具体行动。

　　下面是两个很好的工具/数据表，你能够通过它们挖的更深。

http://www.mwrms.com/wwwRMS/DirectMarketing/MarketingCalc2.asp
http://www.analyticalgroup.com/sigtest.html

　　两个小提示：

一般而言，如果可信度高于95%才能算“最佳实践”。虽然并不是必须的，但是建议达到这个数值才算具有统计学意义。
“统计学就像一件比基尼。露出来的部分只不过是一些暗示，遮住的部分才是关键。”——Aaron Levenstein。

　　同意吗？或者不同意？不算是一个卓越的分析提示吗？请通过留言分享你的想法吧！