数据驱动的互联网营销和运营
宋星的个人博客

以速度为度量思考网站效果——Gomez案例

【导语】网站的访问量,bounce rate,以及其他用户的满意度指针是否会受到你的页面打开速度的影响?Gomez的网站速度分析将从时间维度给你一个新的视角。[版权归作者Sidney Song所有,欢迎转载,但请事先告知作者并注明出处]

  imageGomez这个名字大家并不陌生,有去过8月份WAW的朋友一定对Gomez的中国区总经理程渊先生的精彩演讲留下了深刻的印象。Gomez是一家美国公司,是业界领先的(互联网/移动)网站用户体验管理服务商,能为用户提供按需定制的技术平台,以帮助测试和评价用户使用网站的体验(包括可用性和易用性等),并进而帮助用户优化网站,提升绩效。

  Gomez的方法是从客户端模拟用户环境,通过分布在世界各地的为数众多的客户端访问网站服务器,获取与访问相关的数据。客户端本身是可以配置的,因此完全可以根据测试的需要配置各种环境,例如不同的计算机硬件、不同的操作系统、不同的浏览器等等,以完全模拟各种真实的终端用户访问情形。

【案例】

  我接到客户的任务,一个重要的任务,研究为什么客户各个国家的站点中,同样设计和内容的页面,只有中国站点的bounce rate最高?我们都知道bounce rate是最令人烦恼的度量之一,所以当我接下这个工作后,我并不觉得轻松。但是,最终,当结案的报告做出之后,我觉得充满了收获。这里,我想跟大家分享研究中利用Gomez服务的部分。

  对于网站分析而言,网站的可用性和易用性,我们其实可以通过网站分析的数据来间接获得。比如,如果一个页面上,我们希望用户点击“注册”,可是大量用户没有点击,而是点击了页面上的其他链接,那么我们实际已经可以知道页面的可用性或者易用性出了问题。但是,当我分析bounce rate为什么居高不下的原因的时候,我不能仅仅把它归咎为页面设计的不好或者内容糟糕,我需要把页面在客户端下载的速度也考虑进去,尤其是,当这个页面是完全由flash元素构成的时候——网站监测的代码已经在html页面下载的同时就执行了,但是flash可能需要10秒钟左右才能出现,这种长时间的等待完全可能让一部分访问者放弃。

  由于网站的服务器统一都安放在美国,而中国版本页面的读者又几乎都是在中国境内,这可能也会造成中国访问者需要花费更多的下载时间。我们下面需要做的是,验证这个想法。

[版权归作者Sidney Song所有,欢迎转载,但请事先告知作者并注明出处]

【利用Gomez进行的测试】

  我的验证方法是,选取不同国家和不同城市,统计在这些地域的访问者完全载入该页面平均所花费的时间,然后跟各个地域的平均的bounce rate做比对(bounce rate的具体细分数据需要网站分析工具统计,网站分析工具对于地域的划分并不完全准确,但仍然是很好的参考数据,作者注)。现在,关于页面下载速度,Gomez可以帮这个忙了。

  废话不说,直接上图(因为客户保密要求,下面的数据并非完全出自真实数据)。

web-speed_country

speed-overlay-map

webspeedtable_country 

图:测试页面在各个国家平均的响应时间(中国很红)

  从图中看到,中国访问者访问这个页面的速度明显慢于其他国家,只有美国访问者的访问速度的1/2不到。然后,我们比对同样页面,这几个国家之间的bounce rate:

bounce-speed

图:页面载入时间和bounce rate之间的关系——按国家细分

  从比对结果看,似乎bounce rate的确可能因为中国的load time更慢造成,但是结论不能下太早。德国(Germany)显然是个特例。

  国家之间的比对,显然太粗放,我们还需要更细分。Gomez给我们提供了更进一步的数据,见下图:

web-speed_city

webspeedtablecity

图:测试页面在各个城市平均的响应时间

  现在,我们要做的,是进一步把pageload time和各个城市的bounce rate做一个比对。

bounce-speed_city 

图:页面载入时间和bounce rate之间的关系——按城市细分

  从数据看,大部分城市的确呈现更快下载速度,更低bounce rate的情况,但是北京和法兰克福(Frankfurt)则又是例外。

  又到了我们从现象找结论的课程了。能够从上面的现象中得出什么样的结论呢?

  整体看,bounce rate的确和网站下载的速度有关联。但是我们知道,网站的下载速度只是影响bounce rate的重要原因之一。我们可以得出的初步结论是,提高页面的下载速度有助于降低bounce rate。

  但是,细心的你一定可以看到,我所说的是“初步的结论”,但这个结论其实已经有些“过硬”了。但是,那些不正常的“例外”才是我们要进一步挖掘的真相,这个不是今天文章的主题,留到以后再说。而关于页面下载速度对bounce rate的影响,我们其实还可以再继续一步以获得更准确的结论呢。

[版权归作者Sidney Song所有,欢迎转载,但请事先告知作者并注明出处]

【利用A/B test进一步测试】

  通过Gomez的帮助,我们已经了解到了网站分析载入速度和bounce rate之间的关系。那么,我们如何进一步验证呢?当然是A/B test,这个无敌的武器,我的最爱。

  Omniture和Google都提供A/B test的工具。我建议选择Google,因为Omniture比较贵 :)。测试的方法很简单,我们准备两个“一模一样”的页面,但是其中一个图片和flash文件稍微更大一点儿,这样就需要多1~5秒钟才能被浏览器下载。剩下的,就交给A/B test工具噜。

ab-test

图:A/B test 

  最后罗嗦一句,A/B test的结果还没有出来,但是我们可以从理论上预估bounce rate是否会受到影响。因为页面的代码先于整个flash页面就会执行,因此,速度一定会影响到最终bounce rate的情况。

[版权归作者Sidney Song所有,欢迎转载,但请事先告知作者并注明出处]

  对于测试网站页面下载的速度,各位有什么好建议吗?赞同或是反对吗?请留言。谢谢!

未经允许不得转载:网站分析在中国——从基础到前沿 » 以速度为度量思考网站效果——Gomez案例
分享到: 更多 (0)

评论 16

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #-49

    坐沙发,等test结果:)

    你是用Google Website Optimizer做测试么?

    Mars8年前 (2009-09-19)回复
    • 哈哈,希望结果是positive的。实际上给一个公司做A/B test的测试麻烦太多了。我准备先拿我自己的博客开刀,可能会有更快的结果。关于工具,是的,我们会用Google Website Optimizer做。

      Sidney Song8年前 (2009-09-21)回复
  2. #-48

    挺有意思,我也期待test 的 结果。

    另外,是否可以用统计学来帮点忙,计算下bounce rate 和loading time之间 数值的相关系数有多大,统计上的置信度有多少呢? 如果能确定两个组:一组是loading time快的组,一组是 loading time慢的组,如果这两个组的 case的 bounce rate 符合正态分布,也可以 做 t检验来得出结论的。不过这对数据的本生属性要求很高呢。

    bornde8年前 (2009-09-20)回复
    • 非常感谢你的建议。A/B test会要开一个专门的帖子来讨论。关于loading time和bounce rate的关系,是否成正态分布的问题,我们其实还不能这么细致的做测量——因为从WA工具上看到的本身已经是统计整合之后的总体数据了,而不存在每一个visit的bounce rate,这样实际上无法取得大量的样本。我们的方法是:做多次测试,看结果是否能够复现。当然,如果我们能设计10,000个一模一样的landing page,只是下载的快慢不同,我们也可以做结果是否符合正态分布的分析,不过可操作性已经很小了。:)

      Sidney Song8年前 (2009-09-21)回复
  3. #-47

    网页载入时间,和网络环境、浏览器、系统环境可能都有一定的关系,例如:如果用户浏览器有嵌入的网页病毒检测,可能都会影响到加载时间。 如果在城市下,还有一个维度可以分析用户接入带宽环境就更好了。 例如北京地区就有很多ISP接入服务商,电信、网通、铁通、方正带宽、歌华有线等,甚至是现在的3G无线宽带。

    david.wu8年前 (2009-09-22)回复
  4. #-46

    如果不是通过数据的论证,单就理论上也是会得出这样的结论的:页面下载速度肯定影响流失率。

    但是影响有多大?其实比较感兴趣的会是,页面的大小和业务本身是有关系的,如果能了解不同大小的

    页面会带来多大的流失,业务则可以找到一个平衡点来设计页面的大小。

    之前看到过http://www.kuqin.com/webpagedesign/20080629/10252.html,分析的内容和方法也值得借鉴。

    chrisy8年前 (2009-09-22)回复
  5. #-45

    很好的案例,受教了

    不过我觉得以上的分析中并没有解决一开始的问题,即为什么同样的页面中国的bounce rate高

    以上的例子和A/B测试都可以证明bounce rate和load time之间会有相关性
    但无法确定这个影响会是多少

    有可能中国的访问速度上来之后bounce rate还是很高
    详细你们也做了很多其他方面的分析来解答命题
    有机会的话,能否也公开其他部分的分析呢?

    谢谢~

    frankli19818年前 (2009-09-22)回复
  6. #-44

    蛮专业的,案例也很好啊。以后有机会也要详细了解下

    月光岛8年前 (2009-10-06)回复
  7. #-43

    北京的宽带应该是问题根源所在。

    nikegolf8年前 (2009-10-10)回复
  8. #-42

    谢谢你的建议,写的很好啊!得仔细看看~也在做网站呢

    Chrisitian Louboutin

    christian shoes8年前 (2009-10-14)回复
  9. #-41

    学习了,谢谢!
    不同国家的BR不同,有没有考虑民族忍耐力的因素呢?难道德国人很有耐心?

    SEMER8年前 (2010-03-08)回复
  10. #-40

    这个软件或服务是免费的吗?

    土木坛子6年前 (2012-03-09)回复
  11. #-39

    hello,Sidney,
    我们公司要开发自己的分析工具,现在在做调研;
    请问下,GA里面平均网页加载时间的各指标:平均网页重定向时间、域名查询时间、服务器连接时间、服务器响应时间、平均网页下载时间、浏览器处理时间之间有没有一个先后顺序?各自的具体概念是怎样?
    另外,平均网页加载时间是否由以上几个指标的时间相加?

    千年月亮6年前 (2012-04-24)回复
  12. #-38

    居然会想到是读取时间造成的,这个还真是少见,怎么想到的,难道就是因为经验吗?

    bomer6年前 (2012-05-23)回复