数据驱动的互联网营销和运营
宋星的个人博客

Google Analytics如何追踪搜索引擎Robot?

  Tenly前几天问起我,Google Analytics的流量统计中,是否包含了对搜索引擎的Robot(或者蜘蛛,或者Crawler)的访问。我确实曾经想过这个问题,当时我简单的认为,Google Analytics或者其他的工具会把这部分流量计算进去。

  事实上,Florian告诉我,我的这个观点是错误的,WA工具会自动屏蔽掉这部分流量,以免污染实际Visitor的访问,因此在GA上不会看到Robot的访问情况。

  不过Tenly的期望是,能够从这些工具中看到对于Robot的访问,因为他对SEO非常关注,而Robot访问的情况,一定程度上能够帮助他了解SEO的效果如何。   有没有朋友了解这个问题?给我一些建议吧!

  融海咨询的CTO程实给我们了一个非常准确的回答,非常棒!

  “Hi, Sidney, WebTrends有专门针对Spider(或Robot)的报告,因为WebTrends可以将Web Server的原始日志作为数据源,对其进行分析获取相应的信息。

  除此之外,WebTrends还可以提供服务器端错误(HTTP CODE 5xx系列错误),客户端错误(HTTP CODE 4xx系列错误),页面无法找到(404错误)等其他来源于Web Server原始日志的报告。 以上报告需要客户购买安装了WebTrends产品。

  当采用在页面中嵌码收集日志时(例如On-Demand Service)是无法获取该类报告的,其他分析工具(如Google Analytics)因为只有页面中嵌码一种日志来源,因此均不能提供该类报告。

未经允许不得转载:网站分析在中国——从基础到前沿 » Google Analytics如何追踪搜索引擎Robot?
分享到: 更多 (0)

评论 8

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #-49

    我知道WebTrends里有这部分流量的统计。可以咨询程实(cheng(at)ronghai.com)
    发布者 武勇 (未验证) (http://blog.sohu.com)
    2008-04-14 18:30 回复

    Sidney Song10年前 (2008-04-17)回复
  2. #-48

    谢谢武勇!我这就咨询他。
    发布者 中国网站分析-从基础到前沿 (http://webanalytics.blog.sohu.com/)
    2008-04-14 21:14 回复 |

    Sidney Song10年前 (2008-04-17)回复
  3. #-47

    融海咨询的CTO程实给我们了一个非常准确的回答,谢谢你!
    “Hi, Sidney,
    WebTrends有专门针对Spider(或Robot)的报告,因为WebTrends可以将Web Server的原始日志作为数据源,对其进行分析获取相应的信息。
    除此之外,WebTrends还可以提供服务器端错误(HTTP CODE 5xx系列错误),客户端错误(HTTP CODE 4xx系列错误),页面无法找到(404错误)等其他来源于Web Server原始日志的报告。
    以上报告需要客户购买安装了WebTrends产品。
    当采用在页面中嵌码收集日志时(例如On-Demand Service)是无法获取该类报告的,其他分析工具(如Google Analytics)因为只有页面中嵌码一种日志来源,因此均不能提供该类报告。
    Best regards,
    程实 Cheng Shi | CTO of WebTrends China | Ronghai Consulting

    发布者 中国网站分析-从基础到前沿 (http://webanalytics.blog.sohu.com/)
    2008-04-15 14:34 回复

    Sidney Song10年前 (2008-04-17)回复
  4. #-46

    赞!

    发布者 tenly (未验证) (http://hi.baidu.com/tenly)
    2008-04-15 15:06

    Sidney Song10年前 (2008-04-17)回复
  5. #-45

    蜘蛛的流量分析跟日志分析或者在线分析没有太多关系。在线分析系统也可以实现蜘蛛的分析,关键看机制和指标定义。
    另外,用蜘蛛的流量分析SEO的效果有点勉强。

    John9年前 (2009-03-10)回复
  6. #-44

    回复John:
    一般而言,网站分析工具如果使用tag方法(页面嵌入tag)是无法监测到蜘蛛流量的,因为他们基于cookie。log分析工具分析SEO则没有问题。

    Sidney Song9年前 (2009-03-10)回复
  7. #-43

    利用google analytics追踪搜索引擎蜘蛛(spider/robots)的爬行日志 在一定条件是可以实现的
     
    http://www.robinli007.com/archives/271

    robin li7年前 (2011-03-16)回复
  8. #-42

    利用google analytics追踪搜索引擎蜘蛛(spider/robots)的爬行日志http://www.robinli007.com/archives/271
    在一定条件是看一点

    robin li7年前 (2011-03-16)回复