Google Analytics如何追踪搜索引擎Robot？
13 四月 2008
8 Comments
Tenly前几天问起我，Google Analytics的流量统计中，是否包含了对搜索引擎的Robot（或者蜘蛛，或者Crawler）的访问。我确实曾经想过这个问题，当时我简单的认为，Google Analytics或者其他的工具会把这部分流量计算进去。
事实上，Florian告诉我，我的这个观点是错误的，WA工具会自动屏蔽掉这部分流量，以免污染实际Visitor的访问，因此在GA上不会看到Robot的访问情况。
不过Tenly的期望是，能够从这些工具中看到对于Robot的访问，因为他对SEO非常关注，而Robot访问的情况，一定程度上能够帮助他了解SEO的效果如何。 有没有朋友了解这个问题？给我一些建议吧！
融海咨询的CTO程实给我们了一个非常准确的回答，非常棒！
“Hi, Sidney, WebTrends有专门针对Spider（或Robot）的报告，因为WebTrends可以将Web Server的原始日志作为数据源，对其进行分析获取相应的信息。
除此之外，WebTrends还可以提供服务器端错误（HTTP CODE 5xx系列错误），客户端错误（HTTP CODE 4xx系列错误），页面无法找到（404错误）等其他来源于Web Server原始日志的报告。 以上报告需要客户购买安装了WebTrends产品。
当采用在页面中嵌码收集日志时（例如On-Demand Service）是无法获取该类报告的，其他分析工具（如Google Analytics）因为只有页面中嵌码一种日志来源，因此均不能提供该类报告。
我知道WebTrends里有这部分流量的统计。可以咨询程实（cheng(at)ronghai.com）
发布者 武勇 (未验证) (http://blog.sohu.com)
2008-04-14 18:30 回复
谢谢武勇！我这就咨询他。
发布者 中国网站分析-从基础到前沿 (http://webanalytics.blog.sohu.com/)
2008-04-14 21:14 回复 |
融海咨询的CTO程实给我们了一个非常准确的回答，谢谢你！
“Hi, Sidney,
WebTrends有专门针对Spider（或Robot）的报告，因为WebTrends可以将Web Server的原始日志作为数据源，对其进行分析获取相应的信息。
除此之外，WebTrends还可以提供服务器端错误（HTTP CODE 5xx系列错误），客户端错误（HTTP CODE 4xx系列错误），页面无法找到（404错误）等其他来源于Web Server原始日志的报告。
以上报告需要客户购买安装了WebTrends产品。
当采用在页面中嵌码收集日志时（例如On-Demand Service）是无法获取该类报告的，其他分析工具（如Google Analytics）因为只有页面中嵌码一种日志来源，因此均不能提供该类报告。
Best regards,
程实 Cheng Shi | CTO of WebTrends China | Ronghai Consulting
”
发布者 中国网站分析-从基础到前沿 (http://webanalytics.blog.sohu.com/)
2008-04-15 14:34 回复
赞！
发布者 tenly (未验证) (http://hi.baidu.com/tenly)
2008-04-15 15:06
蜘蛛的流量分析跟日志分析或者在线分析没有太多关系。在线分析系统也可以实现蜘蛛的分析，关键看机制和指标定义。
另外，用蜘蛛的流量分析SEO的效果有点勉强。
回复John：
一般而言，网站分析工具如果使用tag方法（页面嵌入tag）是无法监测到蜘蛛流量的，因为他们基于cookie。log分析工具分析SEO则没有问题。
利用google analytics追踪搜索引擎蜘蛛（spider/robots）的爬行日志 在一定条件是可以实现的
http://www.robinli007.com/archives/271
利用google analytics追踪搜索引擎蜘蛛（spider/robots）的爬行日志http://www.robinli007.com/archives/271
在一定条件是看一点
Leave your response!
最近文章
近期评论
标签
分类目录
文章存档
链接
最新文章
Most Commented
最新评论
备案/许可证编号为: 京ICP备09063066号