如何分析网站日志？

网站日志全是英文，就是懂英文的我怕也会头大，不信看看下面的日志摘抄：

61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"   （注：百度，这部分为本文添加）

203.208.60.43 - - [11/Jan/2009:04:02:43 +0800] "GET /sns/space-13563-do-friend-view-me.html HTTP/1.1" 200 5162 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"   （注：Google）

202.160.178.21 - - [11/Jan/2009:04:02:44 +0800] "GET /sns/space.php?uid=323 HTTP/1.0" 200 7535 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)"   （注：雅虎）

65.55.220.217 - - [11/Jan/2009:04:02:57 +0800] "GET /ucenter/avatar.php?uid=12373&size=small&type=virtual HTTP/1.1" 301 - "-" "msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)" （注：MSN）

呵呵，没骗你吧，不用怕，江苏徐州seo教你几招应用技巧就可以完全领悟网站日志了。

记住几大搜索机器人的名称：

百度->baiduspider、Google ->Googlebot、Msn ->msnbot、yahoo ->Slurp、yodao ->YoudaoBot、sogou ->Sogou+get+spider

在网站日志文件里，用ctrl+f 搜索以上蜘蛛名称，如果有，一般你就认定蜘蛛来抓取了。

接着分析的要点是HTTP状态码，如以上的200和301。

如：" 200 8450 " 代表正常抓取，这次抓取了8450个字节。

不同的服务器或虚拟主机设置的日志记录内容不同。

有的如：200 0 33834 237 953  我们通过多看几条记录，观察规律，可以判断第三个数字代表字节数。

有的如：200 0 0或200 0 64  这是没有记录抓取字节数。注意：200 0 0和200 0 64 没代表什么问题。所谓200 0 64代表要被K的言论没有根据，一般的网站都有64代码。

在日志里，发现比较多的HTTP状态码是，200（正常）、304（没变化）、404（错误链接）。

304代表，自从上次抓取后，该内容没有更新。一般情况下，网站的图片经常会返回该值。

404代表，访问的这个链接是错误链接。这个错误链接，一方面来自原本存在后来删除了网页，另一方面可能来自本来就不存在，但其他人外链了这么个死链接。

当我们遇到以下情况该如何分析呢？

1、网站刚上线？

如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都返回200，则说明已经可以正常收录。

只是Google展示的时间比较快，而百度则需要20天左右（经验平均值）展示出来。
 

2、网站收录异常？

收录正常增加时和现在异常时的日志，进行对比分析。如果没有异常，则应该是搜索引擎展示数据库出问题所致。

如果蜘蛛爬取量明显减少，观察是否外链突然减少很多。如果日志依然，则认为是搜索引擎的展示问题。

3、解决网站被封问题时？

网站被封时，往往日志里有百度蜘蛛，但很少，而且往往只访问robots.txt文件和首页。

相关资料：1、Http状态码的概念？

进阶资料：1、如何解决网站被封的问题？