怎么看蜘蛛来没来爬行你的站点

怎么看蜘蛛来没来爬行你的站点 对于SEO来说，蜘蛛程序到底有没有来过网站，是很多新站长很关心的事情，其实想要知道并不难，只要查看服务器IIS日志就可以找到端倪。具体操作方法：记事本打开IIS日志，然后用ctrl+F查找baidu， 如果发现有Baiduspider 就说明百度蜘蛛爬行过，反之则没有。 知道了第一步，接下来重点来了，如何了解代码的意思呢？先来看一段代码！ 比如说你在记事本中发现了这段代码： 2004-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET /index/119.htm - 304 Baiduspider+(+http://www.baidu.com/search/spider.htm) 注意代码中有下划线的部分，它的意思就是说百度蜘蛛程序在2004-12-03 07:33:25爬过/index/119.htm这一页，显示的是304，它示这页是没有更新过的。 再来看这一段代码； [22/Apr/2010:06:30:56 -0700] "GET / HTTP/1.1" 200 10219 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)" 66.249.68.229 2008-06-19 00:25:03 W3SVC818374 222.214.218.36 GET /Server.aspx- 80 - 221.10.254.26 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 21089 请注意代码中有下划线的部分，它表示的意思是百度蜘蛛在2010年-04-22 06:30:56 爬过，GET表示获取，“200 0 0 21089”中的200协议代码代表了请求已完成也就是它发现这页并已入库了。66.249.68.229是蜘蛛的ip地址。 了解以上这些，基本上已经够用了。 当然，不同的网络蜘蛛名字都不一样，它们会在抓取网页的时候会发送一个请求，这个请求中就包含一个User-agent字段，用于标识此网络蜘蛛的身份。常见的蜘蛛有： google蜘蛛： googlebot yahoo蜘蛛：slurp alexa蜘蛛：ia_archiver 有道蜘蛛：YodaoBot和OutfoxBot 搜狗蜘蛛：sogou spider SOSO蜘蛛：sosospider 360搜蜘蛛：360spider 　　 文章来自华强北商城-exc，转载请保留链接http://www.okhqb.com！