怎么看蜘蛛来没来爬行你的站点怎么看蜘蛛来没来爬行你的站点
对于SEO来说,蜘蛛程序到底有没有来过网站,是很多新站长很关心的事情,其实想要知道并不难,只要查看服务器IIS日志就可以找到端倪。具体操作方法:记事本打开IIS日志内容,然后用ctrl+F查找baidu, 如果发现有Baiduspider 就说明百度蜘蛛爬行过,反之则没有。
知道了第一步,接下来重点来了,如何了解代码的意思呢?先来看一段代码!
比如说你在记事本中发现了这段代码:
2004-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET ...
怎么看蜘蛛来没来爬行你的站点
对于SEO来说,蜘蛛程序到底有没有来过网站,是很多新站长很关心的事情,其实想要知道并不难,只要查看服务器IIS日志就可以找到端倪。具体操作方法:记事本打开IIS日志内容,然后用ctrl+F查找baidu, 如果发现有Baiduspider 就说明百度蜘蛛爬行过,反之则没有。
知道了第一步,接下来重点来了,如何了解代码的意思呢?先来看一段代码!
比如说你在记事本中发现了这段代码:
2004-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET /index/119.htm - 304 Baiduspider+(+http://www.baidu.com/search/spider.htm)
注意代码中有下划线的部分,它的意思就是说百度蜘蛛程序在2004-12-03 07:33:25爬过/index/119.htm这一页,显示的是304,它
示这页是没有更新过的。
再来看这一段代码;
[22/Apr/2010:06:30:56 -0700] "GET / HTTP/1.1" 200 10219 "-"
"Baiduspider+(+http://www.baidu.com/search/spider.htm)"
66.249.68.229
2008-06-19 00:25:03 W3SVC818374 222.214.218.36 GET /Server.aspx- 80 - 221.10.254.26 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 0 21089
请注意代码中有下划线的部分,它表示的意思是百度蜘蛛在2010年-04-22 06:30:56 爬过,GET表示获取,“200 0 0 21089”中的200
代码代表了请求已完成也就是它发现这页并已入库了。66.249.68.229是蜘蛛的ip地址。
了解以上这些,基本上已经够用了。
当然,不同的网络蜘蛛名字都不一样,它们会在抓取网页的时候会发送一个请求,这个请求中就包含一个User-agent字段,用于标识此网络蜘蛛的身份。常见的蜘蛛有:
google蜘蛛: googlebot
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
有道蜘蛛:YodaoBot和OutfoxBot
搜狗蜘蛛:sogou spider
SOSO蜘蛛:sosospider
360搜蜘蛛:360spider
文章来自华强北商城-exc,转载请保留链接http://www.okhqb.com!
本文档为【怎么看蜘蛛来没来爬行你的站点】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑,
图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。