我们在刚接触SEO的时候经常听到有人说网站今天百度蜘蛛来过，或是谷歌机器人来过网站，爬虫爬过什么页面。有很多新手SEOer会觉得很纳闷，做网站优化跟蜘蛛有什么关系？机器人又是什么？爬虫是什么意思！
搜索引擎蜘蛛就是搜索引擎用来获取网站页面内容的一套爬行程序，英文名Web Spider。其他称呼有爬行机器人、爬虫等。它的任务就是顺着网站的URL爬行获取互联网上的内容。
目前主流搜索引擎蜘蛛的名字：
百度蜘蛛：baiduspider
google蜘蛛： googlebot
yahoo蜘蛛：slurp
soso蜘蛛：Sosospider
搜狗蜘蛛：Sogou web spider
lexa蜘蛛：ia_archiver
必应蜘蛛：msnbot
有道蜘蛛：YodaoBot和OutfoxBot
2012 年 12 月 25 日
[...] 网站被搜索引擎设置为考核期后，网站是不会有好的排名的，甚至会没有丝毫动静。网站的更新不会很好的被收录，网站日志里可以看到搜索引擎蜘蛛来访的痕迹。 [...]
2014 年 4 月 29 日
[...] 终于有时间检查了一下网站，发现了很多网站，因为用的aspcms做的，里面有很多系统自带的栏目没有删掉，百度抓取了这些垃圾内容，然后蜘蛛爬行的路径也有问题。百度了一下删掉了自带的垃圾栏目，然后把url也伪静态了。动态地址不能做全站301带静态url，干脆直接robots禁止动态链接吧。然后把首页代码简化瘦身一下。 [...]
你需要 登录 后才能进行讨论.