我们在刚接触SEO的时候经常听到有人说网站今天百度蜘蛛来过,或是谷歌机器人来过网站,爬虫爬过什么页面。有很多新手SEOer会觉得很纳闷,做网站优化跟蜘蛛有什么关系?机器人又是什么?爬虫是什么意思!
搜索引擎蜘蛛就是搜索引擎用来获取网站页面内容的一套爬行程序,英文名Web Spider。其他称呼有爬行机器人、爬虫等。它的任务就是顺着网站的URL爬行获取互联网上的内容。
目前主流搜索引擎蜘蛛的名字:
百度蜘蛛:baiduspider
google蜘蛛: googlebot
yahoo蜘蛛:slurp
soso蜘蛛:Sosospider
搜狗蜘蛛:Sogou web spider
lexa蜘蛛:ia_archiver
必应蜘蛛:msnbot
有道蜘蛛:YodaoBot和OutfoxBot
2012 年 12 月 25 日
[...] 网站被搜索引擎设置为考核期后,网站是不会有好的排名的,甚至会没有丝毫动静。网站的更新不会很好的被收录,网站日志里可以看到搜索引擎蜘蛛来访的痕迹。 [...]
2014 年 4 月 29 日
[...] 终于有时间检查了一下网站,发现了很多网站,因为用的aspcms做的,里面有很多系统自带的栏目没有删掉,百度抓取了这些垃圾内容,然后蜘蛛爬行的路径也有问题。百度了一下删掉了自带的垃圾栏目,然后把url也伪静态了。动态地址不能做全站301带静态url,干脆直接robots禁止动态链接吧。然后把首页代码简化瘦身一下。 [...]
你需要 登录 后才能进行讨论.