武汉seo博客

没错,我就是美貌与智慧并存,英雄和侠义的化生,9527就是你的终身代号!来吧!不要因为我是娇花而怜惜我!用力啊!
武汉SEO博客 >> 入门基础 >> 搜索引擎蜘蛛,机器人,爬虫是什么

更多

我们在刚接触SEO的时候经常听到有人说网站今天百度蜘蛛来过,或是谷歌机器人来过网站,爬虫爬过什么页面。有很多新手SEOer会觉得很纳闷,做网站优化跟蜘蛛有什么关系?机器人又是什么?爬虫是什么意思!

搜索引擎蜘蛛就是搜索引擎用来获取网站页面内容的一套爬行程序,英文名Web Spider。其他称呼有爬行机器人、爬虫等。它的任务就是顺着网站的URL爬行获取互联网上的内容。

目前主流搜索引擎蜘蛛的名字:

百度蜘蛛:baiduspider

google蜘蛛: googlebot

yahoo蜘蛛:slurp

soso蜘蛛:Sosospider

搜狗蜘蛛:Sogou web spider

lexa蜘蛛:ia_archiver

必应蜘蛛:msnbot

有道蜘蛛:YodaoBot和OutfoxBot

你可以发表评论引用到你的网站或博客,或通过RSS 2.0订阅这个日志的所有评论。
上一篇:
下一篇:
已有2条评论

[...] 网站被搜索引擎设置为考核期后,网站是不会有好的排名的,甚至会没有丝毫动静。网站的更新不会很好的被收录,网站日志里可以看到搜索引擎蜘蛛来访的痕迹。 [...]

[...] 终于有时间检查了一下网站,发现了很多网站,因为用的aspcms做的,里面有很多系统自带的栏目没有删掉,百度抓取了这些垃圾内容,然后蜘蛛爬行的路径也有问题。百度了一下删掉了自带的垃圾栏目,然后把url也伪静态了。动态地址不能做全站301带静态url,干脆直接robots禁止动态链接吧。然后把首页代码简化瘦身一下。 [...]

我来说两句

你需要 登录 后才能进行讨论.