前几天在看百度官方回答一些seo问题的时候,发现这样一个问题:
我在robots.txt中设置了禁止百度收录我网站的内容,为何还出现在百度搜索结果中?
如果其他网站链接了您robots.txt文件中设置的禁止收录的网页,那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述。对于这个问题,我们在SEO交流群里讨论了一下。
ˊSearch.. (3046941) 16:56:49这段话谁能解读。 肖亚彬(279328794) 16:59:34这个还比较好理解。 ˊSearch.. (3046941) 16:59:54恩 ˊSearch.. (3046941) 17:00:22求解 肖亚彬(279328794) 17:01:18就是你写再robots里面的网页不会被抓取 但是有其他网站页面的链接指向你这个被禁止抓取的网页 ˊSearch.. (3046941) 17:01:31然后呢 肖亚彬(279328794) 17:01:31你的网页依然会被蜘蛛顺着链接所抓取 肖亚彬(279328794) 17:01:54但是不会建立索引 ˊSearch.. (3046941) 17:02:11那么这些网页仍然可能会出现在百度的搜索结果中,但您的网页上的内容不会被抓取、建入索引和显示,百度搜索结果中展示的仅是其他网站对您相关网页的描述 肖亚彬(279328794) 17:02:23百度展现的可能是 来自其他网站对你这个链接页面的信息 肖亚彬(279328794) 17:02:36而不是你本身网页所显示的信息 ˊSearch.. (3046941) 17:02:40….. ˊSearch.. (3046941) 17:02:52在我自己的网站上,我把页面屏蔽了.但是别人链接了这个页面 ˊSearch.. (3046941) 17:03:09这时候搜索相关关键词,我的这个页面还是有可能出现是serp 肖亚彬(279328794) 17:03:30额 ˊSearch.. (3046941) 17:03:36最后,百度展示的是其他网页上对我这个网页的描述 ˊSearch.. (3046941) 17:03:40这个描述到底是什么东西? ˊSearch.. (3046941) 17:03:57难道是那个给我导入锚文本周边的内容?
肖亚彬(279328794) 17:04:19估计不是的 ˊSearch.. (3046941) 17:04:29那是什么呢? 肖亚彬(279328794) 17:04:47你想想 如果我的这个链接出现在其他网页上 那么我在百度上搜索这个链接的时候 会出现什么结果呢? 肖亚彬(279328794) 17:05:17而这个页面本身没有被百度所收录 ˊSearch.. (3046941) 17:05:37那这时候出现是别人的页面. 肖亚彬(279328794) 17:05:44对啊 @站长胡小易(173418535) 17:05:54【表情】 肖亚彬(279328794) 17:05:53,百度搜索结果中展示的仅是其他网站对您相关网页的描述 ˊSearch.. (3046941) 17:06:48那么这些网页仍然可能会出现在百度的搜索结果中, ˊSearch.. (3046941) 17:06:57这网页2个字后面加2个字 地址 ˊSearch.. (3046941) 17:07:10那么这些网页地址仍然可能出现在百度的搜索结果中关于这个问题,武汉seoer胡小易专门做了一个测试,他在自己的博客里建了一个页面。然后用robots屏蔽,看百度会给什么反映。
你需要 登录 后才能进行讨论.