当前位置:主页 > SEO优化 >

网站网页都被屏蔽了为什么还能被收录到

奕星seo伪原创
作者: 奕星SEO 分类: SEO优化 发布时间: 2019-12-03 01:52 内容来源:网络整理阅读量:

  这个问题困惑我很久了,为什么我网站的网页被robots屏蔽了之后,我从网站日志分析后还会能看到被百度抓取和收录呢?不是说屏蔽了以后就不会被抓取和收录了吗?这些页面都是我们老板千叮万嘱不让展现在百度的,现在都不知道怎么交差了,求解释。

网站网页都被屏蔽了为什么还能被收录到

  我经常遇到这样的情况,很多人都来问我:“为啥屏蔽了的页面还被抓取?”这里我简单的说下吧,一般有两种情况:


  第一种是:对已经收录的网页使用robots屏蔽,老网页按照robots规则的删除时间会很长,这个时候可能会造成百度没有遵守robots规则。


  第二种情况是:如果你屏蔽的页面或栏目存在大量的外链,那么这个网页或栏目的URL会被百度收录,但内容不会被百度索引,一般这样的多见于首页域名。当然,如果你连URL都不想被收录,可以针对蜘蛛返回404即可。


本文链接地址:http://www.seohuizhou.com/seoyouhua/23609.html
上一篇:<<网站有效高质量外链需要怎么做?
下一篇:网站收录的网页为何只有一两篇?>>