网站资讯 news
您现在的位置:首页 > 网站资讯 > 关于robots禁止抓取,但并不禁止索引的说明
NEWS

新闻资讯

关于robots禁止抓取,但并不禁止索引的说明

发布时间:2017/03/06 网站资讯 浏览次数:1025

昆山网站建设

robots.txt写明了某个页面不让搜索引擎去抓取,搜索引擎就一定会支持协议,不去抓取,但这并不代表搜索引擎不索引这个页面。也就是说,搜索引擎不知道这个页面上的内容(因为有协议),但因为这个页面可能存在有外链是指向这个页面的,那么,搜索引擎就会知道这个页面的存在。在搜索引擎的数据库里也有这个文件的数据,但搜索引擎并不知道页面上有什么内容。于是就会出现这样的怪事,你在搜索引擎上搜索时,依然可以搜出这个页面,但不显示这个页面的内容,比如,title可能是外链给它指明的锚文本,说明也是其他的说明文字。当然,也就没有快照。

举个例子,淘宝网用robots.txt禁止百度的抓取,但是你搜淘宝,依然会有显示。不抓取,但是有索引。
因此,我们理解robots.txt时,一定要理解清楚,它是禁止抓取,但并不禁止索引。

云风网络是集昆山网站制作,昆山网页设计,昆山网站推广于一体的昆山网络公司,业务涵盖:昆山手机网站制作,昆山网站设计,昆山网络建设,昆山做网站,昆山网站建设,电话:13912673321

相关推荐
  • 有效索引机制

    有效索引机制

    互联网内容庞大,任何一下平常的关键词都可以匹配出几万甚至几十万甚至上千万,上...

  • 昆山网站优化收费怎么样,贵不贵?

    昆山网站优化收费怎么样,贵...

    想在昆山网站优化这块的朋友最想问的是就这样一个问题:昆山做网站优化要多少钱,S...

  • 搜索引擎为什么要去重

    搜索引擎为什么要去重

    搜索引擎自己不产生内容,都是从其他网站上抓取的,那么,把所有网站的内容都收过...

  • 我眼中的微信

    我眼中的微信

    很多人抱怨道微信越来越臃肿,其实,在我看来微信的发展越趋向于它的终极目标。微...

  • 关键词的海选

    关键词的海选

    建站之初,一个站长最迫切要做的事情就是对关键词进行海选,那么,如何进行关键词...

  • 聊一聊微信的搜一搜看一看

    聊一聊微信的搜一搜看一看

    近日,iOS 微信客户端从 6.5.7 版本更新至 6.5.8 版本,虽然看似小版本更新,但是...

点击这里给我发消息 技术咨询
回到顶部