网站资讯 news
您现在的位置:首页 > 网站资讯 > 什么是robots.txt?
NEWS

新闻资讯

什么是robots.txt?

发布时间:2017/03/09 网站资讯 浏览次数:755

昆山网站建设

建好了自己的网站,当然希望搜索引擎来抓取并给我们带来好的流量,但是也有一些页面,比如我们网站管理后台的地址,比如我们一些私有的秘密性文档,我们不想让搜索引擎抓取,这时,就用到了robots.txt文件。

主流的搜索引擎都支持并签署了《互联网搜索引擎服务自律公约》,表态全部支持robots协议。搜索引擎支持robots协议,也就是在抓取网站内容之前需要先抓取网站的robots.txt文件,并根据robots.txt文件的要求,对网站内容进行抓取。

这样的话,站长就可以通过robots.txt文件,利用robots协议,让搜索引擎不抓取自己保密的内容或不想让抓取的内容,而只让搜索引擎抓取和收录能够带来流量和排名的页面。这个文件的作用有以下三条:
1、屏蔽网站内的死链接。
2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。
3、阻止搜索引擎索引网站隐私性的内容。

云风网络是集昆山网站制作,昆山网页设计,昆山网站推广于一体的昆山网络公司,业务涵盖:昆山手机网站制作,昆山网站设计,昆山网络建设,昆山做网站,昆山网站建设,电话:13912673321

相关推荐
  • 中文分词

    中文分词

    中文与英文有着很大的不同,因此,在中文搜索引擎上市之后,百度曾经发布过一个视...

  • 搜索引擎内容相关性计算

    搜索引擎内容相关性计算

    搜索引擎要想使自己提供的搜索结果是与用户真正的需求相吻合,那么就一定要进行相...

  • 百度百家全面改版成百家号意味着什么?

    百度百家全面改版成百家号意...

    百度百家成立也有三四年的时间了,最近突然的改版让百度百家彻底被百家号所取代,...

  • 蜘蛛真的会“爬”吗?

    蜘蛛真的会“爬”吗?

    既然给Spider这样一个名字,它总应当是会“爬”的吧?这是很多SEO初学者头脑中最直观...

  • SEO超级外链工具有用吗?

    SEO超级外链工具有用吗?

      答案是没有太大作用,而且昆山网站建设小编建议大家不要尝试这种外链建设的...

  • 缓存机制

    缓存机制

    前面讲过什么是缓存,希望对缓存机制的原始概念“缓存”先要认知清楚,否则会不理解...

点击这里给我发消息 技术咨询
回到顶部