网站资讯 news
您现在的位置:首页 > 网站资讯 > 巧用robots避免蜘蛛黑洞
NEWS

新闻资讯

  • 老而不死的三种编程语言
    2019/11/07

    老而不死的三种编程语言 导读: 在软件世界中,铁打的二进制,流水的语言。从计算机诞生至今,不知诞生了多少门编程语言。译...

  • AI人工智能的10种常用算法
    2019/09/25

    ML的常用算法有个常识性的认识,没有代码,没有复杂的理论推导,就是图解一下,知道这些算法是什么,它们是怎么应用的,例子...

  • 网站如何进行安全设置
    2019/08/28

    为了安全起见,建议先做好全站数据和文件的备份,以下教程是AB模板网的总结经验,本人也是这样设置,并且没有任何问题) 1、...

  • What’s your problem?
    2019/07/08

    今天在路上走着走着,突然下暴雨了,我抬头问天:What‘s your problem?  在前两天的百度AI开发者大会上,百度创始人、...

  • 西部数码网站备案率先告别幕布,备案全程电子化,全网首推!
    2019/07/05

    网站备案已经伴随中国互联网的发展走过了十余年。网站备案过程中的真实性核验环节,需要网站负责人到指定的核验点进行现场拍...

  • 如何做好百度移动搜索引擎优化?
    2019/06/19

    移动数字时代已经到来,没有给人们太多的思考时间,而越来越多的用户通过手机进行社交、查看新闻、移动办公及浏览网页等,随...

  • 华为CEO任正非接受媒体专访:5G领先美国2-3年
    2019/05/31

    5G已经成为了当前行业的一个焦点,不过由于近日美国方面的因素让华为业务受到影响,外界都在关注这一次华为能否挺过来,华为...

巧用robots避免蜘蛛黑洞

发布时间:2017/03/03 网站资讯 浏览次数:695

昆山网站建设

对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。

比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?

我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:

对于普通的筛选结果页,该网站选择使用静态链接,如:http://bj.XXXXX.com/category/zizhucan/weigongcun

同样是条件筛选结果页,当用户选择不同排序条件后,会生成带有不同参数的动态链接,而且即使是同一种排序条件(如:都是按销量降序排列),生成的参数也都是不同的。如:http://bj.XXXXX.com/category/ziz … %2Fpoi.0.0.i1afqhek

http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

 

对于该团购网来说,只让搜索引擎抓取筛选结果页就可以了,而各种带参数的结果排序页面则通过robots规则拒绝提供给搜索引擎。

robots.txt的文件用法中有这样一条规则:Disallow: /*?* ,即禁止搜索引擎访问网站中所有的动态页面。该网站恰是通过这种方式,对Baiduspider优先展示高质量页面、屏蔽了低质量页面,为Baiduspider提供了更友好的网站结构,避免了黑洞的形成。

云风网络是集昆山网站制作,昆山网页设计,昆山网站推广于一体的昆山网络公司,业务涵盖:昆山手机网站制作,昆山网站设计,昆山网络建设,昆山做网站,昆山网站建设,电话:13912673321

相关推荐
点击这里给我发消息 技术咨询
回到顶部