网站资讯 news
您现在的位置:首页 > 网站资讯 > 蜘蛛真的会“爬”吗?
NEWS

新闻资讯

  • HM“碰瓷”新疆棉引发消费圈巨震
    2021/03/29

    HM事件从开始至今,在短短几天时间里持续发酵,除了引起了国人的不满,更是遭到了央视的怒批。但是除了这些表面上大家看到的...

  • 百度惊雷算法3.0调整方法
    2021/01/15

    在1月13日的早上,各大SEO站长聚集百度站长群里开始讨论百度惊雷算法3.0即将在中旬发布,也有很多从事SEO的朋友问我,此次该...

  • 企业开发微信公众号有什么好处?
    2020/12/17

    自2013年以来,这是一个二维代码盛行的时代。那些发展到今天的商人有他们自己的二维代码。二维代码的背后是wechat公共平台。...

  • 织梦网站后台增加复制文档功能
    2020/11/05

    打开后台目录(/dede)下archives_do.php约430行下添加: 1 /*----------------------------- 2 //复制文档 3 ----------------...

  • 谷歌浏览器如何长截图
    2020/11/04

    很多人不知道google浏览器如何截图,今天小编就来教大家。 方法/步骤: 1,打开“谷歌浏览器”,右键单击网页空白处,然后点击“...

  • 谷歌浏览器怎么翻译网页?
    2020/07/01

    正常情况下,你的浏览器会自动提示您是否要翻译网页。 但是如果没有自动弹出,我们应该怎么样去打开这个chrome自带的网页翻译...

  • dedecms5.7发布文章提示“标题不能为空”的解决方法
    2020/06/15

    本文实例讲述了dedecms5.7后台发布文章提示“标题不能为空”的解决方法。分享给大家供大家参考。具体分析如下: 有人发现在使用...

蜘蛛真的会“爬”吗?

发布时间:2017/03/04 网站资讯 浏览次数:1219

昆山网站建设

既然给Spider这样一个名字,它总应当是会“爬”的吧?这是很多SEO初学者头脑中最直观的概念。

在最初的SEO教学中,为了让更多的初学者学会引蜘蛛的方法,总是告诉入门者说,在某些已经被搜索引擎抓取的页面上放上链接,蜘蛛就会顺着这个链接到你的站点上去爬行并收录了。这对于初学者来说,理解是好理解了,但是却告诉了初学者一个错误的概念,让初学者认为蜘蛛是会自行“爬”行的。

而真相是什么呢?

站长们在查看自己的网站日志的时候,会发现,所有的Spider在对网站的访问中并没有refer,中间没有提交过程,而是直接访问。这才是spider的真正工作方法。Spider抓取一个网页后会优先把网页中的URL提取出来,同时记录和计算URL(什么是URL?)的形式、位置、锚文本(什么是锚文本?)、当前面所赋于的权值等信息,然后把这些URL合并到抓取队列中,并根据每个URL所附有的总权重值等信息进行抓取队列排序。而因为spider发现的URL越来越多,权重又各不相同,那么,这个列表中的顺序是不断变化的,并不是从一个页面沿着链接“爬”行到另一个页面的抓取过程。所以,蜘蛛不会“爬”。

也就是说,蜘蛛对每一个网页的抓取都是单次访问抓取,每访问一个页面都会把页面上的信息抓取回来,并把上面的链接重新排入待抓取列表预备下次直接访问。并不是搜索引擎派出了无数个“蜘蛛”到网站上爬行。

云风网络是集昆山网站制作,昆山网页设计,昆山网站推广于一体的昆山网络公司,业务涵盖:昆山手机网站制作,昆山网站设计,昆山网络建设,昆山做网站,昆山网站建设,电话:13912673321

相关推荐
点击这里给我发消息 技术咨询
回到顶部