网站资讯 news
您现在的位置:首页 > 网站资讯 > 蜘蛛真的会“爬”吗?
NEWS

新闻资讯

蜘蛛真的会“爬”吗?

发布时间:2017/03/04 网站资讯 浏览次数:893

昆山网站建设

既然给Spider这样一个名字,它总应当是会“爬”的吧?这是很多SEO初学者头脑中最直观的概念。

在最初的SEO教学中,为了让更多的初学者学会引蜘蛛的方法,总是告诉入门者说,在某些已经被搜索引擎抓取的页面上放上链接,蜘蛛就会顺着这个链接到你的站点上去爬行并收录了。这对于初学者来说,理解是好理解了,但是却告诉了初学者一个错误的概念,让初学者认为蜘蛛是会自行“爬”行的。

而真相是什么呢?

站长们在查看自己的网站日志的时候,会发现,所有的Spider在对网站的访问中并没有refer,中间没有提交过程,而是直接访问。这才是spider的真正工作方法。Spider抓取一个网页后会优先把网页中的URL提取出来,同时记录和计算URL(什么是URL?)的形式、位置、锚文本(什么是锚文本?)、当前面所赋于的权值等信息,然后把这些URL合并到抓取队列中,并根据每个URL所附有的总权重值等信息进行抓取队列排序。而因为spider发现的URL越来越多,权重又各不相同,那么,这个列表中的顺序是不断变化的,并不是从一个页面沿着链接“爬”行到另一个页面的抓取过程。所以,蜘蛛不会“爬”。

也就是说,蜘蛛对每一个网页的抓取都是单次访问抓取,每访问一个页面都会把页面上的信息抓取回来,并把上面的链接重新排入待抓取列表预备下次直接访问。并不是搜索引擎派出了无数个“蜘蛛”到网站上爬行。

云风网络是集昆山网站制作,昆山网页设计,昆山网站推广于一体的昆山网络公司,业务涵盖:昆山手机网站制作,昆山网站设计,昆山网络建设,昆山做网站,昆山网站建设,电话:13912673321

相关推荐
点击这里给我发消息 技术咨询
回到顶部