淺談所謂的提權蜘蛛和降權蜘蛛
分享
評論
贊0
之前在SEO深度解析中有看到過降權蜘蛛和提權蜘蛛，即如果抓取你網站的蜘蛛IP是降權蜘蛛的IP，那你的網站就是被降權了;反之，抓取你網站的蜘蛛IP為提權蜘蛛的IP，那你的網站權重較高。
該書作者痞子瑞對此問題也表示不能肯定，然而百度LEE團隊官方曾經在百度站長平臺公開回答過該問題，并明確的否認了。當然，百度還不承認有百度權重，然而確實有，呵呵。
官方的答復不可不信，也不可全信。今天又看《走進搜索引擎》，發現可能真的有所謂的提權蜘蛛和降權蜘蛛。
搜索引擎工作過程中，在抓取環節，有一個重要性網頁優先抓取的策略，其實很好理解，搜索引擎需要抓取的新網頁和每天重訪的網頁規模都是巨大的，為保證更重要的網頁能夠優先抓取，使得在時效性和權威性上獲得滿意的效果，就需要對重要性網頁進行優先抓取。(這不就是百度權重高的網站嗎?)
同時，在抓取環節，還有一個抓取提速策略，通過增加同時工作的爬蟲(即蜘蛛)數量。在多個蜘蛛抓取的情況下，需要按照域名來分解任務，使特定的爬蟲抓取特定的域名下的網頁。
在域名分配的同時，要保證每個蜘蛛的工作量相等;如默認正常網站的規模為普通水準，抓取工作量一般;而重要性高的網站，通常其網站規模龐大，內容豐富，抓取工作量較大;但是網站被降權的網站通常使用大量垃圾內容作弊來獲取排名，其網站規模肯定也較大，抓取工作量也較大。
假設：1*重要性網站=2*普通網站=1*作弊網站，那么蜘蛛抓取工作量體系結構類似于：
spider1抓取重要性高的域名A
spider2抓取普通網站B和C
spider3抓取作弊網站的域名D
則spider1為提權蜘蛛，spider3為降權蜘蛛。
因為蜘蛛不光要抓取，還要返回抓取的網頁結果和新的URL，而URL的重要度會影響URL的抓取優先度，所以高權重網站上的URL是不能和普通網站、作弊網站上的URL放在一起的，因此為提高蜘蛛的工作效率，同一個蜘蛛肯定不會同時抓取不同重要度的網站。
至于考核蜘蛛(即沙盒蜘蛛)、劣質文章蜘蛛等什么亂七八糟的蜘蛛，應該是不存在的。
谷歌的沙盒期是會對新網站正常抓取，只是不會放出或者不會給予好的排名罷了，不關人家蜘蛛的事情。
至于劣質文章蜘蛛，蜘蛛是按照域名來劃分工作，那可能就是降權了，要不就是想多了。
對了，如果百度真的存在提權蜘蛛和降權蜘蛛的話，谷歌應該也有，畢竟搜索引擎工作原理是一樣的。
猜你喜歡
評論(0人參與，0條評論)
發布評論
最新評論