如何解決百度蜘蛛只爬取首頁的問題
作者：廣西SEO團隊
瀏覽：182次
發布時間：2017-06-01
分享
評論
贊1
我們看網站日志的時候不能只是看搜索引擎的日志爬取的頻率和返回的http碼！要想了解搜索引擎，就必須從它的動態看起，就是要看它一系列都抓取了什么，最長見的問題就是百度蜘蛛只爬取首頁的問題，很多站長沒有察覺到這個細節，而只是抱怨為什么百度蜘蛛頻繁抓取，而快照、搜錄并沒有很好的表現，甚至出現搜錄減少，快照延遲一個星期以上，這些都是百度蜘蛛只爬取首頁所帶來的問題，下面就來分析一下。
1.robots.txt、服務器限制和優化策略。如果出現百度蜘蛛只爬取首頁的問題，首先就是要看我們網站的robots.txt，是不是通配符用錯了，而導致屏蔽了所有的內頁。其次就要看看我們的服務器，同服務器的網站是不是也是這樣，看看網站日志是否近期有爬取內頁的行為，返回碼是什么，等都可以看出來。在此就是想一下自己的優化手段是否合理，比如有沒有文章純采集或者群發等行為。
2.網站的結構和內容。假如服務器，網站robots.txt，優化策略都沒有問題，還是沒有解決如何解決百度蜘蛛只爬取首頁的問題，那么就要從網站本身的結構上分析，網站結構是否混亂，首頁有沒有足夠的鏈接指向內頁。還要看看網站的質量上，首先就是網站是不是一個超新站，站內內容跟新是否有規律等。
猜你喜歡
評論(0人參與，0條評論)
發布評論
最新評論