如何批量檢測被百度收錄的死鏈的方法
分享
評論
贊0
前段時間服務器被入侵，掛了很多博彩之類的黑頁，而且全部被百度收錄。
現在把漏洞補好了，但刪除黑頁文件以后成了死鏈，要怎么讓百度刪除收錄呢?
在網上找了一下，似乎只有檢測網址是否被收錄的工具，而沒有檢測收錄的是不是死鏈的工具。
自己理清了下思路，找辦法找出了所有被收錄的死鏈，并寫下這篇文章。
不知道有沒有更好的方法，大家可以告訴我，先分享給大家，如果有大神請忽視或者告訴我更好的方法，一起學習交流吧。
下面教程開始
先在百度找到xenu可以模擬爬蟲爬取所有連接，我下載了個漢化版。
我們先用這個工具查詢所有被收錄的頁面。
打開軟件，填入簡版百度site網站地址，之所以用簡版是可以減少鏈接查詢時間和內容。
等待檢測完成。
點擊導出為制表符分隔的文件。
導出的文件，我們可以看到格式是:網址+空格+狀態碼
那么寫一個正則，把需要的網址提取出來就行，比如www.baidu.com下的404頁面就是
/http:\/\/www.baidu.com(.*?)\s404/i
(以http://www.baidu.com開頭,\s代表空格,404,/i代表匹配大小寫)
不會正則怎么辦?
為了方便大家，我把文件作了修改，大家只要把head改成標致性開頭，state改成狀態碼就行，file改成導出的文件路徑就行。
head怎么改，舉個例子,
你的網站是http://www.baidu.com/abc.html，那么你就寫http://www.baidu.com/
你的網站是http://abc.baidu.com/abc.html，那么你就寫http://abc.baidu.com/
把正則寫入php，在php環境下運行get.php。那么結果就出來了。
這時你只需要全選，復制到一個txt文件，上傳到網站空間，再到百度站長平臺死鏈提交填入文件路徑就行就可以。
我們知道，思路是通過爬取找出所有被收錄的鏈接，然后按條件列出來而已。
這樣的話，只要把開頭輸入的site網址改一下，也可以查詢其他搜索引擎的收錄。
把正則改一下，可以獲得如標題等其他內容。在此就不一一敘述。
猜你喜歡
評論(0人參與，0條評論)
發布評論
最新評論