超碰中文字幕在线_女人18毛片水真多18精品_色综合久久六月婷婷中文字幕_免费的av网站_国产视频久久久_精品久久久久久久久久久久久久久 _欧美最猛性xxxxx亚洲精品_欧美人妻一区二区_欧美美女激情18p_一区二区三区视频在线播放_欧美a视频在线观看_一区免费观看视频

今天給大家說下蜘蛛陷阱，也是我交的作業(yè)中的部分內容。中招的童鞋自己注意整改，具體整改措施，這里就不多說了，因為作業(yè)還沒被改完，避免泄露答案。

　　蜘蛛陷阱的“前因后果”

　　一、蜘蛛陷阱的含義

　　陷阱原意是狩獵用的坑穴等處所，對人則是比喻使人受騙上當?shù)娜μ祝敲磳χ┲雱t是兩層含義：

　　A、 蜘蛛在爬行網(wǎng)站時，遭遇到一些讓蜘蛛程序無法正常收錄頁面或繼續(xù)爬行網(wǎng)站的障礙，通常是非故意為之的；

　　B、 使用一些技術手段，讓蜘蛛無法按正常網(wǎng)址目錄爬行抓取原目的網(wǎng)站相關頁面，而將蜘蛛引入到預設好的頁面或網(wǎng)站，達到干擾蜘蛛判斷網(wǎng)頁內容主題等網(wǎng)頁搜索質量體系中的相關指標值，通常是黑客等獲益人故意為之的。

　　二、蜘蛛陷阱的產(chǎn)生、危害及預防

　　（一） 蜘蛛程序爬行網(wǎng)站時遇到障礙的幾個問題

　　1、避免蜘蛛被排除在可訪問資源的人群之外

　　產(chǎn)生原因：只給特定人群訪問權限，如只讓已登陸或輸入了正確密碼的人能訪問到，或要求用戶有cookies才顯示內容。被排除在可訪問人群之外的蜘蛛程序就無法獲取到資源內容。

　　2、避免讓蜘蛛獲得的url不正確或不規(guī)范

　　產(chǎn)生原因：在設置url的時候不規(guī)范或內外推廣的url不正確，會讓蜘蛛獲得不正確或不規(guī)范的url。比如帶有等號與問號的動態(tài)url，通常url中包含多參數(shù)，易造成多個url對應的頁面內容相同，特別當統(tǒng)計用戶信息、彈窗回話或分析流量時，會在用戶訪問url時再增ID參數(shù)后返回頁面內容；推廣了缺失字符等不正確的url；同一頁面內容動靜態(tài)URL均可訪問。

　　3、避免讓蜘蛛被重定向弄的暈頭轉腦

　　產(chǎn)生原因：通常是資源被遷移，導致資源地址有變，但在相關網(wǎng)頁中沒修改成資源新地址，導致網(wǎng)頁中出現(xiàn)舊資源地址，一些網(wǎng)站就會使用重定向技術，將舊地址重定向到新地址。

　　4、避免出現(xiàn)目前蜘蛛不善于處理的資源形式

　　產(chǎn)生原因：一些網(wǎng)站出于視覺效果等考慮，將重要資源展示在頁面內的框架結構、FLASH、JS特效區(qū)、圖片、音頻、視頻中。

　　5、避免讓蜘蛛遍歷層次過深

　　產(chǎn)生原因：內容分類過多或過細，可能會分到4級以上，有幾百甚至上千欄目，而一個頁面的鏈接放置數(shù)是有限的，一些分類或欄目的鏈接不得不從首頁點5次以上才到達。另外還有一些信息藏得較深，蜘蛛要從首頁遍歷較多層次后才能獲得。

　　6、避免錯誤配置文件妨礙蜘蛛爬行

　　產(chǎn)生原因：網(wǎng)站配置UA訪問權限，可能會配置不當而禁止了蜘蛛的正常爬行；網(wǎng)站配置IP訪問權限，而誤禁了部分蜘蛛IP；網(wǎng)站配置防刷新機制，而妨礙了蜘蛛爬行；網(wǎng)站配置robots等相關文件，而誤禁止了蜘蛛對某些目錄或文件的正常爬行。

　　（二） 蜘蛛抓取爬行時被有意干擾的幾個問題

　　1、頁面中被JS等形式放入一些黑鏈

　　產(chǎn)生原因：疏于查看導出鏈接或技術缺失，僅憑肉眼或站長工具查看導出鏈。黑客等獲益人就以js等形式將一些鏈接放置到網(wǎng)頁中。

　　2、頁面被meta reresh，js等跳轉到其他站點或頁面

　　產(chǎn)生原因：網(wǎng)站基本不管理或一些頁面基本不維護，黑客等獲益人就會明目張膽的寫入跳轉源碼，讓訪問這些頁面的用戶跳轉到其他站點或頁面。

　　3、頁面被js等蜘蛛較難識別的形式嵌入一些內容

　　產(chǎn)生原因：一些網(wǎng)站疏于查看自己頁面的訪問體驗或缺少與訪客的溝通。于是黑客等獲益人就以蜘蛛較難識別的形式嵌入一些廣告內容到網(wǎng)頁中，處理的較好，網(wǎng)站安全工具也檢測不出來，另外安全聯(lián)盟廠家相關產(chǎn)品也無警告。

　　4、網(wǎng)站被加入一些不相干的文件夾內容

　　產(chǎn)生原因：一些網(wǎng)站管理者關注的是前臺頁面以及后臺功能，沒有關注到網(wǎng)站在搜索引擎的收錄頁面及關鍵詞排名情況。于是黑客等獲益人就在網(wǎng)站中加入一些不相干的文件夾內容，再通過站群等手段，將這些不相干內容的大力推廣，于是這些url就被收錄并且排名十分好。

　　5、在不同的UA下顯示不同的內容

　　產(chǎn)生原因：通過識別訪客的user-agent，讓蜘蛛看到的是一個正常頁面的內容，而讓普通用戶點擊進入網(wǎng)站后看到的是另一個頁面。主要因為一些網(wǎng)站管理者關注的是前臺頁面以及后臺功能，沒有關注到網(wǎng)站在搜索引擎的收錄頁面及關鍵詞排名情況，于是黑客等獲益人就喜歡在宿主網(wǎng)站上上傳自己設計好的專門給搜索引擎看的內容，將它們的url進行站群式等推廣，于是就被收錄并且排名十分好。普通用戶被跳轉引導到目標網(wǎng)站，專門針對蜘蛛做的內容可引導蜘蛛到目標網(wǎng)站。這樣普通用戶和蜘蛛就都被劫持到目標網(wǎng)站上了。