如何寫robots.txt文件才能集中網站權重
分享
評論
贊0
一：什么是robots協議
robots協議（也稱為爬蟲協議、爬蟲規則、機器人協議等）也就是robots.txt，網站通過robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不希望被抓取。
? Robots協議是網站國際互聯網界通行的道德規范，其目的是保護網站數據和敏感信息、確保用戶個人信息和隱私不被侵犯。
? 因其不是命令，是一種單方面協議，故需要搜索引擎自覺遵守。
二：robots.txt放置位置
robots.txt文件應該放置在網站根目錄下。
例如，當spider訪問一個網站（比如 http://www.taobao.com）時，首先會檢查該網站中是否存在http://www.taobao.com/robots.txt這個文件，如果 Spider找到這個文件，它就會根據這個文件的內容，來確定它訪問權限的范圍。
三：robots.txt文件的寫法
操作步驟：
1.新建一個文本文檔，命名為robots.txt
2.開始寫robots
User-agent: * （*針對所有搜索引擎）
Disallow: / (禁止爬取所有頁面，/代表目錄)
Disallow: /admin/ (禁止抓取admin目錄)
Disallow: /admin (禁止抓取包含admin的路徑)
Allow: /admin/s3.html (允許抓取admin目錄下s3.html文件)
一個“/”表示路徑，兩個“/”表示文件夾
Allow: /admin/php/ (允許抓取admin下面的php文件的所有內容)
Disallow: /.css$ (禁止抓取所有帶.css的文件)
sitemap:***
注意：
? 冒號后面有空格，空格后面都有/(都要以/開頭)，開頭第一個字母大寫
? 因為搜索引擎蜘蛛來抓取網站的時候最先看的就robots文件，我們把網站地圖的地址放到robots協議中有利于搜索引擎蜘蛛的抓取，從而提高網站的收錄。
猜你喜歡
評論(0人參與，0條評論)
發布評論
最新評論