robots協(xié)議
作者：麋鹿
瀏覽：976次
發(fā)布時間：2017-10-31
編輯
分享
評論
贊0
Robots協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網(wǎng)絡爬蟲排除標準”（Robots Exclusion Protocol），網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓?。ň唧w可查看馬海祥博客《robots協(xié)議文件的寫法及語法屬性解釋》的相關介紹）。
是搜索引擎的一部分來定位和索引互聯(lián)網(wǎng)上的每個可能回答搜索請求的網(wǎng)頁，通常只在討論 robots的HTML標簽或者robots.txt文件的時候使用。
猜你喜歡