robots.txt
作者:匆匆那年
瀏覽:893次
發(fā)布時間:2017-11-28
編輯
分享
評論
贊0
機(jī)器人文件是指在網(wǎng)站根目錄下的一個文件,通過書寫的一些代碼,能控制搜索引擎蜘蛛的抓取行為.通過它我們能讓搜索引擎禁止或者疾速抓取我們的網(wǎng)站.
猜你喜歡