超碰中文字幕在线_女人18毛片水真多18精品_色综合久久六月婷婷中文字幕_免费的av网站_国产视频久久久_精品久久久久久久久久久久久久久 _欧美最猛性xxxxx亚洲精品_欧美人妻一区二区_欧美美女激情18p_一区二区三区视频在线播放_欧美a视频在线观看_一区免费观看视频

Robots文件是搜索引擎訪問網(wǎng)站時(shí)第一個(gè)要讀取的文件，它告訴搜索程序服務(wù)器上哪些內(nèi)容可以抓取，

哪些不用抓取。

目前網(wǎng)站的robots文件里面的抓取規(guī)則已經(jīng)日趨完善，比如禁止了網(wǎng)頁中圖片的抓取，禁止蜘蛛抓取一

些會(huì)員隱私（個(gè)人簡歷）頁面、一些無用頁面（之前的推廣頁面）、樣式表文件等，但是仍然有部分頁

面并不需要蜘蛛程序的抓取，這部分頁面只是面向用戶的，搜索引擎抓取了并沒有什么意義，瓜分了頁

面的權(quán)重。

一、網(wǎng)站的404頁面

每個(gè)網(wǎng)站都存在一些錯(cuò)誤頁面，404頁面的存在就是為了當(dāng)用戶訪問了錯(cuò)誤頁面的時(shí)候能夠?qū)⒂脩粢龑?dǎo)到

正確的頁面上，防止網(wǎng)站流量的流失。而一個(gè)頁面較多的網(wǎng)站肯定存在很多的錯(cuò)誤頁面，這就導(dǎo)致存在

很多相似的404頁面：

所以，一旦404頁面太多，而還讓搜索引擎去收錄，就會(huì)導(dǎo)致網(wǎng)站把權(quán)重分給這些404頁面，所以應(yīng)該屏

蔽404頁面。

添加規(guī)則：Disallow：/404.html

二、網(wǎng)站部分導(dǎo)航頁面

網(wǎng)站底部的一些導(dǎo)航頁面，如“市場合作”“網(wǎng)站聲明”“付費(fèi)方式”等都是針對(duì)客戶的頁面，幾乎沒

有用戶通過搜索引擎上搜索這些頁面并到達(dá)網(wǎng)站，而且這些導(dǎo)航頁面是全站顯示的，所有的內(nèi)容頁面都

存在，同樣的也要分散這些頁面的權(quán)重。

這部分頁面都是位于同一目錄/main下，該目錄下除保留部分頁面需蜘蛛進(jìn)行抓取外，其他頁面可以都禁

止，保留頁面為：“關(guān)于我們”（main/aboutus.asp），友情鏈接（main/friendlink.asp）。此外“資

費(fèi)標(biāo)準(zhǔn)”“付費(fèi)方式”頁面位于企業(yè)會(huì)員中心頁面，這些頁面也沒有必要對(duì)搜索引擎開放。

添加規(guī)則：

Allow：/main/aboutus*

Allow：/main/friendlink*

Allow：/main/recruitmeeting*

Allow：/main/investigation*

Disallow：/main/

Disallow：/company/companyapplymember*

將現(xiàn)有規(guī)則中最后一條刪除：disallow： /main/refuse*

將新添加的兩條“Allow”規(guī)則放到disallow命令的前面。

通過一些對(duì)搜索引擎抓取意義不大的頁面，將首頁和一些內(nèi)容頁面的權(quán)重更加集中。