超碰中文字幕在线_女人18毛片水真多18精品_色综合久久六月婷婷中文字幕_免费的av网站_国产视频久久久_精品久久久久久久久久久久久久久 _欧美最猛性xxxxx亚洲精品_欧美人妻一区二区_欧美美女激情18p_一区二区三区视频在线播放_欧美a视频在线观看_一区免费观看视频

或者

怎樣減少無效URL的爬行和索引

作者:月光邊境 瀏覽:195 發布時間:2017-06-06
分享 評論 0

很多網站,尤其是B2C,產品條件過濾系統(如選擇產品的品牌、價格、尺寸、性能、參數等)會產生大量無效URL,之所以稱為無效只是從SEO角度看的,這些URL并不能產生SEO作用,反倒有負面作用,所以這些URL不收錄為好,原因包括:

  大量過濾條件頁面內容重復或極為類似(大量復制內容將使網站整體質量下降)

  大量過濾條件頁面沒有對應產品,頁面無內容(如選擇“100元以下42寸LED電視”之類的)

  絕大部分過濾條件頁面沒有排名能力(排名能力比分類頁面低得多)卻浪費一定權重

  這些過濾條件頁面也不是產品頁面收錄的必要通道(產品頁面應該有其它內鏈幫助爬行和收錄)

  爬行大量過濾條件頁面極大浪費蜘蛛爬行時間,造成有用頁面收錄機會下降(過濾條件頁面組合起來是巨量的)

  那么怎樣盡量使這些URL不被爬行和索引、收錄呢?前幾天的一篇帖子如何隱藏內容也可能成為SEO問題討論的是類似問題,這種過濾頁面就是想隱藏的內容種類之一。不過可惜,我目前想不出完美的解決方法。

  一是將不想收錄的URL保持為動態URL,甚至故意越動態越好,以阻止被爬行和收錄。但是,搜索引擎現在都能爬行、收錄動態URL,而且技術上越來越不是問題。雖然參數多到一定程度確實不利于收錄,但4、5個參數通常還可以收錄。我們無法確認需要多少參數才能阻止收錄,所以不能當作一個可靠的方法。而且這些URL接收內鏈,又沒有什么排名能力,還是會浪費一定權重。

  第二個方法,robots禁止收錄。同樣,URL接收了內鏈也就接收了權重,robots文件禁止爬行這些URL,所以接收的權重不能傳遞出去(搜索引擎不爬行就不知道有什么導出鏈接),頁面成為權重只進不出的黑洞。

  連向這些URL的鏈接配合nofollow也不完美,和robots禁止類似,nofollow在Google的效果是這些URL沒有接收權重,權重卻也沒有被分配到其它鏈接上,所以權重同樣浪費了。百度據稱支持nofollow,但權重怎么處理未知。

  也可以將過濾條件鏈接做成AJAX形式,用戶點擊后不會訪問一個新的URL,還是在原來URL上,URL后面加了#,不會被當成不同URL。和JS問題一樣,搜索引擎正在積極嘗試爬行、抓取AJAX里的內容,這個方法也不保險。

  還一個方法是在頁面head部分加noindex+follow標簽,意即本頁面不要索引,但跟蹤頁面上的鏈接。這樣可以解決復制內容問題,也解決了權重黑洞問題(權重是可以隨著導出鏈接傳到其它頁面的),不能解決的是浪費蜘蛛爬行時間問題,這些頁面還是要被蜘蛛爬行抓取的(然后才能看到頁面html里的noindex+follow標簽),對某些網站來說,過濾頁面數量巨大,爬行了這些頁面,蜘蛛就沒足夠時間爬有用頁面了。

  再一個可以考慮的方法是隱藏頁面(cloaking),也就是用程序檢測訪問者,是搜索引擎蜘蛛的話返回的頁面拿掉這些過濾條件鏈接,是用戶的話才返回正常的有過濾條件的頁面。這是一個比較理想的解決方法,唯一的問題是,可能被當作作弊。搜索引擎常跟SEO講的判斷是否作弊的最高原則是:如果沒有搜索引擎,你會不會這么做?或者說,某種方法是否只是為了搜索引擎而采用?顯然,用cloaking隱藏不想被爬行的URL是為搜索引擎做的,不是為用戶做的。雖然這種情況下的cloaking目的是美好的,沒有惡意的,但風險是存在的,膽大的可試用。

  還一個方法是使用canonical標簽,最大問題是百度是否支持未知,而且canonical標簽是對搜索引擎的建議,不是指令,也就是說這個標簽搜索引擎可能不遵守,等于沒用。另外,canonical標簽的本意是指定規范化網址,過濾條件頁面是否適用有些存疑,畢竟,這些頁面上的內容經常是不同的。

  目前比較好的方法之一是iframe+robots禁止。將過濾部分代碼放進iframe,等于調用其它文件內容,對搜索引擎來說,這部分內容不屬于當前頁面,也即隱藏了內容。但不屬于當前頁面不等于不存在,搜索引擎是可以發現iframe中的內容和鏈接的,還是可能爬行這些URL,所以加robots禁止爬行。iframe中的內容還是會有一些權重流失,但因為iframe里的鏈接不是從當前頁面分流權重,而只是從調用的那個文件分流,所以權重流失是比較少的。除了排版、瀏覽器兼容性之類的頭疼問題,iframe方法的一個潛在問題是被認為作弊的風險。現在搜索引擎一般不認為iframe是作弊,很多廣告就是放在iframe中,但隱藏一堆鏈接和隱藏廣告有些微妙的區別。回到搜索引擎判斷作弊的總原則上,很難說這不是專門為搜索引擎做的。記得Matt Cutts說過,Google以后可能改變處理iframe的方式,他們還是希望在同一個頁面上看到普通用戶能看到的所有內容。

  總之,對這個現實、嚴重的問題,我目前沒有自己覺得完美的答案。當然,不能完美解決不是就不能活了,不同網站SEO重點不同,具體問題具體分析,采用上述方法中的一種或幾種應該可以解決主要問題。

  而最最最大的問題還不是上述這些,而是有時候你想讓這些過濾頁面被爬行和收錄,這才是杯具的開始。以后再討論。

日韩在线观看成人| 国产精品视频看看| 中文字幕一区综合| 国产成人av一区二区三区| 国产日本欧美视频| 97人人模人人爽人人少妇| 99re国产| 水蜜桃亚洲一二三四在线| 最新av在线免费观看| 岛国大片在线播放| 婷婷免费在线观看| 欧美性猛交乱大交| 国产精品理论在线| 日韩一区二区视频在线| 一区二区三区免费在线| 国产精品毛片一区二区在线看舒淇 | 黑鬼大战白妞高潮喷白浆| 男女男精品视频站| 99久久人妻精品免费二区| 91狠狠综合久久久| 在线观看中文字幕码| 少妇又色又爽又黄的视频| 成人激情校园春色| 亚洲欧洲av在线| 色综合天天综合色综合av| 欧美日韩在线三区| 国产亚洲视频中文字幕视频| 久久久久久有精品国产| 91在线播放国产| 一本久道久久综合狠狠爱亚洲精品| 日韩国产欧美亚洲| 欧亚乱熟女一区二区在线| 国产亚洲第一页| 人妻一区二区三区四区| 国产成+人+日韩+欧美+亚洲| 亚洲乱码国产乱码精品精98午夜 | 中文字幕免费观看视频| 美女日韩在线中文字幕| 91亚洲资源网| 色婷婷综合久色| 在线视频亚洲欧美| 91九色在线免费视频| 蜜桃网站在线观看| 国产高清一区二区三区四区| 国产精品玖玖玖| 久久综合999| 欧美日韩视频一区二区| 久久免费视频观看| 伊人av成人| 瑟瑟视频在线观看| 精品久久在线观看| 国产精品女人毛片| 日韩成人久久久| 成人写真福利网| 日本成人在线免费视频| 欧美日韩免费一区二区| 日本不卡一二三区黄网| 亚洲一区中文在线| 久久亚洲影音av资源网| 日本一区高清不卡| 疯狂揉花蒂控制高潮h| 国产99视频在线| 亚洲欧美日韩小说| 亚洲欧美综合精品久久成人| 久久99久久精品国产| 国产成人精品一区二区三区在线观看| 无码人妻精品一区二区三区不卡 | 亚洲av无码一区二区三区观看| 日本欧美www| 久久精品男人的天堂| 亚洲激情视频网| 久久狠狠久久综合桃花| www男人天堂| 少妇av一区二区| 色综合久久88色综合天天6| 欧美激情一二三| 欧美黑人经典片免费观看| 精品一区免费观看| 久久精品一区二区三区不卡| 在线观看亚洲视频| 国产盗摄视频在线观看| 欧美日韩精品在线观看视频| 久久午夜羞羞影院免费观看| 中文字幕精品一区久久久久| 中文字幕乱码免费| 国产99久久久| 成人免费在线观看入口| 国模精品一区二区三区色天香| 亚洲av首页在线| 看片网址国产福利av中文字幕| 国产欧美一区二区精品性色 | 亚洲成人av福利| 51精品在线观看| 最新天堂在线视频| 亚洲 另类 春色 国产| 欧美午夜精品免费| 狠狠色狠狠色综合人人| 少妇高潮惨叫久久久久| 久久一二三国产| 欧美成人免费网| 男女视频一区二区三区| 天天躁日日躁狠狠躁喷水| 666欧美在线视频| 欧美福利精品| 中文字幕超碰在线| 亚洲高清视频的网址| 国产在线一区二区三区| av鲁丝一区鲁丝二区鲁丝三区| 激情文学综合丁香| 中文字幕亚洲天堂| 欧美精品无码一区二区三区| 久久久久久久高潮| 亚洲国产又黄又爽女人高潮的| 400部精品国偷自产在线观看| 中文字幕人妻色偷偷久久| 一本一道综合狠狠老| 看欧美日韩国产| 精品一区在线视频| 色综合久久66| 欧美一区国产一区| 中文字幕制服诱惑| 日韩三区在线观看| 男人添女人下部高潮视频在观看 | 日韩免费观看高清完整版在线观看| 欧美一区亚洲二区| 波多野结衣二区三区| 欧美在线观看视频在线| 亚洲亚洲精品三区日韩精品在线视频| 国产天堂第一区| 911国产精品| 黄色激情在线视频| 日韩在线观看一区二区| 在线不卡国产精品| 扒开伸进免费视频| 国产精品久久网站| 国产乱码精品一区二区三区日韩精品 | 欧美国产中文字幕| 大桥未久恸哭の女教师| 欧美国产激情二区三区| 国产在线视频欧美| 伊人手机在线视频| 日韩一区二区麻豆国产| 日韩亚洲在线视频| 99综合电影在线视频| 国产精品成人一区二区三区吃奶| 欧美一区二区三区爽爽爽| 色999日韩国产欧美一区二区| 性生活免费观看视频| 久久在线精品| 66m—66摸成人免费视频| 中文字幕免费高清| 午夜av电影一区| 精品少妇人妻av一区二区| 污污视频在线免费看| 欧美高清videos高潮hd| 成年人一级黄色片| 在线播放视频一区| 91香蕉视频导航| 国产欧美一区二区三区网站| 欧洲精品久久| 日韩精品亚洲一区二区三区免费| 97视频在线免费观看| 日韩av一二三区| 亚洲第一免费播放区| 97精品人妻一区二区三区蜜桃| 国产精品电影院| 日韩视频在线播放| 蜜臀久久99精品久久久画质超高清| 欧美自拍视频在线| 国产又粗又爽视频| 在线不卡国产精品| 国产精品免费人成网站酒店| 欧美大片国产精品| 毛茸茸多毛bbb毛多视频| 欧美主播一区二区三区| 91香蕉国产线在线观看| 欧美日韩激情美女| 不卡的在线视频| 亚洲一区二区三区四区中文字幕| 午夜免费福利小电影| 国产精品久久久99| av之家在线观看| 亚洲欧洲三级电影| 男女av免费观看| 亚洲男人天堂一区| 欧美黄色免费影院| 亚洲一二三四区| 亚洲狼人综合干| 精品成人久久av| 69久久精品无码一区二区| 欧美性高跟鞋xxxxhd| www.日本久久| 88在线观看91蜜桃国自产| 中文字幕无码人妻少妇免费| 欧美女孩性生活视频| 美女露出粉嫩尿囗让男人桶| 欧美日韩国产综合久久| 久久久久久久久久久久| 日韩高清有码在线| 香蕉视频一区二区| 久久久精品久久| 精人妻无码一区二区三区| 91精品成人久久| 丁香六月天婷婷| 高清不卡一区二区三区| 国产精品自产自拍| 中国一级黄色录像| 亚洲精品视频免费看| 天天干天天操天天玩| 欧美日韩在线一区二区| 午夜激情视频在线播放| 久久精视频免费在线久久完整在线看 | 不卡的av在线播放| 亚洲自拍偷拍一区二区三区| 亚洲视频一区在线观看| 日本55丰满熟妇厨房伦| 日韩精品一区二区三区在线观看 | 黄频视频在线观看| 中文字幕av一区 二区| 日本免费观看网站| 欧美日韩一区高清| 青娱乐国产在线| 国内揄拍国内精品少妇国语| 天天色棕合合合合合合合| 亚洲a∨一区二区三区| 亚洲精品欧美二区三区中文字幕| 黄色a级三级三级三级| 欧美tickling挠脚心丨vk| 日韩欧美一级视频| 国产欧美一区二区三区视频| 成人免费毛片a| 九九视频精品在线观看| 精品久久久网站| 波多野结衣高清在线| 国产日韩二区| 亚洲天堂免费在线观看视频| 日韩美女在线播放| 麻豆freexxxx性91精品| 7777免费精品视频| 麻豆精品新av中文字幕| 日本欧美黄色片| 欧美一级黄色录像| 国产99久久久久久免费看| 国产精品乱码一区二区三区| 最新中文字幕一区二区三区| 99久久人妻无码中文字幕系列| 超碰日本道色综合久久综合| 美女精品一区二区| 国产成人无码精品久久久性色| 制服丝袜国产精品| 一级做a爱片久久毛片| 日韩精品电影网站| 在线观看欧美精品| 免费污污视频在线观看| 欧美日韩综合久久| 色天使久久综合网天天| 国产在线拍揄自揄拍| 国产三区精品| 丰满岳妇乱一区二区三区| 国产精品免费av一区二区| 国产一区二区三区黄| 亚洲va天堂va国产va久| 九热这里只有精品| 国产乱码精品一区二区三区日韩精品| 亚洲午夜激情av| 精品视频一区二区在线观看| 麻豆91蜜桃| 欧美色视频一区| 国产精品成人久久久| 日本三日本三级少妇三级66| 亚洲精品电影网站| 日韩电影在线看| 7777精品伊人久久久大香线蕉经典版下载| 四虎精品永久在线| 成人午夜电影免费在线观看| 欧美高清一级片在线| 精品一区二区三区在线视频| 波多野结衣 在线| 97超碰人人看人人| 欧美成人三级电影在线| 久久久精品2019中文字幕之3| 理论片中文字幕| 日本激情综合网| 亚洲bt天天射| 欧美日韩激情视频8区| 久久夜色精品国产噜噜亚洲av| 韩国黄色一级大片| 日韩欧美精品在线| 91成品人影院| 熟妇无码乱子成人精品| 黄色99视频| 日本成熟性欧美| 精品人妻一区二区三区浪潮在线| 成年女人18级毛片毛片免费| 最近2019中文免费高清视频观看www99 | 成人免费精品动漫网站| 这里只有精品视频在线| 美女100%露胸无遮挡| 亚洲一区二区三区在线免费观看| 亚洲精品视频自拍| 免费观看成人毛片| 国内少妇毛片视频| 久久影院在线观看| 亚洲日本va在线观看| 中文字幕一区二区在线视频| 极品美女扒开粉嫩小泬| 欧美极品美女电影一区| 亚洲一区二区欧美| 亚洲高清视频在线播放| 九九九久久久久久久| 2014亚洲精品| 欧美一区二区三区在线电影| 国产电影精品久久禁18| 国产性生活大片| 国产毛片久久久久久国产毛片| 深夜福利亚洲导航| 亚洲一区在线视频观看| 丰满大乳国产精品| 青青草成人免费视频| 少妇特黄a一区二区三区| 久久久www成人免费精品张筱雨| 亚洲欧洲精品成人久久奇米网| 999久久久久久| 菠萝菠萝蜜网站| 日韩中文一区二区三区| 最近2019好看的中文字幕免费| 亚洲男人的天堂在线aⅴ视频| 亚洲精品国产精品乱码不卡| 加勒比一区二区| 日韩中文在线字幕| 奇米四色中文综合久久| 欧美一区二区成人6969| 国产日韩欧美a| 亚洲第一天堂在线观看| 国产偷人妻精品一区| 国产亚洲精品久久久久久久| 国产精品www网站| 亚洲国产欧美一区二区丝袜黑人 | 一级在线观看视频| 黄色片网址在线观看| 成人免费网站在线| 在线日韩中文字幕| 色婷婷久久综合| 99久久国产综合色|国产精品| 国产日本精品视频| 老司机深夜福利网站| 99re精彩视频| 伊人色综合久久天天五月婷| 国产精品福利观看| 亚洲午夜精品视频| 欧美探花视频资源| 中文字幕在线不卡视频| 久久精品国产**网站演员| 丰满熟女人妻一区二区三 | 欧美一区二区视频在线| 91大神福利视频在线| 亚洲欧美综合区自拍另类| 色综合一区二区三区| 国产日本欧美一区二区| 美女免费视频一区二区| 国产精品人人妻人人爽| 国产精品老熟女一区二区| 国产成人精品一区二区在线小狼| 美女黄色免费看| 欧美区高清在线| 国产日韩欧美91| www高清在线视频日韩欧美| 日韩欧美aaaaaa| 日本道在线观看一区二区| 国产精品乱码一区二区三区软件| 精品一区二区国语对白| 国模无码一区二区三区| 美女又爽又黄免费视频| 亚洲综合网在线| 亚洲黄色小说视频| 99免费观看视频| 午夜免费福利视频在线观看| 日韩伦理在线免费观看| 中文字幕免费高| 日本欧美色综合网站免费| 国产主播在线一区| 热久久美女精品天天吊色| 久久国产精品亚洲| 中文字幕精品在线视频| 亚洲精品久久久久国产| 欧美一区二区精品久久911| 一本色道a无线码一区v| 亚洲电影在线播放| 一区二区三区四区av| 国产精品国产三级国产aⅴ入口 | 亚洲аv电影天堂网| 色屁屁一区二区| 欧美日韩国产丝袜美女| 亚洲一区欧美一区| 一区二区三区中文字幕精品精品| 中文字幕高清一区| 国产精品美女久久久久久2018| 久久精品亚洲乱码伦伦中文| 国产亚洲欧美日韩在线一区| 久久影视一区二区| 26uuu亚洲| 久久久亚洲精品石原莉奈| 26uuu精品一区二区| 久久久亚洲高清| 国产精品夫妻自拍| 欧美激情一区三区| 亚洲青青青在线视频| 午夜精品免费在线| 色偷偷成人一区二区三区91| 欧美日韩亚洲高清一区二区|