大量重復URL被百度索引收錄的解決方法
分享
評論
贊0
最近，很多SEO有這樣的疑惑：索引量工具顯示索引量數值很高，但流量總也上不去，也沒有發現我們站內有低質內容，百度這是要鬧哪樣呀？對此，馬海祥找到了導致索引量高流量低的一個原因，并給出的解決方法。
首先聲明，我們只談論有檢索意義的URL，也就是用戶會從搜索引擎查找的頁面，其他頁面按照常用的方法做屏蔽就好了，鑒于很多站長都愛討論整體的收錄量，我必須潑一下冷水，也許你的有效收錄是1/10。
1、URL參數
URL參數也叫URL query，是一個最復雜，最容易被忽視，最容易被妥協的問題，他是網站運營中必不可少的元素，如果簡單的去除，其他部門就無法工作了，靜態化是的話題，URL參數經常被用于以下幾方面：
同一個實體的不同狀態展示，比如同一個酒店，在不同時間點會有不同的房間庫存，例如：首頁網址/hotel/123/?checkindate=2015-06-09&checkoutdate=2015-06-10
為了統計不同渠道的流量，例如：首頁網址/?tracking=website_a
為了統計不同渠道，具體模塊的點擊量，例如：首頁網址/?tracking=website_a&click_spot=zone_abc
調試，例如：首頁網址/product/item123/?debug=true
全世界最奇葩的是亞馬遜，居然把統計參數放到了路徑中首頁網址/abc/dp/B005TZHJEQ/ref=lp_2130608051_1_1
出現這種問題的壞處有幾點：
（1）、浪費搜索引擎對你網站的各項配額，從而影響其他正常的頁面。
（2）、丟失很多本應拿到的鏈接加分，站外渠道的鏈接往往是最優質的，同一個URL的分值可能分散成幾十份。
（3）、SEO的流量被統計到別的渠道(因為tracking字段寫的是別的渠道，而且被收錄被點擊)。
（4）、往往形成一種局面，產品用一套URL，SEO用另一套URL，甚至不同渠道用不同的URL，后期開發和維護的成本極高。
為了解決這個問題，首先要弄清URL的定義，以馬海祥的理解，每一個URL是一個靜態的、獨立不重復的、有意義的實體，一般也有檢索意義(就是有人會搜)，比如一個人、一輛車、一條道路、一個零件，而不能混入各種“狀態”，比如這個人生病的時候，難道就不是他自己了么？一件商品在促銷的狀態難道是另一件商品了么？
理論上canonical標簽就可以解決這個問題了，但是從實際測試結果看，百度對這個標簽的支持優先級非常低，幾乎可以忽略不計，因此，馬海祥博客建議的解決方案是這樣的：
（1）、建立好網站的思維導圖和元信息。
（2）、所有和SEO元信息相關的參數都放到路徑中去。
（3）、所有和SEO元信息不相干的參數都放到#后邊，因為#后邊不影響web服務器返回的內容，簡單的說就是用"#"替代"?"。
（4）、每個頁面中都利用js獲取#后邊的參數對，通過二次請求發回給統計服務器。
（5）、如果#后邊的參數影響頁面內容，比如酒店的入住日期，那么這部分內容用ajax加載就行，他是不穩定的，不屬于頁面內容的一部分。(當然還有變通的辦法，暫不贅述)
（6）、原始的#錨點定義肯定會沖突，定義一個#后邊的變量，并用js控制屏幕滾動，來保證原始錨點的作用。
有人可能會想到，根據ua判斷，如果是搜索引擎爬蟲，就用跳轉的方式去掉URL參數，但在馬海祥看來，效率最高的方法必然是從一開始就不展示錯誤URL，那么前面的例子優化后就變成了：
同一個實體的不同狀態展示，比如同一個酒店，在不同時間點會有不同的房間庫存，例如：首頁網址/hotel/123/#checkindate=2015-06-09&checkoutdate=2015-06-10
為了統計不同渠道的流量，例如：首頁網址/#tracking=website_a
為了統計不同渠道，具體模塊的點擊量，例如：首頁網址/#tracking=website_a&click_spot=zone_abc
調試，例如：首頁網址/product/item123/#debug=true
其實很多網站早就使用這種方式了，但是還有很多網站由于開發效率無法及時實現，所以，對于一般的小網站，一定要考慮開發成本，不要輕易冒進，只要能避免問題的發生，變通的方法是很多的。
2、路徑中使用非必要元素
很多網站仿照亞馬遜的做法，把商品名體現在URL中，然后再通過id來決定頁面展示的內容，例如：首頁網址/博集典藏館043?基督山伯爵-亞歷山大?仲馬/dp/B005TZHJEQ/
這樣雖然可以提高一些相關性，但是很危險，在長期甚至短期的時間內，大量商品的名稱是非?？赡苡凶兓?，那么URL也就跟著變化，成本也是非常高的，因為加大了技術實現難度，不管從站內還是站外，每次增加鏈接都是一個很麻煩的事情。
我曾接手一個網站，URL被全部改成了這樣：首頁網址/Shangrila_International_Hotel-12345678-hotel/，對我早期的工作造成了非常巨大的負擔。
通過日志分析發現基本所有的百度蜘蛛發起的請求都被301跳轉了一次，細致調查后發現，從SEO拼接規則到后臺的漢字和翻譯數據被一直修改，也就是說，這個URL相關的元素有：
（1）、中文(非必要元素)
（2）、由中文翻譯的英文(非必要元素）
（3）、id(必要元素)
而當時負責SEO的同事把英文和id拼接在了URL中，那么這樣一個URL先后變成過：
首頁網址/Shangrila_International_Hotel-12345678-hotel/
首頁網址/Xianggelila_International_Hotel-12345678-hotel/
首頁網址/XiangGeLiLa_International_Hotel-12345678-hotel/
首頁網址/Shangrila_guoji_Hotel-12345678-hotel/
跟“相關性”比，URL的唯一性和穩定性更重要，所以，針對這個問題，URL的最佳策略應該是：首頁網址/hotel/12345678/
如果這個id是隸屬于一個分類下的，比如城市，那么就可以是：首頁網址/hotel/beijing/123/
從技術角度說，id一般是數據庫的primary key，可以是數字也可以是字符串，那么這個時候URL是一維的；id也可以是聯合的唯一索引，那么URL就是二維的，就像上面的(bejing，123)缺一不可，電商類網站列表頁經常用到三維以上。
3、URL中的字母建議全部小寫
如果網站的技術架構用的是開源系統，一般是不會有這個問題的，如果使用了微軟的技術架構，這個問題非常常見：
首頁網址/newyork/
首頁網址/Newyork/
首頁網址/NewYork/
我的建議是統一使用小寫，大寫自動跳轉為小寫(小心301死循環)。
URL中字母全部小寫主要有兩個好處：
（1）、全部使用小寫方便用戶輸入，不會因為大小寫混搭導致用戶輸寫錯誤。
（2）、當我們寫robots文件代碼時，其也是區分大小寫的，往往一個字母之差可能就導致整個目錄不能被搜索引擎收錄。
4、目錄的規范
很多網站同時存在這樣的URL，無形中把收錄量擴大了一倍：
首頁網址/product/123
首頁網址/product/123/
上邊第一個路徑的意思是在product目錄下有一個123文件，第二個路徑的意思是在product目錄下有一個123目錄，這個目錄下可能有很多文件，但是他代表眾多文件中的index.html或index.php或default.aspx等優先級最高的那個文件，為了避免歧義，我定義文件都是用".html"結尾的。
為了減少重復收錄，那么按我的習慣是：
首頁網址/product/123 => 首頁網址/product/123/
首頁網址/product/123 => 首頁網址/product/123.html
簡單的來說，就是以下幾點：
（1）、所有部門統一使用SEO定義的URL，屏蔽非SEO優化URL的入口。
（2）、用“#”替代“?”。
（3）、統一使用小寫。
（4）、保證目錄的規范，把不規范的URL跳轉到規范的URL。
5、URL盡量使用靜態化處理
現在的網站絕大多數是使用數據庫進行驅動的，頁面是由程序實時生成，而不是真的在服務器上有一個靜態HTML文件存在，當用戶訪問一個網址時，程序根據URL中的參數調用數據庫數據，實時生成頁面內容，因此，動態頁面相對應的URL原始狀態也是動態的，其中包含了問號、等號及參數，這就造成了搜索引擎收錄困難，所以，如果沒有什么特殊原因的話，盡量對URL做靜態化處理。
6、URL層級不要超過三層
當然，這里說的URL層級不超過三層說的是那些中小型網站，如果你的網站是大型網站那就不在這個控制范圍內了，因為搜索引擎把一些大型網站的頻道頁也當成一個單獨的種子站點來處理了，搜索引擎就會在這個頻道頁再深度爬取三層，也就是說，一些大型網站的頻道頁就相當于我們一個個人網站了。
7、URL盡量越短越好
這個主要是站在用戶的角度考慮了，因為URL越短，代表用戶就越方便記憶，用戶看起來也沒有那么費事，相對于搜索引擎來說，只要我們控制好URL長度不超過1000字母，那搜索引擎收錄起來是完全沒有問題的。
猜你喜歡
評論(0人參與，0條評論)
發布評論
最新評論