超碰中文字幕在线_女人18毛片水真多18精品_色综合久久六月婷婷中文字幕_免费的av网站_国产视频久久久_精品久久久久久久久久久久久久久 _欧美最猛性xxxxx亚洲精品_欧美人妻一区二区_欧美美女激情18p_一区二区三区视频在线播放_欧美a视频在线观看_一区免费观看视频

    在第四次深"度"接觸結(jié)束后,spider工程師表示新浪的死鏈處理工作一直效果不錯,提醒學(xué)院應(yīng)該請其做個分享.新浪穩(wěn)座國家級門戶頭把交椅,誰還敢說自己網(wǎng)站結(jié)構(gòu)的復(fù)雜程度可以超越新浪.于是我們請王久明分享一下新浪在死鏈處理和死鏈預(yù)防(重要頁面因修改而產(chǎn)生死鏈)方面的經(jīng)驗.

    一、在以下背景下會較多產(chǎn)生死鏈:

    1、時政新聞的敏感性;

    2、來自監(jiān)管的刪除需求;

    3、頻道(編輯)自身刪改的需求;

    4、搜索方期望資源方主動優(yōu)化和定期清除的需求

    二、死鏈分類:

    由于系統(tǒng)架構(gòu)、歷史遺留問題、多業(yè)務(wù)系統(tǒng)交叉影響等多方面因素,新浪存在如下三種死鏈:

    1、協(xié)議死鏈,服務(wù)器端返回HTTP狀態(tài)碼404;

    例如:'誰在偽善'

    http://news.sina.com.cn/movie/music/1999-06-15/2965.shtml

    clip_image002.jpg

    2,內(nèi)容死鏈,服務(wù)器端返回HTTP狀態(tài)碼200,無法設(shè)置為404;

    例如:http://news.sina.com.cn/c/2015-04-23/184531753084.shtml

    clip_image002.jpg

    3,頁面需要用戶和蜘蛛可以正常訪問,但由于刪改或誤操作導(dǎo)致反復(fù)上下線形成協(xié)議死鏈或內(nèi)容死鏈.例如:http://news.sina.com.cn/2015-12-05/doc-ifxmhqaa9933763.shtml

    上線后又下線,后又上線,甚至反復(fù)多次.由于下線期間存在協(xié)議死鏈或內(nèi)容死鏈的情況,導(dǎo)致百度認為該頁面應(yīng)該被刪除,不被收錄,且即使后續(xù)重新上線也無法恢復(fù)收錄.對于這種情況,應(yīng)加以預(yù)防.

    clip_image002.jpg

    三、解決方案:

    1、協(xié)議死鏈,這個最符合HTML標準處理方式,站點方面無須多做什么,如果需要百度快速處理可以通過百度站長平臺的死鏈提交工具(http://zhanzhang.baidu.com/college/courseinfo?id=267&page=4#h2_article_title18)進行主動提交

    2,無法設(shè)置協(xié)議死鏈接,僅主體內(nèi)容文本被刪除的內(nèi)容死鏈死鏈,新浪的處理方法是:

    1)走事先之制定好的《死鏈標準流程》:用站內(nèi)標準內(nèi)容死鏈模板頁面(告訴用戶該頁無法找到)覆蓋需要刪除的頁面,5秒后跳轉(zhuǎn)到統(tǒng)一的全站導(dǎo)航頁,以減少用戶流失.

    2)根據(jù)需要,比如根據(jù)特定關(guān)鍵詞圈定一批最終需要處理為協(xié)議死鏈的敏感頁面,將這些頁面鏈接放到一個文件里,由專人在服務(wù)器端修改成協(xié)議死鏈.通過百度站長平臺工具進行死鏈提交

    3,針對反復(fù)上下線導(dǎo)致百度誤判為死鏈的情況,新浪的預(yù)防辦法是:

    1)制度上:系統(tǒng)后臺設(shè)置提醒,提醒編輯上線后除非特殊情況不要下線;

    2)功能上:這種情況在專題運營中最常見,且影響比單篇新聞頁要大,由于我站點運營規(guī)定是不能刪除頁面的,因此在系統(tǒng)后臺將"刪除專題(對編輯來說就是刪除該專題)"和"將專題調(diào)整為不對外顯示(對編輯來說不是刪除,而是暫時下線,調(diào)整為外網(wǎng)用戶無法訪問,可隨時再次重新上線)"兩個功能嚴格區(qū)分開,并提供回收功能.針對"將專題調(diào)整為不對外顯示"這種情況,不再將頁面更新為內(nèi)容死鏈(頁面無法找到),以免被百度誤判.專題頁面仍可訪問,只是站點不設(shè)置入口、不進行推廣,用戶沒有訪問來源而已.