與Googbot的第一次約會：標(biāo)頭和壓縮
編輯
分享
評論
贊3
本文翻譯自：First date with the Googlebot: Headers and compression
谷歌機(jī)器人 -- 多么神奇的夢幻之舟！他了解我們的靈魂和各個(gè)組成部分。或許他并不尋求什么獨(dú)一無二的東西；他閱覽過其它數(shù)十億個(gè)網(wǎng)站（雖然我們也與其他搜索引擎機(jī)器人分享自己的數(shù)據(jù):)），但是就在今晚，作為網(wǎng)站和谷歌機(jī)器人，我們將真正地了解對方。
我知道第一次約會的時(shí)候，過分地分析從來就不是什么好主意。我們將通過一系列的文章，一點(diǎn)點(diǎn)地了解谷歌機(jī)器人：
我們的第一次約會（就在今晚）：谷歌機(jī)器人發(fā)出的數(shù)據(jù)標(biāo)頭和他所留意到的文件格式是否適于被進(jìn)行壓縮處理；
判斷他的反應(yīng)：響應(yīng)代碼（301s、302s），他如何處理重定向和If-Modified-Since；
下一步：隨著鏈接，讓他爬行得更快或者更慢（這樣他就不會興奮地過了頭）。
今晚只是我們的第一次約會……
***************
谷歌機(jī)器人： 命令正確應(yīng)答
網(wǎng)站： 谷歌機(jī)器人，你來了！
谷歌機(jī)器人：是的，我來了！
GET / HTTP/1.1
Host: example.com
Connection: Keep-alive
Accept: */*
From: googlebot(at)googlebot.com
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Accept-Encoding: gzip,deflate
網(wǎng)站： 這些標(biāo)頭太炫了！無論我的網(wǎng)站在美國、亞洲還是歐洲，你都用同樣的標(biāo)頭爬行嗎？你曾經(jīng)用過其他標(biāo)頭嗎？
谷歌機(jī)器人： 一般而言，我在全球各地所用的標(biāo)頭都保持一致。我試圖從一個(gè)網(wǎng)站默認(rèn)的語言和設(shè)定出發(fā)，搞清楚一個(gè)網(wǎng)頁究竟長得什么樣。有時(shí)候人們的用戶代理各不相同，例如Adsense讀取使用的是“Mediapartners-Google”:
User-Agent: Mediapartners-Google
或者對于圖像搜索：
User-Agent: Googlebot-Image/1.0
無線讀取的用戶代理因運(yùn)營商而異，而谷歌閱讀器RSS讀取則包含了訂閱者數(shù)量等額外信息。
我通常會避免Cookies（因此不存在所謂“Cookie:”標(biāo)頭），因?yàn)槲也⒉幌Ｍc具體對話有關(guān)的信息對內(nèi)容產(chǎn)生太大的影響。此外，如果某個(gè)服務(wù)器在動態(tài)URL而不是Cookies上使用對話ID，通常我都能識別出來，這樣就不用因?yàn)槊看螌υ扞D的不同而成千上萬遍地重復(fù)爬行同一個(gè)網(wǎng)頁。
網(wǎng)站：我的結(jié)構(gòu)非常復(fù)雜。我是用許多類型的文件。你的標(biāo)頭說：“Accept：*/*”。你會對所有的URL進(jìn)行收錄，還是自動過濾某些文件擴(kuò)展名？
谷歌機(jī)器人：這要取決于我想找什么。
如果我只是對常規(guī)的Web搜索進(jìn)行檢索，當(dāng)我看到指向MP3和視頻內(nèi)容的鏈接，我可能不會下載這些東西。類似地，如果我看到了一個(gè)JPG文件，處理方法自然 就與HTML或者PDF鏈接有所區(qū)別。例如JPG 的變動頻率往往比HTML低很多，所以我不太經(jīng)常檢查JPG的變動，以節(jié)約帶寬。同時(shí)，如果我為谷歌學(xué)術(shù)搜索尋找鏈接，那么我對PDF文章的興趣就會遠(yuǎn)遠(yuǎn)高于對JPG文件的興趣。對于學(xué)者而言，下載涂鴉繪畫（例如JPG），或者是關(guān)于小狗玩滑板的視頻，是容易讓他們分散注意力的，你說對嗎？
網(wǎng)站：沒錯，他們可能會覺得被打擾到了。你的敬業(yè)精神令我佩服得五體投地。我自己就喜歡涂鴉繪畫（JPG），很難抗拒它們的誘惑力。
谷歌機(jī)器人：我也一樣。實(shí)際上我并不是一直都在做學(xué)問。如果我為搜索圖像而爬行，就會對JPG非常感興趣，碰到新聞，我會花大力氣考察HTML和它們附近的圖像。
還有很多擴(kuò)展名，例如exe、dll、zip、dmg等，它們對于搜索引擎而言，既數(shù)量龐大，又沒有多大用處。
網(wǎng)站：如果你看到我的URL“http://www.example.com/page1.LOL111”,（嗚噎著說）你會不會只是因?yàn)槔锩姘粗奈募U(kuò)展名就把它拒之門外呢？
谷歌機(jī)器人： 網(wǎng)站老兄，讓我給你講點(diǎn)背景知識吧。一個(gè)文件真正下載完成后，我會使用“內(nèi)容—類別”（Content-Type）標(biāo)頭來檢查它屬于HTML、圖像、文本還是別的什么東西。如果它是PDF、Word文檔或Excel工作表等特殊的數(shù)據(jù)類型，我會確認(rèn)它的格式是否合法有效，并從中抽取文本內(nèi)容。但是你永遠(yuǎn)也不能確定里面是否含有病毒。但是如果文檔或數(shù)據(jù)類型混亂不清，我除了把它們?nèi)拥糁猓矝]有什么更好的辦法。
所以，如果我爬行你的“http://www.example.com/page1.LOL111”URL并發(fā)現(xiàn)未知文件擴(kuò)展名時(shí)，我可能會首先把它下載。 如果我從標(biāo)頭中無法弄清內(nèi)容類型，或者它屬于我們拒絕檢索的文件格式（例如MP3），那么只能把它放在一邊了。除此之外，我們會接著對文件進(jìn)行爬行。
網(wǎng)站：谷歌機(jī)器人，我很抱歉對你的工作風(fēng)格“雞蛋里挑骨頭”，但我注意到你的“Accept-Encoding”標(biāo)頭這樣說：
Accept-Encoding: gzip,deflate
你能跟我說說這些標(biāo)頭是怎么回事嗎？
谷歌機(jī)器人：當(dāng)然。所有的主流搜索引擎和WEB瀏覽器都支持對內(nèi)容進(jìn)行g(shù)zip壓縮，以節(jié)約帶寬。你或許還會碰到其它的一些類型，例如“x-gzip”（與“gzip”相同），“deflate”（我們也支持它）和“identity”（不支持）。
網(wǎng)站：你能更詳細(xì)地說說文件壓縮和“Accept-Encoding: gzip,deflate”嗎？我的許多URL都包含尺寸很大的Flash文件和美妙的圖像，不僅僅是HTML。如果我把一個(gè)比較大的文件加以壓縮，會不會有助于你更迅速地爬行呢？
谷歌機(jī)器人：對于這個(gè)問題，并沒有一個(gè)簡單的答案。首先，swf（Flash）、jpg、png、gif和pdf等文件格式本身已經(jīng)是壓縮過的了（而且還有專門的Flash 優(yōu)化器）。
網(wǎng)站：或許我已經(jīng)把自己的Flash文件進(jìn)行了壓縮，自己還不知道。很顯然，我的效率很高嘍。
谷歌機(jī)器人：Apache和IIS都提供了選項(xiàng)，允許進(jìn)行g(shù)zip和deflate壓縮，當(dāng)然，節(jié)省帶寬的代價(jià)是對CPU資源的更多消耗。一般情況下，這項(xiàng)功能只適用于比較容易壓縮的文件，例如文本HTML/CSS/PHP內(nèi)容等。而且，只有在用戶的瀏覽器或者我（搜索引擎機(jī)器人）允許的情況下才可以使用。 就我個(gè)人而言，更傾向于“gzip”而不是“deflate”。Gzip的編碼過程相對可靠一些，因?yàn)樗粩嗟剡M(jìn)行加和檢查，并且保持完整的標(biāo)頭，不像 “deflate”那樣需要我在工作中不斷推測。除此之外，這兩種程序的壓縮算法語言都很相似。
如果你的服務(wù)器上有閑置的CPU資源，可以嘗試進(jìn)行壓縮（鏈接：Apache, IIS）。但是，如果你提供的是動態(tài)內(nèi)容，而且服務(wù)器的CPU已經(jīng)處于滿負(fù)荷狀態(tài)，我建議你還是不要這樣做。
網(wǎng)站：很長見識。我很高興今晚你能來看我。感謝老天爺，我的robots.txt文件允許你能來。這個(gè)文件有時(shí)候就像對自己的子女過分保護(hù)的父母。
谷歌機(jī)器人：說到這里，該見見父母大人了——它就是robots.txt。我曾經(jīng)見過不少發(fā)瘋的“父母”。其中有些實(shí)際上只是HTML錯誤信息網(wǎng)頁，而不是有效的robots.txt。有些文件里充滿了無窮無盡的重定向，而且可能指向完全不相關(guān)的站點(diǎn)。另外一些體積龐大，含有成千上萬條單獨(dú)成行、各不相同的 URL。下面就是其中的一種有副作用的文件模式，在通常情況下，這個(gè)站點(diǎn)是希望我去爬行它的內(nèi)容的：
User-Agent: *
Allow: /
然而，在某個(gè)用戶流量的高峰時(shí)段，這個(gè)站點(diǎn)轉(zhuǎn)而將它的robots.txt切換到限制性極強(qiáng)的機(jī)制上：
# Can you go away for a while? I'll let you back
# again in the future. Really, I promise!
User-Agent: *
Disallow: /
上述robots.txt文件切換的問題在于，一旦我看到這種限制性很強(qiáng)的robots.txt，有可能使我不得不把索引中已經(jīng)爬行的該網(wǎng)站內(nèi)容舍棄掉。當(dāng)我再次被批準(zhǔn)進(jìn)入這個(gè)站點(diǎn)的時(shí)候，我不得不將原先的許多內(nèi)容重新爬行一遍，至少會暫時(shí)出現(xiàn)503錯誤相應(yīng)代碼。
一 般來說，我每天只能重新檢查一次robots.txt（否則，在許多虛擬主機(jī)站點(diǎn)上，我會將一大部分時(shí)間花在讀取robots.txt文件上，要知道沒有 多少約會對象喜歡如此頻繁地拜見對方父母的）。站長們通過robots.txt 切換的方式來控制爬行頻率是有副作用的，更好的辦法是用網(wǎng)站管理員工具將爬行頻率調(diào)至“較低”即可。
谷歌機(jī)器人： 網(wǎng)站老兄，謝謝你提出的這些問題，你一直做得很不錯，但我現(xiàn)在不得不說“再見，我的愛人”了。
網(wǎng)站：哦，谷歌機(jī)器人…（結(jié)束應(yīng)答):)
猜你喜歡