百度官方建議網(wǎng)站合理使用返回碼
百度站長平臺(tái)發(fā)現(xiàn)有一些網(wǎng)站把未建好的頁面放到線上,并且這些頁面在被百度抓取的時(shí)候返回碼是404,于是頁面被百度抓取后,會(huì)被當(dāng)成死鏈直接刪除。但是這個(gè)頁面在第二天或者過幾天就會(huì)建好,并上線到網(wǎng)站內(nèi)展現(xiàn)出來,但是由于之前已經(jīng)被百度當(dāng)做死鏈刪除,所以要再次等這些鏈接被發(fā)現(xiàn),然后抓取,才能展現(xiàn),這樣的操作最終會(huì)導(dǎo)致一些頁面在一段時(shí)間內(nèi)不會(huì)在百度出現(xiàn)。
比如某個(gè)大型門戶網(wǎng)站爆出大量新聞時(shí)效性很強(qiáng)的專題未被百度及時(shí)收錄的問題,經(jīng)檢查驗(yàn)證后發(fā)現(xiàn)就是因?yàn)轫撁嫖唇ǔ删头胖迷诰€上,并返回404狀態(tài)碼,被百度當(dāng)成死鏈刪除,造成收錄和流量損失。
對(duì)于這樣的問題,百度官方建議網(wǎng)站合理使用返回碼,即使用503返回碼,這樣百度的抓取器接到503返回碼后,會(huì)在隔一段時(shí)間再去訪問這個(gè)地址,在您的頁面建好上線后,就又能被重新抓取,保證頁面及時(shí)被抓取和索引,避免未建好的內(nèi)容設(shè)為404后帶來不必要的收錄和流量損失。
以下詳細(xì)介紹幾種百度支持的常用返回碼:
1、404:404返回碼的含義是“NOT FOUND”,百度會(huì)認(rèn)為網(wǎng)頁已經(jīng)失效,那么通常會(huì)從搜索結(jié)果中刪除,并且短期內(nèi)spider再次發(fā)現(xiàn)這條url也不會(huì)抓取。
2、301:301返回碼的含義是“Moved Permanently”,百度會(huì)認(rèn)為網(wǎng)頁當(dāng)前跳轉(zhuǎn)至新url。當(dāng)遇到站點(diǎn)遷移,域名更換、站點(diǎn)改版的情況時(shí),推薦使用301返回碼,盡量減少改版帶來的流量損失。雖然百度spider現(xiàn)在對(duì)301跳轉(zhuǎn)的響應(yīng)周期較長,但我們還是推薦大家這么做。
網(wǎng)站改版詳細(xì)介紹請(qǐng)查看:http://zhanzhang.baidu.com/wiki/103 。
3、503:503返回碼的含義是“Service Unavailable”,百度會(huì)認(rèn)為該網(wǎng)頁臨時(shí)不可訪問,通常網(wǎng)站臨時(shí)關(guān)閉,帶寬有限等會(huì)產(chǎn)生這種情況。對(duì)于網(wǎng)頁返回503,百度spider不會(huì)把這條url直接刪除,短期內(nèi)會(huì)再訪問。屆時(shí)如果網(wǎng)頁已恢復(fù),則正常抓??;如果繼續(xù)返回503,短期內(nèi)還會(huì)反復(fù)訪問幾次。但是如果網(wǎng)頁長期返回503,那么這個(gè)url仍會(huì)被百度認(rèn)為是失效鏈接,從搜索結(jié)果中刪除。