里約奧運(yùn)會(huì)結(jié)束了，資訊站點(diǎn)的小編們終于可以松口氣了，可有些SEOer卻高興不起來(lái)：編輯辛苦搶先制作的原創(chuàng)稿件，百度卻不!收!錄！奧運(yùn)會(huì)期間接到了四五起這樣的反饋，經(jīng)追查，原來(lái)是站點(diǎn)的搶發(fā)行為不夠友好，導(dǎo)致spider抓取失敗。結(jié)論：

　　1，頁(yè)面制作完成后再放到spider可以發(fā)現(xiàn)的地方，這樣才能達(dá)到最好的抓取效果。

　　2，頁(yè)面未對(duì)外公開(kāi)之前，千萬(wàn)不要通過(guò)工具推送給百度呀。

　　接到站長(zhǎng)反饋后，聯(lián)系了spider工程師，工程師在后臺(tái)查詢了這些未收錄的鏈接，發(fā)現(xiàn)均顯示為“死鏈”，然而這些所謂的死鏈現(xiàn)在訪問(wèn)都是好好的。根據(jù)后臺(tái)顯示的抓取時(shí)間，反復(fù)和站點(diǎn)進(jìn)行溝通，終于找到了根源：原來(lái)，站點(diǎn)為了搶新聞，提前制作了新聞稿并制作成鏈接并且發(fā)布，雖然沒(méi)有在首頁(yè)等重要頁(yè)面推送給用戶，但卻被BaiduSpider發(fā)現(xiàn)，更重要的是，這些鏈接向BaiduSpider返回的狀態(tài)碼是404。

　　舉個(gè)例子，中國(guó)女排進(jìn)入決賽后，某網(wǎng)站做了A和B兩個(gè)頁(yè)面，分別為奪冠和摘銀，為了防止用戶在比賽結(jié)束之前閱讀到頁(yè)面內(nèi)容，站點(diǎn)將兩個(gè)鏈接都設(shè)置為404!404!(等到比賽結(jié)束后，再將其中一個(gè)頁(yè)面的html返回碼改為200)。雖然頁(yè)面并沒(méi)有向用戶推送，但還是被聰明的BaiduSpider發(fā)現(xiàn)。然而這里的問(wèn)題是，BaiduSpider發(fā)現(xiàn)頁(yè)面是404，又無(wú)法判斷出這是一個(gè)重要頁(yè)面，于是直接打入冷宮不再理睬。

　　所以，小編反復(fù)強(qiáng)調(diào)，確認(rèn)頁(yè)面真的不需要被搜索引擎保留時(shí)可以使用404(臨時(shí)閉站可使用百度站長(zhǎng)平臺(tái)的閉站保護(hù)工具)，如果還希望和搜索引擎保持友好關(guān)系的話，請(qǐng)使用503，防止頁(yè)面被刪除。雖然Baidu有對(duì)高價(jià)值內(nèi)容的“刪除保護(hù)”功能，但畢竟不是每個(gè)站點(diǎn)都可以享受到這個(gè)特權(quán)的。