肆合互動(dòng),團(tuán)隊(duì)始于2008,為您提供可信任的一站式網(wǎng)站制作和網(wǎng)絡(luò)推廣優(yōu)化服務(wù)!
028-85756675
網(wǎng)站地圖

新聞資訊

為您提供網(wǎng)站建設(shè)資訊、網(wǎng)站優(yōu)化知識(shí)、主機(jī)域名郵箱、
關(guān)鍵詞排名、網(wǎng)站開發(fā)常見問(wèn)題等。

百度抓取失敗案例分析

發(fā)表日期:2017/04/23 來(lái)源:肆合互動(dòng) 咨詢電話:028-85756675

  www.w333.com該網(wǎng)站的快照收錄一直存在問(wèn)題,收錄頁(yè)面持續(xù)減少,而且還會(huì)出現(xiàn)一些泛解析域名存在,目前泛解析快照已經(jīng)刪除,經(jīng)過(guò)和客戶溝通,該網(wǎng)站曾經(jīng)被使用過(guò)泛解析,那么現(xiàn)在不使用泛解析了,怎么還會(huì)出現(xiàn)泛解析的快照呢?由于百度收錄的快照存在回檔現(xiàn)象,往往造成快照回檔的原因是該網(wǎng)站觸動(dòng)了百度某些機(jī)制,成都seo發(fā)現(xiàn)百度搜索引擎最忌誰(shuí)的10條規(guī)則

  1、網(wǎng)站空間不穩(wěn)定、網(wǎng)站經(jīng)常無(wú)法訪問(wèn)、網(wǎng)站運(yùn)行很慢的,搜索引擎不愿意關(guān)注和抓取快照,因?yàn)闀?huì)導(dǎo)致快照更新不及時(shí)!一定要保證網(wǎng)站能正常打開、空間穩(wěn)定是優(yōu)化的基礎(chǔ);

  2、網(wǎng)站被百度收錄后更改網(wǎng)站標(biāo)題、網(wǎng)站描述、網(wǎng)站關(guān)鍵字導(dǎo)致實(shí)際頁(yè)面的TDK和百度收錄頁(yè)面的TDK標(biāo)簽不一致,從而產(chǎn)生快照異常的站!關(guān)鍵詞排名99%的會(huì)消失、快照回檔、收錄減少、快照評(píng)級(jí)降低等現(xiàn)象

  3、關(guān)鍵詞堆砌的網(wǎng)站,搜索引擎對(duì)其不友好,標(biāo)題、描述、關(guān)鍵詞一定要圍繞網(wǎng)站主題和網(wǎng)站內(nèi)容友好的表述,生硬堆砌關(guān)鍵詞的網(wǎng)站不被百度喜歡!

  4、優(yōu)化的關(guān)鍵詞必須要和網(wǎng)站主題內(nèi)容相符(如果不符合相關(guān)性即便優(yōu)化上去也會(huì)很快掉下來(lái))

  5、切忌不要將多個(gè)域名綁定到同一個(gè)網(wǎng)站,不要將多個(gè)URL重復(fù)指向同一個(gè)內(nèi)容頁(yè),更不要克隆網(wǎng)站使用收錄過(guò)的內(nèi)容,克隆是最忌諱的。百度容易判斷這種行為為作弊行為;

  6、切記不可和其它刷量軟件一起使用,容易出問(wèn)題(流量軟件本身使用的是虛擬IP或代理IP等,并非真實(shí)IP)

  7、切記不要購(gòu)買外鏈、購(gòu)買友鏈,目前百度已經(jīng)推出相應(yīng)的算法,可判斷是否購(gòu)買的外鏈和友鏈,一旦認(rèn)定后網(wǎng)站將萬(wàn)劫不復(fù);

  8、原創(chuàng)內(nèi)容、高質(zhì)量外鏈、高質(zhì)量友鏈交換是關(guān)鍵詞排名出現(xiàn)的前提。所以不要內(nèi)容采集、大量copy內(nèi)容、還有所謂的偽原創(chuàng)軟件生成的內(nèi)容;內(nèi)容一定要具備結(jié)構(gòu)清晰、可讀性強(qiáng);

  9、泛域名站群或IP+端口的泛站群網(wǎng)站不被百度喜歡,2013年4月之前,泛站群在百度排名里效果非常好,是因?yàn)榘俣扔幸粋€(gè)排名漏洞,如今百度已經(jīng)修補(bǔ)了漏洞,建議大家不要再做泛站群優(yōu)化了!百度搜索結(jié)果霸屏?xí)r代已經(jīng)終結(jié)了;

  10、違反國(guó)家政策、欺詐、釣魚等網(wǎng)站不被百度喜歡。目前百度已成立百度聯(lián)盟,針對(duì)違反國(guó)家政策、賭博、槍支彈藥、淫穢色情、釣魚網(wǎng)站進(jìn)行大力度屏蔽和調(diào)整!那么學(xué)習(xí)SEO最重要的是:科學(xué)的操作方法,以搜索引擎和用戶體驗(yàn)為基礎(chǔ),遵從自然操作,不要欺騙搜索引擎和來(lái)訪用戶,只要大家堅(jiān)持不懈3月內(nèi)就可以成為一個(gè)真正的seoER了。

  后續(xù)我們會(huì)結(jié)合實(shí)際操作與案例分析進(jìn)行技巧層面的提升,希望大家用實(shí)踐去立理解SEO的真諦,云優(yōu)化:讓營(yíng)銷更精準(zhǔn)有效...百度針對(duì)w333.com抓取頻率在下降,是什么原因?qū)е碌淖ト☆l率持續(xù)下降呢?

  其實(shí)原因很簡(jiǎn)單,因?yàn)榘俣茸ト≡摼W(wǎng)站時(shí)持續(xù)獲取失敗,頻繁抓取失敗導(dǎo)致百度蜘蛛逐漸將抓取的頻率降低,如果該問(wèn)題不解決,會(huì)影響該網(wǎng)站的評(píng)級(jí)。

  為了能能徹底解決收錄和更新不正常問(wèn)題,我們對(duì)該域名DNS進(jìn)行了檢查與修改,首先查看域名狀態(tài):首先發(fā)主域名www使用了cname進(jìn)行的解析,5298.xxaacc.com 我們第一步想到的是將cname解析換成A記錄解析,為什么這操作呢?首先根據(jù)百度官方解析,網(wǎng)站抓取失敗有可能是服務(wù)器環(huán)境配置禁止了百度抓取,也有可能cname做了相應(yīng)設(shè)置,為了減少服務(wù)器壓力,由于我們無(wú)法更改服務(wù)器環(huán)境,我們有限更改為A記錄,然后進(jìn)行觀察和分析。修改后的A記錄為修改后我們?cè)賹?duì)網(wǎng)站進(jìn)行了一些對(duì)應(yīng)調(diào)整,讓后我們待百度抓取時(shí)觀察一下抓取日志分析我們從排名數(shù)量及變化也能看到:網(wǎng)站的排名逐漸下降

  我們給網(wǎng)站做一個(gè)sitemap.xml地圖提交到百度站長(zhǎng)工具,進(jìn)行手動(dòng)更新我們看一下百度抓取的錯(cuò)誤提示:如下圖我們?cè)贆z查一下該網(wǎng)站的IP經(jīng)過(guò)對(duì)比發(fā)現(xiàn)百度抓取到的IP地址和網(wǎng)站實(shí)際的IP的不符,我們直接在抓取診斷-錯(cuò)誤說(shuō)明里-提交給百度

  經(jīng)過(guò)以上改進(jìn),目前百度抓取已經(jīng)恢復(fù)正常,后續(xù)就要看百度快照更新的狀況了

  以下是百度官方給出的抓取失敗的原因:

  【url規(guī)范】

  百度支持抓取的url長(zhǎng)度不超過(guò)1024,如果您的鏈接長(zhǎng)度過(guò)長(zhǎng),請(qǐng)?jiān)诒WC正常訪問(wèn)的情況下,適當(dāng)精簡(jiǎn),保證鏈接能被百度正常抓取和收錄。

  【重定向錯(cuò)誤】

  重定向是指百度spider訪問(wèn)鏈接時(shí)發(fā)生了跳轉(zhuǎn),如果跳轉(zhuǎn)后的鏈接超長(zhǎng)或者連續(xù)跳轉(zhuǎn)的次數(shù)超過(guò)5次,就會(huì)發(fā)生重定向錯(cuò)誤而導(dǎo)致抓取失敗。

  【服務(wù)器連接錯(cuò)誤】

  這種情況是指,由于服務(wù)器響應(yīng)過(guò)慢或您的網(wǎng)站屏蔽了百度spider,而導(dǎo)致百度無(wú)法訪問(wèn)您的網(wǎng)站。從而會(huì)導(dǎo)致百度無(wú)法正常收錄或者更新您網(wǎng)站的內(nèi)容。您可能看到以下具體錯(cuò)誤:連接超時(shí)、連接失敗、連接被拒、無(wú)響應(yīng)、響應(yīng)遭到截?cái)?、連接重置、標(biāo)頭遭到截?cái)?、超時(shí)。*如何處理服務(wù)器連接錯(cuò)誤?減少動(dòng)態(tài)網(wǎng)頁(yè)請(qǐng)求的過(guò)多網(wǎng)頁(yè)加載。如果網(wǎng)站為多個(gè)網(wǎng)址提供相同內(nèi)容,則會(huì)被視為動(dòng)態(tài)提供內(nèi)容(例如,www.example.com/shoes.php?color=red&size=7與www.example.com/shoes.php?size=7&color=red提供的內(nèi)容相同)。

  動(dòng)態(tài)網(wǎng)頁(yè)的響應(yīng)時(shí)間可能會(huì)很長(zhǎng),并會(huì)因此導(dǎo)致超時(shí)問(wèn)題?;蛘?,服務(wù)器可能會(huì)返回超載狀態(tài),要求百度spider放慢抓取該網(wǎng)站的速度。一般來(lái)說(shuō),建議您盡量使用簡(jiǎn)短的參數(shù)并謹(jǐn)慎使用。確保您網(wǎng)站的托管服務(wù)器沒有停止運(yùn)行、超載或配置不當(dāng)。如果連接問(wèn)題、超時(shí)問(wèn)題或響應(yīng)問(wèn)題仍然存在,請(qǐng)與您的網(wǎng)站托管服務(wù)提供商聯(lián)系,并考慮增強(qiáng)您的網(wǎng)站處理流量的能力。檢查網(wǎng)站是否不小心屏蔽了百度spider的IP。您可能會(huì)由于系統(tǒng)級(jí)問(wèn)題而阻止了百度訪問(wèn),例如DNS配置問(wèn)題、配置不當(dāng)?shù)姆阑饓駾oS防護(hù)系統(tǒng)、內(nèi)容管理系統(tǒng)配置問(wèn)題。防御系統(tǒng)是保證托管服務(wù)正常運(yùn)行的關(guān)鍵因素之一,并且這些系統(tǒng)通常會(huì)配置為自動(dòng)阻止超量的服務(wù)器請(qǐng)求。由于百度spider發(fā)出的請(qǐng)求通常要比普通用戶多,因此可能會(huì)觸發(fā)這些防御系統(tǒng),導(dǎo)致它們阻止百度spider訪問(wèn)并抓取您的網(wǎng)站。要解決此類問(wèn)題,您需要確定網(wǎng)站基礎(chǔ)架構(gòu)中的哪個(gè)部分在阻止百度spider,然后取消該阻止。如果您沒有控制防火墻的權(quán)限,就需要與您的托管服務(wù)提供商聯(lián)系解決此問(wèn)題。

  【robots封禁問(wèn)題】

  在抓取診斷工具中如果返回的抓取失敗結(jié)論是robots封禁,請(qǐng)確認(rèn)您是否對(duì)該網(wǎng)址設(shè)置了robots,阻止百度spider抓取網(wǎng)站的某些內(nèi)容,如果您未使用robots文件屏蔽百度,請(qǐng)點(diǎn)擊旁邊的報(bào)錯(cuò)鏈接,百度會(huì)立即更新您站點(diǎn)的robots信息;如果是您的誤操作導(dǎo)致了封禁,請(qǐng)及時(shí)修改robots文件,避免造成您的網(wǎng)站在百度收錄量和流量的下降。

  【DNS問(wèn)題】

  DNS錯(cuò)誤是指由于服務(wù)器停止運(yùn)行或DNS到您網(wǎng)域的路由存在問(wèn)題,導(dǎo)致百度spider無(wú)法與DNS服務(wù)器通信。*如何處理DNS錯(cuò)誤?確保百度能夠抓取您的網(wǎng)站。對(duì)重要網(wǎng)頁(yè)(例如您的首頁(yè))采用抓取診斷工具,如果它能順利返回您的首頁(yè)內(nèi)容,那么您就可以認(rèn)為百度能夠正常訪問(wèn)您的網(wǎng)站。對(duì)于持續(xù)的或反復(fù)出現(xiàn)的DNS錯(cuò)誤,請(qǐng)與您的DNS提供商聯(lián)系。通常情況下,您的DNS提供商即為網(wǎng)站托管服務(wù)提供商。配置您的服務(wù)器,使其能夠以404或500等HTTP錯(cuò)誤代碼對(duì)不存在的主機(jī)名作出響應(yīng)。

  【404錯(cuò)誤】

  一般情況下,當(dāng)百度spider訪問(wèn)到不存在的網(wǎng)頁(yè)(因?yàn)槟鷦h除或重命名了網(wǎng)頁(yè)且沒有將舊網(wǎng)址重定向到新網(wǎng)頁(yè),或者鏈接中存在拼寫錯(cuò)誤)時(shí),就會(huì)出現(xiàn)“未找到”狀態(tài)錯(cuò)誤(通常是404 HTTP狀態(tài)代碼)。

  【訪問(wèn)遭拒絕】

  一般情況下,百度會(huì)通過(guò)跟蹤網(wǎng)頁(yè)間的鏈接來(lái)查找內(nèi)容。百度spider必須能夠訪問(wèn)某個(gè)網(wǎng)頁(yè)才能抓取該網(wǎng)頁(yè)。如果您意外地看到了“訪問(wèn)遭拒”錯(cuò)誤,可能是由于以下幾種原因?qū)е碌模?/p>

  (1)百度spider無(wú)法訪問(wèn)您網(wǎng)站上的網(wǎng)址,因?yàn)槟W(wǎng)站上的所有或部分內(nèi)容要求用戶登錄后才能查看。

  (2)您的服務(wù)器要求用戶使用代理進(jìn)行身份驗(yàn)證,或者您的托管服務(wù)提供商阻止百度spider訪問(wèn)您的網(wǎng)站。

  【參數(shù)錯(cuò)誤】

  由于請(qǐng)求的語(yǔ)法格式有誤,不符合服務(wù)器對(duì)請(qǐng)求的某些限制,或者請(qǐng)求本身存在一定的錯(cuò)誤,服務(wù)器無(wú)法理解此請(qǐng)求,導(dǎo)致抓取失敗。

  【socket讀寫錯(cuò)誤】

  當(dāng)百度spider訪問(wèn)服務(wù)器,進(jìn)行tcp通信的時(shí)候,socket讀寫發(fā)生異常,導(dǎo)致數(shù)據(jù)不能正常返回。請(qǐng)檢查服務(wù)器連接狀況和防火墻設(shè)置是否符合預(yù)期。

  【讀取http頭或者頁(yè)面內(nèi)容時(shí)失敗】

  您的服務(wù)器收到了我們的完整請(qǐng)求,但是返回信息時(shí)不完整,http頭或者響應(yīng)正文發(fā)生了截?cái)?,?dǎo)致網(wǎng)頁(yè)內(nèi)容不能正常讀取。

相關(guān)案例
更多案例>
ARE YOU
INTERESTED
IN?
感興趣嗎?

網(wǎng)站建設(shè)及推廣咨詢電話

028-85756675
15308030114

成都市天府新區(qū)華府大道1號(hào)藍(lán)潤(rùn)置地廣場(chǎng)T3公寓806室

7x24 小時(shí)專業(yè)服務(wù)
專業(yè)備案全程跟進(jìn)
承諾做不到退款
快速建站SEO友好

填寫網(wǎng)站建設(shè)及SEO優(yōu)化排名需求

*請(qǐng)認(rèn)真填寫需求信息,24小時(shí)內(nèi)與您取得聯(lián)系。
在線咨詢
電話咨詢

立即咨詢

028-85756675
微信咨詢
微信二維碼
QQ咨詢
返回頂部