事情是這樣的：我的博客現(xiàn)在的百度收錄異常慘淡!而且，我還叮囑哪些喜歡轉(zhuǎn)載我博客博文的朋友，不要轉(zhuǎn)載半個(gè)月內(nèi)發(fā)布的文章，因?yàn)槲乙詾閹讉€(gè)月來(lái)百度不收錄、排名下降嚴(yán)重的是因?yàn)槲蚁群蟾鼡Q主題-->換用360網(wǎng)站衛(wèi)士-->文章被人快速轉(zhuǎn)載所致。

我發(fā)現(xiàn)最蛋疼、最詭異的是，我發(fā)布的文章幾個(gè)月都沒(méi)被收錄!!!然后我也默默的在心里把度娘罵了幾個(gè)月，尼瑪就算被人采集、被人第一時(shí)間轉(zhuǎn)載也不至于不收錄啊?

可實(shí)際有圖為證：

基本從5月份開始，發(fā)布的文章就不再收錄，索引從4800掉到現(xiàn)在1000左右!

期間，我各種懷疑，是不是robots設(shè)置有誤?是不是外鏈go跳轉(zhuǎn)對(duì)搜索引擎封閉等措施帶來(lái)懲罰?

直到。。。直到我今天心血來(lái)潮，想試下百度的API搜索接口，提供sitemap數(shù)據(jù)才發(fā)現(xiàn)抓取失敗。

其實(shí)，在之前我就發(fā)現(xiàn)所有和sitemap數(shù)據(jù)提交有關(guān)的功能都提示抓取失敗!但是尼瑪，在百度抓取診斷檢測(cè)相同的鏈接又是成功的!!

我以為是百度站長(zhǎng)工具出現(xiàn)了暫時(shí)性的問(wèn)題，還反饋過(guò)：

直到今天，我還又反饋了一把：

反饋完之后，我反復(fù)去看了下這個(gè)抓取失敗結(jié)果：

結(jié)果發(fā)現(xiàn)都是連接超時(shí)錯(cuò)誤，DNS解析是沒(méi)問(wèn)題的，確實(shí)是真實(shí)IP，看來(lái)不是使用CDN的問(wèn)題：

繼續(xù)看了幾遍之后，我偶然點(diǎn)開了抓取異常這個(gè)工具，一看嚇一跳，每天的連接超時(shí)居然將近一半!

突然靈光一閃，連接超時(shí)，好熟悉的字眼，不是40X，也不是50X。。。沒(méi)錯(cuò)，就是防火墻攔截!

趕緊登陸阿里云ECS看了下iptables：

看到了有2個(gè)網(wǎng)段被禁用，先嘗試解封，然后回到百度更新了下sitemap試了下，居然成功了?!

我次奧!真是這個(gè)網(wǎng)段被禁封造成的!成功后，我特意再次更新sitemap。并看了下nginx日志，發(fā)現(xiàn)還真是220.181.108這個(gè)IP段的IP，尼瑪，巧就巧在百度抓取診斷工具不在這個(gè)網(wǎng)段，可以正常抓取，迷惑了我?guī)讉€(gè)月!!!

事后，我努力的回憶了一把當(dāng)時(shí)為什么禁用了這2個(gè)網(wǎng)段。。。

記得，當(dāng)時(shí)是Begin交流群里有個(gè)人采集我的整個(gè)博客。我當(dāng)時(shí)用了各種辦法禁止他采集內(nèi)容中的盜圖，最終他用了搜狗的圖片接口來(lái)采集我博客的圖片。我就不好怎么禁止了，因?yàn)樗阉饕鎭?lái)的IP，CDN是自動(dòng)回源的!

于是，我圖省事直接把搜狗的圖片接口IP的整個(gè)網(wǎng)段都給禁封了!尼瑪，當(dāng)時(shí)也沒(méi)想過(guò)百度和搜狗的蜘蛛節(jié)點(diǎn)可能在同一個(gè)機(jī)房了??另外惡狠狠的詛咒下，采集個(gè)人博客者木有小JJ!!

幾個(gè)月的時(shí)間，對(duì)SEO帶了非常嚴(yán)重的影響!要不是運(yùn)氣好，突然想到了這么一樁，這博客的百度SEO就基本廢了!

廢了也沒(méi)什么，關(guān)鍵不明不白，誰(shuí)也不爽吧!此次解除禁封之后，相信不出一個(gè)月，應(yīng)該就會(huì)有效果了，至少最新發(fā)布的文章是會(huì)被收錄的，不看別的，就見(jiàn)證下本文一個(gè)星期會(huì)不會(huì)被收錄吧!不過(guò)之前未收錄卻被轉(zhuǎn)載走的文章算是廢了，發(fā)出去雖然推送到了百度，但是百度卻沒(méi)抓取到內(nèi)容，被人轉(zhuǎn)了之后估計(jì)被識(shí)別成首次發(fā)布的原創(chuàng)了吧!

好了，本文算是一個(gè)吐槽貼，也是給一些網(wǎng)站降權(quán)、收錄異常的朋友一個(gè)參考，某些時(shí)候，收錄異常、網(wǎng)站被K站不一定是你SEO方面的問(wèn)題，一定記得看看是不是服務(wù)器把蜘蛛擋在門外了喲!

作者：張戈博客 / 微信公眾號(hào)： zhanggeboke