一向以新人的身份看待自己，當然，我本來也是新人，說實話，確實不太敢寫一些技術(shù)性的東西，然而寫些感想又覺得太沒意思，所以嘗試寫一下自己的分析，如有錯誤，還請各位看官及時更正！
昨天寫了A客戶的月報，因為有模板所以也算是順利，統(tǒng)計數(shù)據(jù)的時候突然發(fā)現(xiàn)高網(wǎng)站的抓取頻次遠遠不如B客戶的網(wǎng)站，簡直差了一大截。如下圖所示。

A客戶網(wǎng)站抓取頻次

B客戶網(wǎng)站抓取頻次
由上圖我們可以看出，B客戶網(wǎng)站的抓取頻次幾乎都在7500以上，而A客戶網(wǎng)站的抓取頻次全都在1000以下。那什么原因?qū)е铝俗ト☆l次的差異呢？
首先，我們來分析一下，抓取頻次的影響因素。一般來說，影響蜘蛛抓取頻次的官方因素是網(wǎng)站的外鏈，網(wǎng)站發(fā)布內(nèi)容發(fā)熱質(zhì)量、原創(chuàng)度及發(fā)布的時間，網(wǎng)站的死鏈，網(wǎng)站的代碼和站長工具。這兩個站都是我們的客戶，外鏈的質(zhì)量，死鏈的數(shù)量，發(fā)布內(nèi)容及時間，包括站長工具都是相同或類似的，為什么抓取頻次會有如此大的差距呢？是否是網(wǎng)頁數(shù)量的問題呢？其實不是的，我們來看一下兩網(wǎng)站的抓取時間。

A客戶網(wǎng)站的抓取時間

B客戶網(wǎng)站的抓取時間
顯然，網(wǎng)站抓取頻次少的重大元兇是抓取時間太長。蜘蛛抓取的時間是一定的，抓取時間那么長怎么能挽留蜘蛛呢？此外，是否服務器的差異也導致了兩個網(wǎng)站抓取頻次的差異呢？我們一起來看一下如下兩個圖。

A客戶服務器無響應次數(shù)（501、502等狀態(tài)碼）

B客戶服務器無響應次數(shù)（501、502等狀態(tài)碼）
由上圖可以看到，A客戶的服務器無響應次數(shù)很多，而B客戶則完全相反，這難道還不能說明原因嗎？同樣的客戶，我們同樣認真的服務，即使策略不同，該有的調(diào)整都會做好。蜘蛛的耐心是有限的，抓取的時候時間長了它會離開，無響應它也會離開，如果連續(xù)幾次都是無響應狀態(tài)，那么它來抓取的頻率也會有所下降。
抓取頻率一旦下降，短期之內(nèi)也是升不上來的，只能依靠定時高質(zhì)量的更新慢慢吸引蜘蛛的到來。所以，小伙伴們，在抱怨網(wǎng)站抓取頻次太低之前，請先看看服務器還OK嗎？

推薦閱讀