搜索引擎蜘蛛是搜索引擎自身的一個程序，它的作用是對網(wǎng)站的網(wǎng)頁進行訪問，抓取網(wǎng)頁的文字、圖片等信息，建立一個數(shù)據(jù)庫，反饋給搜索引擎，當用戶搜索的時候，搜索引擎就會把收集到的信息過濾，通過復雜的排序算法將它認為對用戶最有用的信息呈現(xiàn)出來。深入分析網(wǎng)站的SEO表現(xiàn)的時候，一般我們就會考慮搜索引擎蜘蛛的抓取質(zhì)量，而其中能夠幫我們優(yōu)化網(wǎng)站可能會涉及到下面的幾個蜘蛛抓取相關(guān)的概念：

1.爬取率：既定時間內(nèi)網(wǎng)站被蜘蛛獲取的頁面數(shù)量。

2.爬取頻率：搜索引擎多久對網(wǎng)站或單個網(wǎng)頁發(fā)起一次新的爬行。

3.爬取深度：一個蜘蛛從開始位置可以點擊到多深。

4.爬取飽和度：唯一頁面被獲取的數(shù)量。

5.爬取優(yōu)先：那些頁面最常作為蜘蛛的入口。

6.爬取冗余度：網(wǎng)站一般被多少蜘蛛同時爬取。

7.爬取mapping：蜘蛛爬取路徑還原。

搜索引擎蜘蛛的爬取頻率很多時候是由網(wǎng)站內(nèi)容質(zhì)量決定的，因為只有網(wǎng)站有更新鮮更好的內(nèi)容，才能更吸引蜘蛛來反復抓取，例如很多大型的內(nèi)容型網(wǎng)站，每天更新大量的內(nèi)容，這樣就把蜘蛛一直留在了站內(nèi)，頁面抓取的頻率自然會提高。而提升了爬取頻率，對于頁面中內(nèi)容和鏈接的更新就會被搜索引擎蜘蛛更快的抓取到，能夠更充分的收錄網(wǎng)站的頁面內(nèi)容信息。

搜索引擎蜘蛛的爬取深度如果不夠深，主要是因為網(wǎng)站在結(jié)構(gòu)布局的時候沒有考慮到這蜘蛛是否能夠充分抓取或者是否按照一層一層的抓取，這里就涉及到鏈接入口的布局，也就會考慮到蜘蛛爬取優(yōu)先的一些入口，很多時候?qū)σ恍┐蟮木W(wǎng)站做診斷，來提升其流量和收錄主要的策略布局就是優(yōu)化蜘蛛抓取優(yōu)先的入口，實現(xiàn)的方法就是采用nofollow標簽屏蔽一些頁面。還需要分析的可能是爬取的飽和度，因為對于單個頁面的爬取太多是在浪費蜘蛛資源，我們?nèi)绻軌蜻m當?shù)目刂七@些資源的分配，那么對于頁面的抓取和收錄的提升肯定有很大的幫助。