做沈陽SEO的同時看淘寶搜索技術(shù)博客上的一篇文章《定向抓取漫談》，對通用爬蟲進行了簡單的定義，如下：

抓取策略：那些網(wǎng)頁是我們需要去下載的，那些是無需下載的，那些網(wǎng)頁是我們優(yōu)先下載的，定義清楚之后，能節(jié)省很多無謂的爬取。
更新策略：監(jiān)控列表頁來發(fā)現(xiàn)新的頁面；定期check 頁面是否過期等等。
抽取策略：我們應(yīng)該如何的從網(wǎng)頁中抽取我們想要的內(nèi)容，不僅僅包含最終的目標內(nèi)容，還有下一步要抓取的url。
抓取頻率：我們需要合理的去下載一個網(wǎng)站，卻又不失效率。

沈陽SEO對“如何和爬蟲對話 ”有了一些思考，下面歸納的主要用于迎合上面提到的爬蟲“抓取策略”。

1、通過 robots.txt 和爬蟲對話：搜索引擎發(fā)現(xiàn)一個新站，原則上第一個訪問的就是 robots.txt 文件，可以通過 allow/disallow 語法告訴搜索引擎那些文件目錄可以被抓取和不可以被抓取。

2、通過 meta tag 和爬蟲對話：比如有的時候我們希望網(wǎng)站列表頁不被搜索引擎收錄但是又希望搜索引擎抓取，那么可以通過<meta name="robots" content="noindex,follow">

3、通過網(wǎng)站地圖和爬蟲對話：比較常見的是 xml 格式 sitemap 和 html 格式 sitemap，xml 格式 sitemap 可以分割處理或者壓縮壓縮，另外，sitemap 的地址可以寫入到 robots.txt 文件。

4、通過網(wǎng)站管理員工具和搜索引擎對話：我們接觸最多的就是谷歌網(wǎng)站管理員工具，可以設(shè)定 googlebot 抓取的頻率，屏蔽不想被抓取的鏈接，控制 sitelinks 等，另外，Bing 和 Yahoo 也都有管理員工具，百度有一個百度站長平臺，內(nèi)測一年多了仍舊在內(nèi)測，沒有邀請碼無法注冊。

另外，這里面還衍生出一個概念，就是我一直比較重視的網(wǎng)站收錄比，所謂網(wǎng)站收錄比=網(wǎng)站在搜索引擎的收錄數(shù)/網(wǎng)站真實數(shù)據(jù)量，網(wǎng)站收錄比越高，說明搜索引擎對網(wǎng)站的抓取越順利。

本文由沈陽SEO提供：http://www.huaianlvs.cn/web-promotion