案例：

我曾經(jīng)為一家電子商務(wù)網(wǎng)站提供SEO顧問服務(wù)，網(wǎng)站每日新增商品由商家發(fā)布，商品發(fā)布后便成為一個(gè)有效的商品，并會出現(xiàn)到網(wǎng)站平臺的商品檢索結(jié)果以及商品列表中， 同時(shí)，平臺運(yùn)營方需要對商品進(jìn)行審核，對于沒有審核通過的商品則進(jìn)行刪除操作；于是，會出現(xiàn)一些情況：新增商品頁面被百度爬蟲抓取，但隨之該頁面被刪除。

由于網(wǎng)站在百度的權(quán)重比較高，幾乎每日新增商品頁都會很快收錄，因此，在這批新收錄的商品頁面中有一定比例的頁面很快不存在了，即：一批剛被收錄的頁面又向百度Spider返回了404狀態(tài)碼，簡單以蔽之，“讓百度收了再讓百度刪”，我覺得百度可能會“很生氣，后果很嚴(yán)重”。

為解決這個(gè)問題，我之前采取了如下方法：

既然將商家發(fā)布的商品包含兩種狀態(tài)：已審核和未審核，那么就為商品頁面設(shè)計(jì)2種URL規(guī)則，如果商品未審核，則使用第1套URL規(guī)則，同時(shí)，利用robots協(xié)議限制百度Spider爬蟲抓取這些頁面；如果商品已審核，那么就與已有商品一樣，使用第2套URL規(guī)則。這樣就可以確保百度Spider抓取到的商品頁面都是有效頁面，不會由于商品審核不通過而單日內(nèi)出現(xiàn)大量404頁面。

是否可以利用403狀態(tài)碼來解決該問題？思路如下：

判斷商品是否通過平臺運(yùn)營方審核，是的話，頁面就返回200，否的話，就返回403；對于正常的商品頁面，可以確保百度Spider正常抓??；對于新增商品，百度新發(fā)現(xiàn)的URL是返回403的，當(dāng)再次回訪這些頁面時(shí)，由于商品已經(jīng)審核通過，返回的狀態(tài)碼由403變成了200，則百度仍可抓取到；方法仍然有待實(shí)驗(yàn)，畢竟之間存在一個(gè)時(shí)間差以及百度對于返回403的頁面是否存在收錄效果不佳的風(fēng)險(xiǎn)。

對于301狀態(tài)碼，在以往的SEO交流中，大家一致認(rèn)為百度對301并不感冒，而且反應(yīng)速度超級慢，Lee在帖子中也證實(shí)了這一點(diǎn)，但無論怎樣，301仍然是其推崇的一種規(guī)范的處理方式，宗旨，做網(wǎng)站優(yōu)化，良好的規(guī)范是必要的。