現(xiàn)在大部分網(wǎng)站采用CMS，不需要被索引的內(nèi)容肯定存在，因此 robots.txt 極為重要。另外 robots.txt 無法完全控制的內(nèi)容也最好通過 meta robots 阻止搜索引擎的索引。千萬不要認(rèn)為收錄越多越好，搜索引擎從一個(gè)網(wǎng)站收錄到越多不相關(guān)的內(nèi)容，相關(guān)內(nèi)容被分散權(quán)重的可能性也越大。

　　2. 301 轉(zhuǎn)向和域名統(tǒng)一

　　有需要跳轉(zhuǎn)的內(nèi)容一定要采用301轉(zhuǎn)向，302在Google那里比較敏感，容易被判定為作弊，大部分頁面劫持就是通過302進(jìn)行的。對于域名統(tǒng)一的問題，除了 www.xxx.com 轉(zhuǎn)向至 xxx.com，也應(yīng)該保證 www.xxx.com/a.html 能夠順利轉(zhuǎn)向至 xxx.com/a.html。這個(gè)問題主要是針對百度，Google通過網(wǎng)站管理員工具就可以變相解決。

　　3. 相對路徑和管理入口

　　前面說了，大部分網(wǎng)站采用cms。cms的模板上的一些鏈接最好采取絕對路徑，否則隨著路徑變化404也會多出許多;很多CMS都預(yù)留了管理員登錄入口，這個(gè)入口留在頁面上就會被搜索引擎抓取到，即便阻止了索引像雅虎百度一類的搜索引擎偶爾還是會將其納入收錄范圍，因此最好保證后臺相關(guān)鏈接的孤立性，即從頁面刪除登錄后臺的入口。同時(shí)預(yù)留管理員鏈接也是一處安全隱患，容易被別有用心的人利用。