蜘蛛，也叫爬蟲，是將互聯網的信息，抓取并存儲的一種技術實現。   　　搜索引擎的信息收錄，很多不明所以的人會有很多誤解，以為是付費收錄，或者有什么其他特殊的提交技巧，其實并不是，搜索引擎通過互聯網一些公開知名的網站，抓取內容，并分析其中的鏈接，然后有選擇的抓取鏈接里的內容，然后再分析其中的鏈接，以此類推，通過有限的入口，基于彼此鏈接，形成強大的信息抓取能力。     　　有些搜索引擎本身也有鏈接提交入口，但基本上，不是主要的收錄入口，不過作為創業者，建議了解一下相關信息。   　　百度，google都有站長平臺和管理后臺，這里很多內容是需要非常非常認真的對待的。反過來說，在這樣的原理下，一個網站，只有被其他網站所鏈接，才有機會被搜索引擎抓取。   　　以營銷型網站建設為例，如果這個網站沒有外部鏈接，或者外部鏈接在搜索引擎中被認為是垃圾或無效鏈接，那么搜索引擎可能就不抓取他的頁面。   　　分析和判斷搜索引擎是否抓取了你的頁面，或者什么時候抓取你的頁面，只能通過服務器上的訪問日志來查詢，如果是cdn就比較麻煩。而基于網站嵌入代碼的方式，不論是cnzz，百度統計，還是googleanalytics，都無法獲得蜘蛛抓取的信息，因為這些信息不會觸發這些代碼的執行。   　　但關于蜘蛛的話題，并不只基于鏈接抓取這么簡單，延伸來說   　　第一，網站擁有者可以選擇是否允許蜘蛛抓取，有一個robots.txt的文件是來控制這個的。   　　第二，最早抓取是基于網站彼此的鏈接為入口，但實際上，并不能肯定的說，有可能存在其他抓取入口，   　　第三，無法被抓取的信息，有些網站的內容鏈接，用一些javascript特殊效果完成，比如浮動的菜單等等，這種連接，有可能搜索引擎的蜘蛛程序不識別，當然，我只是說有可能，現在搜索引擎比以前聰明，十多年前很多特效鏈接是不識別的，現在會好一些。需要登錄，需要注冊才能訪問的頁面，蜘蛛是無法進入的，也就是無法收錄。   　　很多動態頁面是一個腳本程序帶參數體現的，但蜘蛛發現同一個腳本有大量參數的網頁，有時候會給該網頁的價值評估帶來困擾，蜘蛛可能會認為這個網頁是重復頁面，而拒絕收錄。還是那句話，隨著技術的發展，蜘蛛對動態腳本的參數識別度有了很大進步，現在基本上可以不用考慮這個問題。   　　但這個催生了一個技術，叫做偽靜態化，通過對web服務端做配置，讓用戶訪問的頁面，url格式看上去是一個靜態頁，其實后面是一個正則匹配，實際執行的是一個動態腳本。

標簽：九江 東營 烏魯木齊 林芝 鹽城