在對(duì)關(guān)鍵詞進(jìn)行優(yōu)化的時(shí)候，優(yōu)化師必須認(rèn)識(shí)到，網(wǎng)絡(luò)爬蟲(chóng)在搜索引擎的信息采集中扮演著重要的角色。另外，網(wǎng)站推廣工作者在這里提醒大家，網(wǎng)絡(luò)爬蟲(chóng)采集信息的方式是有多種的，優(yōu)化師一定要了解不同的信息采集策略。接下來(lái)他就為大家分析介紹。 　　1、從一個(gè)種子網(wǎng)站集合出發(fā) 　　網(wǎng)絡(luò)爬蟲(chóng)會(huì)從預(yù)先選定的一批種子網(wǎng)站開(kāi)始爬行和抓取工作，這批種子網(wǎng)站通常是權(quán)威性極高的網(wǎng)站。通常一旦對(duì)某個(gè)頁(yè)面進(jìn)行了下載，就會(huì)對(duì)這個(gè)頁(yè)面進(jìn)行解析，找到鏈接的標(biāo)簽，如果包含可爬行的URL鏈接，則可能繼續(xù)順著這個(gè)鏈接進(jìn)行爬行。而這個(gè)錨文本鏈接則是這個(gè)頁(yè)面對(duì)另外一個(gè)頁(yè)面進(jìn)行的描述，可純文本鏈接卻沒(méi)有這種描述，所以效果差一點(diǎn)也是情理之中的。 　　2、網(wǎng)絡(luò)爬蟲(chóng)使用多線程 　　如果是單線程，效率會(huì)很低，因?yàn)榇罅康臅r(shí)間會(huì)耗在等待服務(wù)器響應(yīng)上，故啟用多線程來(lái)提高信息采集效率。多線程可能會(huì)一次抓取好幾百個(gè)頁(yè)面，對(duì)搜索引擎而言是好事，但對(duì)別人的網(wǎng)站而言卻不一定是好事了，比如可能導(dǎo)致對(duì)方服務(wù)器擁塞，讓一些真實(shí)用戶無(wú)法正常訪問(wèn)該網(wǎng)站。 　　3、網(wǎng)絡(luò)爬蟲(chóng)的抓取策略 　　網(wǎng)絡(luò)爬蟲(chóng)不會(huì)在同一時(shí)間一次性對(duì)同一網(wǎng)絡(luò)服務(wù)器抓取多個(gè)頁(yè)面，每次抓取都會(huì)有一定的間隔時(shí)間。當(dāng)使用這種策略時(shí)，必須將請(qǐng)求隊(duì)列特別大，這樣才不會(huì)降低抓取效率。比如，網(wǎng)絡(luò)爬蟲(chóng)每秒可以抓取1000個(gè)頁(yè)面，在同一網(wǎng)站的每次抓取間隔為10秒，那么隊(duì)列應(yīng)該為來(lái)自10000個(gè)不同服務(wù)器的URL。 　　相信通過(guò)網(wǎng)站推廣工作者對(duì)網(wǎng)絡(luò)爬蟲(chóng)的信息采集策略的分析介紹，大家應(yīng)該對(duì)搜索引擎的工作原理有所了解了。

標(biāo)簽：東營(yíng) 鹽城 烏魯木齊 九江 林芝