? ? ? ?

網(wǎng)絡(luò)爬蟲的工作原理

　　網(wǎng)絡(luò)爬蟲的工作原理

　　1.重點(diǎn)履帶機(jī)原理和關(guān)鍵技術(shù)概述

網(wǎng)絡(luò)爬蟲是一種自動(dòng)的網(wǎng)頁提取程序，是搜索引擎從互聯(lián)網(wǎng)下載網(wǎng)頁的重要組成部分。傳統(tǒng)的爬蟲器從網(wǎng)址的一個(gè)或幾個(gè)初始頁面中獲取網(wǎng)址的初始頁面，在抓取頁面的過程中，不斷從當(dāng)前頁面中提取新的網(wǎng)址到隊(duì)列中，直到系統(tǒng)滿足一定的停止條件。聚焦爬蟲的工作流程比較復(fù)雜，因此有必要根據(jù)某些基于Web的分析算法對(duì)非主題相關(guān)鏈接進(jìn)行過濾，保留有用鏈接，并將其放入等待抓取的url隊(duì)列中。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一個(gè)頁面url，重復(fù)上述過程，直到達(dá)到系統(tǒng)的一定條件。此外，爬蟲捕獲的所有頁面都將存儲(chǔ)在系統(tǒng)中，并對(duì)其進(jìn)行分析、篩選和索引，以進(jìn)行隨后的查詢和搜索;對(duì)于聚焦的爬蟲，這個(gè)過程的分析結(jié)果也可為后續(xù)的捕獲過程提供反饋和指導(dǎo)。

　　2.與一般的網(wǎng)絡(luò)爬蟲相比，重點(diǎn)爬蟲還需要解決三個(gè)主要問題：

對(duì)目標(biāo)的描述或定義;

網(wǎng)頁或數(shù)據(jù)的分析和過濾;

搜索網(wǎng)址的策略。

捕獲目標(biāo)的描述和定義是確定Web分析算法和url搜索策略的基礎(chǔ)。Web分析算法和候選URL排序算法是確定搜索引擎提供的服務(wù)形式和爬行行為的關(guān)鍵。這兩部分的算法密切相關(guān)。