關鍵詞：主題爬蟲 主題相關度 

摘要：本文通過對分布式技術和主題網絡爬蟲的研究，設計了一個能處理海量數據的分布式主題爬蟲。設計內容主要包括分布式主題網絡爬蟲的各個功能模塊及其實現方法。如頁面的主題相關度判定方法、URL去重過濾方法等。主要使用了Hadoop技術和向量空間模型。該分布式主題爬蟲的研究與設計為后面分布式主題爬蟲的實現奠定了基礎。

計算機光盤軟件與應用雜志要求:

{1}文章正文的標題、表格、圖、公式以及腳注應分別連續編號。

{2}參考文獻：本刊參考文獻附于文末，執行國家標準《信息與文獻參考文獻著錄規則》GB7714—2015的規定，序號用數字加方括號表示，如[1]、[2]...

{3}中文摘要為150-300字。摘要的內容應包括目的、方法、實驗結果和結論；綜述性、評論性文章可寫指示性摘要。摘要中不應出現“本文、我們、作者”之類的詞語。

{4}請作者提交附件，注明姓名，職稱，所在學術機構，通訊地址，電話，電子郵箱。

{5}基金項目名稱應按照國家有關部門規定的正式名稱填寫，多項基金項目應依次列出，其間以分號隔開。

注：因版權方要求，不能公開全文，如需全文，請咨詢雜志社