律師回復

• 
  智能法律助手

  月幫助201720人

  經過上面對網絡爬蟲系統相關技術背景的介紹之后，接下來就是要根據需求分析的結果來完成對本文的網絡爬蟲系統的總體設計了。在這一章開始部分，給出了分布式爬蟲系統的需求分析，這些需求有爬蟲要爬去的目標網頁、要求以及單位自身的要求。然后，在Hadoop分布式系統架構的技術基礎之上，對爬蟲系統進行了總體上的了解，明確了爬蟲系統對于跨語言搜索的重要作用。另外，對系統的總體結構和功能模塊進行了設計，給出了流程圖。本章的最后詳細介紹了每個功能模塊的具體結構，并指出實現方法。 3.1 需求分析 本系統是單位關于分布式跨語言搜索項目的一個子項目。這個分布式跨語言搜索項目主要包含兩個部分：一是數據獲得部分；二是信息搜索部分。文章主要負責數據信息的獲取工作。在詳細講解本章內容之前，先介紹一下項目相關的背景。本項目簡單說來就是要實現輸入某種語言的關鍵字，然后查找出該關鍵字相關多種語言的信息，當前該項目的進展是已經可以搜索出27種語言的信息。其中包括中、日、英、德、法、俄等適用范圍較廣的主流語言，也包括像蒙古語、越南語、印地語等等小范圍使用的語言。同時，該分布式跨語言搜索項目在搜索的時候主要對這27種語言相關的新聞信息進行檢索。最后，這個分布式跨語言搜索項目中明確規定，不管是網絡爬蟲系統還是信息搜索系統都必須使用分布式結構。 3.1.1 功能需求分析 因為本系統是分布式跨語言搜索項目的一個子小木，因此在介紹它之前我們先大致了解一下跨語言搜索項目的總體布局。通過這個小結的講解，能夠從整體上認識分布式網絡爬蟲系統，了解該系統的整體模塊設計以及了解該系統在整個項目中的重要性，從而更好地進行需求分析。同時，還可以了解爬蟲系統要實現的目的和要做的工作，為后續索引工作打下基礎。 分布式跨語言搜索項目用到的框架是現在應用很廣泛的Hadoop分布式系統框架。根據前面章節的介紹，我們知道Hadoop其實是基于云計算的一個框架，主要由HDFS和Map/Reduce模型這兩塊組成，使用者在使用這一框架的時候不需要知道底層實現過程，因而開發程序更加便利。本分布式跨語言搜索項目的功能模塊大致有5塊，各個功能模塊都有其相應的Map/Reduce計算模型。模塊包括：爬蟲系統、分析、索引、搜索以及查詢這五大模塊，特別之處的是，這五個模塊必須都是采用分布式技術的。而本文正是要探討如何利用分布式技術來實現網絡爬蟲系統。圖3-1展示的是該項目的功能模塊劃分圖。 更加具體的可以私信我…… 原問題：《基于c#的網絡爬蟲的論文~~~~跪求！》

  回復于 2022-12-06 06:51:04