一、為什么要學習爬蟲

• 學習爬蟲，可以私人訂制一個搜索引擎，并且可以對搜索引擎的工作原理進行更深層次地理解。

• 當下是大數據時代，在這個信息爆炸的時代，我們可以利用爬蟲獲取大量有價值的數據，通過數據分析獲得更多隱性的有價值的規律。

• 方便就業。從就業的角度來說，爬蟲工程師目前來說屬于緊缺人才，并且薪資待遇普遍較高所以，深層次地掌握這門技術，對于就業來說，是非常有利的。（而且輔助工作也是非常不錯的，各種接單平臺，爬蟲的單子多且簡單，收入也很可觀哦！）

• 用途廣泛。針對電商來說，抓取各種商品信息就可以做到精細化運營，精準營銷。對新聞資訊平臺和搜索引擎來說，抓取其他平臺原創新聞稿，進行熱點分析，就可以合理篩選優質內容，打造更有價值的新聞平臺。（還可以抓取車票、爬取論文素材等等。已經與我們的生活結合在一起了。）

• 在通往全棧程序員的道路上，爬蟲是必不可少的一項技術。

點擊獲取爬蟲基礎學習資料

二、爬蟲介紹

網絡爬蟲（又稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者）。如果我們把互聯網比作一張大的蜘蛛網，那一臺計算機上的數據便是蜘蛛網上的一個獵物，而爬蟲程序就是一只小蜘蛛，沿著蜘蛛網抓取自己想要的獵物數據。

三、爬蟲分類(通用爬蟲和聚焦爬蟲)

通用爬蟲。通用網絡爬蟲 是 捜索引擎抓取系統（Baidu、Google、Yahoo等）的重要組成部分。主要目的是將互聯網上的網頁下載到本地，形成一個互聯網內容的鏡像備份。

聚焦爬蟲。聚焦爬蟲，是"面向特定主題需求"的一種網絡爬蟲程序，它與通用搜索引擎爬蟲的區別在于： 聚焦爬蟲在實施網頁抓取時會對內容進行處理篩選，盡量保證只抓取與需求相關的網頁信息。

四、爬蟲的結構

Python爬蟲架構主要由五個部分組成，分別是調度器、URL管理器、網頁下載器、網頁解析器、應用程序（爬取的有價值數據）。

調度器：相當于一臺電腦的CPU，主要負責調度URL管理器、下載器、解析器之間的協調工作。

URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重復抓取URL和循環抓取URL，實現URL管理器主要用三種方式，通過內存、數據庫、緩存數據庫來實現。

網頁下載器：通過傳入一個URL地址來下載網頁，將網頁轉換成一個字符串，網頁下載器有urllib2（Python官方基礎模塊）包括需要登錄、代理、和cookie，requests(第三方包)

網頁解析器：將一個網頁字符串進行解析，可以按照我們的要求來提取出我們有用的信息，也可以根據DOM樹的解析方式來解析。

應用程序：就是從網頁中提取的有用數據組成的一個應用。

五、爬蟲的工作原理及基本流程

打開一個瀏覽器---輸入網址---回車----看到呈現的有關關鍵字網站的列表（每一個網站里有標題，描述信息，站點，百度快照連接等等之類的）

我們要用爬蟲抓取有關新聞的網頁面的話怎么做呢？ 點擊右鍵--審查元素---控制臺（Elements是網頁源代碼（我們看到的網頁就是源代碼解析出來的），把代碼獲取下來用一些解析庫把代碼解析出來然后存成一些結構化的數據。