一、基礎入門

1.1什麼是爬蟲

爬蟲(spider，又網絡爬蟲)，是指向網站/網絡發起請求，獲取資源後分析並提取有用數據的程序。

從技術層面來說就是 通過程序模擬瀏覽器請求站點的行為，把站點返回的HTML代碼/JSON數據/二進制數據（圖片、視頻） 爬到本地，進而提取自己需要的數據，存放起來使用。

1.2爬蟲基本流程

用戶獲取網絡數據的方式：

方式1：瀏覽器提交請求--->下載網頁代碼--->解析成頁面

方式2：模擬瀏覽器發送請求(獲取網頁代碼)->提取有用的數據->存放於數據庫或文件中

爬蟲要做的就是方式2。

1發起請求

使用http庫向目標站點發起請求，即發送一個Request

Request包含：請求頭、請求體等

Request模塊缺陷：不能執行JS 和CSS 代碼

2，獲取響應內容

如果服務器能正常響應，則會得到一個Response

Response包含：html，json，圖片，視頻等

3，解析內容

解析html數據：正則表達式（RE模塊）、xpath（主要使用）、beautiful soup、css

解析json數據：json模塊

解析二進制數據:以wb的方式寫入文件

4，保存數據

數據庫（MySQL，Mongdb、Redis）或 文件的形式。

1.3http協議 請求與響應

http協議

Request：用戶將自己的信息通過瀏覽器（socket client）發送給服務器（socket server）

Response：服務器接收請求，分析用戶發來的請求信息，然後返回數據（返回的數據中可能包含其他鏈接，如：圖片，js，css等）

ps：瀏覽器在接收Response後，會解析其內容來顯示給用戶，而爬蟲程序在模擬瀏覽器發送請求然後接收Response後，是要提取其中的有用數據。

1.3.1

request

(1) 請求方式

常見的請求方式：GET / POST

（2）請求的URL

url全球統一資源定位符，用來定義互聯網上一個唯一的資源 例如：一張圖片、一個文件、一段視頻都可以用url唯一確定

（3）請求頭

User-agent：請求頭中如果沒有user-agent客戶端配置，服務端可能將你當做一個非法用戶host；

cookies：cookie用來保存登錄信息

注意：一般做爬蟲都會加上請求頭。

請求頭需要注意的參數：

• Referrer：訪問源至哪裡來（一些大型網站，會通過Referrer 做防盜鏈策略；所有爬蟲也要注意模擬）
• User-Agent:訪問的瀏覽器（要加上否則會被當成爬蟲程序）
• cookie：請求頭注意攜帶

（4）請求體

請求體 如果是get方式，請求體沒有內容 （get請求的請求體放在 url後面參數中，直接能看到） 如果是post方式，請求體是format data

ps：1、登錄窗口，文件上傳等，信息都會被附加到請求體內 2、登錄，輸入錯誤的用戶名密碼，然後提交，就可以看到post，正確登錄後頁面通常會跳轉，無法捕捉到post

1.3.2

response

（1）響應狀態碼

• 200：代表成功
• 301：代表跳轉
• 404：文件不存在
• 403：無權限訪問
• 502：服務器錯誤

（2）response header

響應頭需要注意的參數：Set-Cookie:BDSVRTM=0; path=/：可能有多個，是來告訴瀏覽器，把cookie保存下來

（3）preview就是網頁源代碼

json數據

如網頁html，圖片

二進制數據等

02

二、基礎模塊

2.1requests

requests是python實現的簡單易用的HTTP庫,是由urllib的升級而來。

開源地址：

https://github.com/kennethreitz/requests

中文API：

http://docs.python-requests.org/zh_CN/latest/index.html

2.2re 正則表達式

在 Python 中使用內置的 re 模塊來使用正則表達式。

缺點：處理數據不穩定、工作量大

2.3XPath

Xpath(XML Path Language) 是一門在 XML 文檔中查找信息的語言，可用來在 XML 文檔中對元素和屬性進行遍歷。

在python中主要使用 lxml 庫來進行xpath獲取（在框架中不使用lxml，框架內直接使用xpath即可）

lxml 是 一個HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 數據。

lxml和正則一樣，也是用 C 實現的，是一款高性能的 Python HTML/XML 解析器，我們可以利用之前學習的XPath語法，來快速的定位特定元素以及節點信息。

2.4BeautifulSoup

和 lxml 一樣，Beautiful Soup 也是一個HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 數據。

使用BeautifulSoup需要導入bs4庫

缺點：相對正則和xpath處理速度慢

優點：使用簡單

2.5Json

JSON(JavaScript Object Notation) 是一種輕量級的數據交換格式，它使得人們很容易的進行閱讀和編寫。同時也方便了機器進行解析和生成。適用於進行數據交互的場景，比如網站前臺與後臺之間的數據交互。

在python中主要使用 json 模塊來處理 json數據。Json解析網站：

https://www.sojson.com/simple_json.html

2.6threading

使用threading模塊創建線程，直接從threading.Thread繼承，然後重寫__init__方法和run方法

03

三、方法實例

3.1get方法實例

demo_get.py

3.2post方法實例

demo_post.py

3.3添加代理

demo_proxies.py

3.4獲取ajax類數據實例

demo_ajax.py

3.5使用多線程實例

demo_thread.py

04

四、爬蟲框架

4.1Srcapy框架

• Scrapy是用純Python實現一個為了爬取網站數據、提取結構性數據而編寫的應用框架，用途非常廣泛。
• Scrapy 使用了 Twisted['twɪstɪd](其主要對手是Tornado)異步網絡框架來處理網絡通訊，可以加快我們的下載速度，不用自己去實現異步框架，並且包含了各種中間件接口，可以靈活的完成各種需求。

4.2Scrapy架構圖

4.3Scrapy主要組件

• Scrapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數據傳遞等。
• Scheduler(調度器): 它負責接受引擎發送過來的Request請求，並按照一定的方式進行整理排列，入隊，當引擎需要時，交還給引擎。
• Downloader（下載器）：負責下載Scrapy Engine(引擎)發送的所有Requests請求，並將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來處理，
• Spider（爬蟲）：它負責處理所有Responses,從中分析提取數據，獲取Item字段需要的數據，並將需要跟進的URL提交給引擎，再次進入Scheduler(調度器)，
• Item Pipeline(管道)：它負責處理Spider中獲取到的Item，並進行進行後期處理（詳細分析、過濾、存儲等）的地方.
• Downloader Middlewares（下載中間件）：你可以當作是一個可以自定義擴展下載功能的組件。
• Spider Middlewares（Spider中間件）：你可以理解為是一個可以自定擴展和操作引擎和Spider中間通信的功能組件（比如進入Spider的Responses;和從Spider出去的Requests）

4.4Scrapy的運作流程

1. 引擎：Hi！Spider, 你要處理哪一個網站？
2. Spider：老大要我處理xxxx.com。
3. 引擎：你把第一個需要處理的URL給我吧。
4. Spider：給你，第一個URL是xxxxxxx.com。
5. 引擎：Hi！調度器，我這有request請求你幫我排序入隊一下。
6. 調度器：好的，正在處理你等一下。
7. 引擎：Hi！調度器，把你處理好的request請求給我。
8. 調度器：給你，這是我處理好的request
9. 引擎：Hi！下載器，你按照老大的下載中間件的設置幫我下載一下這個request請求
10. 下載器：好的！給你，這是下載好的東西。（如果失敗：sorry，這個request下載失敗了。然後引擎告訴調度器，這個request下載失敗了，你記錄一下，我們待會兒再下載）
11. 引擎：Hi！Spider，這是下載好的東西，並且已經按照老大的下載中間件處理過了，你自己處理一下（注意！這兒responses默認是交給def parse()這個函數處理的）
12. Spider：（處理完畢數據之後對於需要跟進的URL），Hi！引擎，我這裡有兩個結果，這個是我需要跟進的URL，還有這個是我獲取到的Item數據。
13. 引擎：Hi ！管道 我這兒有個item你幫我處理一下！調度器！這是需要跟進URL你幫我處理下。然後從第四步開始循環，直到獲取完老大需要全部信息。
14. 管道``調度器：好的，現在就做！

4.5製作Scrapy爬蟲4步曲

1新建爬蟲項目scrapy startproject mySpider2明確目標 （編寫items.py）打開mySpider目錄下的items.py3製作爬蟲 （spiders/xxspider.py）scrapy genspider gushi365 "gushi365.com"4存儲內容 （pipelines.py）設計管道存儲爬取內容

05

五、常用工具

5.1fidder

fidder是一款抓包工具，主要用於手機抓包。

5.2XPath Helper

xpath helper插件是一款免費的chrome爬蟲網頁解析工具。可以幫助用戶解決在獲取xpath路徑時無法正常定位等問題。

谷歌瀏覽器插件xpath helper 的安裝和使用：

https://jingyan.baidu.com/article/1e5468f94694ac484861b77d.html

06

六、分佈式爬蟲

6.1scrapy-redis

Scrapy-redis是為了更方便地實現Scrapy分佈式爬取，而提供了一些以redis為基礎的組件（pip install scrapy-redis）

github網站：https://github.com/rolando/scrapy-redis

6.2分佈式策略

• Master端(核心服務器) ：搭建一個Redis數據庫，不負責爬取，只負責url指紋判重、Request的分配，以及數據的存儲
• Slaver端(爬蟲程序執行端) ：負責執行爬蟲程序，運行過程中提交新的Request給Master

最後：

給大家分享一套特別的Python爬蟲入門到實戰課程，從最基礎的爬蟲分類講起，用史上最詳細的視頻教程幫助你快速入門爬蟲。只需要10個小時，你就能從新手完成進階！

這是一門什麼樣的課程？

這是一門面向Python初學者和爬蟲愛好者，提供爬蟲知識入門和進階的課程，可以幫助你快速入門。

這門課程有什麼特點？

這門課程為零基礎人士進行了特別優化。我們將從爬蟲基礎開始講起，視頻教程內容十分詳細，涵蓋幾乎所有初學者必備知識點。可以幫你實現從零到進階的過程。

在這門課程裡，你將學到：

• 爬蟲分類和ROBOTS協議
• 爬蟲URLLIB使用和進階
• 爬蟲URL編碼和GETPOST請求
• 爬蟲AJAX數據爬取和HTTPS訪問
• 爬蟲實現URLLIB3和REQUESTS使用
• 爬蟲XPATH和LXML實戰

說了這麼多，需要這套學習教程的小夥伴，

只需轉發文章 然後私信小編“資料”即可免費獲取！.......................................

...............這套課程的學習路線大綱：

一段：

01-爬蟲介紹

02-爬蟲軟件的安裝

03-第一個爬蟲

04-Request對象的使用

05-get請求的使用

06-貼吧案例

07-post請求的使用

二段：

08-ajax請求的抓取

09-https請求的使用

10-proxy的使用

11-cookie的使用1

12-cookie的使用2

13-URLError的使用

14-requests的使用

三段：

15-re的使用

16-糗事百科案例.mp4

17-BeautifulSoup的使用.mp4

18-xpath的使用.mp4

19-pyquery的使用.mp4

20-jsonpath的使用.mp4

四段：

21-多線程的使用.mp4

22-tesseract的使用.mp4

23-雲打碼平臺的使用.mp4

24-雲打碼登錄.mp4

25-爬取圖文並茂文章方法.mp4

26-selenium的使用.mp4

五段：

27-階段測試需求說明.mp4

28-貓眼測試xpath的寫法.mp4

29-貓眼測試bs4的寫法.mp4

30-貓眼測試re的寫法.mp4

31-貓眼測試pyquery的寫法.mp4

32-ChromeDriver開啟無頭模式.mp4

33-爬蟲複習.mp4

六段：

34-虎牙直播練習.mp4

35-selenium滾動條的使用.mp4

36-圖蟲圖片練習.mp4

37-雙色球練習數據下載.mp4

38-雙色球練習保存數據庫.mp4

39-雙色球練習數據更新.mp4

40-爬蟲新寫法1.mp4

41-爬蟲新寫法2.mp4

七段：

42-爬蟲的基本介紹.mp4

43-爬蟲的基本使用.mp4

44-爬蟲的數據提取.mp4

45-scrapy中pipeline中的使用.mp4

46-scrapy中settings的設置.mp4

47-scrapy中細節問題.mp4

48-scrapy爬取小說.mp4

49-scrapy中crawlspider的使用.mp4

八段：

50-scrapy中ImagePipeline的使用.mp4

51-scrapy中動態UA的使用.mp4

52-scrapy中動態代理的使用.mp4

53-scrapy登錄方式1.mp4

九段：

55-Mongo的使用.mp4

56-Mongo的數據庫實例與集合的操作.mp4

57-Mongo的數據基本操作(CRUD).mp4

58-Mongo的數據查詢.mp4

60-Scrapy中保存到數據庫.mp4

十段：

62-Splash的安裝.mp4

61-Scrapy中調試的使用.mp4

63-Splash如何打開服務.mp4

64-階段測試.mp4

65-scrapy內容補充.mp4

十一段：

66-splash與requests結合.mp4

67-splash與scrapy的結合.mp4

68-selenium與scrapy的結合.mp4

69-某家內容爬取-數據解析.mp4

70-某家內容爬取-數據保存.mp4

十二段：

71-scrapy-redis的介紹.mp4

72-linux的安裝.mp4

73-linux軟件安裝與克隆.mp4

74-scrapy-redis的windows環境安裝.mp4

75-scrapy_redis的寫法1.mp4

76-scrapy_redis的寫法.mp4

77-scrapy_redis的寫法2.mp4

78-從redis中取出數據到Mongo數據庫.mp4

十三段：

0.1-Flask介紹與安裝.mp4

0.2-Flask的路由設置與參數接收.mp4

0.3-Flask的響應.mp4

0.4-Flask與Echarts的結合使用.mp4

番外1-51job需求與頁面分析.mp4

開始學習番外2-51job頁面解析1.mp4

番外3-51job頁面解析2.mp4

番外4-51job保存到數據庫.mp4

...........需要的小夥伴趕緊動動手指頭，

...........只需：轉發 然後私信我關鍵字“資料”領取哦！

• 小編整理不易、所以有需要的朋友趕緊來吧、對你們有用 就是對我最大的回饋哦