網絡爬蟲：Python動態網頁爬蟲2種技術方式及示例
作者：糖甜甜甜
https://mp.weixin.qq.com/s/5Dwh5cbfjpDfm_FRcpw1Ug
這一講，我將會為大家講解稍微複雜一點的爬蟲，即動態網頁的爬蟲。
動態網頁技術介紹
動態網頁爬蟲技術一之API請求法
動態網頁爬蟲技術二之模擬瀏覽器法
安裝selenium模塊下載
Google Chrome Driver安裝
ChromeDriver以某寶某隻松鼠店鋪為例爬取"堅果炒貨"的商品名稱、價格、銷量以及評論數量
課後作業
關於作者
動態網頁技術介紹
所謂的動態網頁，是指跟靜態網頁相對的一種網頁編程技術。靜態網頁，隨著html代碼的生成，頁面的內容和顯示效果就基本上不會發生變化了——除非你修改頁面代碼。而動態網頁則不然，頁面代碼雖然沒有變，但是顯示的內容卻是可以隨著時間、環境或者數據庫操作的結果而發生改變的。
值得強調的是，不要將動態網頁和頁面內容是否有動感混為一談。這裡說的動態網頁，與網頁上的各種動畫、滾動字幕等視覺上的動態效果沒有直接關係，動態網頁也可以是純文字內容的，也可以是包含各種動畫的內容，這些只是網頁具體內容的表現形式，無論網頁是否具有動態效果，只要是採用了動態網站技術生成的網頁都可以稱為動態網頁。(解釋來源：百度百科 - “動態網頁”，若鏈接失效請訪問：https://baike.baidu.com/item/%E5%8A%A8%E6%80%81%E7%BD%91%E9%A1%B5/6327050?fr=aladdin)
互聯網每天都在蓬勃的發展，數以萬計的在線平臺如雨後春筍般不斷湧現，不同平臺對不同用戶的權限、喜好推出不同的個性化內容，傳統的靜態網頁似乎早已不能滿足社會的需求。於是，動態網頁技術應運而生，當然，在如今人們對網頁加載速度的要求越來越高的要求下，異步加載成為了許多大的站點的首選。比如各大電商平臺、知識型網站、社交平臺等，都廣泛採用了異步加載的動態技術。簡單來說，就是把一些根據時間、請求而變化的內容，比如某寶的商品價格、評論，比如某瓣的熱門電影評論，再比如某訊的視頻等，採用先加載網頁整體框架，後加載動態內容的方式呈現。
對於這一類動態頁面，如果我們採用前面所說的對付靜態網頁的爬蟲方式去爬，可能收穫不到任何結果，因為這些異步加載的內容所在的位置大多是一段請求內容的JS代碼。在某些觸發操作下，這些JS代碼開始工作，從數據庫中提取對應的數據，將其放置到網頁框架中相對應的位置，從而最終拼接成我們所能看到的完整的一張頁面。
動態網頁爬蟲技術一之API請求法
看似更加複雜的操作似乎給我們的爬蟲帶來了很大的困擾，但其實也可能給我們帶來極大的便利。我們只需要找到JS請求的API，並按照一定的要求發送帶有有效參數的請求，便能獲得最為整潔的數據，而不用像以前那樣從層層嵌套的HTML代碼中慢慢解析出我們想要的數據。
這裡我們以上面提到的豆瓣電影(若鏈接失效請訪問：https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0)為例做一個分析，提取出熱度排名前100的電影名稱和評分以及在豆瓣的地址。
這是最近熱門電影按熱度排序的一個截圖，每個月都有不同的新電影上映，每部電影會隨著口碑效應每天呈現不同的熱度排序，如果這頁面是個靜態網頁，那麼豆瓣的程序員豈不是很辛苦，每天都要上線修改這個頁面。所以，我們可以大膽的猜測，這是個動態頁面。但是光猜不行，我們還得證實。這裡就要用到第二講講到的谷歌開發者工具了。按下F12或者在網頁空白處右鍵選擇檢查(N)，或者在鍵盤上按下組合鍵Ctrl + Shift + I，召喚出我們的神器。如下圖所示：
今天我們不再使用左上角的鼠標按鈕了，而是使用紅色框中的Network，這裡顯示的是網頁加載出來的所有的文件，如下圖所示：
如果下方沒有任何結果，需要在打開谷歌開發者工具的情況下刷新網頁。
如上圖所示，我們點擊上方紅色小框中的”XHR“按鈕，就可以將這張網頁中異步加載的內容篩選出來。至於到底哪一個才是我們所要的，這是個問題，看左邊的地址我們似乎也看不出神馬頭緒，那就一個一個點出來看吧。。。經過枚舉，我們發現，第三個是我們要的內容，它的內容如下圖：
我們可以看到，這個鏈接裡包含的內容是以JSON格式展示出來的，這時我們便有了一個大概的思路，那就是將這個鏈接的內容用requests模塊下載後，再用Python的json模塊進行解析。
但是，這好像是一頁的內容，數一數也只有20部電影，我們想要的是排名前100的電影，這怎麼辦呢？
不方，畢竟是動態網頁，內容都是可以根據請求改變的，而且這裡也沒有登陸啥的操作，打開網頁就能看到，那我們是不是可以改變一下URL從而獲取到下一頁甚至下下頁的內容咧？當然可以，不然我就寫不下去了！
我們仔細觀察一下這個URL裡傳遞的參數：
到這裡我們可能還不知道這五個參數是幹嘛的，但我們可以找規律啊，於是現在回到原始的網頁，點擊頁面下方的"加載更多"，再返回到開發者工具，哇，多出了一個URL，長的跟剛才說的那個好像，內容也長的好像：
這個URL同樣傳遞了五個參數：
唯一的不同就是一個叫"page_start"的關鍵字的值改變了，簡單翻譯一下大概是頁面起點的意思，再看上面的"page_limit"，大概就是頁面限制的意思，看右邊的響應內容，這一個頁面傳遞了20個條目，也就是說"page_limit"是一個頁面裡條目數量的限制，也就是20條，這個數據是不變的，而"page_start"是這一頁開始的條目序號，那麼我們要獲取後面的內容，豈不是隻要改變一下這個"page_start"就好了？是的。
老規矩，先寫個代碼壓壓驚
# -*- coding: utf-8 -*-
import requests
import jsonfor i in range(5):
page_start = str(i * 20) # 註釋1
url = 'https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=' + page_start # 註釋2
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
response = requests.get(url=url, headers=headers, verify=False)
content = response.content.decode()
content_list = json.loads(content)['subjects'] # 註釋3for item in content_list: # 註釋4
title = item['title'] #註釋5
rate = item['rate'] # 註釋6
link = item['url'] # 註釋7
print(title, rate, link)
- 註釋1：因為一頁有20條數據，我們要爬取100條，而page_start的起始數據是0，因此我們這裡只需要用一個i，從0到4循環5次，每一次乘以20便可以輕鬆的設置page_start的值了，因為後面的URL是個字符串類型，這裡進行乘法運算後我們用str()方法進行類型轉換，轉換成str類型，方便後面的調用。
- 註釋2：這裡我們每一次循環只要改變page_start的值就好了，所以在最後修改這個值；
- 註釋3：返回的content經過decode()方法解碼，變成了一個字符串類型，根據我們前面的分析，得出這是一個JSON格式的字符串，因此，我們用Python內置的標準庫json來進行解析，標準庫就不需要用pip工具進行安裝了。json模塊有兩個主要方法———json.loads()和json.dumps()，前一個是用來解碼JSON數據的，後一個則是編碼成JSON數據的。這裡我們主要用到loads()方法，將content解析成一個字典格式的內容，存儲在名為content_list的對象裡，最後加上“[‘subjects’]”是用來解析出我們要的最簡潔的部分，這個根據具體的內容來定，不是所有的解析都要這麼寫。比如這裡，如下圖：
- 我們要的內容最外面有這麼一個嵌套，這個嵌套的Key為”subjects”，這個Key的值為一個數組，這個數組才是我們要的，因此加上了“[‘subjects’]”。
- 註釋4：content_list是一個數組對象，因此我們也做一個循環，分條提取。
- 註釋5：每一條數據依然是個字典類型的對象，因此我們可以直接寫對應的Key名得到想要的值，這裡得到的電影的名稱；
- 註釋6：同5，這裡得到的是電影的評分；
- 註釋7：同5，這裡得到的是電影的豆瓣鏈接；
最後的話，大家可以採用標準輸入流寫入txt文件，也可以採用xlwt模塊寫入EXCEL，還可以使用比如pymysql模塊寫入Mysql數據庫，具體的方式大家隨意，使用方法請自行百度。
到這裡，這種採用尋找API並傳遞有效參數重放API的方法便為大家介紹完了，這是個很通用的方法，在很多網站都可以這樣使用，並且速度很快，結果最精簡。
動態網頁爬蟲技術二之模擬瀏覽器法
上面我們所講的API請求法雖然好用且快，但是並不是所有的網站都會採用這種異步加載的方式來實現網站，同時還有部分網站會針對爬蟲採取反爬蟲措施，比如常見的驗證碼，雖然驗證碼主要是用來防止CSRF攻擊的，但也有網站用來處理爬蟲，比如某寶。這時候，就要為大家介紹另一個神器了，Python的Selenium模塊。
Selenium是一個用於Web應用程序測試的工具。Selenium測試直接運行在瀏覽器中，就像真正的用戶在操作一樣。支持的瀏覽器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。這個工具的主要功能包括：測試與瀏覽器的兼容性——測試你的應用程序看是否能夠很好得工作在不同瀏覽器和操作系統之上。測試系統功能——創建迴歸測試檢驗軟件功能和用戶需求。支持自動錄製動作和自動生成 .Net、Java、Perl等不同語言的測試腳本。(解釋來自：百度百科 - “Selenium”，若鏈接失效請點擊https://baike.baidu.com/item/Selenium/18266?fr=aladdin)
簡單的說，Selenium是一個主要用來進行自動化測試的工具，它可以配合瀏覽器驅動在各個瀏覽器中運行，依照代碼自動地模擬人的操作，去獲取網頁元素或對網頁元素進行控制。當然，Selenium並不是Python的產物，而是一個獨立的項目，Python對Selenium提供支持。(大家可以自行訪問Selenium的主頁進行訪問，若鏈接失效請點擊http://www.seleniumhq.org/)
安裝selenium模塊
要使用Selenium這種第三方的工具，我們首先要進行安裝，這裡依然用到pip工具。在管理員權限下運行命令行，輸入pip install selenium，稍等片刻後便可以完成安裝，如果覺得網絡連接官方pypi鏡像速度較慢，可以使用國內豆瓣的鏡像源，pip install selenium -i https://pypi.douban.com/simple/，加上這個-i參數和豆瓣pypi鏡像的地址就可以了，如果想要默認使用豆瓣鏡像源，請自行百度修改方法。
下載Google Chrome Driver
在安裝成功後，我們就需要安裝下一個必要的東西了，瀏覽器驅動，前面說過，selenium需要配合瀏覽器驅動運行，因此我們以安裝Google Chrome Driver為例。
首先，我們需要查看自己的谷歌瀏覽器版本，這個在谷歌的”幫助”中可以查看，具體方法是，打開Chrome，點擊右上角的三個點狀的按鈕，接著在彈出的菜單中依次選擇幫助(E) -> 關於 Google Chrome(G)如下圖所示：
作者的瀏覽器是更新到當前最新的版本63的，舊版本的操作方法大致一致。
點開關於信息後，我們可以看到當前的Chrome版本，以下圖為例：
Chrome一直在升級，因此對應的驅動也得不斷升級，並且與Chrome版本相適應。這裡我們需要查找相應的ChromeDriver版本映射，給大家推薦一個持續更新的CSDN博客(若鏈接失效請點擊：http://blog.csdn.net/huilan_same/article/details/51896672)，根據版本映射表，下載對應版本的ChromeDriver，下載地址1 (http://chromedriver.storage.googleapis.com/index.html)(若鏈接失效請訪問：http://chromedriver.storage.googleapis.com/index.html)，下載地址2(http://npm.taobao.org/mirrors/chromedriver/)(若鏈接失效請訪問：http://npm.taobao.org/mirrors/chromedriver/)。
安裝ChromeDriver
這裡需要進行環境變量的配置，如第一講所說，為”Path”添加一行值。
首先，我們需要找到Chrome的安裝位置，最為簡單的辦法是，在桌面找到Google Chrome的快捷方式，右鍵選擇”打開文件所在的位置“，就能打開了。比如我這裡打開的路徑為C:\Program Files (x86)\Google\Chrome\Application，那麼我就將這個路徑添加到Path裡。然後，需要我們將下載的ChromeDriver解壓到exe程序，將單獨的exe程序複製到剛才這個路徑裡，如下圖所示：
到這裡，ChromeDriver便完成了安裝，我們可以在命令行輸入命令python，進入到python交互環境進行測試，如下圖所示：
如果你的谷歌瀏覽器自動打開，並且跳轉到百度首頁，那麼Congratulations~
以某寶某隻松鼠店鋪為例爬取”堅果炒貨”的商品名稱、價格、銷量以及評論數量
該頁面的URL為：https://sanzhisongshu.tmall.com/category-1124487841.htm?spm=a1z10.1-b-s.w5003-17763072511.42.6995d6732XB8Of&tsearch=y&scene=taobao_shop#TmshopSrchNav
老規矩，先放一段代碼：
# -*- coding: utf-8 -*-
from selenium import webdriver
driver = webdriver.Chrome() # 註釋1
url = 'https://sanzhisongshu.tmall.com/category-1124487841.htm?spm=a1z10.1-b-s.w5003-17763072511.42.6995d6732XB8Of&tsearch=y&scene=taobao_shop#TmshopSrchNav'
driver.maximize_window() # 註釋2
driver.get(url) # 註釋3
dl_list = driver.find_elements_by_class_name('item') # 註釋4
for dl in dl_list:
name = dl.find_element_by_css_selector("[class='item-name J_TGoldData']").text # 註釋5
price = dl.find_element_by_class_name('cprice-area').text # 註釋6
sale = dl.find_element_by_class_name('sale-area').text # 註釋7
comment = dl.find_element_by_xpath('//*[@id="J_ShopSearchResult"]/div/div[3]/div[1]/dl[1]/dd[2]/div/h4/a/span').text # 註釋8
print(name, price, sale, comment)
driver.close() # 註釋9
- 註釋1：實例化了一個webdriver的Chrome對象，命名為driver，這時會有一個Chrome窗口自動打開。
- 註釋2：調用了driver的maximize_window()方法，直接翻譯就是最大化窗口，也就是這個功能，這句寫不寫不重要，作者寫只是覺得看的清楚點。
- 註釋3：調用了driver的get()方法，以get方式請求URL。
- 註釋4：這裡開始是重點，webdriver主要有八種查找元素的方式，這一行是採用class_name的形式進行查找，並且注意到elements這裡的複數，這個方法用來查找頁面上所有的符合條件的元素，如果是沒有s的方法就只能找到首個符合條件的元素，這一行是使用谷歌開發者工具的左上角小箭頭工具對元素進行審核，並找出所有的商品條目，其中一個條目範圍如下圖所示：
- 註釋5：同註釋4，但這裡採用的是css_selector，即css選擇器的方式進行查找，因為這裡的類名”item-name J_TGoldData”是個複合結構，而find_element_by_class_name()方法不支持複合結構的查找，所以只能採用css_selector這種方式。
- 註釋6：同註釋4，這裡是單數，即在一個商品條目的範圍內查找一次。
- 註釋7：同註釋6。
- 註釋8：同註釋4，但這裡採用的是xpath的方式查找。
XPath即為XML路徑語言，它是一種用來確定XML（標準通用標記語言的子集）文檔中某部分位置的語言。XPath基於XML的樹狀結構，有不同類型的節點，包括元素節點，屬性節點和文本節點，提供在數據結構樹中找尋節點的能力。起初 XPath 的提出的初衷是將其作為一個通用的、介於XPointer與XSLT間的語法模型。但是 XPath 很快的被開發者採用來當作小型查詢語言。(解釋來自：百度百科 - “XPath”，若鏈接失效請訪問：https://baike.baidu.com/item/XPath/5574064?fr=aladdin)
- 獲得元素xpath的方法有幾種，最為簡單的一種，即在谷歌開發者工具面板上選擇要查找的元素，右鍵選擇Copy -> Copy XPath，如下圖所示：
- 當然這種方式可能存在缺陷，即獲得的XPath可能過於繁瑣，也可能獲取的XPath無法正確查找到相應的元素，這都需要手動的依據XPath的語法去修改。
- 註釋9：最後一定要記得關閉實例化的對象，這時候由程序打開的瀏覽器也會隨之關閉。
這個例子最後的結果如下圖：
大家依然可以自由的選擇數據存儲方式。
這裡要注意的是：使用selenium進行數據爬取相比前面的API請求法可能會慢的多，在打開到對應的窗口後，也可能窗口很長時間沒有任何動作，但這不一定是出錯或者是程序卡死的表現，也可能是程序在瘋狂的查找網頁元素，在這個過程中，如果不確定是否出錯，請最好不要進行其他操作，避免有些時候造成元素失去焦點，導致莫名的錯誤。
當然了，selenium的功能遠不止如此，幾乎人能在網頁上做出的行為，它都能模擬，包括點擊、輸入等各種行為，這個比較適用於某些網站要填寫驗證碼的情況，更多有趣的內容大家可以自行發現。本講就寫到這裡。感謝大家的耐心閱讀。
課後作業
這裡給大家留兩個小作業，感興趣的可以自行測試。
- 請大家使用API請求法自行在QQ音樂上找一首收費下載的歌曲，在不登錄賬號的情況下對這首歌曲進行下載操作。
- 請大家使用selenium爬取知乎首頁的熱門話題或話題回答100條。
關於作者
作者是一名即將畢業的大四學生，自學爬蟲並作為數個爬蟲項目的主要開發者，對各種爬蟲有一定的瞭解和項目經驗，目前正在自學分佈式爬蟲的內容，也將在後面陸續為大家更新。同時作者也是一個狂熱的信息安全愛好者。感謝大家的支持。