'人見人愛的最新 Python 爬蟲利器'

Python HTML 網絡爬蟲 Links CSS TeX 編程派 2019-09-09
""人見人愛的最新 Python 爬蟲利器

文 | 過了即是客

編輯 | EarlGrey

推薦 | 編程派公眾號（ID：codingpy）

Python上有一個非常著名的HTTP庫——requests，相比大家都聽說過，用過的人都說好！現在requests庫的作者又發佈了一個新庫，叫做requests-html，看名字也能猜出來，這是一個解析HTML的庫，而且用起來和requests一樣爽，下面就來介紹一下它。

安裝

安裝requests-html非常簡單，一行命令即可做到。需要注意一點就是，requests-html只支持Python 3.6及更新的版本，所以使用老版本的Python的同學需要更新一下Python版本了。看了下源代碼，因為requests-html廣泛使用了一個Python 3.6中的新特性——類型註解。

  1. pip install requests-html

基本使用

獲取網頁

requests-html和其他解析HTML庫最大的不同點在於HTML解析庫一般都是專用的，所以我們需要用另一個HTTP庫先把網頁下載下來，然後傳給那些HTML解析庫。而requests-html自帶了這個功能，所以在爬取網頁等方面非常方便。

下面的代碼獲取了糗事百科上面的文字段子頁面，返回的對象r是 requests.Reponse類型，更確切的說是繼承自前者的requests_html.HTMLResponse類型。這裡其實和requests庫的使用方法差不多，獲取到的響應對象其實其實也沒啥用，這裡的關鍵就在於r.html這個屬性，它會返回requests_html.HTML這個類型，它是整個requests_html庫中最核心的一個類，負責對HTML進行解析。我們學習requests_html這個庫，其實也就是學習這個HTML類的使用方法。

  1. from requests_html import HTMLSession

  2. session = HTMLSession
  3. r = session.get('https://www.qiushibaike.com/text/')
  4. // 查看頁面內容
  5. print(r.html.html)

獲取鏈接

links和absolute_links兩個屬性分別返回HTML對象所包含的所有鏈接和絕對鏈接（均不包含錨點）。

  1. # 獲取鏈接
  2. print(r.html.links)
  3. print(r.html.absolute_links)

結果為下（因為結果太長，所以我隨便取了一點，看個意思就行）：

  1. {'/article/104353012', '/article/120616112', '/users/32331196/'}
  2. {'https://www.qiushibaike.com/imgrank/', 'https://www.qiushibaike.com/article/120669516', 'https://www.qiushibaike.com/article/120682041'}

獲取元素

request-html支持CSS選擇器和XPATH兩種語法來選取HTML元素。首先先來看看CSS選擇器語法，它需要使用HTML的find函數，該函數有5個參數，作用如下：

  • selector，要用的CSS選擇器；

  • clean，布爾值，如果為真會忽略HTML中style和script標籤造成的影響（原文是sanitize，大概這麼理解）;

  • containing，如果設置該屬性，會返回包含該屬性文本的標籤；

  • first，布爾值，如果為真會返回第一個元素，否則會返回滿足條件的元素列表；

  • _encoding，編碼格式。

下面是幾個簡單例子：

  1. # 首頁菜單文本
  2. print(r.html.find('div#menu', first=True).text)
  3. # 首頁菜單元素
  4. print(r.html.find('div#menu a'))
  5. # 段子內容
  6. print(list(map(lambda x: x.text, r.html.find('div.content span'))))

結果如下，因為段子太多，所以隨便選了兩個：

  1. 熱門 24小時 熱圖 文字 穿越 糗圖 新鮮
  2. [<Element 'a' href='/' rel=('nofollow',)>, <Element 'a' href='/hot/'>, <Element 'a' href='/imgrank/'>, <Element 'a' id='highlight' href='/text/'>, <Element 'a' href='/history/'>, <Element 'a' href='/pic/'>, <Element 'a' href='/textnew/'>]
  3. ['有一次，幾位大城市的朋友來家裡玩，我招待他們吃風乾羊肉做臊子的餄餎面，這是我們老家最具特色的美食！飯快熟的時候，老婆讓我在園子裡摘點“芫荽 ”，朋友問我，“芫荽”是什麼東東？我給他們翻譯解釋說：我們本地土話叫“芫荽”，你們城裡人講普通話叫香菜，他們還大笑了一場。\\n前天下雨沒事兒幹，翻看新華字典，突然發現“芫荽”才是香菜的學名，Tm香菜才是土話！而且我們地方方言就這兩個字發音還特別標準！', '昨天晚上跟老婆吵架，他抓起我的手機就摔了。我立馬摔了他的，結果我的還能用，他的壞了。高潮是人家立刻出門買了個新的！我艹，是不是中計了？？', '小姨要去高鐵站，我看著大大小小的箱子說：坐公交車要轉車，轉來轉去要一個多小時，太不方便了，不如我開車送你吧。\\n小姨遲疑了一下，同意了。\\n我準時把小姨送到了高鐵站，正好趕上檢票。\\n小姨高興地說：自己開車就是方便，不過幸好你媽聰明，讓我們提前兩個多小時就出發了！'

然後是XPATH語法，這需要另一個函數xpath的支持，它有4個參數如下：

  • selector，要用的XPATH選擇器；

  • clean，布爾值，如果為真會忽略HTML中style和script標籤造成的影響（原文是sanitize，大概這麼理解）;

  • first，布爾值，如果為真會返回第一個元素，否則會返回滿足條件的元素列表；

  • _encoding，編碼格式。

還是上面的例子，不過這次使用XPATH語法：

  1. print(r.html.xpath("//div[@id='menu']", first=True).text)
  2. print(r.html.xpath("//div[@id='menu']/a"))
  3. print(r.html.xpath("//div[@class='content']/span/text"))

輸出和上面那個幾乎一樣，之所以說是“幾乎”，因為第三個輸出會多出幾個換行符，不知道什麼原因。需要注意的一點是如果XPATH中包含 text或@href這樣的子屬性，那麼結果相應的會變成簡單的字符串類型，而不是HTML元素。

  1. ['\\n\\n\\n我一份文件忘家裡了，又懶得回家取，就給小姨子發短信息: 幫我把文件送來，晚上我謝謝你。等半天也沒送來文件，我只好打個車回家自己拿，到家一進屋，我就發現氣氛不對勁，老婆鐵青著臉，兩手掐著腰，小姨子站旁邊對我怒目而視。']

元素內容

糗事百科首頁LOGO的HTML代碼如下所示：

  1. <div class="logo" id="hd_logo">
  2. <a href="/"><h1>糗事百科</h1></a>
  3. </div>

我們來選取這個元素：

  1. e = r.html.find("div#hd_logo", first=True)

要獲取元素的文本內容，用text屬性：

  1. print(e.text)
  2. # 糗事百科

要獲取元素的attribute，用attr屬性：

  1. print(e.attrs)
  2. # {'class': ('logo',), 'id': 'hd_logo'}

要獲取元素的HTML代碼，用html屬性：

  1. print(e.html)
  2. # <div class="logo" id="hd_logo">
  3. # <a href="/"><h1>糗事百科</h1></a>
  4. # </div>

要搜索元素的文本內容，用search函數，比如說我們現在想知道是糗事什麼科：

  1. print(e.search("糗事{}科")[0])
  2. # 百

最後還有前面提到的兩個鏈接屬性：

  1. print(e.absolute_links)
  2. print(e.links)
  3. # {'https://www.qiushibaike.com/'}
  4. # {'/'}

進階用法

這一部分我懶得找例子了，所以用官網上的例子。

JavaScript支持

有些網站是使用JavaScript渲染的，這樣的網站爬取到的結果只有一堆JS代碼，這樣的網站requests-html也可以處理，關鍵一步就是在HTML結果上調用一下render函數，它會在用戶目錄（默認是 ~/.pyppeteer/）中下載一個chromium，然後用它來執行JS代碼。下載過程只在第一次執行，以後就可以直接使用chromium來執行了。唯一缺點就是chromium下載實在太太太太太太慢了，沒有科學上網的同學可能無法使用該功能了。

  1. >>> r = session.get('http://python-requests.org/')

  2. >>> r.html.render
  3. [W:pyppeteer.chromium_downloader] start chromium download.
  4. Download may take a few minutes.
  5. [W:pyppeteer.chromium_downloader] chromium download done.
  6. [W:pyppeteer.chromium_downloader] chromium extracted to: C:\\Users\\\\xxxx\\.pyppeteer\\local-chromium\\571375
  7. >>> r.html.search('Python 2 will retire in only {months} months!')['months']
  8. '<time>25</time>'

render函數還有一些參數，順便介紹一下（這些參數有的還有默認值，直接看源代碼方法參數列表即可）：

  • retries: 加載頁面失敗的次數

  • script: 頁面上需要執行的JS腳本（可選）

  • wait: 加載頁面錢的等待時間（秒），防止超時（可選）

  • scrolldown: 頁面向下滾動的次數

  • sleep: 在頁面初次渲染之後的等待時間

  • reload: 如果為假，那麼頁面不會從瀏覽器中加載，而是從內存中加載

  • keep_page: 如果為真，允許你用 r.html.page訪問頁面

比如說簡書的用戶頁面上用戶的文章列表就是一個異步加載的例子，初始只顯示最近幾篇文章，如果想爬取所有文章，就需要使用scrolldown配合sleep參數模擬下滑頁面，促使JS代碼加載所有文章。

智能分頁

有些網站會分頁顯示內容，例如reddit。

  1. >>> r = session.get('https://reddit.com')
  2. >>> for html in r.html:
  3. ... print(html)
  4. <HTML url='https://www.reddit.com/'>
  5. <HTML url='https://www.reddit.com/?count=25&after=t3_81puu5'>
  6. <HTML url='https://www.reddit.com/?count=50&after=t3_81nevg'>
  7. <HTML url='https://www.reddit.com/?count=75&after=t3_81lqtp'>
  8. <HTML url='https://www.reddit.com/?count=100&after=t3_81k1c8'>
  9. <HTML url='https://www.reddit.com/?count=125&after=t3_81p438'>
  10. <HTML url='https://www.reddit.com/?count=150&after=t3_81nrcd'>
  11. …

這樣的話，請求下一個網頁就很容易了。

  1. >>> r = session.get('https://reddit.com')
  2. >>> r.html.next
  3. 'https://www.reddit.com/?count=25&after=t3_81pm82'

直接使用HTML

前面介紹的都是通過網絡請求HTML內容，其實requests-html當然可以直接使用，只需要直接構造HTML對象即可：

  1. >>> from requests_html import HTML
  2. >>> doc = """<a href='https://httpbin.org'>"""

  3. >>> html = HTML(html=doc)
  4. >>> html.links
  5. {'https://httpbin.org'}

直接渲染JS代碼也可以：

  1. # 和上面一段代碼接起來
  2. >>> script = """
  3.  => {
  4. return {
  5. width: document.documentElement.clientWidth,
  6. height: document.documentElement.clientHeight,
  7. deviceScaleFactor: window.devicePixelRatio,
  8. }
  9. }
  10. """
  11. >>> val = html.render(script=script, reload=False)

  12. >>> print(val)
  13. {'width': 800, 'height': 600, 'deviceScaleFactor': 1}

  14. >>> print(html.html)
  15. <html><head></head><body><a href="https://httpbin.org"></a></body></html>

自定義請求

前面都是簡單的用GET方法獲取請求，如果需要登錄等比較複雜的過程，就不能用get方法了。HTMLSession類包含了豐富的方法，可以幫助我們完成需求。下面介紹一下這些方法。

自定義用戶代理

有些網站會使用UA來識別客戶端類型，有時候需要偽造UA來實現某些操作。如果查看文檔的話會發現 HTMLSession上的很多請求方法都有一個額外的參數**kwargs，這個參數用來向底層的請求傳遞額外參數。我們先向網站發送一個請求，看看返回的網站信息。

  1. from pprint import pprint
  2. r = session.get('http://httpbin.org/get')
  3. pprint(json.loads(r.html.html))

返回的結果如下：

  1. {'args': {},
  2. 'headers': {'Accept': '*/*',
  3. 'Accept-Encoding': 'gzip, deflate',
  4. 'Connection': 'close',
  5. 'Host': 'httpbin.org',
  6. 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) '
  7. 'AppleWebKit/603.3.8 (KHTML, like Gecko) '
  8. 'Version/10.1.2 Safari/603.3.8'},
  9. 'origin': '110.18.237.233',
  10. 'url': 'http://httpbin.org/get'}

可以看到UA是requests-html自帶的UA，下面換一個UA：

  1. ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0'
  2. r = session.get('http://httpbin.org/get', headers={'user-agent': ua})
  3. pprint(json.loads(r.html.html))

可以看到UA確實發生了變化：

  1. {'args': {},
  2. 'headers': {'Accept': '*/*',
  3. 'Accept-Encoding': 'gzip, deflate',
  4. 'Connection': 'close',
  5. 'Host': 'httpbin.org',
  6. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) '
  7. 'Gecko/20100101 Firefox/62.0'},
  8. 'origin': '110.18.237.233',
  9. 'url': 'http://httpbin.org/get'}

當然這裡僅僅是換了一個UA，如果你有需要可以在header中修改其他參數。

模擬表單登錄

HTMLSession帶了一整套的HTTP方法，包括get、post、delete等，對應HTTP中各個方法。比如下面我們就來模擬一下表單登錄：

  1. # 表單登錄
  2. r = session.post('http://httpbin.org/post', data={'username': 'yitian', 'passwd': 123456})
  3. pprint(json.loads(r.html.html))

結果如下，可以看到forms中確實收到了提交的表單值：

  1. {'args': {},
  2. 'data': '',
  3. 'files': {},
  4. 'form': {'passwd': '123456', 'username': 'yitian'},
  5. 'headers': {'Accept': '*/*',
  6. 'Accept-Encoding': 'gzip, deflate',
  7. 'Connection': 'close',
  8. 'Content-Length': '29',
  9. 'Content-Type': 'application/x-www-form-urlencoded',
  10. 'Host': 'httpbin.org',
  11. 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) '
  12. 'AppleWebKit/603.3.8 (KHTML, like Gecko) '
  13. 'Version/10.1.2 Safari/603.3.8'},
  14. 'json': None,
  15. 'origin': '110.18.237.233',
  16. 'url': 'http://httpbin.org/post'}

如果有上傳文件的需要，做法也是類似的。如果瞭解過requests庫的同學可能對這裡的做法比較熟悉，沒有錯，這其實就是requests的用法。requests-html通過暴露 **kwargs的方法，讓我們可以對請求進行定製，將額外參數直接傳遞給底層的requests方法。所以如果有什麼疑問的話，直接去看requests文檔就好了。

爬蟲例子

文章寫完了感覺有點空洞，所以補充了幾個小例子。不得不說requests-html用起來還是挺爽的，一些小爬蟲例子用scrapy感覺有點大材小用，用requests和BeautifulSoup又感覺有點囉嗦，requests-html的出現正好彌補了這個空白。大家學習一下這個庫，好處還是很多的。

爬取簡書用戶文章

簡書用戶頁面的文章列表就是一個典型的異步加載例子，用requests-html的話可以輕鬆搞定，如下所示，僅僅5行代碼。

  1. r = session.get('https://www.jianshu.com/u/7753478e1554')
  2. r.html.render(scrolldown=50, sleep=.2)
  3. titles = r.html.find('a.title')
  4. for i, title in enumerate(titles):
  5. print(f'{i+1} [{title.text}](https://www.jianshu.com{title.attrs["href"]})')

當然這個例子還有所不足，就是通用性稍差，因為文章列表沒有分頁機制，需要一直往下拉頁面，考慮到不同的用戶文章數不同，需要先獲取用戶總文章數，然後在計算一下應該下滑頁面多少次，這樣才能取得較好的效果。這裡僅僅簡單獲取一些我自己的文章，就不往復雜寫了。

爬取天涯論壇

以前經常在天涯論壇上追一些帖子，現在正好寫一個爬蟲，把連載的好帖子一次性爬下來弄成一個文件。

  1. # 爬取天涯論壇帖子
  2. url = 'http://bbs.tianya.cn/post-culture-488321-1.shtml'
  3. r = session.get(url)
  4. # 樓主名字
  5. author = r.html.find('div.atl-info span a', first=True).text
  6. # 總頁數
  7. div = r.html.find('div.atl-pages', first=True)
  8. links = div.find('a')
  9. total_page = 1 if links ==  else int(links[-2].text)
  10. # 標題
  11. title = r.html.find('span.s_title span', first=True).text

  12. with io.open(f'{title}.txt', 'x', encoding='utf-8') as f:
  13. for i in range(1, total_page + 1):
  14. s = url.rfind('-')
  15. r = session.get(url[:s + 1] + str(i) + '.shtml')
  16. # 從剩下的裡面找樓主的帖子
  17. items = r.html.find(f'div.atl-item[_host={author}]')
  18. for item in items:
  19. content: str = item.find('div.bbs-content', first=True).text
  20. # 去掉回覆
  21. if not content.startswith('@'):
  22. f.write(content + "\\n")

爬完之後，看了一下，700多k的文件，效果不錯。

原文：https://blog.csdn.net/u011054333/article/details/81055423

回覆下方「關鍵詞」，獲取優質資源

回覆關鍵詞「 pybook03」，立即獲取主頁君與小夥伴一起翻譯的《Think Python 2e》電子版

回覆關鍵詞「pybooks02」，立即獲取 O'Reilly 出版社推出的免費 Python 相關電子書合集

回覆關鍵詞「書單02」，立即獲取主頁君整理的 10 本 Python 入門書的電子版

"人見人愛的最新 Python 爬蟲利器

文 | 過了即是客

編輯 | EarlGrey

推薦 | 編程派公眾號（ID：codingpy）

Python上有一個非常著名的HTTP庫——requests，相比大家都聽說過，用過的人都說好！現在requests庫的作者又發佈了一個新庫，叫做requests-html，看名字也能猜出來，這是一個解析HTML的庫，而且用起來和requests一樣爽，下面就來介紹一下它。

安裝

安裝requests-html非常簡單，一行命令即可做到。需要注意一點就是，requests-html只支持Python 3.6及更新的版本，所以使用老版本的Python的同學需要更新一下Python版本了。看了下源代碼，因為requests-html廣泛使用了一個Python 3.6中的新特性——類型註解。

  1. pip install requests-html

基本使用

獲取網頁

requests-html和其他解析HTML庫最大的不同點在於HTML解析庫一般都是專用的，所以我們需要用另一個HTTP庫先把網頁下載下來，然後傳給那些HTML解析庫。而requests-html自帶了這個功能，所以在爬取網頁等方面非常方便。

下面的代碼獲取了糗事百科上面的文字段子頁面，返回的對象r是 requests.Reponse類型，更確切的說是繼承自前者的requests_html.HTMLResponse類型。這裡其實和requests庫的使用方法差不多，獲取到的響應對象其實其實也沒啥用，這裡的關鍵就在於r.html這個屬性，它會返回requests_html.HTML這個類型，它是整個requests_html庫中最核心的一個類，負責對HTML進行解析。我們學習requests_html這個庫，其實也就是學習這個HTML類的使用方法。

  1. from requests_html import HTMLSession

  2. session = HTMLSession
  3. r = session.get('https://www.qiushibaike.com/text/')
  4. // 查看頁面內容
  5. print(r.html.html)

獲取鏈接

links和absolute_links兩個屬性分別返回HTML對象所包含的所有鏈接和絕對鏈接（均不包含錨點）。

  1. # 獲取鏈接
  2. print(r.html.links)
  3. print(r.html.absolute_links)

結果為下（因為結果太長，所以我隨便取了一點，看個意思就行）：

  1. {'/article/104353012', '/article/120616112', '/users/32331196/'}
  2. {'https://www.qiushibaike.com/imgrank/', 'https://www.qiushibaike.com/article/120669516', 'https://www.qiushibaike.com/article/120682041'}

獲取元素

request-html支持CSS選擇器和XPATH兩種語法來選取HTML元素。首先先來看看CSS選擇器語法，它需要使用HTML的find函數，該函數有5個參數，作用如下：

  • selector，要用的CSS選擇器；

  • clean，布爾值，如果為真會忽略HTML中style和script標籤造成的影響（原文是sanitize，大概這麼理解）;

  • containing，如果設置該屬性，會返回包含該屬性文本的標籤；

  • first，布爾值，如果為真會返回第一個元素，否則會返回滿足條件的元素列表；

  • _encoding，編碼格式。

下面是幾個簡單例子：

  1. # 首頁菜單文本
  2. print(r.html.find('div#menu', first=True).text)
  3. # 首頁菜單元素
  4. print(r.html.find('div#menu a'))
  5. # 段子內容
  6. print(list(map(lambda x: x.text, r.html.find('div.content span'))))

結果如下，因為段子太多，所以隨便選了兩個：

  1. 熱門 24小時 熱圖 文字 穿越 糗圖 新鮮
  2. [<Element 'a' href='/' rel=('nofollow',)>, <Element 'a' href='/hot/'>, <Element 'a' href='/imgrank/'>, <Element 'a' id='highlight' href='/text/'>, <Element 'a' href='/history/'>, <Element 'a' href='/pic/'>, <Element 'a' href='/textnew/'>]
  3. ['有一次，幾位大城市的朋友來家裡玩，我招待他們吃風乾羊肉做臊子的餄餎面，這是我們老家最具特色的美食！飯快熟的時候，老婆讓我在園子裡摘點“芫荽 ”，朋友問我，“芫荽”是什麼東東？我給他們翻譯解釋說：我們本地土話叫“芫荽”，你們城裡人講普通話叫香菜，他們還大笑了一場。\\n前天下雨沒事兒幹，翻看新華字典，突然發現“芫荽”才是香菜的學名，Tm香菜才是土話！而且我們地方方言就這兩個字發音還特別標準！', '昨天晚上跟老婆吵架，他抓起我的手機就摔了。我立馬摔了他的，結果我的還能用，他的壞了。高潮是人家立刻出門買了個新的！我艹，是不是中計了？？', '小姨要去高鐵站，我看著大大小小的箱子說：坐公交車要轉車，轉來轉去要一個多小時，太不方便了，不如我開車送你吧。\\n小姨遲疑了一下，同意了。\\n我準時把小姨送到了高鐵站，正好趕上檢票。\\n小姨高興地說：自己開車就是方便，不過幸好你媽聰明，讓我們提前兩個多小時就出發了！'

然後是XPATH語法，這需要另一個函數xpath的支持，它有4個參數如下：

  • selector，要用的XPATH選擇器；

  • clean，布爾值，如果為真會忽略HTML中style和script標籤造成的影響（原文是sanitize，大概這麼理解）;

  • first，布爾值，如果為真會返回第一個元素，否則會返回滿足條件的元素列表；

  • _encoding，編碼格式。

還是上面的例子，不過這次使用XPATH語法：

  1. print(r.html.xpath("//div[@id='menu']", first=True).text)
  2. print(r.html.xpath("//div[@id='menu']/a"))
  3. print(r.html.xpath("//div[@class='content']/span/text"))

輸出和上面那個幾乎一樣，之所以說是“幾乎”，因為第三個輸出會多出幾個換行符，不知道什麼原因。需要注意的一點是如果XPATH中包含 text或@href這樣的子屬性，那麼結果相應的會變成簡單的字符串類型，而不是HTML元素。

  1. ['\\n\\n\\n我一份文件忘家裡了，又懶得回家取，就給小姨子發短信息: 幫我把文件送來，晚上我謝謝你。等半天也沒送來文件，我只好打個車回家自己拿，到家一進屋，我就發現氣氛不對勁，老婆鐵青著臉，兩手掐著腰，小姨子站旁邊對我怒目而視。']

元素內容

糗事百科首頁LOGO的HTML代碼如下所示：

  1. <div class="logo" id="hd_logo">
  2. <a href="/"><h1>糗事百科</h1></a>
  3. </div>

我們來選取這個元素：

  1. e = r.html.find("div#hd_logo", first=True)

要獲取元素的文本內容，用text屬性：

  1. print(e.text)
  2. # 糗事百科

要獲取元素的attribute，用attr屬性：

  1. print(e.attrs)
  2. # {'class': ('logo',), 'id': 'hd_logo'}

要獲取元素的HTML代碼，用html屬性：

  1. print(e.html)
  2. # <div class="logo" id="hd_logo">
  3. # <a href="/"><h1>糗事百科</h1></a>
  4. # </div>

要搜索元素的文本內容，用search函數，比如說我們現在想知道是糗事什麼科：

  1. print(e.search("糗事{}科")[0])
  2. # 百

最後還有前面提到的兩個鏈接屬性：

  1. print(e.absolute_links)
  2. print(e.links)
  3. # {'https://www.qiushibaike.com/'}
  4. # {'/'}

進階用法

這一部分我懶得找例子了，所以用官網上的例子。

JavaScript支持

有些網站是使用JavaScript渲染的，這樣的網站爬取到的結果只有一堆JS代碼，這樣的網站requests-html也可以處理，關鍵一步就是在HTML結果上調用一下render函數，它會在用戶目錄（默認是 ~/.pyppeteer/）中下載一個chromium，然後用它來執行JS代碼。下載過程只在第一次執行，以後就可以直接使用chromium來執行了。唯一缺點就是chromium下載實在太太太太太太慢了，沒有科學上網的同學可能無法使用該功能了。

  1. >>> r = session.get('http://python-requests.org/')

  2. >>> r.html.render
  3. [W:pyppeteer.chromium_downloader] start chromium download.
  4. Download may take a few minutes.
  5. [W:pyppeteer.chromium_downloader] chromium download done.
  6. [W:pyppeteer.chromium_downloader] chromium extracted to: C:\\Users\\\\xxxx\\.pyppeteer\\local-chromium\\571375
  7. >>> r.html.search('Python 2 will retire in only {months} months!')['months']
  8. '<time>25</time>'

render函數還有一些參數，順便介紹一下（這些參數有的還有默認值，直接看源代碼方法參數列表即可）：

  • retries: 加載頁面失敗的次數

  • script: 頁面上需要執行的JS腳本（可選）

  • wait: 加載頁面錢的等待時間（秒），防止超時（可選）

  • scrolldown: 頁面向下滾動的次數

  • sleep: 在頁面初次渲染之後的等待時間

  • reload: 如果為假，那麼頁面不會從瀏覽器中加載，而是從內存中加載

  • keep_page: 如果為真，允許你用 r.html.page訪問頁面

比如說簡書的用戶頁面上用戶的文章列表就是一個異步加載的例子，初始只顯示最近幾篇文章，如果想爬取所有文章，就需要使用scrolldown配合sleep參數模擬下滑頁面，促使JS代碼加載所有文章。

智能分頁

有些網站會分頁顯示內容，例如reddit。

  1. >>> r = session.get('https://reddit.com')
  2. >>> for html in r.html:
  3. ... print(html)
  4. <HTML url='https://www.reddit.com/'>
  5. <HTML url='https://www.reddit.com/?count=25&after=t3_81puu5'>
  6. <HTML url='https://www.reddit.com/?count=50&after=t3_81nevg'>
  7. <HTML url='https://www.reddit.com/?count=75&after=t3_81lqtp'>
  8. <HTML url='https://www.reddit.com/?count=100&after=t3_81k1c8'>
  9. <HTML url='https://www.reddit.com/?count=125&after=t3_81p438'>
  10. <HTML url='https://www.reddit.com/?count=150&after=t3_81nrcd'>
  11. …

這樣的話，請求下一個網頁就很容易了。

  1. >>> r = session.get('https://reddit.com')
  2. >>> r.html.next
  3. 'https://www.reddit.com/?count=25&after=t3_81pm82'

直接使用HTML

前面介紹的都是通過網絡請求HTML內容，其實requests-html當然可以直接使用，只需要直接構造HTML對象即可：

  1. >>> from requests_html import HTML
  2. >>> doc = """<a href='https://httpbin.org'>"""

  3. >>> html = HTML(html=doc)
  4. >>> html.links
  5. {'https://httpbin.org'}

直接渲染JS代碼也可以：

  1. # 和上面一段代碼接起來
  2. >>> script = """
  3.  => {
  4. return {
  5. width: document.documentElement.clientWidth,
  6. height: document.documentElement.clientHeight,
  7. deviceScaleFactor: window.devicePixelRatio,
  8. }
  9. }
  10. """
  11. >>> val = html.render(script=script, reload=False)

  12. >>> print(val)
  13. {'width': 800, 'height': 600, 'deviceScaleFactor': 1}

  14. >>> print(html.html)
  15. <html><head></head><body><a href="https://httpbin.org"></a></body></html>

自定義請求

前面都是簡單的用GET方法獲取請求，如果需要登錄等比較複雜的過程，就不能用get方法了。HTMLSession類包含了豐富的方法，可以幫助我們完成需求。下面介紹一下這些方法。

自定義用戶代理

有些網站會使用UA來識別客戶端類型，有時候需要偽造UA來實現某些操作。如果查看文檔的話會發現 HTMLSession上的很多請求方法都有一個額外的參數**kwargs，這個參數用來向底層的請求傳遞額外參數。我們先向網站發送一個請求，看看返回的網站信息。

  1. from pprint import pprint
  2. r = session.get('http://httpbin.org/get')
  3. pprint(json.loads(r.html.html))

返回的結果如下：

  1. {'args': {},
  2. 'headers': {'Accept': '*/*',
  3. 'Accept-Encoding': 'gzip, deflate',
  4. 'Connection': 'close',
  5. 'Host': 'httpbin.org',
  6. 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) '
  7. 'AppleWebKit/603.3.8 (KHTML, like Gecko) '
  8. 'Version/10.1.2 Safari/603.3.8'},
  9. 'origin': '110.18.237.233',
  10. 'url': 'http://httpbin.org/get'}

可以看到UA是requests-html自帶的UA，下面換一個UA：

  1. ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0'
  2. r = session.get('http://httpbin.org/get', headers={'user-agent': ua})
  3. pprint(json.loads(r.html.html))

可以看到UA確實發生了變化：

  1. {'args': {},
  2. 'headers': {'Accept': '*/*',
  3. 'Accept-Encoding': 'gzip, deflate',
  4. 'Connection': 'close',
  5. 'Host': 'httpbin.org',
  6. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) '
  7. 'Gecko/20100101 Firefox/62.0'},
  8. 'origin': '110.18.237.233',
  9. 'url': 'http://httpbin.org/get'}

當然這裡僅僅是換了一個UA，如果你有需要可以在header中修改其他參數。

模擬表單登錄

HTMLSession帶了一整套的HTTP方法，包括get、post、delete等，對應HTTP中各個方法。比如下面我們就來模擬一下表單登錄：

  1. # 表單登錄
  2. r = session.post('http://httpbin.org/post', data={'username': 'yitian', 'passwd': 123456})
  3. pprint(json.loads(r.html.html))

結果如下，可以看到forms中確實收到了提交的表單值：

  1. {'args': {},
  2. 'data': '',
  3. 'files': {},
  4. 'form': {'passwd': '123456', 'username': 'yitian'},
  5. 'headers': {'Accept': '*/*',
  6. 'Accept-Encoding': 'gzip, deflate',
  7. 'Connection': 'close',
  8. 'Content-Length': '29',
  9. 'Content-Type': 'application/x-www-form-urlencoded',
  10. 'Host': 'httpbin.org',
  11. 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) '
  12. 'AppleWebKit/603.3.8 (KHTML, like Gecko) '
  13. 'Version/10.1.2 Safari/603.3.8'},
  14. 'json': None,
  15. 'origin': '110.18.237.233',
  16. 'url': 'http://httpbin.org/post'}

如果有上傳文件的需要，做法也是類似的。如果瞭解過requests庫的同學可能對這裡的做法比較熟悉，沒有錯，這其實就是requests的用法。requests-html通過暴露 **kwargs的方法，讓我們可以對請求進行定製，將額外參數直接傳遞給底層的requests方法。所以如果有什麼疑問的話，直接去看requests文檔就好了。

爬蟲例子

文章寫完了感覺有點空洞，所以補充了幾個小例子。不得不說requests-html用起來還是挺爽的，一些小爬蟲例子用scrapy感覺有點大材小用，用requests和BeautifulSoup又感覺有點囉嗦，requests-html的出現正好彌補了這個空白。大家學習一下這個庫，好處還是很多的。

爬取簡書用戶文章

簡書用戶頁面的文章列表就是一個典型的異步加載例子，用requests-html的話可以輕鬆搞定，如下所示，僅僅5行代碼。

  1. r = session.get('https://www.jianshu.com/u/7753478e1554')
  2. r.html.render(scrolldown=50, sleep=.2)
  3. titles = r.html.find('a.title')
  4. for i, title in enumerate(titles):
  5. print(f'{i+1} [{title.text}](https://www.jianshu.com{title.attrs["href"]})')

當然這個例子還有所不足，就是通用性稍差，因為文章列表沒有分頁機制，需要一直往下拉頁面，考慮到不同的用戶文章數不同，需要先獲取用戶總文章數，然後在計算一下應該下滑頁面多少次，這樣才能取得較好的效果。這裡僅僅簡單獲取一些我自己的文章，就不往復雜寫了。

爬取天涯論壇

以前經常在天涯論壇上追一些帖子，現在正好寫一個爬蟲，把連載的好帖子一次性爬下來弄成一個文件。

  1. # 爬取天涯論壇帖子
  2. url = 'http://bbs.tianya.cn/post-culture-488321-1.shtml'
  3. r = session.get(url)
  4. # 樓主名字
  5. author = r.html.find('div.atl-info span a', first=True).text
  6. # 總頁數
  7. div = r.html.find('div.atl-pages', first=True)
  8. links = div.find('a')
  9. total_page = 1 if links ==  else int(links[-2].text)
  10. # 標題
  11. title = r.html.find('span.s_title span', first=True).text

  12. with io.open(f'{title}.txt', 'x', encoding='utf-8') as f:
  13. for i in range(1, total_page + 1):
  14. s = url.rfind('-')
  15. r = session.get(url[:s + 1] + str(i) + '.shtml')
  16. # 從剩下的裡面找樓主的帖子
  17. items = r.html.find(f'div.atl-item[_host={author}]')
  18. for item in items:
  19. content: str = item.find('div.bbs-content', first=True).text
  20. # 去掉回覆
  21. if not content.startswith('@'):
  22. f.write(content + "\\n")

爬完之後，看了一下，700多k的文件，效果不錯。

原文：https://blog.csdn.net/u011054333/article/details/81055423

回覆下方「關鍵詞」，獲取優質資源

回覆關鍵詞「 pybook03」，立即獲取主頁君與小夥伴一起翻譯的《Think Python 2e》電子版

回覆關鍵詞「pybooks02」，立即獲取 O'Reilly 出版社推出的免費 Python 相關電子書合集

回覆關鍵詞「書單02」，立即獲取主頁君整理的 10 本 Python 入門書的電子版

人見人愛的最新 Python 爬蟲利器

題圖：pexels，CC0 授權。

"

相關推薦

'一文帶你瞭解爬蟲'
"前段時間我媽突然問我：兒子，爬蟲是什麼？我當時既驚訝又尷尬，驚訝的是為什麼我媽會對爬蟲好奇？尷尬的是我該怎麼給她解釋呢？一、爬蟲介紹1.爬蟲是什麼網絡爬蟲(web crawler 簡稱爬蟲)就是按照一定規則從互聯網上抓取信息的程序，既然是程序那和正常用戶訪問頁面有何區別？...
網絡爬蟲 搜索引擎 Python 百度 搜狗 Java 軟件 PHP 跳槽那些事兒 Linux Google 人生第一份工作 騰訊 MySQL 中國鐵路客戶服務中心 雅虎 金山軟件 Perl 海豚 美團網 Bing 天貓 淘寶網 Ruby 螞蟻金服 蟒蛇 創業 企鵝 2019-09-19
'Python網絡數據採集入門教程'
"在這篇文章中，我們將介紹Python提供的幾乎所有的網絡數據採集工具，你可以將本文看作是我們的《終極網絡數據採集指南》的系列文章。我們將從最基本的工具到最先進的工具進行介紹，並將涵蓋每一個的利弊。當然，我們並不能涵蓋我們討論的每個工具的所有方面，但是這篇文章應該足以讓你瞭...
Python 瀏覽器 Chrome HTML 文章 JavaScript JSON CSS Apache Nginx 操作系統 Reddit OS X 2019-09-19
'Python什麼情況下會生成 pyc文件？通過pyc文件瞭解Python運行原理'
"由於最近一位同學在做分佈式計算時，部分模塊只把 pyc文件拷貝部署至遠程計算節點，導致主節點程序更新後，計算節點拋出了錯誤異常，於是有了這篇文章...示例如下，有兩個py模塊，testops.py 與 testops_imported.py模塊。我們先來看 testops...
Python 分佈式計算 2019-09-18
'用Python實現進制轉換，這一篇教程就夠了！這也太完美了'
"前言Python 實現進制轉換一、導言導語：在計算機進行數據交換時，常常會有一個進制轉換的過程，我們知道計算機只認0 和 1.在內存系統中，基本基於二進制進行運算的，但是有時候數據過於龐大，為了方便存儲管理，計算機會使用十六進制存儲數據，但是怎麼實現數據轉換呢？我們人類由...
Python 電腦 C語言 腳本語言 工程師 迪吉多 2019-09-18
'用 Python 寫一個安卓 APP'
"作者：youerning來源：http://youerning.blog.51cto.com/10513771/1733534前言用 Python 寫安卓 APP 肯定不是最好的選擇，目前用Java和 kotlin 寫的居多，但是肯定也是一個很偷懶的選擇，而且實在不想學習...
Python Android Java Linux Windows 虛擬機 Google Apache VirtualBox iOS Kotlin GitHub 設計 VMware 電腦 2019-09-18
'Python的概念化知識、優化技巧和常見算法性能優化（高級下篇）'
"6、字典實現原理CPython中使用偽隨機探測的散列表作為字典底層數據結構。只有可哈希對象才能作為字典的鍵。如果一個對象有一個在整個生命週期都不變的散列值，而且這個值可以與其他對象進行比較，那麼這個對象就是可哈希Python中所有不可變的內置類型都是可哈希的。可變（列表，...
Python 算法 數據結構 XML 編譯器 2019-09-17
'Python中的Lambda，Map和Filter'
"今天的部分介紹了在Python中使用lambda，map和filter函數。我們將介紹每個的基本語法，並通過一些示例來熟悉使用它們。讓我們開始吧！*** Lambda***lambda運算符或lambda函數用於在Python中創建小型的、一次性的匿名函數對象基本語法la...
Python Java 2019-09-17
'8個用於業餘項目的優秀Python庫'
"這些庫可以使你更容易構架個人項目。在Python/Django的世界裡有這樣一個諺語：為語言而來，為社區而留。對絕大多數人來說的確是這樣的，但是，還有一件事情使得我們一直停留在Python的世界裡，不願離開，那就是我們可以很容易地利用一頓午餐或晚上幾個小時的時間，把一個想...
Python Django 數據庫 HTML XML 腳本語言 Java 機器學習 搜索引擎 編程語言 2019-09-16
'《What the f*ck Python!》那難以理解和反人類直覺的例子及原理'
"歡迎各位小哥哥小姐姐閱讀本&lt;小生&gt;的文章,對大家學習有幫助,請點贊加關注哦!!!!!!!!!!您的點贊和關注將是我持續更新的動力呢.^v^有不懂的問題可以私聊我哦!前言最近，發現了一個在GitHub關於Python的一個非常有趣的項目。這個項目叫《What t...
Python Calvin Klein JavaScript Stack Overflow 機器學習 腳本語言 2019-09-16
'Python Requests作者另一神作，Records通用而優雅的數據庫訪問庫'
"我們在開發過程中經常涉及與數據庫進行交互，比如MySQL、Oracle、PostgreSQL、Sqlite，一般，我們使用其對應的Python 第三方模塊，實現相關數據庫操作，如下MySQL數據庫：mysql-connector，pymysql PostgreSQL數據庫...
數據庫 Python SQL MySQL HTML YAML PostgreSQL Excel 2019-09-16
'阿里在職架構師推出了的一份Python學習清單，這一定是你最需要的'
"站在風口上，豬都能飛起來。人工智能風口，讓Pyhon這門膠水語言轉變成非常火的網紅語言。編程功力深厚的程序員花一兩個星期就能上手Python，而一些新手程序員花幾個月就可以上手。學編程，用Python確實是一個相當不錯的選擇。不過，面對Python網上有紛雜的資料，一些程...
Python MySQL 數據庫 Linux 程序員 讀書 Django 面向對象程序編程 CSS HTML JavaScript MongoDB jQuery 人工智能 編程語言 算法 硬件 物聯網 路由器 操作系統 2019-09-16
'python爬蟲模擬微博登錄'
"微博模擬登錄這是本次爬取的網址：https://weibo.com/一、請求分析找到登錄的位置，填寫用戶名密碼進行登錄操作看看這次請求響應的數據是什麼這是響應得到的數據，保存下來exectime: 8nonce: "HW9VSX"pcid: "gz-4ede4c6269a...
Python 微博 網絡爬蟲 百度 2019-09-16
'PyPy是Python解釋器的替代品，某些 Python 程序來說會快很多倍'
"歡迎各位小哥哥小姐姐閱讀本&lt;小生&gt;的文章,對大家學習有幫助,請點贊加關注哦!!!!!!!!!!您的點贊和關注將是我持續更新的動力呢.^v^有不懂的問題可以私聊我哦!前言Python因其強大、靈活且易於使用等特性，而贏得了聲譽。這些優點使其在各種各樣的應用程序、...
Python 技術 彙編語言 機器學習 讀書 2019-09-16
'VBA 會被 Python 代替嗎？'
"VBA和Python都可以處理Excel，VBA和Python各有什麼優勢?有傳言說，微軟會使用Python來替代VBA處理Excel，真的會替代麼？在知乎上看到這篇文章，我覺得分析得挺對的，特轉載一下，內容有所刪減。來源：https://zhuanlan.zhihu.c...
Python Excel 電腦 微軟 Word 跳槽那些事兒 設計 軟件 技術 PowerShell 人生第一份工作 歷史 程序設計 數據結構 財會 人工智能 金融 2019-09-16
'Python中的Requests模塊，星號和括號'
"requests模塊官方地址：https://github.com/psf/requests官方文檔 ：https://2.python-requests.org/en/master/用於http請求的模塊 ，用於網頁數據抓取七個主要方法Python資源共享群：62601...
Python JSON 2019-09-16
'為什麼有人說 Python 的多線程是雞肋？不是真正意義上的多線程？'
"歡迎各位小哥哥小姐姐閱讀本&lt;小生&gt;的文章,對大家學習有幫助,請點贊加關注哦!!!!!!!!!!您的點贊和關注將是我持續更新的動力呢.^v^有不懂的問題可以私聊我哦!問題：1、Python 多線程為什麼耗時更長？2、為什麼在 Python 裡面推薦使用多進程而不...
Python 機器學習 中央處理器 腳本語言 網絡爬蟲 2019-09-15
'Python學習乾貨 史上最全的 Python 爬蟲工具列表大全'
"這個列表包含與網頁抓取和數據處理的Python庫。網絡通用urllib -網絡庫(stdlib)。requests -網絡庫。grab – 網絡庫（基於pycurl）。pycurl – 網絡庫（綁定libcurl）。urllib3 – Python HTTP庫，安全連接池...
Python 網絡爬蟲 HTML Scrapy XML 瀏覽器 CSS XHTML jQuery C語言 JSON Excel 可視化技術 2019-09-15
'Python基礎學習教程系列講解——try_except異常處理機制'
"在Python編程中不可避免的會出現錯誤，在調試階段出現語法之類的錯誤時，Pycharm會在Debug窗口提示錯誤，但是程序在運行時由於內部隱含的問題而引起錯誤，會導致程序終止執行。比如以下例程中，使用urllib庫打開URL時由於網絡問題而發生了錯誤：import ur...
Python PyCharm 2019-09-15
'用Python控制Excel實現自動化辦公！附全套學習教程'
"1.安裝2.操作一個簡單的Excel文檔操作註釋及代碼：操作完成後，數據存儲結果如下：3. 操作簡單Excel文檔並添加數據格式操作代碼如下：附帶數據格式的定義操作效果如圖所示：4.Excel中添加不同類型的數據操作代碼如下：將不同的數據按照指定的格式添加到文件中代碼執行...
Excel Python 2019-09-15
'入門Python，總遇到這樣那樣的安裝問題，手把手教會你'
"轉發本文並私信我"python"，即可獲得Python資料以及更多系列文章(持續更新的)最近有挺多小夥伴問我要入門 Python 的資料，還有小夥伴完全沒有入門 Python 就直接購買了我的 pandas 專欄。因此我決定寫幾篇 Python 數據處理分析必備的入門知識...
Python 腳本語言 Windows 電腦 操作系統 文章 2019-09-15
推薦中...