果殼

一：前言

繼續練習Scrapy框架，這次抓取的果殼問答網站的熱門問答和精彩問答相關信息，信息如下：標題，關注量，回答數目，簡介等。之後保存到mongodb和json文件中以備後續使用。代碼地址：https://github.com/rieuse/ScrapyStudy

二：運行環境

• IDE：Pycharm 2017

• Python3.6

• pymongo 3.4.0

• scrapy 1.3.3

  三：實例分析

  1.首先進入果殼問答http://www.guokr.com/ask/ ，我這次爬取的是熱門問答和精彩問答的全部信息。

2.進入熱門問答和精彩問答，他們的頁面結構是一樣的。網址是www.guokr.com/ask/hottest 和www.guokr.com/ask/highlight 然後他們都有很多頁面，點擊下一頁後頁面地址就會加上後綴加上 (?page=數字)，後面的數字就是頁面的數目，隨後我們將使用列表迭代生成我們爬取的頁面地址。

start_urls = ['http://www.guokr.com/ask/hottest/?page={}'.format(n) for n in range(1, 8)] + ['http://www.guokr.com/ask/highlight/?page={}'.format(m) for m in range(1, 101)]

3.抓取內容：問答的關注，回答，標題，簡介。

4.網頁結構分析：全部問答內容在class="ask-list-cp"的ul下的li中，

所以對應的xpath地址如下，問答的單個信息的xpath取值是在全部信息的基礎上取的。這裡xpath選取比較靈活，可以使用屬性，不同的相對位置。很多方式都可以選擇到我們需要的數據，一種不成功就換其他的。比如這裡的幾個div都有自己單獨的屬性，就可以利用這個去選擇。

四：實戰代碼

分析好頁面結構和數據位置就可以使用scrapy框架來抓取數據了。完整代碼地址：github.com/rieuse/ScrapyStudy

1. 首先使用命令行工具輸入代碼創建一個新的Scrapy項目，之後創建一個爬蟲。

2.打開Guoke文件夾中的items.py，改為以下代碼，定義我們爬取的項目。

3.配置middleware.py配合settings中的User_Agent設置可以在下載中隨機選擇UA有一定的反ban效果，在原有代碼基礎上加入下面代碼。這裡的user_agent_list可以加入更多。

4.明確一下目標，這是抓取的數據保存到mongodb數據庫中和本地json文件。所以需要設置一下Pipeline

5.然後設置裡面也要修改一下，這樣才能啟動Pipeline相關配置，最後可以保存相關數據。

6.最後就是重點了，打開spiders文件夾中的guoke.py，改為以下代碼，這個是爬蟲主程序。這裡面的開始鏈接就是熱門回答和精彩回答結合。

五：總結

先來看看抓取後的效果如何，mongodb我使用的可視化客戶端是robomongodb，日常打開代碼的工具是notepad++，atom，vscode都還不錯推薦一波。代碼都放在github中了，有喜歡的朋友可以點擊 start follw，https://github.com/rieuse 。

mongodb：

json文件：