用python實現自動下載圖片

編程語言 Python 技術 多年不聞雨聲 多年不聞雨聲 2017-09-18

先來看看我們要下載的圖片(美女哦!)

用python實現自動下載圖片

圖片示例

本次下載使用的是Python 3.5 + BeautifulSoup4 + requests 組合

第一步:

先看看要爬取的網站是否允許爬取(遵守互聯網規則):

在瀏覽器輸入要爬取的網站首頁地址,加上robots.txt,例如:

www.baidu.com/robots.txt 將中間的baidu換成你要爬取的網站

本次要爬取的網站robots協議如下:

用python實現自動下載圖片

網站robots協議

可以看到,並未禁止對網站上圖片的爬取

第二步:

分析網頁源碼:

在圖片上點鼠標右鍵,選擇“審查元素”,即可在瀏覽器中查看當前圖片的地址:

用python實現自動下載圖片

查看網頁源碼

可以看到,圖片的名稱和地址都在源碼裡,其位於:

<div class=”content”>

<center>

<img …>

</center>

</div>

第三步:

根據圖片地址,制定爬取規則:

讀取網頁,將源代碼傳入BeautifulSoup中,通過其中一些方法,找到圖片地址和名稱

Img_addr = soup.find(“div”, class_=”content”).find(“center”).find_all(“img”)

第四步:

爬取圖片,並保存在本地

源代碼如下:

用python實現自動下載圖片

源代碼

本地結果:

用python實現自動下載圖片

結果展示

是不是很神奇呢?

總結:這次寫的代碼還可以簡化、改進,這裡只是做一個小小的演示。在爬取過程中,還會遇到有多個分頁、反爬取、動態加載等問題,上面的代碼遇到這些問題就不適合使用了。希望大家喜歡,謝謝。

相關推薦

推薦中...