'Python 網絡爬蟲之模擬登陸合集'

"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

Python 網絡爬蟲之模擬登陸合集


輸出結果:

"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

Python 網絡爬蟲之模擬登陸合集


輸出結果:

Python 網絡爬蟲之模擬登陸合集

2.POST請求

利用data參數 為POST添加參數:

"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

Python 網絡爬蟲之模擬登陸合集


輸出結果:

Python 網絡爬蟲之模擬登陸合集

2.POST請求

利用data參數 為POST添加參數:

Python 網絡爬蟲之模擬登陸合集


"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

Python 網絡爬蟲之模擬登陸合集


輸出結果:

Python 網絡爬蟲之模擬登陸合集

2.POST請求

利用data參數 為POST添加參數:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

上傳文件的方式:

方法一:


"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

Python 網絡爬蟲之模擬登陸合集


輸出結果:

Python 網絡爬蟲之模擬登陸合集

2.POST請求

利用data參數 為POST添加參數:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

上傳文件的方式:

方法一:


Python 網絡爬蟲之模擬登陸合集


方法二:

我個人更習慣或者說更 Python 的操作,是方法二:

"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

Python 網絡爬蟲之模擬登陸合集


輸出結果:

Python 網絡爬蟲之模擬登陸合集

2.POST請求

利用data參數 為POST添加參數:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

上傳文件的方式:

方法一:


Python 網絡爬蟲之模擬登陸合集


方法二:

我個人更習慣或者說更 Python 的操作,是方法二:

Python 網絡爬蟲之模擬登陸合集


"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

Python 網絡爬蟲之模擬登陸合集


輸出結果:

Python 網絡爬蟲之模擬登陸合集

2.POST請求

利用data參數 為POST添加參數:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

上傳文件的方式:

方法一:


Python 網絡爬蟲之模擬登陸合集


方法二:

我個人更習慣或者說更 Python 的操作,是方法二:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

步入正題:

個人目前知道有以下幾種操作方法:

  1. POST 請求方法:需要在後臺獲取登錄的 URL並填寫請求體參數,然後 POST 請求登錄,相對麻煩;
  2. 添加 Cookies 方法:先登錄然後,將獲取到的 Cookies 加入 Headers 中,最後用 GET 方法請求登錄,這種最為方便;(個人比較喜歡這個方法)
  3. Selenium 模擬登錄:代替手工操作,自動完成賬號和密碼的輸入,簡單但速度比較慢。

下面用代碼分別實現這三種方法。


"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

Python 網絡爬蟲之模擬登陸合集


輸出結果:

Python 網絡爬蟲之模擬登陸合集

2.POST請求

利用data參數 為POST添加參數:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

上傳文件的方式:

方法一:


Python 網絡爬蟲之模擬登陸合集


方法二:

我個人更習慣或者說更 Python 的操作,是方法二:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

步入正題:

個人目前知道有以下幾種操作方法:

  1. POST 請求方法:需要在後臺獲取登錄的 URL並填寫請求體參數,然後 POST 請求登錄,相對麻煩;
  2. 添加 Cookies 方法:先登錄然後,將獲取到的 Cookies 加入 Headers 中,最後用 GET 方法請求登錄,這種最為方便;(個人比較喜歡這個方法)
  3. Selenium 模擬登錄:代替手工操作,自動完成賬號和密碼的輸入,簡單但速度比較慢。

下面用代碼分別實現這三種方法。


Python 網絡爬蟲之模擬登陸合集

1. 目標網頁

這是我們要爬取的目標網頁:

URL:https://www.itjuzi.com/investevent

"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

Python 網絡爬蟲之模擬登陸合集


輸出結果:

Python 網絡爬蟲之模擬登陸合集

2.POST請求

利用data參數 為POST添加參數:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

上傳文件的方式:

方法一:


Python 網絡爬蟲之模擬登陸合集


方法二:

我個人更習慣或者說更 Python 的操作,是方法二:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

步入正題:

個人目前知道有以下幾種操作方法:

  1. POST 請求方法:需要在後臺獲取登錄的 URL並填寫請求體參數,然後 POST 請求登錄,相對麻煩;
  2. 添加 Cookies 方法:先登錄然後,將獲取到的 Cookies 加入 Headers 中,最後用 GET 方法請求登錄,這種最為方便;(個人比較喜歡這個方法)
  3. Selenium 模擬登錄:代替手工操作,自動完成賬號和密碼的輸入,簡單但速度比較慢。

下面用代碼分別實現這三種方法。


Python 網絡爬蟲之模擬登陸合集

1. 目標網頁

這是我們要爬取的目標網頁:

URL:https://www.itjuzi.com/investevent

Python 網絡爬蟲之模擬登陸合集


該網頁需要先登錄才能看到數據信息,登錄界面如下:

"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

Python 網絡爬蟲之模擬登陸合集


輸出結果:

Python 網絡爬蟲之模擬登陸合集

2.POST請求

利用data參數 為POST添加參數:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

上傳文件的方式:

方法一:


Python 網絡爬蟲之模擬登陸合集


方法二:

我個人更習慣或者說更 Python 的操作,是方法二:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

步入正題:

個人目前知道有以下幾種操作方法:

  1. POST 請求方法:需要在後臺獲取登錄的 URL並填寫請求體參數,然後 POST 請求登錄,相對麻煩;
  2. 添加 Cookies 方法:先登錄然後,將獲取到的 Cookies 加入 Headers 中,最後用 GET 方法請求登錄,這種最為方便;(個人比較喜歡這個方法)
  3. Selenium 模擬登錄:代替手工操作,自動完成賬號和密碼的輸入,簡單但速度比較慢。

下面用代碼分別實現這三種方法。


Python 網絡爬蟲之模擬登陸合集

1. 目標網頁

這是我們要爬取的目標網頁:

URL:https://www.itjuzi.com/investevent

Python 網絡爬蟲之模擬登陸合集


該網頁需要先登錄才能看到數據信息,登錄界面如下:

Python 網絡爬蟲之模擬登陸合集


可以看到,只需要輸入賬號和密碼就可以登錄,不用輸驗證碼,比較簡單。下面利用我個人的賬號實現,來實現模擬登錄。

POST 提交請求登錄

1

首先,我們要找到 POST 請求的 URL。

有兩種方法,第一種是在直接右鍵在開發者工具中查看(在瀏覽器當中按 :F12 ),第二種是在 Fiddler 軟件中查看。

我們在調出開發者工具的時候,如果把控制檯放在地下,會出現如下測試了火狐瀏覽器和谷歌瀏覽皆為如此:


"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

Python 網絡爬蟲之模擬登陸合集


輸出結果:

Python 網絡爬蟲之模擬登陸合集

2.POST請求

利用data參數 為POST添加參數:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

上傳文件的方式:

方法一:


Python 網絡爬蟲之模擬登陸合集


方法二:

我個人更習慣或者說更 Python 的操作,是方法二:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

步入正題:

個人目前知道有以下幾種操作方法:

  1. POST 請求方法:需要在後臺獲取登錄的 URL並填寫請求體參數,然後 POST 請求登錄,相對麻煩;
  2. 添加 Cookies 方法:先登錄然後,將獲取到的 Cookies 加入 Headers 中,最後用 GET 方法請求登錄,這種最為方便;(個人比較喜歡這個方法)
  3. Selenium 模擬登錄:代替手工操作,自動完成賬號和密碼的輸入,簡單但速度比較慢。

下面用代碼分別實現這三種方法。


Python 網絡爬蟲之模擬登陸合集

1. 目標網頁

這是我們要爬取的目標網頁:

URL:https://www.itjuzi.com/investevent

Python 網絡爬蟲之模擬登陸合集


該網頁需要先登錄才能看到數據信息,登錄界面如下:

Python 網絡爬蟲之模擬登陸合集


可以看到,只需要輸入賬號和密碼就可以登錄,不用輸驗證碼,比較簡單。下面利用我個人的賬號實現,來實現模擬登錄。

POST 提交請求登錄

1

首先,我們要找到 POST 請求的 URL。

有兩種方法,第一種是在直接右鍵在開發者工具中查看(在瀏覽器當中按 :F12 ),第二種是在 Fiddler 軟件中查看。

我們在調出開發者工具的時候,如果把控制檯放在地下,會出現如下測試了火狐瀏覽器和谷歌瀏覽皆為如此:


Python 網絡爬蟲之模擬登陸合集


所以,需要把開發者工具放在別的方向,例如:

"

摘要: 之前我們爬取的實習僧、糗事百科、網易新聞都是不需要登陸,不需要你去做賬號、Cookies、Session等等,頂多只需要一個 headers (請求頭),但還有一類是需要:你(註冊)賬號登陸才能進行後續的操作。

例如:淘寶、知乎、豆瓣之類的需要你登陸的。

我們之前又整合一些 requests 庫 提供 http 的所有基本請求方式:

Python 網絡爬蟲之模擬登陸合集

Python資源共享群:484031800

回顧:

1.GET請求

可利用params參數

Python 網絡爬蟲之模擬登陸合集


輸出結果:

Python 網絡爬蟲之模擬登陸合集

2.POST請求

利用data參數 為POST添加參數:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

上傳文件的方式:

方法一:


Python 網絡爬蟲之模擬登陸合集


方法二:

我個人更習慣或者說更 Python 的操作,是方法二:

Python 網絡爬蟲之模擬登陸合集


Python 網絡爬蟲之模擬登陸合集

步入正題:

個人目前知道有以下幾種操作方法:

  1. POST 請求方法:需要在後臺獲取登錄的 URL並填寫請求體參數,然後 POST 請求登錄,相對麻煩;
  2. 添加 Cookies 方法:先登錄然後,將獲取到的 Cookies 加入 Headers 中,最後用 GET 方法請求登錄,這種最為方便;(個人比較喜歡這個方法)
  3. Selenium 模擬登錄:代替手工操作,自動完成賬號和密碼的輸入,簡單但速度比較慢。

下面用代碼分別實現這三種方法。


Python 網絡爬蟲之模擬登陸合集

1. 目標網頁

這是我們要爬取的目標網頁:

URL:https://www.itjuzi.com/investevent

Python 網絡爬蟲之模擬登陸合集


該網頁需要先登錄才能看到數據信息,登錄界面如下:

Python 網絡爬蟲之模擬登陸合集


可以看到,只需要輸入賬號和密碼就可以登錄,不用輸驗證碼,比較簡單。下面利用我個人的賬號實現,來實現模擬登錄。

POST 提交請求登錄

1

首先,我們要找到 POST 請求的 URL。

有兩種方法,第一種是在直接右鍵在開發者工具中查看(在瀏覽器當中按 :F12 ),第二種是在 Fiddler 軟件中查看。

我們在調出開發者工具的時候,如果把控制檯放在地下,會出現如下測試了火狐瀏覽器和谷歌瀏覽皆為如此:


Python 網絡爬蟲之模擬登陸合集


所以,需要把開發者工具放在別的方向,例如:

Python 網絡爬蟲之模擬登陸合集


"

相關推薦

推薦中...