Python 網絡爬蟲數據採集

NoSQL Python 網絡爬蟲 編程語言 怪獸IT學院 2017-05-20

第1節

準備工具

【怪獸IT學院】知識結構/路線圖/環境工具準備(3月6日 20:30-21:15)

第2節

網站與網頁

【怪獸IT學院】網站/網頁前端技術概述(3月8日 20:30-21:30)

【怪獸IT學院】站點結構處理(5分鐘)

【怪獸IT學院】HTML定義網頁結構(26分鐘)

【怪獸IT學院】CSS 定義網頁表現(13分鐘)

【怪獸IT學院】JavaScript 定義網頁行為(20分鐘)

第3節

HTTP超文本傳輸協議基礎

【回放】HTTP基礎(3月13日 20:30-21:15)

第4節

HTTP 資源

【怪獸IT學院】URL解析(13分鐘)

【怪獸IT學院】URL編碼與解碼(9分鐘)

【怪獸IT學院】資源類型及類型協商(7分鐘)

第5節

HTTP 消息

【怪獸IT學院】請求與響應(5分鐘)

【怪獸IT學院】HTTP請求方法(6分鐘)

【怪獸IT學院】headers 頭部信息(6分鐘)

【怪獸IT學院】響應及狀態(7分鐘)

第6節

Python 標準庫 urllib應用 I

【回放】Python 標準庫 urllib應用(3月20日 20:30-21:30)

【怪獸IT學院】urllib 處理web請求與響應(10分鐘)

【怪獸IT學院】response 狀態碼與錯誤處理(12分鐘)

第7節

Python 標準庫 urllib應用 II

【怪獸IT學院】自定義header請求/內容協商/User-Agent(5分鐘)

【怪獸IT學院】HTTP 請求方法(7分鐘)

【怪獸IT學院】URL/QueryString與地址欄編碼(4分鐘)

第8節

Web Cookies

【怪獸IT學院】Cookies 機制與原理(12分鐘)

【怪獸IT學院】Python 處理cookies(8分鐘)

第9節

requests HTTP編程

【回放】requests 庫應用(3月27日 20:30-21:15)

【怪獸IT學院】requests 概述(5分鐘)

【怪獸IT學院】請求構造與參數傳遞(8分鐘)

【怪獸IT學院】response 響應解析: 文本/二進制/JSON(7分鐘)

【怪獸IT學院】requests cookies 處理(10分鐘)

第10節

數據爬取與採集

【回放】數據爬取與採集(4月3日 20:30-21:30)

【怪獸IT學院】圖片資源下載(7分鐘)

【怪獸IT學院】文本數據採集(7分鐘)

第11節

JSON與API

【怪獸IT學院】JSON概述(7分鐘)

【怪獸IT學院】Python JSON操作(7分鐘)

【怪獸IT學院】API 爬取與解析(7分鐘)

第12節

BeautifulSoup4 HTML解析與提取

【回放】BeautifulSoup4 HTML解析(4月10日 20:30-21:30)

【怪獸IT學院】bs4概述及安裝配置(7分鐘)

【怪獸IT學院】BeautifulSoup4核心對象(7分鐘)

【怪獸IT學院】DOM 導航(7分鐘)

【怪獸IT學院】Web 元素查找與過濾(7分鐘)

第13節

爬蟲性能與併發處理

【回放】多線程爬蟲併發處理(4月24日 20:30-21:30)

【怪獸IT學院】Python 並行編程概述(7分鐘)

【怪獸IT學院】Python 多線程編程(7分鐘)

【怪獸IT學院】高IO併發爬蟲實現(7分鐘)

第14節

數據存儲之:文本/CSV/Excel

【回放】數據存儲之:文本/CSV/Excel(5月2日 20:30-21:30)

【怪獸IT學院】採集數據文本存儲(7分鐘)

【怪獸IT學院】採集數據CSV存儲(7分鐘)

【怪獸IT學院】採集數據Excel存儲(7分鐘)

第15節

數據存儲之:SQL關係型數據庫

【回放】採集數據Python SQLite存儲(5月8日 20:30-21:30)

【怪獸IT學院】SQLite 庫表管理(7分鐘)

【怪獸IT學院】SQL CRUD操作(7分鐘)

【怪獸IT學院】Python sqlite3模塊應用(7分鐘)

【怪獸IT學院】採集數據 SQL存儲(7分鐘)

第16節

數據存儲之:MongoDB

【回放】PyMongo 存儲數據到MongoDB(5月15日 20:30-21:30)

【怪獸IT學院】MongoDB 概述(7分鐘)

【怪獸IT學院】MongoDB 集合/文檔/字段管理(7分鐘)

【怪獸IT學院】PyMongo 數據管理(7分鐘)

【怪獸IT學院】採集數據 MongoDB存儲(7分鐘)

第17節

表單與登錄

【怪獸IT學院】表單數據提交(5月22日 20:30-21:30)

【怪獸IT學院】表單文本/選項值提交(7分鐘)

【怪獸IT學院】文件與圖片上傳提交(7分鐘)

【怪獸IT學院】Web 狀態管理概述(7分鐘)

【怪獸IT學院】表單登錄及cookies/session管理(7分鐘)

第18節

爬蟲驗證碼處理機制

【怪獸IT學院】爬蟲驗證碼常用處理機制(5月29日 20:30-21:30)

【怪獸IT學院】驗證碼 cookies處理(7分鐘)

【怪獸IT學院】圖片文本識別技術(7分鐘)

【怪獸IT學院】打碼服務與Python API(7分鐘)

第19節

反爬蟲技術應對

【怪獸IT學院】常見反爬蟲技術應對(7分鐘)

【怪獸IT學院】時間頻率控制與 Headers頭部信息模擬(7分鐘)

【怪獸IT學院】IP代理切換(7分鐘)

第20節

Selenium 2框架應用 I

【怪獸IT學院】Selenium 2 模擬人工操作(6月5日 20:30-21:30)

【怪獸IT學院】概述與Selenium 2/驅動安裝(7分鐘)

【怪獸IT學院】WebDriver 瀏覽器交互(7分鐘)

第21節

Selenium 2框架應用 II

【怪獸IT學院】Web 元素定位與查找(7分鐘)

【怪獸IT學院】WebElement 網頁元素:文本/值/屬性/狀態(7分鐘)

【怪獸IT學院】元素交互之:鼠標鍵盤事件(7分鐘)

【怪獸IT學院】實現網頁自動截圖(7分鐘)

第22節

爬蟲陷阱之動態內容處理

【怪獸IT學院】JS腳本執行與AJAX異步處理(6月12日 20:30-21:30)

【怪獸IT學院】Selenium2 後臺腳本執行(7分鐘)

【怪獸IT學院】處理AJAX異步加載元素(7分鐘)

【怪獸IT學院】網頁轉跳處理(7分鐘)

第23節

爬蟲測試

【怪獸IT學院】爬蟲單元測試用例編寫(6月19日 20:30-21:30)

【怪獸IT學院】Python unittest 單元測試(7分鐘)

【怪獸IT學院】爬蟲與單元測試(7分鐘)

【怪獸IT學院】Selenium 與單元測試(7分鐘)

下載地址:

百度搜索:怪獸IT學院 或者直接輸入guaishouxuyaun.net

相關推薦

推薦中...