網絡爬蟲（定義）
（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者，不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲）
是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。
是一種“自動化瀏覽網絡”的程序，或者說是一種網絡機器人。
通俗來講就是:
把別人網站的信息弄到自己的電腦上，再做一些過濾，篩選，歸納，整理，排序等等，如果數據量足夠大，算法足夠好，能給別人提供優質的檢索服務，就可以做成類似google或baidu了
應用
它們被廣泛用於互聯網搜索引擎或其他類似網站，以獲取或更新這些網站的內容和檢索方式。它們可以自動採集所有其能夠訪問到的頁面內容，以供搜索引擎做進一步處理（分檢整理下載的頁面），而使得用戶能更快的檢索到他們需要的信息。
簡單介紹
網絡爬蟲框架主要由控制器、解析器和索引庫三大部分組成，而爬蟲工作原理主要是解析器這個環節，解析器的主要工作是下載網頁，進行頁面的處理，主要是將一些JS腳本標籤、CSS代碼內容、空格字符、HTML標籤等內容處理掉，爬蟲的基本工作是由解析器完成。所以解析器的具體流程是：
入口訪問->下載內容->分析結構->提取內容
如何進行
①分析爬蟲目標結構
（通過瀏覽器的開發者模式）
②實現爬蟲
（先安裝python，學會用第三方python庫，學會用python框架）
感謝大家的閱讀，歡迎大家關注天才瘋子！
相關推薦
'在成年人的世界裡“錢”就是你我之間最大的差距'
"前兩天在抖音看到一個段子“月薪5千和月薪5萬，差別在哪？”視頻一出，引發很多關注。評論區有一條點贊很高的一條評論說：“自己已經很久不敢看朋友圈了”。不知從什麼時候開始，曾經一起逃課，一起玩；一起嚷嚷著要改變世界的玩伴，已經漸漸的拉開了差距。別人朋友圈裡晒的都是度假、包包、...
'python爬蟲模擬微博登錄'
"微博模擬登錄這是本次爬取的網址：https://weibo.com/一、請求分析找到登錄的位置，填寫用戶名密碼進行登錄操作看看這次請求響應的數據是什麼這是響應得到的數據，保存下來exectime: 8nonce: "HW9VSX"pcid: "gz-4ede4c6269a...
'為啥子這麼多人開始學Python？看完這些你就清楚了'
"Python具有豐富和強大的庫。它常被暱稱為膠水語言，能夠把用其他語言製作的各種模塊（尤其是C/C++）很輕鬆地聯結在一起。在小編看來，基本上可以負責任地認為，Python 可以做任何事情。無論是從入門級選手到專業級數據挖掘、科學計算、圖像處理、人工智能，Python 都...
'寫python爬蟲，不會正則怎麼行呢？另贈學習資料'
"導讀：正則在各語言中的使用是有差異的，本文以 Python 3 為基礎。本文主要講述的是正則的語法，對於 re 模塊不做過多描述，只會對一些特殊地方做提示。很多人覺得正則很難，在我看來，這些人一定是沒有用心。其實正則很簡單，根據二八原則，我們只需要懂 20% 的內容就可以...
推薦中...