Python網絡爬蟲基本原理（2）

編程語言 Python 網絡爬蟲 科技 IT技術Java交流 2017-05-23

接上一篇原理

更新策略

互聯網是實時變化的動態性極強

網頁更新的策略主要是

決定何時更新之前已經下載過的頁面

更新策略分以下幾種供參考

Python網絡爬蟲基本原理（2）

Python網絡爬蟲基本原理（2）

分佈式抓取系統結構

取系統需要面對的是整個互聯網上數以億計的網頁

單個抓取 抓程序不可能完成這樣的任務

所以往往需要多個抓取程序一起來處理

一般來說抓取系統往往是一個分佈式的三層結構

如圖

Python網絡爬蟲基本原理（2）

最下一層是分佈在不同地理位置的數據中心

在每個數據中心裡有若干臺抓取服務器

而每臺抓取服務器上可能部署了若干套爬蟲程序

這就構成了一個基本的分佈式抓取系統。

然而對於一個數據中心內的不同抓取服務器

協同工作的方式有幾種：

1.主從式

如圖

Python網絡爬蟲基本原理（2）

有一臺專門的Master服務器來維護待抓取URL隊列

它負責每次將URL分發到不同的Slave服務器

而Slave服務器則負責實際的網頁下載工作

Master服務器除了維護待抓取URL隊列以及分發URL之外，還要負責調解各個Slave服務器的負載情況

以免某些Slave服務器過於清閒或者勞累。

2.對等式

如圖

Python網絡爬蟲基本原理（2）

Python網絡爬蟲基本原理（2）

Python網絡爬蟲基本原理（2）

學習過程中遇到什麼問題或者想獲取學習資源的話，歡迎加入學習交流群

626062078，我們一起學Python！

相關推薦

'一文帶你瞭解爬蟲'
"前段時間我媽突然問我：兒子，爬蟲是什麼？我當時既驚訝又尷尬，驚訝的是為什麼我媽會對爬蟲好奇？尷尬的是我該怎麼給她解釋呢？一、爬蟲介紹1.爬蟲是什麼網絡爬蟲(web crawler 簡稱爬蟲)就是按照一定規則從互聯網上抓取信息的程序，既然是程序那和正常用戶訪問頁面有何區別？...
網絡爬蟲 搜索引擎 Python 百度 搜狗 Java 軟件 PHP 跳槽那些事兒 Linux Google 人生第一份工作 騰訊 MySQL 中國鐵路客戶服務中心 雅虎 金山軟件 Perl 海豚 美團網 Bing 天貓 淘寶網 Ruby 螞蟻金服 蟒蛇 創業 企鵝 2019-09-19
'Python網絡數據採集入門教程'
"在這篇文章中，我們將介紹Python提供的幾乎所有的網絡數據採集工具，你可以將本文看作是我們的《終極網絡數據採集指南》的系列文章。我們將從最基本的工具到最先進的工具進行介紹，並將涵蓋每一個的利弊。當然，我們並不能涵蓋我們討論的每個工具的所有方面，但是這篇文章應該足以讓你瞭...
Python 瀏覽器 Chrome HTML 文章 JavaScript JSON CSS Apache Nginx 操作系統 Reddit OS X 2019-09-19
'Python什麼情況下會生成 pyc文件？通過pyc文件瞭解Python運行原理'
"由於最近一位同學在做分佈式計算時，部分模塊只把 pyc文件拷貝部署至遠程計算節點，導致主節點程序更新後，計算節點拋出了錯誤異常，於是有了這篇文章...示例如下，有兩個py模塊，testops.py 與 testops_imported.py模塊。我們先來看 testops...
Python 分佈式計算 2019-09-18
'用Python實現進制轉換，這一篇教程就夠了！這也太完美了'
"前言Python 實現進制轉換一、導言導語：在計算機進行數據交換時，常常會有一個進制轉換的過程，我們知道計算機只認0 和 1.在內存系統中，基本基於二進制進行運算的，但是有時候數據過於龐大，為了方便存儲管理，計算機會使用十六進制存儲數據，但是怎麼實現數據轉換呢？我們人類由...
Python 電腦 C語言 腳本語言 工程師 迪吉多 2019-09-18
'用 Python 寫一個安卓 APP'
"作者：youerning來源：http://youerning.blog.51cto.com/10513771/1733534前言用 Python 寫安卓 APP 肯定不是最好的選擇，目前用Java和 kotlin 寫的居多，但是肯定也是一個很偷懶的選擇，而且實在不想學習...
Python Android Java Linux Windows 虛擬機 Google Apache VirtualBox iOS Kotlin GitHub 設計 VMware 電腦 2019-09-18
'Python的概念化知識、優化技巧和常見算法性能優化（高級下篇）'
"6、字典實現原理CPython中使用偽隨機探測的散列表作為字典底層數據結構。只有可哈希對象才能作為字典的鍵。如果一個對象有一個在整個生命週期都不變的散列值，而且這個值可以與其他對象進行比較，那麼這個對象就是可哈希Python中所有不可變的內置類型都是可哈希的。可變（列表，...
Python 算法 數據結構 XML 編譯器 2019-09-17
'Python中的Lambda，Map和Filter'
"今天的部分介紹了在Python中使用lambda，map和filter函數。我們將介紹每個的基本語法，並通過一些示例來熟悉使用它們。讓我們開始吧！*** Lambda***lambda運算符或lambda函數用於在Python中創建小型的、一次性的匿名函數對象基本語法la...
Python Java 2019-09-17
'8個用於業餘項目的優秀Python庫'
"這些庫可以使你更容易構架個人項目。在Python/Django的世界裡有這樣一個諺語：為語言而來，為社區而留。對絕大多數人來說的確是這樣的，但是，還有一件事情使得我們一直停留在Python的世界裡，不願離開，那就是我們可以很容易地利用一頓午餐或晚上幾個小時的時間，把一個想...
Python Django 數據庫 HTML XML 腳本語言 Java 機器學習 搜索引擎 編程語言 2019-09-16
'《What the f*ck Python!》那難以理解和反人類直覺的例子及原理'
"歡迎各位小哥哥小姐姐閱讀本<小生>的文章,對大家學習有幫助,請點贊加關注哦!!!!!!!!!!您的點贊和關注將是我持續更新的動力呢.^v^有不懂的問題可以私聊我哦!前言最近，發現了一個在GitHub關於Python的一個非常有趣的項目。這個項目叫《What t...
Python Calvin Klein JavaScript Stack Overflow 機器學習 腳本語言 2019-09-16
'Python Requests作者另一神作，Records通用而優雅的數據庫訪問庫'
"我們在開發過程中經常涉及與數據庫進行交互，比如MySQL、Oracle、PostgreSQL、Sqlite，一般，我們使用其對應的Python 第三方模塊，實現相關數據庫操作，如下MySQL數據庫：mysql-connector，pymysql PostgreSQL數據庫...
數據庫 Python SQL MySQL HTML YAML PostgreSQL Excel 2019-09-16
'阿里在職架構師推出了的一份Python學習清單，這一定是你最需要的'
"站在風口上，豬都能飛起來。人工智能風口，讓Pyhon這門膠水語言轉變成非常火的網紅語言。編程功力深厚的程序員花一兩個星期就能上手Python，而一些新手程序員花幾個月就可以上手。學編程，用Python確實是一個相當不錯的選擇。不過，面對Python網上有紛雜的資料，一些程...
Python MySQL 數據庫 Linux 程序員 讀書 Django 面向對象程序編程 CSS HTML JavaScript MongoDB jQuery 人工智能 編程語言 算法 硬件 物聯網 路由器 操作系統 2019-09-16
'python爬蟲模擬微博登錄'
"微博模擬登錄這是本次爬取的網址：https://weibo.com/一、請求分析找到登錄的位置，填寫用戶名密碼進行登錄操作看看這次請求響應的數據是什麼這是響應得到的數據，保存下來exectime: 8nonce: "HW9VSX"pcid: "gz-4ede4c6269a...
Python 微博 網絡爬蟲 百度 2019-09-16
'PyPy是Python解釋器的替代品，某些 Python 程序來說會快很多倍'
"歡迎各位小哥哥小姐姐閱讀本<小生>的文章,對大家學習有幫助,請點贊加關注哦!!!!!!!!!!您的點贊和關注將是我持續更新的動力呢.^v^有不懂的問題可以私聊我哦!前言Python因其強大、靈活且易於使用等特性，而贏得了聲譽。這些優點使其在各種各樣的應用程序、...
Python 技術 彙編語言 機器學習 讀書 2019-09-16
'VBA 會被 Python 代替嗎？'
"VBA和Python都可以處理Excel，VBA和Python各有什麼優勢?有傳言說，微軟會使用Python來替代VBA處理Excel，真的會替代麼？在知乎上看到這篇文章，我覺得分析得挺對的，特轉載一下，內容有所刪減。來源：https://zhuanlan.zhihu.c...
Python Excel 電腦 微軟 Word 跳槽那些事兒 設計 軟件 技術 PowerShell 人生第一份工作 歷史 程序設計 數據結構 財會 人工智能 金融 2019-09-16
'Python中的Requests模塊，星號和括號'
"requests模塊官方地址：https://github.com/psf/requests官方文檔 ：https://2.python-requests.org/en/master/用於http請求的模塊 ，用於網頁數據抓取七個主要方法Python資源共享群：62601...
Python JSON 2019-09-16
'為什麼有人說 Python 的多線程是雞肋？不是真正意義上的多線程？'
"歡迎各位小哥哥小姐姐閱讀本<小生>的文章,對大家學習有幫助,請點贊加關注哦!!!!!!!!!!您的點贊和關注將是我持續更新的動力呢.^v^有不懂的問題可以私聊我哦!問題：1、Python 多線程為什麼耗時更長？2、為什麼在 Python 裡面推薦使用多進程而不...
Python 機器學習 中央處理器 腳本語言 網絡爬蟲 2019-09-15
'Python學習乾貨 史上最全的 Python 爬蟲工具列表大全'
"這個列表包含與網頁抓取和數據處理的Python庫。網絡通用urllib -網絡庫(stdlib)。requests -網絡庫。grab – 網絡庫（基於pycurl）。pycurl – 網絡庫（綁定libcurl）。urllib3 – Python HTTP庫，安全連接池...
Python 網絡爬蟲 HTML Scrapy XML 瀏覽器 CSS XHTML jQuery C語言 JSON Excel 可視化技術 2019-09-15
'Python基礎學習教程系列講解——try_except異常處理機制'
"在Python編程中不可避免的會出現錯誤，在調試階段出現語法之類的錯誤時，Pycharm會在Debug窗口提示錯誤，但是程序在運行時由於內部隱含的問題而引起錯誤，會導致程序終止執行。比如以下例程中，使用urllib庫打開URL時由於網絡問題而發生了錯誤：import ur...
Python PyCharm 2019-09-15
'用Python控制Excel實現自動化辦公！附全套學習教程'
"1.安裝2.操作一個簡單的Excel文檔操作註釋及代碼：操作完成後，數據存儲結果如下：3. 操作簡單Excel文檔並添加數據格式操作代碼如下：附帶數據格式的定義操作效果如圖所示：4.Excel中添加不同類型的數據操作代碼如下：將不同的數據按照指定的格式添加到文件中代碼執行...
Excel Python 2019-09-15
'公信寶前職員揭公司內料 V神推特公開法幣持倉僅2億'
"​政策法規瑞士監管機構準備與其他國家合作確保對Libra的監管據路透社消息，瑞士頂級金融監管機構表示，瑞士歡迎國際監督其監管Facebook的加密貨幣項目Libra的方式，並準備與其他國家合作以確保無縫監管。瑞士金融市場監管局（FINMA）主席Mark Branson表示...
Twitter 比特幣 金融 路透社 瑞士 區塊鏈 歐洲 瑞銀集團 中央銀行 跳槽那些事兒 伊朗 亞洲 銀行 瑞士信貸集團 人生第一份工作 杭州 普華永道 Facebook 美洲 網絡爬蟲 爬行動物 2019-09-15
推薦中...