想必有部分程序員也寫過一些爬蟲程序吧，不論是java語言還是php語言還是python等，都可以輕鬆實現，用php一行代碼就可以抓取一個網頁，不過後續要處理的細節還是蠻多，各種去噪處理什麼的，另外還要注意的一點就是要遵循一定的規則，有的網站是不希望被抓取的，在網站的根目錄下會有一個robot.txt之類的文件，爬蟲要遵守這個規則，如果不遵守這個規則就算是比較流氓的做法了，近期一個程序員就給我們分享了他的一個遭遇。
這名程序員寫了一個爬蟲程序，他寫的這個程序可能就沒有遵守爬蟲規則，他試圖去抓取對方的網站後卻抓來一行文字（傻逼，你爬個錘子！），看到這行文字後令他哭笑不得，他感覺對方是在挑釁，這名程序員就發出如下的感慨：“對爬蟲能不能友好點，這麼挑釁，就得搞死你，尊嚴問題，不是數據的問題了，都是開發，何必呢”，針對這名程序員網友的這種情況，讓我們一起看看其他網友們都是怎麼看待的吧！
網友一：我覺得這種還好，我們識別到爬蟲都是不封接口故意給錯誤數據的…………
上世是朵花：這名網友他們的做法是不封接口，給錯誤數據，不過樓主的情況，給的數據具有挑釁的性質，更容易讓對方攻擊。
網友二：可以幽默一點嘛
上世是朵花：是的，來一個搞笑風格的會好一點，這樣不至於得罪對方，也委婉的拒絕了對方爬取數據。
網友三：死循環請求搞奔他
網友回覆網友三：你以為人家傻麼？你根本就到不了應用服務器就被攔了
上世是朵花：技術這個東西，道高一尺魔高一丈，看有沒有必要，需要花多大的成本看具體情況了，攻和防都是無上限的。
網友四：這很容易得罪別人，小心被攻擊
上世是朵花：如果得罪一個高手，估計就真的與他們進行一次技術較量一下了。
網友五：這種是常見的手段了
上世是朵花：是的，這種做法是比較常見，都是返回一個錯誤數據，不過這個語言稍微有點挑釁，倒是覺得挺有意思的。
網友六：分佈式爬蟲來一套
上世是朵花：關鍵是他也沒有那麼多資源可以利用，沒必要，就當一個笑話看就行了。
網友七：哈哈哈，DDOS他
上世是朵花：對方既然敢這麼說，想必也有一定的技術實力可以防備的。
網友八：我笑了
上世是朵花：我想大部分人都會笑吧，遇到被拒絕抓取的情況是挺多，不過來這麼一句話的就感覺挺逗的，不免讓人看了一愣。
看了這樣一種情況，大家都是覺得挺逗的，是吧，通過這個案例，我們也不難得出這樣的結論，在寫爬蟲的時候也是需要講究一點規則的，比如要遵守robot.txt，還有是要控制訪問頻次什麼的，比如對方的服務器比較弱，訪問的過於頻繁，勢必對對方的網站造成影響，這樣就不是很友好了，另外，作為網站方，如果發現有不遵守規則的爬蟲過來抓數據，就給一個反饋就好了，不要反饋帶有挑釁的語言，如果碰上一個氣不過的人，可能會真盯上網站了，這樣的事情，雙方都有需要注意的地方，雙方都是開發人員嘛，要正確處理這樣的事情，保持友好共處。
以上所有圖片均來之互聯網
大家好，我是“上世是朵花”。如果你有什麼好的看法或者觀點可以在評論區展現你的才華，互動交流，如果想進一步瞭解我，那就關注我吧！
相關推薦
