GitHub 上哪些爬蟲以及相關的項目

編程語言 GitHub 網絡爬蟲 Nutch 核芯處理 2017-05-03

GitHub 上哪些爬蟲以及相關的項目(java)

  1. nutchhttps://github.com/apache/nutch apache下的開源項目 最後更新幾個月前

  2. Heritrixhttps://github.com/internetarchive/heritrix3 比較成熟,用的人比較多 最後更新11個月前

  3. crawler4jhttps://github.com/yasserg/crawler4j 最後更新一個月前

  4. Geccohttps://github.com/xtuhcy/gecco 最後更新一個月前

  5. WebCollectorhttps://github.com/CrawlScript/WebCollector 最後更新四個月前

  6. Spidermanhttp://git.oschina.net/l-weiwei/Spiderman2 最後更新一個月前

  7. WebMagichttps://github.com/code4craft/webmagic 最後更新十五天前

  8. SeimiCrawlerhttps://github.com/zhegexiaohuozi/SeimiCrawler 最後更新一個月前

  9. 神箭手 https://github.com/ShenJianShou/crawler_samples 最後更新6天前 (各種爬蟲源碼,可以直接在 神箭手雲爬蟲開發平臺 上運行 http://www.shenjianshou.cn)

  10. jsoup包含http工具以及分析頁面的工具包 https://jsoup.org/

  11. okhttpshttp工具包

GitHub 上哪些爬蟲以及相關的項目

相關推薦

推薦中...