'140種Python標準庫、第三方庫和外部工具（下）'

140種Python標準庫、第三方庫和外部工具（上）

05 數據計算和統計分析

數據計算和統計分析主要用於數據探查、計算和初步數據分析等工作。

65. numpy

類型：第三方庫

描述：NumPy是Python科學計算的基礎工具包，很多Python數據計算工作庫都依賴它

推薦度：★★★

66. scipy

類型：第三方庫

描述：Scipy是一組專門解決科學和工程計算不同場景的主題工具包

推薦度：★★★

67. pandas

類型：第三方庫

描述：Pandas是一個用於Python數據分析的庫，它的主要作用是進行數據分析。Pandas提供用於進行結構化數據分析的二維的表格型數據結構DataFrame，類似於R中的數據框，能提供類似於數據庫中的切片、切塊、聚合、選擇子集等精細化操作，為數據分析提供了便捷

推薦度：★★★

68. statsmodels

類型：第三方庫

描述：Statsmodels是Python的統計建模和計量經濟學工具包，包括一些描述性統計、統計模型估計和統計測試，集成了多種線性迴歸模型、廣義線性迴歸模型、離散數據分佈模型、時間序列分析模型、非參數估計、生存分析、主成分分析、核密度估計以及廣泛的統計測試和繪圖等功能

推薦度：★★★

69. abs(x)

類型：Python內置函數

描述：返回x的值

推薦度：★★★

70. cmp(x, y)

類型：Python內置函數

描述：比較兩個對象x和y，並根據結果返回一個整數。如果x y則返回值為正

推薦度：★★

71. float(x)

類型：Python內置函數

描述：返回從數字或字符串x構造的浮點數

推薦度：★★★

72. pow(x, y[, z])

類型：Python內置函數

描述：返回x的y次冪。如果z存在，則返回x的y次冪，模z

推薦度：★★★

73. sum(iterable[, start])

類型：Python內置函數

描述：從左到右依次迭代，返回總和

推薦度：★★★

74. math

類型：Python標準庫

描述：數學函數庫，包括正弦、餘弦、正切、餘切、弧度轉換、對數運算、圓周率、值、取整等數學計算方法

推薦度：★★★

75. cmath

類型：Python標準庫

描述：與math基本一致，區別是cmath運算的是複數

推薦度：★★

76. decimal

類型：Python標準庫

描述：10進制浮點運算

推薦度：★★

77. fractions

類型：Python標準庫

描述：分數模塊提供對有理數算術的支持

推薦度：★★

06 自然語言處理和文本挖掘

自然語言處理和文本挖掘庫主要用於以自然語言文本為對象的數據處理和建模。

78. nltk

類型：第三方庫

描述：NLTK是一個Python自然語言處理工具，它用於對自然語言進行分類、解析和語義理解。目前已經有超過50種語料庫和詞彙資源

推薦度：★★★

79. pattern

類型：第三方庫

描述：Pattern是一個網絡數據挖掘Python工具包，提供了用於網絡挖掘（如網絡服務、網絡爬蟲等）、自然語言處理（如詞性標註、情感分析等）、機器學習（如向量空間模型、分類模型等）、圖形化的網絡分析模型

推薦度：★★★

80. gensim

類型：第三方庫

描述：Gensim是一個專業的主題模型（發掘文字中隱含主題的一種統計建模方法）Python工具包，用來提供可擴展統計語義、分析純文本語義結構以及檢索語義上相似的文檔

推薦度：★★★

81. 結巴分詞

類型：第三方庫

描述：結巴分詞是國內流行的Python文本處理工具包，分詞模式分為三種模式：較精確模式、全模式和搜索引擎模式，支持繁體分詞、自定義詞典等，是非常好的Python中文分詞解決方案，可以實現分詞、詞典管理、關鍵字抽取、詞性標註等

推薦度：★★★

82. SnowNLP

類型：第三方庫

描述：SnowNLP是一個Python寫的類庫，可以方便的處理中文文本內容。該庫是受到了TextBlob的啟發而針對中文處理寫的類庫，和TextBlob不同的是這裡沒有用NLTK，所有的算法都是自己實現的，並且自帶了一些訓練好的字典

推薦度：★★

83. smallseg

類型：第三方庫

描述：Smallseg是一個開源的、基於DFA的輕量級的中文分詞工具包。可自定義詞典、切割後返回登錄詞列表和未登錄詞列表、有一定的新詞識別能力

推薦度：★★

84. spaCy

類型：第三方庫

描述：spaCy是一個Python自然語言處理工具包，它結合Python和Cython使得自然語言處理能力達到了工業強度

推薦度：★★★

85. TextBlob

類型：第三方庫

描述：TextBlob 是一個處理文本數據的Python庫，可用來做詞性標註、情感分析、文本翻譯、名詞短語抽取、文本分類等

推薦度：★★

86. PyNLPI

類型：第三方庫

描述：PyNLPI是一個適合各種自然語言處理任務的集合庫，可用於中文文本分詞、關鍵字分析等，尤其重要的是其支持中英文映射，支持UTF-8和GBK編碼的字符串等

推薦度：★★★

87. synonyms

類型：第三方庫

描述：中文近義詞工具包，可用於自然語言理解的很多任務：文本對齊，推薦算法，相似度計算，語義偏移，關鍵字提取，概念提取，自動摘要，搜索引擎等。

推薦度：★★★

07 圖像和視頻處理

圖像處理和視頻處理主要適用於基於圖像的操作、處理、分析和挖掘，如人臉識別、圖像識別、目標跟蹤、圖像理解等。

88. PIL/Pillow

類型：第三方庫

描述：PIL是一個常用的圖像讀取、處理和分析的庫，提供了多種數據處理、變換的操作方法和屬性。PIL僅支持到2.7版本且已經很久沒有更新，一群志願者基於PIL發佈了新的分支Pillow。Pillow同時支持Python2和Python3並且加入很多新的功能

推薦度：★★

89. OpenCV

類型：第三方庫

描述：OpenCV是一個強大的圖像和視頻工作庫。它提供了多種程序接口，支持跨平臺（包括移動端）應用。OpenCV的設計效率很高，它以優化的C / C ++編寫，庫可以利用多核處理。除了對圖像進行基本處理外，還支持圖像數據建模，並預製了多種圖像識別引擎，如人臉識別

推薦度：★★★

90. scikit-image

類型：第三方庫

描述：scikit-image（也稱skimage）是一個圖像處理庫，支持顏色模式轉換、濾鏡、繪圖、圖像處理、特徵檢測等多種功能

推薦度：★★

91. imageop

類型：Python標準庫

描述：Python自帶的函數，對圖像基本操作，包括裁剪、縮放、模式轉換

推薦度：★

92. colorsys

類型：Python標準庫

描述：Python自帶的函數，實現不同圖像色彩模式的轉換

推薦度：★

93. imghdr

類型：Python標準庫

描述：Python自帶的函數，返回圖像文件的類型

推薦度：★

08 音頻處理

音頻處理主要適用於基於聲音的處理、分析和建模，主要應用於語音識別、語音合成、語義理解等。

94. TimeSide

類型：第三方庫

描述：TimeSide是一個能夠進行音頻分析、成像、轉碼、流媒體和標籤處理的Python框架，可以對任何音頻或視頻內容非常大的數據集進行復雜的處理

推薦度：★★★

95. audiolazy

類型：第三方庫

描述：audiolazy是一個用於實時聲音數據流處理的庫，支持實時數據應用處理、無限數據序列表示、數據流表示等

推薦度：★★

96. pydub

類型：第三方庫

描述：pydub支持多種格式聲音文件，可進行多種信號處理（例如壓縮、均衡、歸一化）、信號生成（例如正弦、方波、鋸齒等）、音效註冊、靜音處理等

推薦度：★★★

97. audioop

類型：Python標準庫

描述：Python自帶的函數，可實現對聲音片段的一些常用操作

推薦度：★★

98. tinytag

類型：第三方庫

描述：tinytag用於讀取多種聲音文件的元數據，涵蓋MP3、OGG、OPUS、MP4、M4A、FLAC、WMA、Wave等格式

推薦度：★★

99. aifc

類型：Python標準庫

描述：Python自帶的函數，讀寫AIFF和AIFC文件

推薦度：★

100. sunau

類型：Python標準庫

描述：Python自帶的函數，讀寫Sun AU文件

推薦度：★

101. wave

類型：Python標準庫

描述：Python自帶的函數，讀寫WAV文件

推薦度：★★

102. chunk

類型：Python標準庫

描述：Python自帶的函數，讀取EA IFF 85塊格式的文件

推薦度：★

103. sndhdr

類型：Python標準庫

描述：Python自帶的函數，返回聲音文件的類型

推薦度：★

104. ossaudiodev

類型：Python標準庫

描述：該模塊支持訪問OSS（開放聲音系統）音頻接口

推薦度：★★★

09 數據挖掘/機器學習/深度學習

數據挖掘、機器學習和深度學習等是Python進行數據建模和挖掘學習的核心模塊。

105. Scikit-Learn

類型：第三方庫

描述：scikit-learn（也稱SKlearn）是一個基於Python的機器學習綜合庫，內置監督式學習和非監督式學習機器學習方法，包括各種迴歸、聚類、分類、流式學習、異常檢測、神經網絡、集成方法等主流算法類別，同時支持預置數據集、數據預處理、模型選擇和評估等方法，是一個非常完整、流行的機器學習工具庫

推薦度：★★★

106. TensorFlow

類型：第三方庫

描述：TensorFlow 是谷歌的第二代機器學習系統，內建深度學習的擴展支持，任何能夠用計算流圖形來表達的計算，都可以使用 TensorFlow

推薦度：★★★

107. NuPIC

類型：第三方庫

描述：NuPIC是一個以HTM（分層時間記憶）學習算法為工具的機器智能平臺。NuPIC適合於各種各樣的問題，尤其適用於檢測異常和預測應用

推薦度：★★★

108. PyTorch

類型：第三方庫

描述：PyTorch是FaceBook推出的深度學習框架，它基於Python（而非lua）產生，它提供的動態計算圖是顯著區別於Tensorflow等其他學習框架的地方。

推薦度：★★

109. Orange

類型：第三方庫

描述：Orange通過圖形化操作界面，提供交互式數據分析功能，尤其適用於分類、聚類、迴歸、特徵選擇和交叉驗證工作

推薦度：★★★

110. theano

類型：第三方庫

描述：Theano是非常成熟的深度學習庫。它與Numpy緊密集成，支持GPU計算、單元測試和自我驗證

推薦度：★★★

111. keras

類型：第三方庫

描述：Keras是一個用Python編寫的高級神經網絡API，能夠運行在TensorFlow或者Theano之上，它的開發重點是實現快速實驗

推薦度：★★

112. neurolab

類型：第三方庫

描述：Neurolab是具有靈活網絡配置和Python學習算法的基本神經網絡算法庫。它包含通過遞歸神經網絡（RNN）實現的不同變體，該庫是同類RNN API中較好的選擇之一

推薦度：★★

113. PyLearn2

類型：第三方庫

描述：PyLearn2是基於Theano的深度學習庫，它旨在提供極大的靈活性，並使研究人員可以進行自由可控制，參數和屬性的靈活、開放配置是亮點

推薦度：★★★

114. OverFeat

類型：第三方庫

描述：OverFeat是一個深度學習庫，主要用於圖片分類、定位物體檢測

推薦度：★★

115. Pyevolve

類型：第三方庫

描述：Pyevolve是一個完整的遺傳算法框架，也支持遺傳編程

推薦度：★★

116. Caffe2

類型：第三方庫

描述：Cafffe2也是FaceBook推出的深度學習框架，相比於PyTorch 更適合於研究，Caffe2 適合大規模部署，主要用於計算機視覺，它對圖像識別的分類具有很好的應用效果

推薦度：★★

010 數據可視化

數據可視化主要用於做數據結果展示、數據模型驗證、圖形交互和探查等方面。

117. Matplotlib

類型：第三方庫

描述：Matplotlib是Python的2D繪圖庫，它以各種硬拷貝格式和跨平臺的交互式環境生成出版質量級別的圖形，開發者可以僅需要幾行代碼，便可以生成多種高質量圖形

推薦度：★★★

118. pyecharts

類型：第三方庫

描述：基於百度Echarts的強大的可視化工具庫，其提供的圖形功能眾多，尤其對於複雜關係的展示能力較強

推薦度：★★★

119. seaborn

類型：第三方庫

描述：Seaborn是在Matplotlib的基礎上進行了更高級的API封裝，它可以作為Matplotlib的補充

推薦度：★★★

120. bokeh

類型：第三方庫

描述：Bokeh是一種交互式可視化庫，可以在WEB瀏覽器中實現美觀的視覺效果

推薦度：★★★

121. Plotly

類型：第三方庫

描述：Plotly提供的圖形庫可以進行在線WEB交互，並提供具有出版品質的圖形，支持線圖、散點圖、區域圖、條形圖、誤差條、框圖、直方圖、熱圖、子圖、多軸、極座標圖、氣泡圖、玫瑰圖、熱力圖、漏斗圖等眾多圖形

推薦度：★★★

122. VisPy

類型：第三方庫

描述：VisPy是用於交互式科學可視化的Python庫，旨在實現快速，可擴展和易於使用

推薦度：★★

123. PyQtGraph

類型：第三方庫

描述：PyQtGraph是一個建立在PyQt4 / PySide和numpy之上的純Python圖形和GUI庫，主要用於數學/科學/工程應用

推薦度：★★

124. ggplot

類型：第三方庫

描述：ggplot是用Python實現的圖形輸出庫，類似於 R中的圖形展示版本

推薦度：★★★

011 交互學習和集成開發

交互學習和集成開發主要用來做Python開發、調試和集成之用，包括Python集成開發環境和IDE。

125. IPython/ Jupyter

類型：第三方庫

描述：IPython 是一個基於Python 的交互式shell，比默認的Python shell 好用得多，支持變量自動補全、自動縮進、交互式幫助、魔法命令、系統命令等，內置了許多很有用的功能和函數。從IPython4.0開始，IPython衍生出了IPython和Jupyter兩個分支。在該分支正式出現之前，IPython其實已經擁有了ipython notebook功能，因此，Jupyter更像是一個ipython notebook的升級版。

推薦度：★★★

126. Elpy

類型：第三方庫

描述：Elpy是Emacs用於Python的開發環境，它結合並配置了許多其他軟件包，它們都是用Emacs Lisp和Python編寫的

推薦度：★★

127. PTVS

類型：第三方庫

描述：Visual Studio 的 Python 工具

推薦度：★★

128. PyCharm

類型：外部工具

描述：PyCharm帶有一整套可以幫助用戶在使用Python語言開發時提高其效率的工具，比如調試、語法高亮、項目管理、代碼跳轉、智能提示、自動完成、單元測試、版本控制並可集成IPython、系統終端命令行等，在PyCharm裡幾乎就可以實現所有有關Python工作的全部過程

推薦度：★★★

129. LiClipse

類型：外部工具

描述：LiClipse是基於Eclipse的免費多語言 IDE，通過其中的PyDev可支持 Python開發應用

推薦度：★★

130. Spyder

類型：外部工具

描述：Spyder是一個開源的Python IDE，由IPython和眾多流行的Python庫的支持，是一個具備高級編輯、交互式測試、調試以及數字計算環境的交互式開發環境

推薦度：★★

012 其他Python協同數據工作工具

其他Python協同數據工作工具指除了上述主題以外，其他在數據工作中常用的工具或庫。

131. tesseract-ocr

類型：外部工具

描述：這是一個Google支持的開源OCR圖文識別項目，支持超過200種語言（包括中文），並支持自定義訓練字符集，支持跨Windows、Linux、Mac OSX 多平臺使用

推薦度：★★★

132. RPython

類型：第三方庫

描述：R集成庫

推薦度：★★★

133. Rpy2

類型：第三方庫

描述：Python連接R的庫

134. matpython

類型：第三方庫

描述：MATLAB集成庫

推薦度：★★★

135. Lunatic Python

類型：第三方庫

描述：Lua集成庫

推薦度：★★

136. PyCall.jl

類型：第三方庫

描述：Julia集成庫

推薦度：★★

137. PySpark

類型：第三方庫

描述：Spark提供的Python API

推薦度：★★★

138. dumbo

類型：第三方庫

描述：這個模塊可以讓Pythoner輕鬆的編寫和運行 Hadoop 程序，程序版本比較早，可以作為參考

推薦度：★★

139. dpark

類型：第三方庫

描述：Python對Spark的克隆版本，類MapReduce框架

推薦度：★★

140. streamparse

類型：第三方庫

描述：Streamparse允許通過Storm對實時數據流運行Python代碼

推薦度：★★★

作者：宋天龍，大數據技術專家，前Webtrekk中國區技術和諮詢負責人（Webtrekk，德國的在線數據分析服務提供商）。擅長數據挖掘、建模、分析與運營，精通端到端數據價值場景設計、業務需求轉換、數據結構梳理、數據建模與學習以及數據工程交付。