good data decide good analyse
數據清洗,是數據分析中不可缺少的一個環節,其處理的好壞在很大程度上影響著數據分析的結果。而且以前聽老師說過數據清洗佔整個的數據分析的一半時間以上(汗。。。數據清洗也是一個大學問啊)。
查看空缺值
首先讀入文件:
import pandas as pd test = pd.read_excel('C:/Users/luopan/Desktop/test.xlsx',sheetname='Sheet1') test
我們可以看出有一個nan,李四的數學成績也是不符合常理的。我們通過isnull函數查看數據的空缺值:
test.isnull
通過下面命令計算每列數據的空缺值:
test.isnull.sum
對於不符合常理的數據也可進行設置為空缺值:
test1 = pd.read_excel('C:/Users/luopan/Desktop/test.xlsx',sheetname='Sheet1',na_values=['750']) test1
過濾缺失值
test1.數學[test1.數學.notnull()]
去掉缺失值
test1.dropna
test1.dropna(how='all')
加入all參數的意思:行全為nan才會drop掉。
填充缺失值
前一個值填充:
test1.fillna(method='ffill')
後一個值填充:
test1.fillna(method='bfill')
用列的均值填充:
test1.fillna(test1.mean)
等距填充:
test1.interpolate
相關推薦
'Python什麼情況下會生成 pyc文件?通過pyc文件瞭解Python運行原理'
"由於最近一位同學在做分佈式計算時,部分模塊只把 pyc文件拷貝部署至遠程計算節點,導致主節點程序更新後,計算節點拋出了錯誤異常,於是有了這篇文章...示例如下,有兩個py模塊,testops.py 與 testops_imported.py模塊。我們先來看 testops...
'初二數學全攻略之——全等三角形篇'
"這個假期,剛剛把上一屆的初二的孩子們送到初三,於是又是馬不停蹄的來迎接新一屆的初二學子,儘管年復一年,但每次仍舊感慨良多。接觸的孩子們越來越多,也越感到身上擔子越來越重。 每一年,初二這個階段都是一個轉折點,本不想去說那個詞——兩極分化,但我們又必須面對現實,不僅如此,我...
'Python中的Lambda,Map和Filter'
"今天的部分介紹了在Python中使用lambda,map和filter函數。我們將介紹每個的基本語法,並通過一些示例來熟悉使用它們。讓我們開始吧!*** Lambda***lambda運算符或lambda函數用於在Python中創建小型的、一次性的匿名函數對象基本語法la...
'《What the f*ck Python!》那難以理解和反人類直覺的例子及原理'
"歡迎各位小哥哥小姐姐閱讀本<小生>的文章,對大家學習有幫助,請點贊加關注哦!!!!!!!!!!您的點贊和關注將是我持續更新的動力呢.^v^有不懂的問題可以私聊我哦!前言最近,發現了一個在GitHub關於Python的一個非常有趣的項目。這個項目叫《What t...
'Python Requests作者另一神作,Records通用而優雅的數據庫訪問庫'
"我們在開發過程中經常涉及與數據庫進行交互,比如MySQL、Oracle、PostgreSQL、Sqlite,一般,我們使用其對應的Python 第三方模塊,實現相關數據庫操作,如下MySQL數據庫:mysql-connector,pymysql PostgreSQL數據庫...
'python爬蟲模擬微博登錄'
"微博模擬登錄這是本次爬取的網址:https://weibo.com/一、請求分析找到登錄的位置,填寫用戶名密碼進行登錄操作看看這次請求響應的數據是什麼這是響應得到的數據,保存下來exectime: 8nonce: "HW9VSX"pcid: "gz-4ede4c6269a...
'Python中的Requests模塊,星號和括號'
"requests模塊官方地址:https://github.com/psf/requests官方文檔 :https://2.python-requests.org/en/master/用於http請求的模塊 ,用於網頁數據抓取七個主要方法Python資源共享群:62601...
'Python基礎學習教程系列講解——try_except異常處理機制'
"在Python編程中不可避免的會出現錯誤,在調試階段出現語法之類的錯誤時,Pycharm會在Debug窗口提示錯誤,但是程序在運行時由於內部隱含的問題而引起錯誤,會導致程序終止執行。比如以下例程中,使用urllib庫打開URL時由於網絡問題而發生了錯誤:import ur...
'用Python控制Excel實現自動化辦公!附全套學習教程'
"1.安裝2.操作一個簡單的Excel文檔操作註釋及代碼:操作完成後,數據存儲結果如下:3. 操作簡單Excel文檔並添加數據格式操作代碼如下:附帶數據格式的定義操作效果如圖所示:4.Excel中添加不同類型的數據操作代碼如下:將不同的數據按照指定的格式添加到文件中代碼執行...
推薦中...