'高效處理數據?這八個大神都會的python數據分析技巧你需要知道'

Python 人工智能 SQL 小丸子是程序猿 2019-08-01
"

在IT界,目前python從業人員的薪資可謂是一漲再漲,除了眾所周知的人工智能,python在數據分析領域同樣大受歡迎。大家想不想開開眼界呢?這就將python大神都會的八個python高效數據分析的技巧分享給大家。

不管是參加Kaggle比賽,還是開發一個深度學習應用,第一步總是數據分析,這篇文章介紹了8個使用Python進行數據分析的方法,不僅能夠提升運行效率,還能夠使代碼更加“優美”。

一行代碼定義List

定義某種列表時,寫For 循環過於麻煩,幸運的是,Python有一種內置的方法可以在一行代碼中解決這個問題。


"

在IT界,目前python從業人員的薪資可謂是一漲再漲,除了眾所周知的人工智能,python在數據分析領域同樣大受歡迎。大家想不想開開眼界呢?這就將python大神都會的八個python高效數據分析的技巧分享給大家。

不管是參加Kaggle比賽,還是開發一個深度學習應用,第一步總是數據分析,這篇文章介紹了8個使用Python進行數據分析的方法,不僅能夠提升運行效率,還能夠使代碼更加“優美”。

一行代碼定義List

定義某種列表時,寫For 循環過於麻煩,幸運的是,Python有一種內置的方法可以在一行代碼中解決這個問題。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


下面是使用For循環創建列表和用一行代碼創建列表的對比。

x = [1,2,3,4]
out = []
for item in x:
out.append(item**2)
print(out)
[1, 4, 9, 16]
# vs.
x = [1,2,3,4]
out = [item**2 for item in x]
print(out)
[1, 4, 9, 16]

Lambda表達式

厭倦了定義用不了幾次的函數? Lambda表達式是你的救星! Lambda表達式用於在Python中創建小型,一次性和匿名函數對象。 它能替你創建一個函數。

lambda表達式的基本語法是:

lambda arguments: expression

請注意,只要有一個lambda表達式,就可以完成常規函數可以執行的任何操作。 你可以從下面的例子中,感受lambda表達式的強大功能:

double = lambda x: x * 2
print(double(5))
10

Map和Filter

一旦掌握了lambda表達式,學習將它們與Map和Filter函數配合使用,可以實現更為強大的功能。

具體來說,map通過對列表中每個元素執行某種操作並將其轉換為新列表。 在本例中,它遍歷每個元素並乘以2,構成新列表。 請注意,list()函數只是將輸出轉換為列表類型。

# Map
seq = [1, 2, 3, 4, 5]
result = list(map(lambda var: var*2, seq))
print(result)
[2, 4, 6, 8, 10]

Filter函數接受一個列表和一條規則,就像map一樣,但它通過比較每個元素和布爾過濾規則來返回原始列表的一個子集。

# Filter
seq = [1, 2, 3, 4, 5]
result = list(filter(lambda x: x > 2, seq))
print(result)
[3, 4, 5]

Arange和Linspace

Arange返回給定步長的等差列表。 它的三個參數start、stop、step分別表示起始值,結束值和步長, 請注意,stop點是一個“截止”值,因此它不會包含在數組輸出中。

# np.arange(start, stop, step)
p.arange(3, 7, 2)
array([3, 5])

Linspace和Arrange非常相似,但略有不同。 Linspace以指定數目均勻分割區間。 所以給定區間start和end,以及等分分割點數目num,linspace將返回一個NumPy數組。 這對繪圖時數據可視化和聲明座標軸特別有用。

# np.linspace(start, stop, num)
p.linspace(2.0, 3.0, num=5)
array([ 2.0, 2.25, 2.5, 2.75, 3.0])

Axis代表什麼?

在Pandas中,刪除一列或在NumPy矩陣中求和值時,可能會遇到Axis。 我們用刪除一列(行)的例子:

df.drop('Column A', axis=1)
df.drop('Row A', axis=0)

如果你想處理列,將Axis設置為1,如果你想要處理行,將其設置為0。 但為什麼呢? 回想一下Pandas中的shape

df.shape
(# of Rows, # of Columns)

從Pandas DataFrame中調用shape屬性返回一個元組,第一個值代表行數,第二個值代表列數。如果你想在Python中對其進行索引,則行數下標為0,列數下標為1,這很像我們如何聲明軸值。

Concat,Merge和Join

如果您熟悉SQL,那麼這些概念對您來說可能會更容易。 無論如何,這些函數本質上就是以特定方式組合DataFrame的方式。 在哪個時間跟蹤哪一個最適合使用可能很困難,所以讓我們回顧一下。

Concat允許用戶在表格下面或旁邊追加一個或多個DataFrame(取決於您如何定義軸)。


"

在IT界,目前python從業人員的薪資可謂是一漲再漲,除了眾所周知的人工智能,python在數據分析領域同樣大受歡迎。大家想不想開開眼界呢?這就將python大神都會的八個python高效數據分析的技巧分享給大家。

不管是參加Kaggle比賽,還是開發一個深度學習應用,第一步總是數據分析,這篇文章介紹了8個使用Python進行數據分析的方法,不僅能夠提升運行效率,還能夠使代碼更加“優美”。

一行代碼定義List

定義某種列表時,寫For 循環過於麻煩,幸運的是,Python有一種內置的方法可以在一行代碼中解決這個問題。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


下面是使用For循環創建列表和用一行代碼創建列表的對比。

x = [1,2,3,4]
out = []
for item in x:
out.append(item**2)
print(out)
[1, 4, 9, 16]
# vs.
x = [1,2,3,4]
out = [item**2 for item in x]
print(out)
[1, 4, 9, 16]

Lambda表達式

厭倦了定義用不了幾次的函數? Lambda表達式是你的救星! Lambda表達式用於在Python中創建小型,一次性和匿名函數對象。 它能替你創建一個函數。

lambda表達式的基本語法是:

lambda arguments: expression

請注意,只要有一個lambda表達式,就可以完成常規函數可以執行的任何操作。 你可以從下面的例子中,感受lambda表達式的強大功能:

double = lambda x: x * 2
print(double(5))
10

Map和Filter

一旦掌握了lambda表達式,學習將它們與Map和Filter函數配合使用,可以實現更為強大的功能。

具體來說,map通過對列表中每個元素執行某種操作並將其轉換為新列表。 在本例中,它遍歷每個元素並乘以2,構成新列表。 請注意,list()函數只是將輸出轉換為列表類型。

# Map
seq = [1, 2, 3, 4, 5]
result = list(map(lambda var: var*2, seq))
print(result)
[2, 4, 6, 8, 10]

Filter函數接受一個列表和一條規則,就像map一樣,但它通過比較每個元素和布爾過濾規則來返回原始列表的一個子集。

# Filter
seq = [1, 2, 3, 4, 5]
result = list(filter(lambda x: x > 2, seq))
print(result)
[3, 4, 5]

Arange和Linspace

Arange返回給定步長的等差列表。 它的三個參數start、stop、step分別表示起始值,結束值和步長, 請注意,stop點是一個“截止”值,因此它不會包含在數組輸出中。

# np.arange(start, stop, step)
p.arange(3, 7, 2)
array([3, 5])

Linspace和Arrange非常相似,但略有不同。 Linspace以指定數目均勻分割區間。 所以給定區間start和end,以及等分分割點數目num,linspace將返回一個NumPy數組。 這對繪圖時數據可視化和聲明座標軸特別有用。

# np.linspace(start, stop, num)
p.linspace(2.0, 3.0, num=5)
array([ 2.0, 2.25, 2.5, 2.75, 3.0])

Axis代表什麼?

在Pandas中,刪除一列或在NumPy矩陣中求和值時,可能會遇到Axis。 我們用刪除一列(行)的例子:

df.drop('Column A', axis=1)
df.drop('Row A', axis=0)

如果你想處理列,將Axis設置為1,如果你想要處理行,將其設置為0。 但為什麼呢? 回想一下Pandas中的shape

df.shape
(# of Rows, # of Columns)

從Pandas DataFrame中調用shape屬性返回一個元組,第一個值代表行數,第二個值代表列數。如果你想在Python中對其進行索引,則行數下標為0,列數下標為1,這很像我們如何聲明軸值。

Concat,Merge和Join

如果您熟悉SQL,那麼這些概念對您來說可能會更容易。 無論如何,這些函數本質上就是以特定方式組合DataFrame的方式。 在哪個時間跟蹤哪一個最適合使用可能很困難,所以讓我們回顧一下。

Concat允許用戶在表格下面或旁邊追加一個或多個DataFrame(取決於您如何定義軸)。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


Merge將多個DataFrame合併指定主鍵(Key)相同的行。


"

在IT界,目前python從業人員的薪資可謂是一漲再漲,除了眾所周知的人工智能,python在數據分析領域同樣大受歡迎。大家想不想開開眼界呢?這就將python大神都會的八個python高效數據分析的技巧分享給大家。

不管是參加Kaggle比賽,還是開發一個深度學習應用,第一步總是數據分析,這篇文章介紹了8個使用Python進行數據分析的方法,不僅能夠提升運行效率,還能夠使代碼更加“優美”。

一行代碼定義List

定義某種列表時,寫For 循環過於麻煩,幸運的是,Python有一種內置的方法可以在一行代碼中解決這個問題。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


下面是使用For循環創建列表和用一行代碼創建列表的對比。

x = [1,2,3,4]
out = []
for item in x:
out.append(item**2)
print(out)
[1, 4, 9, 16]
# vs.
x = [1,2,3,4]
out = [item**2 for item in x]
print(out)
[1, 4, 9, 16]

Lambda表達式

厭倦了定義用不了幾次的函數? Lambda表達式是你的救星! Lambda表達式用於在Python中創建小型,一次性和匿名函數對象。 它能替你創建一個函數。

lambda表達式的基本語法是:

lambda arguments: expression

請注意,只要有一個lambda表達式,就可以完成常規函數可以執行的任何操作。 你可以從下面的例子中,感受lambda表達式的強大功能:

double = lambda x: x * 2
print(double(5))
10

Map和Filter

一旦掌握了lambda表達式,學習將它們與Map和Filter函數配合使用,可以實現更為強大的功能。

具體來說,map通過對列表中每個元素執行某種操作並將其轉換為新列表。 在本例中,它遍歷每個元素並乘以2,構成新列表。 請注意,list()函數只是將輸出轉換為列表類型。

# Map
seq = [1, 2, 3, 4, 5]
result = list(map(lambda var: var*2, seq))
print(result)
[2, 4, 6, 8, 10]

Filter函數接受一個列表和一條規則,就像map一樣,但它通過比較每個元素和布爾過濾規則來返回原始列表的一個子集。

# Filter
seq = [1, 2, 3, 4, 5]
result = list(filter(lambda x: x > 2, seq))
print(result)
[3, 4, 5]

Arange和Linspace

Arange返回給定步長的等差列表。 它的三個參數start、stop、step分別表示起始值,結束值和步長, 請注意,stop點是一個“截止”值,因此它不會包含在數組輸出中。

# np.arange(start, stop, step)
p.arange(3, 7, 2)
array([3, 5])

Linspace和Arrange非常相似,但略有不同。 Linspace以指定數目均勻分割區間。 所以給定區間start和end,以及等分分割點數目num,linspace將返回一個NumPy數組。 這對繪圖時數據可視化和聲明座標軸特別有用。

# np.linspace(start, stop, num)
p.linspace(2.0, 3.0, num=5)
array([ 2.0, 2.25, 2.5, 2.75, 3.0])

Axis代表什麼?

在Pandas中,刪除一列或在NumPy矩陣中求和值時,可能會遇到Axis。 我們用刪除一列(行)的例子:

df.drop('Column A', axis=1)
df.drop('Row A', axis=0)

如果你想處理列,將Axis設置為1,如果你想要處理行,將其設置為0。 但為什麼呢? 回想一下Pandas中的shape

df.shape
(# of Rows, # of Columns)

從Pandas DataFrame中調用shape屬性返回一個元組,第一個值代表行數,第二個值代表列數。如果你想在Python中對其進行索引,則行數下標為0,列數下標為1,這很像我們如何聲明軸值。

Concat,Merge和Join

如果您熟悉SQL,那麼這些概念對您來說可能會更容易。 無論如何,這些函數本質上就是以特定方式組合DataFrame的方式。 在哪個時間跟蹤哪一個最適合使用可能很困難,所以讓我們回顧一下。

Concat允許用戶在表格下面或旁邊追加一個或多個DataFrame(取決於您如何定義軸)。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


Merge將多個DataFrame合併指定主鍵(Key)相同的行。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


Join,和Merge一樣,合併了兩個DataFrame。 但它不按某個指定的主鍵合併,而是根據相同的列名或行名合併。


"

在IT界,目前python從業人員的薪資可謂是一漲再漲,除了眾所周知的人工智能,python在數據分析領域同樣大受歡迎。大家想不想開開眼界呢?這就將python大神都會的八個python高效數據分析的技巧分享給大家。

不管是參加Kaggle比賽,還是開發一個深度學習應用,第一步總是數據分析,這篇文章介紹了8個使用Python進行數據分析的方法,不僅能夠提升運行效率,還能夠使代碼更加“優美”。

一行代碼定義List

定義某種列表時,寫For 循環過於麻煩,幸運的是,Python有一種內置的方法可以在一行代碼中解決這個問題。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


下面是使用For循環創建列表和用一行代碼創建列表的對比。

x = [1,2,3,4]
out = []
for item in x:
out.append(item**2)
print(out)
[1, 4, 9, 16]
# vs.
x = [1,2,3,4]
out = [item**2 for item in x]
print(out)
[1, 4, 9, 16]

Lambda表達式

厭倦了定義用不了幾次的函數? Lambda表達式是你的救星! Lambda表達式用於在Python中創建小型,一次性和匿名函數對象。 它能替你創建一個函數。

lambda表達式的基本語法是:

lambda arguments: expression

請注意,只要有一個lambda表達式,就可以完成常規函數可以執行的任何操作。 你可以從下面的例子中,感受lambda表達式的強大功能:

double = lambda x: x * 2
print(double(5))
10

Map和Filter

一旦掌握了lambda表達式,學習將它們與Map和Filter函數配合使用,可以實現更為強大的功能。

具體來說,map通過對列表中每個元素執行某種操作並將其轉換為新列表。 在本例中,它遍歷每個元素並乘以2,構成新列表。 請注意,list()函數只是將輸出轉換為列表類型。

# Map
seq = [1, 2, 3, 4, 5]
result = list(map(lambda var: var*2, seq))
print(result)
[2, 4, 6, 8, 10]

Filter函數接受一個列表和一條規則,就像map一樣,但它通過比較每個元素和布爾過濾規則來返回原始列表的一個子集。

# Filter
seq = [1, 2, 3, 4, 5]
result = list(filter(lambda x: x > 2, seq))
print(result)
[3, 4, 5]

Arange和Linspace

Arange返回給定步長的等差列表。 它的三個參數start、stop、step分別表示起始值,結束值和步長, 請注意,stop點是一個“截止”值,因此它不會包含在數組輸出中。

# np.arange(start, stop, step)
p.arange(3, 7, 2)
array([3, 5])

Linspace和Arrange非常相似,但略有不同。 Linspace以指定數目均勻分割區間。 所以給定區間start和end,以及等分分割點數目num,linspace將返回一個NumPy數組。 這對繪圖時數據可視化和聲明座標軸特別有用。

# np.linspace(start, stop, num)
p.linspace(2.0, 3.0, num=5)
array([ 2.0, 2.25, 2.5, 2.75, 3.0])

Axis代表什麼?

在Pandas中,刪除一列或在NumPy矩陣中求和值時,可能會遇到Axis。 我們用刪除一列(行)的例子:

df.drop('Column A', axis=1)
df.drop('Row A', axis=0)

如果你想處理列,將Axis設置為1,如果你想要處理行,將其設置為0。 但為什麼呢? 回想一下Pandas中的shape

df.shape
(# of Rows, # of Columns)

從Pandas DataFrame中調用shape屬性返回一個元組,第一個值代表行數,第二個值代表列數。如果你想在Python中對其進行索引,則行數下標為0,列數下標為1,這很像我們如何聲明軸值。

Concat,Merge和Join

如果您熟悉SQL,那麼這些概念對您來說可能會更容易。 無論如何,這些函數本質上就是以特定方式組合DataFrame的方式。 在哪個時間跟蹤哪一個最適合使用可能很困難,所以讓我們回顧一下。

Concat允許用戶在表格下面或旁邊追加一個或多個DataFrame(取決於您如何定義軸)。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


Merge將多個DataFrame合併指定主鍵(Key)相同的行。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


Join,和Merge一樣,合併了兩個DataFrame。 但它不按某個指定的主鍵合併,而是根據相同的列名或行名合併。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


Pandas Apply

Apply是為Pandas Series而設計的。如果你不太熟悉Series,可以將它想成類似Numpy的數組。

Apply將一個函數應用於指定軸上的每一個元素。 使用Apply,可以將DataFrame列(是一個Series)的值進行格式設置和操作,不用循環,非常有用!

df = pd.DataFrame([[4, 9],] * 3, columns=['A', 'B'])
df
A B
0 4 9
1 4 9
2 4 9
df.apply(np.sqrt)
A B
0 2.0 3.0
1 2.0 3.0
2 2.0 3.0
df.apply(np.sum, axis=0)
A 12
B 27
df.apply(np.sum, axis=1)
0 13
1 13
2 13

Pivot Tables

最後是Pivot Tables。 如果您熟悉Microsoft Excel,那麼你也許聽說過數據透視表。 Pandas內置的pivot_table函數以DataFrame的形式創建電子表格樣式的數據透視表,,它可以幫助我們快速查看某幾列的數據。 下面是幾個例子:非常智能地將數據按照“Manager”分了組

pd.pivot_table(df, index=["Manager", "Rep"])


"

在IT界,目前python從業人員的薪資可謂是一漲再漲,除了眾所周知的人工智能,python在數據分析領域同樣大受歡迎。大家想不想開開眼界呢?這就將python大神都會的八個python高效數據分析的技巧分享給大家。

不管是參加Kaggle比賽,還是開發一個深度學習應用,第一步總是數據分析,這篇文章介紹了8個使用Python進行數據分析的方法,不僅能夠提升運行效率,還能夠使代碼更加“優美”。

一行代碼定義List

定義某種列表時,寫For 循環過於麻煩,幸運的是,Python有一種內置的方法可以在一行代碼中解決這個問題。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


下面是使用For循環創建列表和用一行代碼創建列表的對比。

x = [1,2,3,4]
out = []
for item in x:
out.append(item**2)
print(out)
[1, 4, 9, 16]
# vs.
x = [1,2,3,4]
out = [item**2 for item in x]
print(out)
[1, 4, 9, 16]

Lambda表達式

厭倦了定義用不了幾次的函數? Lambda表達式是你的救星! Lambda表達式用於在Python中創建小型,一次性和匿名函數對象。 它能替你創建一個函數。

lambda表達式的基本語法是:

lambda arguments: expression

請注意,只要有一個lambda表達式,就可以完成常規函數可以執行的任何操作。 你可以從下面的例子中,感受lambda表達式的強大功能:

double = lambda x: x * 2
print(double(5))
10

Map和Filter

一旦掌握了lambda表達式,學習將它們與Map和Filter函數配合使用,可以實現更為強大的功能。

具體來說,map通過對列表中每個元素執行某種操作並將其轉換為新列表。 在本例中,它遍歷每個元素並乘以2,構成新列表。 請注意,list()函數只是將輸出轉換為列表類型。

# Map
seq = [1, 2, 3, 4, 5]
result = list(map(lambda var: var*2, seq))
print(result)
[2, 4, 6, 8, 10]

Filter函數接受一個列表和一條規則,就像map一樣,但它通過比較每個元素和布爾過濾規則來返回原始列表的一個子集。

# Filter
seq = [1, 2, 3, 4, 5]
result = list(filter(lambda x: x > 2, seq))
print(result)
[3, 4, 5]

Arange和Linspace

Arange返回給定步長的等差列表。 它的三個參數start、stop、step分別表示起始值,結束值和步長, 請注意,stop點是一個“截止”值,因此它不會包含在數組輸出中。

# np.arange(start, stop, step)
p.arange(3, 7, 2)
array([3, 5])

Linspace和Arrange非常相似,但略有不同。 Linspace以指定數目均勻分割區間。 所以給定區間start和end,以及等分分割點數目num,linspace將返回一個NumPy數組。 這對繪圖時數據可視化和聲明座標軸特別有用。

# np.linspace(start, stop, num)
p.linspace(2.0, 3.0, num=5)
array([ 2.0, 2.25, 2.5, 2.75, 3.0])

Axis代表什麼?

在Pandas中,刪除一列或在NumPy矩陣中求和值時,可能會遇到Axis。 我們用刪除一列(行)的例子:

df.drop('Column A', axis=1)
df.drop('Row A', axis=0)

如果你想處理列,將Axis設置為1,如果你想要處理行,將其設置為0。 但為什麼呢? 回想一下Pandas中的shape

df.shape
(# of Rows, # of Columns)

從Pandas DataFrame中調用shape屬性返回一個元組,第一個值代表行數,第二個值代表列數。如果你想在Python中對其進行索引,則行數下標為0,列數下標為1,這很像我們如何聲明軸值。

Concat,Merge和Join

如果您熟悉SQL,那麼這些概念對您來說可能會更容易。 無論如何,這些函數本質上就是以特定方式組合DataFrame的方式。 在哪個時間跟蹤哪一個最適合使用可能很困難,所以讓我們回顧一下。

Concat允許用戶在表格下面或旁邊追加一個或多個DataFrame(取決於您如何定義軸)。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


Merge將多個DataFrame合併指定主鍵(Key)相同的行。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


Join,和Merge一樣,合併了兩個DataFrame。 但它不按某個指定的主鍵合併,而是根據相同的列名或行名合併。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


Pandas Apply

Apply是為Pandas Series而設計的。如果你不太熟悉Series,可以將它想成類似Numpy的數組。

Apply將一個函數應用於指定軸上的每一個元素。 使用Apply,可以將DataFrame列(是一個Series)的值進行格式設置和操作,不用循環,非常有用!

df = pd.DataFrame([[4, 9],] * 3, columns=['A', 'B'])
df
A B
0 4 9
1 4 9
2 4 9
df.apply(np.sqrt)
A B
0 2.0 3.0
1 2.0 3.0
2 2.0 3.0
df.apply(np.sum, axis=0)
A 12
B 27
df.apply(np.sum, axis=1)
0 13
1 13
2 13

Pivot Tables

最後是Pivot Tables。 如果您熟悉Microsoft Excel,那麼你也許聽說過數據透視表。 Pandas內置的pivot_table函數以DataFrame的形式創建電子表格樣式的數據透視表,,它可以幫助我們快速查看某幾列的數據。 下面是幾個例子:非常智能地將數據按照“Manager”分了組

pd.pivot_table(df, index=["Manager", "Rep"])


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


或者也可以篩選屬性值

pd.pivot_table(df,index=["Manager","Rep"],values=["Price"])


"

在IT界,目前python從業人員的薪資可謂是一漲再漲,除了眾所周知的人工智能,python在數據分析領域同樣大受歡迎。大家想不想開開眼界呢?這就將python大神都會的八個python高效數據分析的技巧分享給大家。

不管是參加Kaggle比賽,還是開發一個深度學習應用,第一步總是數據分析,這篇文章介紹了8個使用Python進行數據分析的方法,不僅能夠提升運行效率,還能夠使代碼更加“優美”。

一行代碼定義List

定義某種列表時,寫For 循環過於麻煩,幸運的是,Python有一種內置的方法可以在一行代碼中解決這個問題。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


下面是使用For循環創建列表和用一行代碼創建列表的對比。

x = [1,2,3,4]
out = []
for item in x:
out.append(item**2)
print(out)
[1, 4, 9, 16]
# vs.
x = [1,2,3,4]
out = [item**2 for item in x]
print(out)
[1, 4, 9, 16]

Lambda表達式

厭倦了定義用不了幾次的函數? Lambda表達式是你的救星! Lambda表達式用於在Python中創建小型,一次性和匿名函數對象。 它能替你創建一個函數。

lambda表達式的基本語法是:

lambda arguments: expression

請注意,只要有一個lambda表達式,就可以完成常規函數可以執行的任何操作。 你可以從下面的例子中,感受lambda表達式的強大功能:

double = lambda x: x * 2
print(double(5))
10

Map和Filter

一旦掌握了lambda表達式,學習將它們與Map和Filter函數配合使用,可以實現更為強大的功能。

具體來說,map通過對列表中每個元素執行某種操作並將其轉換為新列表。 在本例中,它遍歷每個元素並乘以2,構成新列表。 請注意,list()函數只是將輸出轉換為列表類型。

# Map
seq = [1, 2, 3, 4, 5]
result = list(map(lambda var: var*2, seq))
print(result)
[2, 4, 6, 8, 10]

Filter函數接受一個列表和一條規則,就像map一樣,但它通過比較每個元素和布爾過濾規則來返回原始列表的一個子集。

# Filter
seq = [1, 2, 3, 4, 5]
result = list(filter(lambda x: x > 2, seq))
print(result)
[3, 4, 5]

Arange和Linspace

Arange返回給定步長的等差列表。 它的三個參數start、stop、step分別表示起始值,結束值和步長, 請注意,stop點是一個“截止”值,因此它不會包含在數組輸出中。

# np.arange(start, stop, step)
p.arange(3, 7, 2)
array([3, 5])

Linspace和Arrange非常相似,但略有不同。 Linspace以指定數目均勻分割區間。 所以給定區間start和end,以及等分分割點數目num,linspace將返回一個NumPy數組。 這對繪圖時數據可視化和聲明座標軸特別有用。

# np.linspace(start, stop, num)
p.linspace(2.0, 3.0, num=5)
array([ 2.0, 2.25, 2.5, 2.75, 3.0])

Axis代表什麼?

在Pandas中,刪除一列或在NumPy矩陣中求和值時,可能會遇到Axis。 我們用刪除一列(行)的例子:

df.drop('Column A', axis=1)
df.drop('Row A', axis=0)

如果你想處理列,將Axis設置為1,如果你想要處理行,將其設置為0。 但為什麼呢? 回想一下Pandas中的shape

df.shape
(# of Rows, # of Columns)

從Pandas DataFrame中調用shape屬性返回一個元組,第一個值代表行數,第二個值代表列數。如果你想在Python中對其進行索引,則行數下標為0,列數下標為1,這很像我們如何聲明軸值。

Concat,Merge和Join

如果您熟悉SQL,那麼這些概念對您來說可能會更容易。 無論如何,這些函數本質上就是以特定方式組合DataFrame的方式。 在哪個時間跟蹤哪一個最適合使用可能很困難,所以讓我們回顧一下。

Concat允許用戶在表格下面或旁邊追加一個或多個DataFrame(取決於您如何定義軸)。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


Merge將多個DataFrame合併指定主鍵(Key)相同的行。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


Join,和Merge一樣,合併了兩個DataFrame。 但它不按某個指定的主鍵合併,而是根據相同的列名或行名合併。


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


Pandas Apply

Apply是為Pandas Series而設計的。如果你不太熟悉Series,可以將它想成類似Numpy的數組。

Apply將一個函數應用於指定軸上的每一個元素。 使用Apply,可以將DataFrame列(是一個Series)的值進行格式設置和操作,不用循環,非常有用!

df = pd.DataFrame([[4, 9],] * 3, columns=['A', 'B'])
df
A B
0 4 9
1 4 9
2 4 9
df.apply(np.sqrt)
A B
0 2.0 3.0
1 2.0 3.0
2 2.0 3.0
df.apply(np.sum, axis=0)
A 12
B 27
df.apply(np.sum, axis=1)
0 13
1 13
2 13

Pivot Tables

最後是Pivot Tables。 如果您熟悉Microsoft Excel,那麼你也許聽說過數據透視表。 Pandas內置的pivot_table函數以DataFrame的形式創建電子表格樣式的數據透視表,,它可以幫助我們快速查看某幾列的數據。 下面是幾個例子:非常智能地將數據按照“Manager”分了組

pd.pivot_table(df, index=["Manager", "Rep"])


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


或者也可以篩選屬性值

pd.pivot_table(df,index=["Manager","Rep"],values=["Price"])


高效處理數據?這八個大神都會的python數據分析技巧你需要知道


總結

希望上面的這些描述能夠讓你發現Python一些好用的函數和概念。想了解更多python行業動態和學習資料,可以關注“武漢千鋒”微信公眾號。

"

相關推薦

推薦中...