用Pandas庫實現MySQL數據庫的讀寫

MySQL 數據庫 SQL Python Java 編程語言 開源軟件 技術 編程python新視野 2019-07-13

本次分享將介紹如何在Python中使用Pandas庫實現MySQL數據庫的讀寫。首先我們需要了解點ORM方面的知識。

ORM技術

對象關係映射技術,即ORM(Object-Relational Mapping)技術,指的是把關係數據庫的表結構映射到對象上,通過使用描述對象和數據庫之間映射的元數據,將程序中的對象自動持久化到關係數據庫中。

在Python中,最有名的ORM框架是SQLAlchemy。Java中典型的ORM中間件有: Hibernate, ibatis, speedframework。

SQLAlchemy Python學習交流群:1004391443

SQLAlchemy是Python編程語言下的一款開源軟件。提供了SQL工具包及對象關係映射(ORM)工具,使用MIT許可證發行。

可以使用pip命令安裝SQLAlchemy模塊:

pip install sqlalchemy

SQLAlchemy模塊提供了create_engine()函數用來初始化數據庫連接,SQLAlchemy用一個字符串表示連接信息:

'數據庫類型+數據庫驅動名稱://用戶名:口令@機器地址:端口號/數據庫名'

Pandas讀寫MySQL數據庫

我們需要以下三個庫來實現Pandas讀寫MySQL數據庫:

  • pandas
  • sqlalchemy
  • pymysql

其中,pandas模塊提供了read_sql_query()函數實現了對數據庫的查詢,to_sql()函數實現了對數據庫的寫入,並不需要實現新建MySQL數據表。sqlalchemy模塊實現了與不同數據庫的連接,而pymysql模塊則使得Python能夠操作MySQL數據庫。

我們將使用MySQL數據庫中的mydb數據庫以及employee表,內容如下:

用Pandas庫實現MySQL數據庫的讀寫

mydb數據庫以及employee表

下面將介紹一個簡單的例子來展示如何在pandas中實現對MySQL數據庫的讀寫:

# -*- coding: utf-8 -*-
# 導入必要模塊
import pandas as pd
from sqlalchemy import create_engine
# 初始化數據庫連接,使用pymysql模塊
# MySQL的用戶:root, 密碼:147369, 端口:3306,數據庫:mydb
engine = create_engine('mysql+pymysql://root:147369@localhost:3306/mydb')
# 查詢語句,選出employee表中的所有數據
sql = '''
select * from employee;
'''
# read_sql_query的兩個參數: sql語句, 數據庫連接
df = pd.read_sql_query(sql, engine)
# 輸出employee表的查詢結果
print(df)
# 新建pandas中的DataFrame, 只有id,num兩列
df = pd.DataFrame({'id':[1,2,3,4],'num':[12,34,56,89]})
# 將新建的DataFrame儲存為MySQL中的數據表,不儲存index列
df.to_sql('mydf', engine, index= False)
print('Read from and write to Mysql table successfully!')

程序的運行結果如下:

用Pandas庫實現MySQL數據庫的讀寫

程序的運行結果

在MySQL中查看mydf表格:

用Pandas庫實現MySQL數據庫的讀寫

mydf表格

這說明我們確實將pandas中新建的DataFrame寫入到了MySQL中!

將CSV文件寫入到MySQL中

以上的例子實現了使用Pandas庫實現MySQL數據庫的讀寫,我們將再介紹一個實例:將CSV文件寫入到MySQL中,示例的mpg.CSV文件前10行如下:

用Pandas庫實現MySQL數據庫的讀寫

mpg.CSV文件前10行

示例的Python代碼如下:

# -*- coding: utf-8 -*-
# 導入必要模塊
import pandas as pd
from sqlalchemy import create_engine
# 初始化數據庫連接,使用pymysql模塊
engine = create_engine('mysql+pymysql://root:147369@localhost:3306/mydb')
# 讀取本地CSV文件
df = pd.read_csv("E://mpg.csv", sep=',')
# 將新建的DataFrame儲存為MySQL中的數據表,不儲存index列
df.to_sql('mpg', engine, index= False)
print("Write to MySQL successfully!")

在MySQL中查看mpg表格:

用Pandas庫實現MySQL數據庫的讀寫

MySQL中的mpg表格

僅僅5句Python代碼就實現了將CSV文件寫入到MySQL中,這無疑是簡單、方便、迅速、高效的!

總結

本文主要介紹了ORM技術以及SQLAlchemy模塊,並且展示了兩個Python程序的實例,介紹瞭如何使用Pandas庫實現MySQL數據庫的讀寫。程序本身並不難,關鍵在於多多練習。

相關推薦

推薦中...