mysql億級數據的導出導入

MySQL 技术 娱乐百事最强音 娛樂百事最強音 2017-11-21

工作中經常會碰到大數據量的導出與導入，mysql提供了幾種方法，經試驗使用下面的方法速度最快。

導出：SELECT INTO OUTFILE

導入：LOAD DATA INFILE

舉例說明：

導出：SELECT * INTO OUTFILE 'data.txt' FIELDS TERMINATED BY ',' FROM table2;

導入：LOAD DATA INFILE 'data.txt' INTO TABLE table2 FIELDS TERMINATED BY ',';

其中的“，”是導出字段的分割符，可以換成其他符號，導出和導入要使用相同的分割符，否則會出錯

該方法處理數據的平均速度為84420000條/小時，mysql官方文檔也說明了，該方法比一次性插入一條數據性能快20倍

其他方法不細說了，處理速度都沒有這個快。

相關推薦

'Python批量刪除mysql中千萬級大量數據'
"場景描述線上 mysql 數據庫裡面有張表保存有每天的統計結果，每天有1千多萬條，這是我們意想不到的，統計結果咋有這麼多。運維找過來，磁盤佔了 200G ，最後問了運營，可以只保留最近3天的，前面的數據，只能刪了。刪，怎麼刪？關注，轉發，私信小編“01”即可免費領取Pyt...
Python MySQL 數據庫 腳本語言 2019-09-15
'面試官：在使用mysql數據庫時，遇到重複數據怎麼處理？'
"前言前段時間，很多人問我能不能寫一些數據庫的文章，正好自己在測試mysql數據庫性能的時候，出現了一個問題，也就是出現了很多重複的數據，想起來自己long long ago寫過一篇類似的，僅此就拿來總結了一下。如果你在使用mysql的時候也遇到了這個問題，希望能對你有所幫...
數據庫 MySQL SQL 文章 Redis 設計 2019-09-14
'請問：Redis和mysql數據怎麼保持數據一致的？'
"需求起因在高併發的業務場景下，數據庫大多數情況都是用戶併發訪問最薄弱的環節。所以，就需要使用redis做一個緩衝操作，讓請求先訪問到redis，而不是直接訪問MySQL等數據庫。這個業務場景，主要是解決讀數據從Redis緩存，一般都是按照下圖的流程來進行業務操作。讀取緩存...
Redis MySQL 數據庫 Java 技術 Java虛擬機 Tomcat Docker Nginx 2019-09-13
'基於MySQL Binlog的Elasticsearch數據同步實踐'
"作者介紹張坤，馬蜂窩電商研發團隊度假業務高級研發工程師。一、為什麼要做隨著馬蜂窩的逐漸發展，我們的業務數據越來越多，單純使用 MySQL 已經不能滿足我們的數據查詢需求，例如對於商品、訂單等數據的多維度檢索。使用 Elasticsearch 存儲業務數據可以很好的解決我們...
MySQL ElasticSearch JSON 設計 腳本語言 技術 工程師 電子商務 2019-09-09
'一次 MySQL 千萬級大表的優化過程（記得收藏）'
"方案概述方案一：優化現有MySQL數據庫。優點：不影響現有業務，源程序不需要修改代碼，成本最低。缺點：有優化瓶頸，數據量過億就玩完了。方案二：升級數據庫類型，換一種100%兼容MySQL的數據庫。優點：不影響現有業務，源程序不需要修改代碼，你幾乎不需要做任何操作就能提升數...
MySQL SQL 數據庫 收藏 設計 NoSQL NewSql 大數據 2019-08-22
'架構 － 基於MySQL數據庫下億級數據的分庫分表'
"移動互聯網時代，海量的用戶數據每天都在產生，基於用戶使用數據等這樣的分析，都需要依靠數據統計和分析，當數據量小時，數據庫方面的優化顯得不太重要，一旦數據量越來越大，系統響應會變慢，TPS直線下降，直至服務不可用。可能有人會問，為何不用Oracle呢？確實，很多開發者寫代碼...
MySQL 數據庫 SQL 移動互聯網 DBA 銀行 NoSQL NewSql 設計 2019-08-22
'吊打面試官！MySQL靈魂100問，你能答出多少？'
"前言本文主要受眾為開發人員,所以不涉及到MySQL的服務部署等操作,且內容較多,大家準備好耐心和瓜子礦泉水.前一陣系統的學習了一下MySQL,也有一些實際操作經驗,偶然看到一篇和MySQL相關的面試文章,發現其中的一些問題自己也回答不好,雖然知識點大部分都知道,但是無法將...
MySQL 數據結構 數據庫 設計 人生第一份工作 2019-08-21
'你向 Mysql 數據庫插入 100w 條數據用了多久？'
"多線程插入(單表)問：為何對同一個表的插入多線程會比單線程快？同一時間對一個表的寫操作不應該是獨佔的嗎？答：在數據裡做插入操作的時候，整體時間的分配是這樣的：鏈接耗時 （30%）發送query到服務器 （20%）解析query （20%）插入操作 （10% * 詞條數目）...
SQL MySQL 數據庫 2019-08-21
'億級數據毫秒級查詢！ElasticSearch是怎麼做到的？'
"專注於Java領域優質技術，歡迎關注作者：中華石杉 來源：石杉的架構筆記（ID:shishan100）目錄：1. 一道面試題的引入：2. 性能優化的殺手鐗：Filesystem Cache3. 數據預熱4. 冷熱分離5. ElasticSearch 中的關聯查詢6. Do...
ElasticSearch HBase Java 設計 Java虛擬機 人生第一份工作 MySQL 操作系統 技術 網絡硬盤 搜索引擎 2019-08-19
'深入淺出分析MySQL索引設計背後的數據結構'
"在我們公司的DB規範中，明確規定：1、建表語句必須明確指定主鍵2、無特殊情況，主鍵必須單調遞增對於這項規定，很多研發小夥伴不理解。本文就來深入簡出地分析MySQL索引設計背後的數據結構和算法，從而可以幫你釋疑如下問題：1、為什麼innodb表需要主鍵？ 2、為什麼建議in...
數據結構 MySQL 數據庫 設計 不完美媽媽 算法 2019-08-18
'mysql運維管理（六）：恢復我們的數據'
"由於各種原因導致的我們的數據庫數據丟失，可以通過恢復我們備份的數據庫減少一定的損失，恢復的原理其實就是在數據庫裡重新執行SQL語句的過程。怎麼邏輯備份數據參考上一篇文章！實踐之前，先刪除我們的employees數據。傳送門：mysql運維管理（五）：掌握MySQLdump...
MySQL SQL 數據庫 中國青年解壓圖鑑 2019-08-04
'MySQL 百萬級數據量分頁查詢方法及其優化'
"方法1: 直接使用數據庫提供的SQL語句語句樣式: MySQL中,可用如下方法: SELECT * FROM 表名稱 LIMIT M,N適應場景: 適用於數據量較少的情況(元組百/千級)原因/缺點: 全表掃描,速度會很慢 且 有的數據庫結果集返回不穩定(如某次返回1,2,...
MySQL SQL 數據庫 2019-07-29
'乾貨：ElasticSearch查詢億級數據毫秒級返回'
"目錄：一道面試題的引入：性能優化的殺手鐗：Filesystem Cache數據預熱冷熱分離ElasticSearch 中的關聯查詢Document 模型設計分頁性能優化一道面試題的引入：如果面試的時候碰到這樣一個面試題：ElasticSearch（以下簡稱ES） 在數據量...
ElasticSearch HBase Java虛擬機 設計 MySQL 跳槽那些事兒 操作系統 網絡硬盤 搜索引擎 2019-07-28
'mysql 開發技巧（一）：這才是正確存儲樹形結構數據的方式'
"有時候我們的應用會保存一些樹形的數據結構，比如論壇回帖、公司的組織架構、商品分類、知識庫等相關的目錄樹結構，這些數據存在一種遞歸關係，那麼今天討論下我們怎麼去存儲樹形結構?傳統做法一般開發人員都會設計類似這樣的一個表結構，每條記錄都存儲著上一條記錄的父節點,可能是這樣一個...
MySQL 數據結構 設計 2019-07-19
'mysql的count(*)的優化，獲取千萬級數據表的總行數'
"作者：鐵柱同學來源：https://blog.csdn.net/LJFPHP/article/details/84400400一、前言這個問題是今天朋友提出來的，關於查詢一個1200w的數據表的總行數，用count(*)的速度一直提不上去。找了很多優化方案，最後另闢蹊徑，...
MySQL SQL phpMyAdmin 2019-07-19
Redis緩存和MySQL數據一致性方案
Redis緩存和MySQL數據一致性方案
在高併發的業務場景下，數據庫大多數情況都是用戶併發訪問最薄弱的環節。所以，就需要使用redis做一個緩衝操作，讓請求先訪問到redis，而不是直接訪問M...
Redis MySQL 數據庫 技術 2019-06-26
Redis 如何保持和 MySQL 數據一致
Redis 如何保持和 MySQL 數據一致
1.MySQL持久化數據，Redis只讀數據2.MySQL和Redis處理不同的數據類型幾個例子在高併發下解決場景二要注意的問題1.MySQL持久化數據，...
MySQL Redis 數據庫 Nginx 2019-06-13
Elasticsearch如何做到億級數據查詢毫秒級返回？
Elasticsearch如何做到億級數據查詢毫秒級返回？
如果面試的時候碰到這樣一個面試題：ES 在數據量很大的情況下(數十億級別)如何提高查詢效率?這個問題說白了，就是看你有沒有實際用過 ES，因為啥?其實 E...
ElasticSearch HBase Java虛擬機 操作系統 MySQL 網絡硬盤 搜索引擎 2019-06-07
MySQL百萬級數據量分頁查詢方法及其優化
方法1: 直接使用數據庫提供的SQL語句語句樣式: MySQL中,可用如下方法: SELECT * FROM 表名稱 LIMIT M,N適應場景: 適用於數據量較少的情況(元組百/千級)原因/缺點: 全表掃描,速度會很慢 且 有的數據庫結果集返回不穩定(如某次返回1,2,3...
MySQL SQL 數據庫 2019-05-31
MySQL數據庫中，同樣是刪除數據，truncate與delete語句的區別
MySQL數據庫中，同樣是刪除數據，truncate與delete語句的區別
1、從概念上來講，它們是不同的，truncate是DDL語句，會隱式提交，所以，不能回滾，不會觸發觸發器。delete是DML語句，這個操作會被放到 ro...
數據庫 MySQL 2019-05-16
推薦中...