Greenplum簡介
Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。
Greenplum簡介
Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。
一、Greenplum屬於OLAP
數據庫系統一般分為兩種類型:OLTP、OLAP。
OLTP(On-Line Transaction Processing,聯機事務處理)系統:也稱為生產系統,它是事件驅動的、面向應用的,比如電子商務網站的交易系統就是一個典型的OLTP系統。
OLTP的基本特點:
1. 數據在系統中產生
2. 基於交易的處理系統(Transaction-Based)
3. 每次交易牽涉的數據量很小
4. 對響應時間要求非常高
5. 用戶數量非常龐大,主要是操作人員
6. 數據庫的各種操作主要基於索引進行
OLAP(On-Line Analytical Processing,聯機分析處理)系統:是基於數據倉庫的信息分析處理過程,是數據倉庫的用戶接口部分,是跨部門的、面向主題的。
OLAP的基本特點是:
1. 本身不產生數據,其基礎數據來源於生產系統中的操作數據(Operational Data)
2. 基於查詢的分析系統
3. 複雜查詢經常使用多表聯結、全表掃描等,牽涉的數據量往往十分龐大
4. 響應時間與具體查詢有很大關係
5. 用戶數量相對較小,其用戶主要是業務人員與管理人員
6. 優於業務問題不固定,數據庫的各種操作不能完全基於索引進行
二、豐富的特性
如果想在數據倉庫中快速查詢結果,可以使用greenplum。
Greenplum數據庫也簡稱GPDB。它擁有豐富的特性:
第一,完善的標準支持:GPDB完全支持ANSI SQL 2008標準和SQL OLAP 2003 擴展;從應用編程接口上講,它支持ODBC和JDBC。完善的標準支持使得系統開發、維護和管理都大為方便。而現在的 NoSQL,NewSQL和Hadoop 對 SQL 的支持都不完善,不同的系統需要單獨開發和管理,且移植性不好。
第二,支持分佈式事務,支持ACID。保證數據的強一致性。
第三,做為分佈式數據庫,擁有良好的線性擴展能力。在國內外用戶生產環境中,具有上百個物理節點的GPDB集群都有很多案例。
第四,GPDB是企業級數據庫產品,全球有上千個集群在不同客戶的生產環境運行。這些集群為全球很多大的金融、政府、物流、零售等公司的關鍵業務提供服務。
第五,GPDB是Greenplum(現在的Pivotal)公司十多年研發投入的結果。GPDB基於PostgreSQL 8.2,PostgreSQL 8.2有大約80萬行源代碼,而GPDB現在有130萬行源碼。相比PostgreSQL 8.2,增加了約50萬行的源代碼。
第六,Greenplum有很多合作伙伴,GPDB有完善的生態系統,可以與很多企業級產品集成,譬如SAS,Cognos,Informatic,Tableau等;也可以很多種開源軟件集成,譬如Pentaho,Talend 等。
三、MPP(massively parallel processing)大規模並行處理核心架構
Greenplum數據庫軟件將數據平均分佈到系統的所有節點服務器上,所以節點存儲每張表或表分區的部分行,所有數據加載和查詢都是自動在各個節點服務器上並行運行,並且該架構支持擴展到上萬個節點。
Greenplum簡介
Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。
一、Greenplum屬於OLAP
數據庫系統一般分為兩種類型:OLTP、OLAP。
OLTP(On-Line Transaction Processing,聯機事務處理)系統:也稱為生產系統,它是事件驅動的、面向應用的,比如電子商務網站的交易系統就是一個典型的OLTP系統。
OLTP的基本特點:
1. 數據在系統中產生
2. 基於交易的處理系統(Transaction-Based)
3. 每次交易牽涉的數據量很小
4. 對響應時間要求非常高
5. 用戶數量非常龐大,主要是操作人員
6. 數據庫的各種操作主要基於索引進行
OLAP(On-Line Analytical Processing,聯機分析處理)系統:是基於數據倉庫的信息分析處理過程,是數據倉庫的用戶接口部分,是跨部門的、面向主題的。
OLAP的基本特點是:
1. 本身不產生數據,其基礎數據來源於生產系統中的操作數據(Operational Data)
2. 基於查詢的分析系統
3. 複雜查詢經常使用多表聯結、全表掃描等,牽涉的數據量往往十分龐大
4. 響應時間與具體查詢有很大關係
5. 用戶數量相對較小,其用戶主要是業務人員與管理人員
6. 優於業務問題不固定,數據庫的各種操作不能完全基於索引進行
二、豐富的特性
如果想在數據倉庫中快速查詢結果,可以使用greenplum。
Greenplum數據庫也簡稱GPDB。它擁有豐富的特性:
第一,完善的標準支持:GPDB完全支持ANSI SQL 2008標準和SQL OLAP 2003 擴展;從應用編程接口上講,它支持ODBC和JDBC。完善的標準支持使得系統開發、維護和管理都大為方便。而現在的 NoSQL,NewSQL和Hadoop 對 SQL 的支持都不完善,不同的系統需要單獨開發和管理,且移植性不好。
第二,支持分佈式事務,支持ACID。保證數據的強一致性。
第三,做為分佈式數據庫,擁有良好的線性擴展能力。在國內外用戶生產環境中,具有上百個物理節點的GPDB集群都有很多案例。
第四,GPDB是企業級數據庫產品,全球有上千個集群在不同客戶的生產環境運行。這些集群為全球很多大的金融、政府、物流、零售等公司的關鍵業務提供服務。
第五,GPDB是Greenplum(現在的Pivotal)公司十多年研發投入的結果。GPDB基於PostgreSQL 8.2,PostgreSQL 8.2有大約80萬行源代碼,而GPDB現在有130萬行源碼。相比PostgreSQL 8.2,增加了約50萬行的源代碼。
第六,Greenplum有很多合作伙伴,GPDB有完善的生態系統,可以與很多企業級產品集成,譬如SAS,Cognos,Informatic,Tableau等;也可以很多種開源軟件集成,譬如Pentaho,Talend 等。
三、MPP(massively parallel processing)大規模並行處理核心架構
Greenplum數據庫軟件將數據平均分佈到系統的所有節點服務器上,所以節點存儲每張表或表分區的部分行,所有數據加載和查詢都是自動在各個節點服務器上並行運行,並且該架構支持擴展到上萬個節點。
數據訪問流程,數據分佈到不同顏色的節點上。
Greenplum簡介
Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。
一、Greenplum屬於OLAP
數據庫系統一般分為兩種類型:OLTP、OLAP。
OLTP(On-Line Transaction Processing,聯機事務處理)系統:也稱為生產系統,它是事件驅動的、面向應用的,比如電子商務網站的交易系統就是一個典型的OLTP系統。
OLTP的基本特點:
1. 數據在系統中產生
2. 基於交易的處理系統(Transaction-Based)
3. 每次交易牽涉的數據量很小
4. 對響應時間要求非常高
5. 用戶數量非常龐大,主要是操作人員
6. 數據庫的各種操作主要基於索引進行
OLAP(On-Line Analytical Processing,聯機分析處理)系統:是基於數據倉庫的信息分析處理過程,是數據倉庫的用戶接口部分,是跨部門的、面向主題的。
OLAP的基本特點是:
1. 本身不產生數據,其基礎數據來源於生產系統中的操作數據(Operational Data)
2. 基於查詢的分析系統
3. 複雜查詢經常使用多表聯結、全表掃描等,牽涉的數據量往往十分龐大
4. 響應時間與具體查詢有很大關係
5. 用戶數量相對較小,其用戶主要是業務人員與管理人員
6. 優於業務問題不固定,數據庫的各種操作不能完全基於索引進行
二、豐富的特性
如果想在數據倉庫中快速查詢結果,可以使用greenplum。
Greenplum數據庫也簡稱GPDB。它擁有豐富的特性:
第一,完善的標準支持:GPDB完全支持ANSI SQL 2008標準和SQL OLAP 2003 擴展;從應用編程接口上講,它支持ODBC和JDBC。完善的標準支持使得系統開發、維護和管理都大為方便。而現在的 NoSQL,NewSQL和Hadoop 對 SQL 的支持都不完善,不同的系統需要單獨開發和管理,且移植性不好。
第二,支持分佈式事務,支持ACID。保證數據的強一致性。
第三,做為分佈式數據庫,擁有良好的線性擴展能力。在國內外用戶生產環境中,具有上百個物理節點的GPDB集群都有很多案例。
第四,GPDB是企業級數據庫產品,全球有上千個集群在不同客戶的生產環境運行。這些集群為全球很多大的金融、政府、物流、零售等公司的關鍵業務提供服務。
第五,GPDB是Greenplum(現在的Pivotal)公司十多年研發投入的結果。GPDB基於PostgreSQL 8.2,PostgreSQL 8.2有大約80萬行源代碼,而GPDB現在有130萬行源碼。相比PostgreSQL 8.2,增加了約50萬行的源代碼。
第六,Greenplum有很多合作伙伴,GPDB有完善的生態系統,可以與很多企業級產品集成,譬如SAS,Cognos,Informatic,Tableau等;也可以很多種開源軟件集成,譬如Pentaho,Talend 等。
三、MPP(massively parallel processing)大規模並行處理核心架構
Greenplum數據庫軟件將數據平均分佈到系統的所有節點服務器上,所以節點存儲每張表或表分區的部分行,所有數據加載和查詢都是自動在各個節點服務器上並行運行,並且該架構支持擴展到上萬個節點。
數據訪問流程,數據分佈到不同顏色的節點上。
查詢流程分為查詢創建和查詢分發,計算後將結果返回。
Greenplum簡介
Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。
一、Greenplum屬於OLAP
數據庫系統一般分為兩種類型:OLTP、OLAP。
OLTP(On-Line Transaction Processing,聯機事務處理)系統:也稱為生產系統,它是事件驅動的、面向應用的,比如電子商務網站的交易系統就是一個典型的OLTP系統。
OLTP的基本特點:
1. 數據在系統中產生
2. 基於交易的處理系統(Transaction-Based)
3. 每次交易牽涉的數據量很小
4. 對響應時間要求非常高
5. 用戶數量非常龐大,主要是操作人員
6. 數據庫的各種操作主要基於索引進行
OLAP(On-Line Analytical Processing,聯機分析處理)系統:是基於數據倉庫的信息分析處理過程,是數據倉庫的用戶接口部分,是跨部門的、面向主題的。
OLAP的基本特點是:
1. 本身不產生數據,其基礎數據來源於生產系統中的操作數據(Operational Data)
2. 基於查詢的分析系統
3. 複雜查詢經常使用多表聯結、全表掃描等,牽涉的數據量往往十分龐大
4. 響應時間與具體查詢有很大關係
5. 用戶數量相對較小,其用戶主要是業務人員與管理人員
6. 優於業務問題不固定,數據庫的各種操作不能完全基於索引進行
二、豐富的特性
如果想在數據倉庫中快速查詢結果,可以使用greenplum。
Greenplum數據庫也簡稱GPDB。它擁有豐富的特性:
第一,完善的標準支持:GPDB完全支持ANSI SQL 2008標準和SQL OLAP 2003 擴展;從應用編程接口上講,它支持ODBC和JDBC。完善的標準支持使得系統開發、維護和管理都大為方便。而現在的 NoSQL,NewSQL和Hadoop 對 SQL 的支持都不完善,不同的系統需要單獨開發和管理,且移植性不好。
第二,支持分佈式事務,支持ACID。保證數據的強一致性。
第三,做為分佈式數據庫,擁有良好的線性擴展能力。在國內外用戶生產環境中,具有上百個物理節點的GPDB集群都有很多案例。
第四,GPDB是企業級數據庫產品,全球有上千個集群在不同客戶的生產環境運行。這些集群為全球很多大的金融、政府、物流、零售等公司的關鍵業務提供服務。
第五,GPDB是Greenplum(現在的Pivotal)公司十多年研發投入的結果。GPDB基於PostgreSQL 8.2,PostgreSQL 8.2有大約80萬行源代碼,而GPDB現在有130萬行源碼。相比PostgreSQL 8.2,增加了約50萬行的源代碼。
第六,Greenplum有很多合作伙伴,GPDB有完善的生態系統,可以與很多企業級產品集成,譬如SAS,Cognos,Informatic,Tableau等;也可以很多種開源軟件集成,譬如Pentaho,Talend 等。
三、MPP(massively parallel processing)大規模並行處理核心架構
Greenplum數據庫軟件將數據平均分佈到系統的所有節點服務器上,所以節點存儲每張表或表分區的部分行,所有數據加載和查詢都是自動在各個節點服務器上並行運行,並且該架構支持擴展到上萬個節點。
數據訪問流程,數據分佈到不同顏色的節點上。
查詢流程分為查詢創建和查詢分發,計算後將結果返回。
對於存儲,將存儲的內容分佈到各個結點上。
Greenplum簡介
Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。
一、Greenplum屬於OLAP
數據庫系統一般分為兩種類型:OLTP、OLAP。
OLTP(On-Line Transaction Processing,聯機事務處理)系統:也稱為生產系統,它是事件驅動的、面向應用的,比如電子商務網站的交易系統就是一個典型的OLTP系統。
OLTP的基本特點:
1. 數據在系統中產生
2. 基於交易的處理系統(Transaction-Based)
3. 每次交易牽涉的數據量很小
4. 對響應時間要求非常高
5. 用戶數量非常龐大,主要是操作人員
6. 數據庫的各種操作主要基於索引進行
OLAP(On-Line Analytical Processing,聯機分析處理)系統:是基於數據倉庫的信息分析處理過程,是數據倉庫的用戶接口部分,是跨部門的、面向主題的。
OLAP的基本特點是:
1. 本身不產生數據,其基礎數據來源於生產系統中的操作數據(Operational Data)
2. 基於查詢的分析系統
3. 複雜查詢經常使用多表聯結、全表掃描等,牽涉的數據量往往十分龐大
4. 響應時間與具體查詢有很大關係
5. 用戶數量相對較小,其用戶主要是業務人員與管理人員
6. 優於業務問題不固定,數據庫的各種操作不能完全基於索引進行
二、豐富的特性
如果想在數據倉庫中快速查詢結果,可以使用greenplum。
Greenplum數據庫也簡稱GPDB。它擁有豐富的特性:
第一,完善的標準支持:GPDB完全支持ANSI SQL 2008標準和SQL OLAP 2003 擴展;從應用編程接口上講,它支持ODBC和JDBC。完善的標準支持使得系統開發、維護和管理都大為方便。而現在的 NoSQL,NewSQL和Hadoop 對 SQL 的支持都不完善,不同的系統需要單獨開發和管理,且移植性不好。
第二,支持分佈式事務,支持ACID。保證數據的強一致性。
第三,做為分佈式數據庫,擁有良好的線性擴展能力。在國內外用戶生產環境中,具有上百個物理節點的GPDB集群都有很多案例。
第四,GPDB是企業級數據庫產品,全球有上千個集群在不同客戶的生產環境運行。這些集群為全球很多大的金融、政府、物流、零售等公司的關鍵業務提供服務。
第五,GPDB是Greenplum(現在的Pivotal)公司十多年研發投入的結果。GPDB基於PostgreSQL 8.2,PostgreSQL 8.2有大約80萬行源代碼,而GPDB現在有130萬行源碼。相比PostgreSQL 8.2,增加了約50萬行的源代碼。
第六,Greenplum有很多合作伙伴,GPDB有完善的生態系統,可以與很多企業級產品集成,譬如SAS,Cognos,Informatic,Tableau等;也可以很多種開源軟件集成,譬如Pentaho,Talend 等。
三、MPP(massively parallel processing)大規模並行處理核心架構
Greenplum數據庫軟件將數據平均分佈到系統的所有節點服務器上,所以節點存儲每張表或表分區的部分行,所有數據加載和查詢都是自動在各個節點服務器上並行運行,並且該架構支持擴展到上萬個節點。
數據訪問流程,數據分佈到不同顏色的節點上。
查詢流程分為查詢創建和查詢分發,計算後將結果返回。
對於存儲,將存儲的內容分佈到各個結點上。