'數據倉庫Greenplum基本介紹'

"

Greenplum簡介

Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。

"

Greenplum簡介

Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。

數據倉庫Greenplum基本介紹

一、Greenplum屬於OLAP

數據庫系統一般分為兩種類型:OLTP、OLAP。

OLTP(On-Line Transaction Processing,聯機事務處理)系統:也稱為生產系統,它是事件驅動的、面向應用的,比如電子商務網站的交易系統就是一個典型的OLTP系統。

OLTP的基本特點:

1. 數據在系統中產生

2. 基於交易的處理系統(Transaction-Based)

3. 每次交易牽涉的數據量很小

4. 對響應時間要求非常高

5. 用戶數量非常龐大,主要是操作人員

6. 數據庫的各種操作主要基於索引進行

OLAP(On-Line Analytical Processing,聯機分析處理)系統:是基於數據倉庫的信息分析處理過程,是數據倉庫的用戶接口部分,是跨部門的、面向主題的。

OLAP的基本特點是:

1. 本身不產生數據,其基礎數據來源於生產系統中的操作數據(Operational Data)

2. 基於查詢的分析系統

3. 複雜查詢經常使用多表聯結、全表掃描等,牽涉的數據量往往十分龐大

4. 響應時間與具體查詢有很大關係

5. 用戶數量相對較小,其用戶主要是業務人員與管理人員

6. 優於業務問題不固定,數據庫的各種操作不能完全基於索引進行

二、豐富的特性

如果想在數據倉庫中快速查詢結果,可以使用greenplum。

Greenplum數據庫也簡稱GPDB。它擁有豐富的特性:

第一,完善的標準支持:GPDB完全支持ANSI SQL 2008標準和SQL OLAP 2003 擴展;從應用編程接口上講,它支持ODBC和JDBC。完善的標準支持使得系統開發、維護和管理都大為方便。而現在的 NoSQL,NewSQL和Hadoop 對 SQL 的支持都不完善,不同的系統需要單獨開發和管理,且移植性不好。

第二,支持分佈式事務,支持ACID。保證數據的強一致性。

第三,做為分佈式數據庫,擁有良好的線性擴展能力。在國內外用戶生產環境中,具有上百個物理節點的GPDB集群都有很多案例。

第四,GPDB是企業級數據庫產品,全球有上千個集群在不同客戶的生產環境運行。這些集群為全球很多大的金融、政府、物流、零售等公司的關鍵業務提供服務。

第五,GPDB是Greenplum(現在的Pivotal)公司十多年研發投入的結果。GPDB基於PostgreSQL 8.2,PostgreSQL 8.2有大約80萬行源代碼,而GPDB現在有130萬行源碼。相比PostgreSQL 8.2,增加了約50萬行的源代碼。

第六,Greenplum有很多合作伙伴,GPDB有完善的生態系統,可以與很多企業級產品集成,譬如SAS,Cognos,Informatic,Tableau等;也可以很多種開源軟件集成,譬如Pentaho,Talend 等。

三、MPP(massively parallel processing)大規模並行處理核心架構

Greenplum數據庫軟件將數據平均分佈到系統的所有節點服務器上,所以節點存儲每張表或表分區的部分行,所有數據加載和查詢都是自動在各個節點服務器上並行運行,並且該架構支持擴展到上萬個節點。

"

Greenplum簡介

Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。

數據倉庫Greenplum基本介紹

一、Greenplum屬於OLAP

數據庫系統一般分為兩種類型:OLTP、OLAP。

OLTP(On-Line Transaction Processing,聯機事務處理)系統:也稱為生產系統,它是事件驅動的、面向應用的,比如電子商務網站的交易系統就是一個典型的OLTP系統。

OLTP的基本特點:

1. 數據在系統中產生

2. 基於交易的處理系統(Transaction-Based)

3. 每次交易牽涉的數據量很小

4. 對響應時間要求非常高

5. 用戶數量非常龐大,主要是操作人員

6. 數據庫的各種操作主要基於索引進行

OLAP(On-Line Analytical Processing,聯機分析處理)系統:是基於數據倉庫的信息分析處理過程,是數據倉庫的用戶接口部分,是跨部門的、面向主題的。

OLAP的基本特點是:

1. 本身不產生數據,其基礎數據來源於生產系統中的操作數據(Operational Data)

2. 基於查詢的分析系統

3. 複雜查詢經常使用多表聯結、全表掃描等,牽涉的數據量往往十分龐大

4. 響應時間與具體查詢有很大關係

5. 用戶數量相對較小,其用戶主要是業務人員與管理人員

6. 優於業務問題不固定,數據庫的各種操作不能完全基於索引進行

二、豐富的特性

如果想在數據倉庫中快速查詢結果,可以使用greenplum。

Greenplum數據庫也簡稱GPDB。它擁有豐富的特性:

第一,完善的標準支持:GPDB完全支持ANSI SQL 2008標準和SQL OLAP 2003 擴展;從應用編程接口上講,它支持ODBC和JDBC。完善的標準支持使得系統開發、維護和管理都大為方便。而現在的 NoSQL,NewSQL和Hadoop 對 SQL 的支持都不完善,不同的系統需要單獨開發和管理,且移植性不好。

第二,支持分佈式事務,支持ACID。保證數據的強一致性。

第三,做為分佈式數據庫,擁有良好的線性擴展能力。在國內外用戶生產環境中,具有上百個物理節點的GPDB集群都有很多案例。

第四,GPDB是企業級數據庫產品,全球有上千個集群在不同客戶的生產環境運行。這些集群為全球很多大的金融、政府、物流、零售等公司的關鍵業務提供服務。

第五,GPDB是Greenplum(現在的Pivotal)公司十多年研發投入的結果。GPDB基於PostgreSQL 8.2,PostgreSQL 8.2有大約80萬行源代碼,而GPDB現在有130萬行源碼。相比PostgreSQL 8.2,增加了約50萬行的源代碼。

第六,Greenplum有很多合作伙伴,GPDB有完善的生態系統,可以與很多企業級產品集成,譬如SAS,Cognos,Informatic,Tableau等;也可以很多種開源軟件集成,譬如Pentaho,Talend 等。

三、MPP(massively parallel processing)大規模並行處理核心架構

Greenplum數據庫軟件將數據平均分佈到系統的所有節點服務器上,所以節點存儲每張表或表分區的部分行,所有數據加載和查詢都是自動在各個節點服務器上並行運行,並且該架構支持擴展到上萬個節點。

數據倉庫Greenplum基本介紹

數據訪問流程,數據分佈到不同顏色的節點上。

"

Greenplum簡介

Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。

數據倉庫Greenplum基本介紹

一、Greenplum屬於OLAP

數據庫系統一般分為兩種類型:OLTP、OLAP。

OLTP(On-Line Transaction Processing,聯機事務處理)系統:也稱為生產系統,它是事件驅動的、面向應用的,比如電子商務網站的交易系統就是一個典型的OLTP系統。

OLTP的基本特點:

1. 數據在系統中產生

2. 基於交易的處理系統(Transaction-Based)

3. 每次交易牽涉的數據量很小

4. 對響應時間要求非常高

5. 用戶數量非常龐大,主要是操作人員

6. 數據庫的各種操作主要基於索引進行

OLAP(On-Line Analytical Processing,聯機分析處理)系統:是基於數據倉庫的信息分析處理過程,是數據倉庫的用戶接口部分,是跨部門的、面向主題的。

OLAP的基本特點是:

1. 本身不產生數據,其基礎數據來源於生產系統中的操作數據(Operational Data)

2. 基於查詢的分析系統

3. 複雜查詢經常使用多表聯結、全表掃描等,牽涉的數據量往往十分龐大

4. 響應時間與具體查詢有很大關係

5. 用戶數量相對較小,其用戶主要是業務人員與管理人員

6. 優於業務問題不固定,數據庫的各種操作不能完全基於索引進行

二、豐富的特性

如果想在數據倉庫中快速查詢結果,可以使用greenplum。

Greenplum數據庫也簡稱GPDB。它擁有豐富的特性:

第一,完善的標準支持:GPDB完全支持ANSI SQL 2008標準和SQL OLAP 2003 擴展;從應用編程接口上講,它支持ODBC和JDBC。完善的標準支持使得系統開發、維護和管理都大為方便。而現在的 NoSQL,NewSQL和Hadoop 對 SQL 的支持都不完善,不同的系統需要單獨開發和管理,且移植性不好。

第二,支持分佈式事務,支持ACID。保證數據的強一致性。

第三,做為分佈式數據庫,擁有良好的線性擴展能力。在國內外用戶生產環境中,具有上百個物理節點的GPDB集群都有很多案例。

第四,GPDB是企業級數據庫產品,全球有上千個集群在不同客戶的生產環境運行。這些集群為全球很多大的金融、政府、物流、零售等公司的關鍵業務提供服務。

第五,GPDB是Greenplum(現在的Pivotal)公司十多年研發投入的結果。GPDB基於PostgreSQL 8.2,PostgreSQL 8.2有大約80萬行源代碼,而GPDB現在有130萬行源碼。相比PostgreSQL 8.2,增加了約50萬行的源代碼。

第六,Greenplum有很多合作伙伴,GPDB有完善的生態系統,可以與很多企業級產品集成,譬如SAS,Cognos,Informatic,Tableau等;也可以很多種開源軟件集成,譬如Pentaho,Talend 等。

三、MPP(massively parallel processing)大規模並行處理核心架構

Greenplum數據庫軟件將數據平均分佈到系統的所有節點服務器上,所以節點存儲每張表或表分區的部分行,所有數據加載和查詢都是自動在各個節點服務器上並行運行,並且該架構支持擴展到上萬個節點。

數據倉庫Greenplum基本介紹

數據訪問流程,數據分佈到不同顏色的節點上。

數據倉庫Greenplum基本介紹

查詢流程分為查詢創建和查詢分發,計算後將結果返回。

"

Greenplum簡介

Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。

數據倉庫Greenplum基本介紹

一、Greenplum屬於OLAP

數據庫系統一般分為兩種類型:OLTP、OLAP。

OLTP(On-Line Transaction Processing,聯機事務處理)系統:也稱為生產系統,它是事件驅動的、面向應用的,比如電子商務網站的交易系統就是一個典型的OLTP系統。

OLTP的基本特點:

1. 數據在系統中產生

2. 基於交易的處理系統(Transaction-Based)

3. 每次交易牽涉的數據量很小

4. 對響應時間要求非常高

5. 用戶數量非常龐大,主要是操作人員

6. 數據庫的各種操作主要基於索引進行

OLAP(On-Line Analytical Processing,聯機分析處理)系統:是基於數據倉庫的信息分析處理過程,是數據倉庫的用戶接口部分,是跨部門的、面向主題的。

OLAP的基本特點是:

1. 本身不產生數據,其基礎數據來源於生產系統中的操作數據(Operational Data)

2. 基於查詢的分析系統

3. 複雜查詢經常使用多表聯結、全表掃描等,牽涉的數據量往往十分龐大

4. 響應時間與具體查詢有很大關係

5. 用戶數量相對較小,其用戶主要是業務人員與管理人員

6. 優於業務問題不固定,數據庫的各種操作不能完全基於索引進行

二、豐富的特性

如果想在數據倉庫中快速查詢結果,可以使用greenplum。

Greenplum數據庫也簡稱GPDB。它擁有豐富的特性:

第一,完善的標準支持:GPDB完全支持ANSI SQL 2008標準和SQL OLAP 2003 擴展;從應用編程接口上講,它支持ODBC和JDBC。完善的標準支持使得系統開發、維護和管理都大為方便。而現在的 NoSQL,NewSQL和Hadoop 對 SQL 的支持都不完善,不同的系統需要單獨開發和管理,且移植性不好。

第二,支持分佈式事務,支持ACID。保證數據的強一致性。

第三,做為分佈式數據庫,擁有良好的線性擴展能力。在國內外用戶生產環境中,具有上百個物理節點的GPDB集群都有很多案例。

第四,GPDB是企業級數據庫產品,全球有上千個集群在不同客戶的生產環境運行。這些集群為全球很多大的金融、政府、物流、零售等公司的關鍵業務提供服務。

第五,GPDB是Greenplum(現在的Pivotal)公司十多年研發投入的結果。GPDB基於PostgreSQL 8.2,PostgreSQL 8.2有大約80萬行源代碼,而GPDB現在有130萬行源碼。相比PostgreSQL 8.2,增加了約50萬行的源代碼。

第六,Greenplum有很多合作伙伴,GPDB有完善的生態系統,可以與很多企業級產品集成,譬如SAS,Cognos,Informatic,Tableau等;也可以很多種開源軟件集成,譬如Pentaho,Talend 等。

三、MPP(massively parallel processing)大規模並行處理核心架構

Greenplum數據庫軟件將數據平均分佈到系統的所有節點服務器上,所以節點存儲每張表或表分區的部分行,所有數據加載和查詢都是自動在各個節點服務器上並行運行,並且該架構支持擴展到上萬個節點。

數據倉庫Greenplum基本介紹

數據訪問流程,數據分佈到不同顏色的節點上。

數據倉庫Greenplum基本介紹

查詢流程分為查詢創建和查詢分發,計算後將結果返回。

數據倉庫Greenplum基本介紹

對於存儲,將存儲的內容分佈到各個結點上。

"

Greenplum簡介

Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。

數據倉庫Greenplum基本介紹

一、Greenplum屬於OLAP

數據庫系統一般分為兩種類型:OLTP、OLAP。

OLTP(On-Line Transaction Processing,聯機事務處理)系統:也稱為生產系統,它是事件驅動的、面向應用的,比如電子商務網站的交易系統就是一個典型的OLTP系統。

OLTP的基本特點:

1. 數據在系統中產生

2. 基於交易的處理系統(Transaction-Based)

3. 每次交易牽涉的數據量很小

4. 對響應時間要求非常高

5. 用戶數量非常龐大,主要是操作人員

6. 數據庫的各種操作主要基於索引進行

OLAP(On-Line Analytical Processing,聯機分析處理)系統:是基於數據倉庫的信息分析處理過程,是數據倉庫的用戶接口部分,是跨部門的、面向主題的。

OLAP的基本特點是:

1. 本身不產生數據,其基礎數據來源於生產系統中的操作數據(Operational Data)

2. 基於查詢的分析系統

3. 複雜查詢經常使用多表聯結、全表掃描等,牽涉的數據量往往十分龐大

4. 響應時間與具體查詢有很大關係

5. 用戶數量相對較小,其用戶主要是業務人員與管理人員

6. 優於業務問題不固定,數據庫的各種操作不能完全基於索引進行

二、豐富的特性

如果想在數據倉庫中快速查詢結果,可以使用greenplum。

Greenplum數據庫也簡稱GPDB。它擁有豐富的特性:

第一,完善的標準支持:GPDB完全支持ANSI SQL 2008標準和SQL OLAP 2003 擴展;從應用編程接口上講,它支持ODBC和JDBC。完善的標準支持使得系統開發、維護和管理都大為方便。而現在的 NoSQL,NewSQL和Hadoop 對 SQL 的支持都不完善,不同的系統需要單獨開發和管理,且移植性不好。

第二,支持分佈式事務,支持ACID。保證數據的強一致性。

第三,做為分佈式數據庫,擁有良好的線性擴展能力。在國內外用戶生產環境中,具有上百個物理節點的GPDB集群都有很多案例。

第四,GPDB是企業級數據庫產品,全球有上千個集群在不同客戶的生產環境運行。這些集群為全球很多大的金融、政府、物流、零售等公司的關鍵業務提供服務。

第五,GPDB是Greenplum(現在的Pivotal)公司十多年研發投入的結果。GPDB基於PostgreSQL 8.2,PostgreSQL 8.2有大約80萬行源代碼,而GPDB現在有130萬行源碼。相比PostgreSQL 8.2,增加了約50萬行的源代碼。

第六,Greenplum有很多合作伙伴,GPDB有完善的生態系統,可以與很多企業級產品集成,譬如SAS,Cognos,Informatic,Tableau等;也可以很多種開源軟件集成,譬如Pentaho,Talend 等。

三、MPP(massively parallel processing)大規模並行處理核心架構

Greenplum數據庫軟件將數據平均分佈到系統的所有節點服務器上,所以節點存儲每張表或表分區的部分行,所有數據加載和查詢都是自動在各個節點服務器上並行運行,並且該架構支持擴展到上萬個節點。

數據倉庫Greenplum基本介紹

數據訪問流程,數據分佈到不同顏色的節點上。

數據倉庫Greenplum基本介紹

查詢流程分為查詢創建和查詢分發,計算後將結果返回。

數據倉庫Greenplum基本介紹

對於存儲,將存儲的內容分佈到各個結點上。

數據倉庫Greenplum基本介紹

"

相關推薦

推薦中...