Apache HBase配置

Apache HBase使用與Apache Hadoop相同的配置系統。所有配置文件都位於conf /目錄中，該目錄需要為集群中的每個節點保持同步。

HBase配置文件說明

• 備份主機

• 默認情況下不存在。一個純文本文件，列出主機應啟動備份主過程的主機，每行一個主機。

• hadoop-metrics2-hbase.properties

• 用於連接HBase Hadoop的Metrics2框架。有關Metrics2的更多信息，請參閱Hadoop Wiki條目。默認情況下僅包含已註釋的示例。

• hbase-env.cmd和hbase-env.sh

• 用於Windows和Linux / Unix環境的腳本，用於為HBase設置工作環境，包括Java，Java選項和其他環境變量的位置。該文件包含許多註釋的示例，以提供指導。

• hbase-policy.xml中

• RPC服務器用於對客戶端請求進行授權決策的默認策略配置文件。僅在啟用HBase 安全性的情況下使用。

• hbase-site.xml

• 主HBase配置文件。此文件指定覆蓋HBase的默認配置的配置選項。您可以查看（但不要編輯）docs / hbase-default.xml中的默認配置文件。您還可以在HBase Web UI 的HBase Configuration選項卡中查看集群的整個有效配置（缺省和覆蓋）。

• log4j.properties

• 用於HBase日誌記錄的配置文件log4j。

• 區域服務器

• 包含應在HBase集群中運行RegionServer的主機列表的純文本文件。默認情況下，此文件包含單個條目localhost。它應該包含主機名或IP地址的列表，每行一個，並且應該包含localhost如果您的集群中的每個節點在其接口上運行一個localhostRegionServer。

4.基本先決條件

本節列出所需的服務和一些必需的系統配置。

表2. Java

操作系統實用程序

• ssh

• HBase廣泛使用安全Shell（ssh）命令和實用程序在集群節點之間進行通信。集群中的每個服務器必須運行ssh，以便可以管理Hadoop和HBase後臺駐留程序。您必須能夠使用共享密鑰而不是密碼，通過SSH（包括本地節點）從主服務器以及任何備份主服務器連接到所有節點。您可以在“ 過程：配置無密碼SSH訪問 ” 中查看Linux或Unix系統中此類設置的基本方法。如果集群節點使用OS X，請參閱Hadoop wiki上的“ SSH：設置遠程桌面和啟用自助登錄 ”一節。

• DNS

• HBase使用本地主機名自行報告其IP地址。正向和反向DNS解析必須在0.92.0之前的HBase版本中工作。在Hadoop的DNS檢查器工具，可以用來驗證DNS在群集上正常工作。項目README文件提供有關使用的詳細說明。

• 環回IP

• 在hbase-0.96.0之前，HBase只使用IP地址127.0.0.1來引用localhost，而且這不能被配置。有關詳細信息，請參閱環回IP。

• NTP

• 群集節點上的時鐘應該同步。少量的變化是可以接受的，但更大的偏斜量可能導致不穩定和意想不到的行為。時間同步是在集群中看到無法解釋的問題的首要檢查之一。建議在集群上運行網絡時間協議（NTP）服務或另一個時間同步機制，並且所有節點都查看同一服務以進行時間同步。請參閱基本NTP配置在Linux文檔項目（TLDP）設置NTP。

• 文件和進程數量限制（ulimit）

• Apache HBase是一個數據庫。它需要能夠一次打開大量的文件。許多Linux發行版限制了允許單個用戶打開的文件數1024（或者256在較舊版本的OS X上）。您可以ulimit -n在運行HBase的用戶登錄時通過運行該命令在服務器上檢查此限制。如果限制太低，可能會遇到一些問題，請參閱“疑難解答”部分。您也可能會注意到以下錯誤：

  2010-04-06 03：04：37,542 INFO org.apache.hadoop.hdfs.DFSClient：Exception increateBlockOutputStream java.io.EOFException 2010-04-06 03：04：37,542 INFO org.apache.hadoop.hdfs.DFSClient：放棄塊blk_-6935524980745310745_1391901

  建議將ulimit提高到至少10,000，但更可能是10,240，因為該值通常用1024的倍數表示。每個ColumnFamily都至少有一個StoreFile，如果該區域有負載，則可能有多於六個StoreFiles。所需打開文件的數量取決於ColumnFamilies的數量和區域數量。以下是計算RegionServer上打開文件的可能數量的粗略公式。

  計算打開文件的可能數

  （StoreFiles per ColumnFamily）x（每個RegionServer的區域）

  例如，假設一個模式每個區域有3個ColumnFamilies，每個ColumnFamily平均有3個StoreFiles，並且每個RegionServer有100個區域，JVM將打開3 * 3 * 100 = 900文件描述符，而不是打開JAR文件，配置文件和其他文件。打開文件不需要很多資源，允許用戶打開太多文件的風險極小。

  另一個相關設置是允許用戶一次運行的進程數。在Linux和Unix中，使用ulimit -u命令設置進程數。這不應該與nproc命令混淆，該命令控制給定用戶可用的CPU的數量。在負載下，ulimit -u太低可能導致OutOfMemoryError異常。請參閱傑克·萊文的主要HDFS問題線程在hbase用戶郵件列表，從2011年。

  為運行HBase進程的用戶配置最大文件描述符和進程數是操作系統配置，而不是HBase配置。確保為實際運行HBase的用戶更改設置也很重要。要查看哪個用戶啟動HBase和該用戶的ulimit配置，請查看該實例的HBase日誌的第一行。對hadoop集群有用的讀設置配置是Aaron Kimball的配置參數：你可以忽略什麼？

  示例5. ulimitUbuntu上的設置

  要在Ubuntu上配置ulimit設置，請編輯/etc/security/limits.conf，它是一個由四列組成的以空格分隔的文件。有關此文件格式的詳細信息，請參閱limits.conf的手冊頁。在以下示例中，第一行為使用用戶名hadoop的操作系統用戶將打開文件（nofile）的軟限制和硬限制設置為32768。第二行將同一用戶的進程數設置為32000。

  hadoop - nofile 32768 hadoop - nproc 32000

  僅當可插入認證模塊（PAM）環境指向使用這些設置時，才應用這些設置。要配置PAM以使用這些限制，請確保/etc/pam.d/common-session文件包含以下行：

  session required pam_limits.so

• Linux Shell

• HBase附帶的所有shell腳本都依賴於GNU Bash shell。

• 視窗

• 在HBase 0.96之前，在Microsoft Windows上運行HBase的測試有限。對於生產系統不建議在Windows節點上運行。

4.1。Hadoop

下表總結了每個版本的HBase支持的Hadoop的版本。基於HBase的版本，您應該選擇最適合的Hadoop版本。您可以使用Apache Hadoop或供應商的Hadoop發行版。這裡不作區分。有關Hadoop供應商的信息，請參閱Hadoop wiki。

使用以下圖例解釋此表：

Hadoop版本支持矩陣

• “S”=支持

• “X”=不支持

• “NT”=未測試

4.1.1。Apache HBase 0.94與Hadoop 2

要使0.94.x在Hadoop 2.2.0上運行，您需要在pom.xml中更改hadoop 2和protobuf版本：這裡是一個與pom.xml更改的差異：

$ svn diff pom.xml Index: pom.xml =================================================================== --- pom.xml (revision 1545157) +++ pom.xml (working copy) @@ -1034,7 +1034,7 @@ <slf4j.version>1.4.3</slf4j.version> <log4j.version>1.2.16</log4j.version> <mockito-all.version>1.8.5</mockito-all.version> - <protobuf.version>2.4.0a</protobuf.version> + <protobuf.version>2.5.0</protobuf.version> <stax-api.version>1.0.1</stax-api.version> <thrift.version>0.8.0</thrift.version> <zookeeper.version>3.4.5</zookeeper.version> @@ -2241,7 +2241,7 @@ </property> </activation> <properties> - <hadoop.version>2.0.0-alpha</hadoop.version> + <hadoop.version>2.2.0</hadoop.version> <slf4j.version>1.6.1</slf4j.version> </properties> <dependencies>

下一步是重新生成Protobuf文件並假設Protobuf已經安裝：

• 使用命令行轉到HBase根文件夾;

• 鍵入以下命令：

  $ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/hbase.proto

  $ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/ErrorHandling.proto

通過運行類似以下命令來構建hadoop 2配置文件：

$ mvn clean install assembly：single -Dhadoop.profile = 2.0 -DskipTests

4.1.2。Apache HBase 0.92和0.94

HBase 0.92和0.94版本可以與Hadoop版本（0.20.205,0.22.x，1.0.x和1.1.x）一起使用。HBase-0.94還可以使用Hadoop-0.23.x和2.x，但是您可能必須使用特定的maven配置文件重新編譯代碼（參見頂級pom.xml）

4.1.3。Apache HBase 0.96

從Apache HBase 0.96.x開始，至少需要Apache Hadoop 1.0.x。強烈鼓勵Hadoop 2（更快，但也有幫助MTTR的修復）。我們將不再在較舊的Hadoops上正常運行，例如0.20.205或branch-0.20-append。如果您無法升級Hadoop，請不要移動到Apache HBase 0.96.x。參見HBase，mail＃dev - DISCUSS：hbase要求至少hadoop 1.0.0在hbase 0.96.0？

4.1.4。Hadoop版本0.20.x - 1.x

不要將大於2.2.0的Hadoop版本用於大於1.0的HBase版本。如果您使用的是舊版本的HBase for Hadoop相關信息，請查看發行文檔。

4.1.5。Apache Hbase安全Hadoop

Apache HBase將在任何併入Hadoop安全功能的Hadoop 0.20.x上運行，只要您像上面建議的那樣，並用安全版本替換HBase附帶的Hadoop jar。如果要閱讀有關如何設置Secure HBase的更多信息，請參閱hbase.secure.configuration。

4.1.6。 dfs.datanode.max.transfer.threads

HDFS DataNode具有在任何時間將要服務的文件數量的上限。在執行任何加載之前，請確保您已配置Hadoop的conf / hdfs-site.xml，將dfs.datanode.max.transfer.threads值設置為至少以下值：

<property> <name>dfs.datanode.max.transfer.threads</name> <value>4096</value> </property>

進行上述配置後，請務必重新啟動HDFS。

沒有這個配置就會造成奇怪的故障。一種表現形式是關於缺失區塊的投訴。例如：

10/12/08 20:10:31 INFO hdfs.DFSClient：無法獲取塊 blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY來自任何節點：java.io.IOException：沒有活動節點 包含當前塊。將從namenode獲取新的塊位置並重試...

另請參見casestudies.max.transfer.threads並注意，此屬性以前稱為dfs.datanode.max.xcievers（例如Hadoop HDFS：由Xciever欺騙）。

4.2。ZooKeeper要求

從HBase 1.0.0起，需要ZooKeeper 3.4.x。HBase利用multi只有從Zookeeper 3.4.0可用的功能。該hbase.zookeeper.useMulti配置屬性默認為true在HBase的1.0.0。參考HBASE-12241（當服務器複製隊列中斷時複製時regionServer崩潰）和HBASE-6775（當HBASE-6710 0.92 / 0.94兼容性修復時使用ZK.multi）作為背景。該屬性已棄用，並且在HBase 2.0中始終啟用useMulti。

今天的學習就到這裡,明天我們將學習

HBase運行模式：獨立和分佈式