千萬級大數據量,如何優化java程序對數據庫的操作

當遇到千萬級大數據操作,要對其進行10萬次以上的增刪查改的操作的時候,就需要優化java程序對數據庫的操作,下面我們就來簡單說下JAVA程序在設計和編碼中,為了能夠提高JAVA程序的性能,而經常採用的一些方法和技巧。

千萬級大數據量,如何優化java程序對數據庫的操作

489034603

一、對象的生成和大小的調整

JAVA程序設計中一個普遍的問題就是沒有好好的利用JAVA語言本身提供的函數,從而常常會生成大量的對象(或實例)。由於系統不僅要花時間生成對象,以後可能還需花時間對這些對象進行垃圾回收和處理。因此,生成過多的對象將會給程序的性能帶來很大的影響。

例1:關於String ,StringBuffer,+和append

JAVA語言提供了對於String類型變量的操作。但如果使用不當,會給程序的性能帶來影響。如下面的語句:

千萬級大數據量,如何優化java程序對數據庫的操作

489034603

看似已經很精簡了,其實並非如此。為了生成二進制的代碼,要進行如下的步驟和操作:

(1) 生成新的字符串 new String(STR_1);

(2) 複製該字符串;

(3) 加載字符串常量"HuangWeiFeng"(STR_2);

(4) 調用字符串的構架器(Constructor);

(5) 保存該字符串到數組中(從位置0開始);

(6) 從java.io.PrintStream類中得到靜態的out變量;

(7) 生成新的字符串緩衝變量new StringBuffer(STR_BUF_1);

(8) 複製該字符串緩衝變量;

(9) 調用字符串緩衝的構架器(Constructor);

(10) 保存該字符串緩衝到數組中(從位置1開始);

(11) 以STR_1為參數,調用字符串緩衝(StringBuffer)類中的append方法;

(12) 加載字符串常量"is my name"(STR_3);

(13) 以STR_3為參數,調用字符串緩衝(StringBuffer)類中的append方法;

(14) 對於STR_BUF_1執行toString命令;

(15) 調用out變量中的println方法,輸出結果。

由此可以看出,這兩行簡單的代碼,就生成了STR_1,STR_2,STR_3,STR_4和STR_BUF_1五個對象變量。這些生成的類的實例一般都存放在堆中。堆要對所有類的超類,類的實例進行初始化,同時還要調用類極其每個超類的構架器。而這些操作都是非常消耗系統資源的。因此,對對象的生成進行限制,是完全有必要的。

經修改,上面的代碼可以用如下的代碼來替換。

千萬級大數據量,如何優化java程序對數據庫的操作

489034603

系統將進行如下的操作:

(1) 生成新的字符串緩衝變量new StringBuffer(STR_BUF_1);

(2) 複製該字符串緩衝變量;

(3) 加載字符串常量"HuangWeiFeng"(STR_1);

(4) 調用字符串緩衝的構架器(Constructor);

(5) 保存該字符串緩衝到數組中(從位置1開始);

(6) 從java.io.PrintStream類中得到靜態的out變量;

(7) 加載STR_BUF_1;

(8) 加載字符串常量"is my name"(STR_2);

(9) 以STR_2為參數,調用字符串緩衝(StringBuffer)實例中的append方法;

(10) 對於STR_BUF_1執行toString命令(STR_3);

(11)調用out變量中的println方法,輸出結果。

由此可以看出,經過改進後的代碼只生成了四個對象變量:STR_1,STR_2,STR_3和STR_BUF_1.你可能覺得少生成一個對象不會對程序的性能有很大的提高。但下面的代碼段2的執行速度將是代碼段1的2倍。因為代碼段1生成了八個對象,而代碼段2只生成了四個對象。

代碼段1:

千萬級大數據量,如何優化java程序對數據庫的操作

489034603

代碼段2:

千萬級大數據量,如何優化java程序對數據庫的操作

489034603

因此,充分的利用JAVA提供的庫函數來優化程序,對提高JAVA程序的性能時非常重要的.其注意點主要有如下幾方面;

(1) 儘可能的使用靜態變量(Static Class Variables)

如果類中的變量不會隨他的實例而變化,就可以定義為靜態變量,從而使他所有的實例都共享這個變量。

例:

千萬級大數據量,如何優化java程序對數據庫的操作

489034603

就可以定義為:

千萬級大數據量,如何優化java程序對數據庫的操作

489034603

(2) 不要對已生成的對象作過多的改變。

對於一些類(如:String類)來講,寧願在重新生成一個新的對象實例,而不應該修改已經生成的對象實例。

例:

千萬級大數據量,如何優化java程序對數據庫的操作

489034603

上述代碼生成了三個String類型的對象實例。而前兩個馬上就需要系統進行垃圾回收處理。如果要對字符串進行連接的操作,性能將得更差,因為系統將不得為此生成更多得臨時變量,如上例1所示。

(3) 生成對象時,要分配給它合理的空間和大小JAVA中的很多類都有它的默認的空間分配大小。對於StringBuffer類來講,默認的分配空間大小是16個字符。如果在程序中使用StringBuffer的空間大小不是16個字符,那麼就必須進行正確的初始化。

(4) 避免生成不太使用或生命週期短的對象或變量。對於這種情況,因該定義一個對象緩衝池。以為管理一個對象緩衝池的開銷要比頻繁的生成和回收對象的開銷小的多。

(5) 只在對象作用範圍內進行初始化。JAVA允許在代碼的任何地方定義和初始化對象。這樣,就可以只在對象作用的範圍內進行

初始化。從而節約系統的開銷。

例:

千萬級大數據量,如何優化java程序對數據庫的操作

489034603

可以修改為:

千萬級大數據量,如何優化java程序對數據庫的操作

489034603

2.異常(Exceptions)

JAVA語言中提供了try/catch來發方便用戶捕捉異常,進行異常的處理。但是如果使用不當,也會給JAVA程序的性能帶來影響。

因此,要注意以下兩點:

(1) 避免對應用程序的邏輯使用try/catch

如果可以用if,while等邏輯語句來處理,那麼就儘可能的不用try/catch語句。

(2) 重用異常

在必須要進行異常的處理時,要儘可能的重用已經存在的異常對象。以為在異常的處理中,生成一個異常對象要消耗掉大部分的時間。

3. 線程(Threading)

一個高性能的應用程序中一般都會用到線程。因為線程能充分利用系統的資源。在其他線程因為等待硬盤或網絡讀寫而 時,程序能繼續處理和運行。但是對線程運用不當,也會影響程序的性能。

關於線程的操作,要注意如下幾個方面:

(1) 防止過多的同步

如上所示,不必要的同步常常會造成程序性能的下降。因此,如果程序是單線程,則一定不要使用同步。

(2) 同步方法而不要同步整個代碼段

對某個方法或函數進行同步比對整個代碼段進行同步的性能要好。

(3) 對每個對象使用多”鎖”的機制來增大併發。

一般每個對象都只有一個”鎖”,這就表明如果兩個線程執行一個對象的兩個不同的同步方法時,會發生”死鎖”。即使這兩個

方法並不共享任何資源。為了避免這個問題,可以對一個對象實行”多鎖”的機制。如下所示:

千萬級大數據量,如何優化java程序對數據庫的操作

489034603

4.輸入和輸出(I/O)

輸入和輸出包括很多方面,但涉及最多的是對硬盤,網絡或數據庫的讀寫操作。對於讀寫操作,又分為有緩存和沒有緩存的;對

於數據庫的操作,又可以有多種類型的JDBC驅動器可以選擇。但無論怎樣,都會給程序的性能帶來影響。因此,需要注意如下幾點:

(1) 使用輸入輸出緩衝

儘可能的多使用緩存。但如果要經常對緩存進行刷新(flush),則建議不要使用緩存。

(2) 輸出流(Output Stream)和Unicode字符串

當時用Output Stream和Unicode字符串時,Write類的開銷比較大。因為它要實現Unicode到字節(byte)的轉換.因此,如果可能的話,在使用Write類之前就實現轉換或用OutputStream類代替Writer類來使用。

(3) 當需序列化時使用transient

當序列化一個類或對象時,對於那些原子類型(atomic)或可以重建的原素要表識為transient類型。這樣就不用每一次都進行序列化。如果這些序列化的對象要在網絡上傳輸,這一小小的改變對性能會有很大的提高。

(4) 使用高速緩存(Cache)

對於那些經常要使用而又不大變化的對象或數據,可以把它存儲在高速緩存中。這樣就可以提高訪問的速度。這一點對於從數據庫中返回的結果集尤其重要。

(5) 使用速度快的JDBC驅動器(Driver)

JAVA對訪問數據庫提供了四種方法。這其中有兩種是JDBC驅動器。一種是用JAVA外包的本地驅動器;另一種是完全的JAVA驅動器。具體要使用哪一種得根據JAVA佈署的環境和應用程序本身來定。

5.一些其他的經驗和技巧

(1) 使用局部變量。

(2) 避免在同一個類中動過調用函數或方法(get或set)來設置或調用變量。

(3) 避免在循環中生成同一個變量或調用同一個函數(參數變量也一樣)。

(4) 儘可能的使用static,final,private等關鍵字。

(5) 當複製大量數據時,使用System.arraycopy()命令。

千萬級大數據量,如何優化java程序對數據庫的操作

489034603

如果有小夥伴想學習JAVA架構師/大數據技術知識的,可以加下圖片下方的交流群,群裡有很多JAVA架構師/大數據的資料可以下載學習,還有大神在群裡可以一起交流討論

相關推薦

推薦中...