Unicode,UTF-8和UTF-16的區別與聯繫

Linux Windows UNIX 英語 IT生涯 2019-06-20

先說一說基本的概念,這包括什麼是Unicode,什麼是UTF-8,什麼是UTF-16。

Unicode,UTF-8,UTF-16完整的說明請參考Wiki(Unicode,UTF-8,UTF-16)。用比較簡單的話來說就是,Unicode定義了所有可以用來表示字符的數值集合(稱之為Code Point)。UTF-8和UTF-16等UTF標準定義了這些數值和字符的映射關係。

UTF-8

優勢

UTF-8最大的優勢是,沒有字節序的概念。所以特別適合用於字符串的網絡數據傳輸,不用考慮大小端問題。對於非英文網頁(對於我們而言,簡單說東亞文字網頁),能夠避免各種亂碼問題。

劣勢

本地字符串處理過程中,如果使用UTF-8,對於英文字符的處理沒有太大的問題。一個char變量表示一個英文字符。但是對於中文等遠東字符集來說,就比較坑爹了。char str[]; str[0]並不能完整表示一個漢字。UTF-8編碼格式下,一個漢字需要至少3個char才能表示。這對於通過下標來操作字符串的操作來說是非常痛苦的一件事情。

另外,一個漢字需要至少3個char來表示,也讓漢字在網絡傳輸上存在劣勢,佔用太多流量(但是如果啟用了壓縮,實際上差別並不大。並且現在很多中文網站都默認將編碼從GBK改成了UTF-8)。

UTF-16

優勢

UTF-16 LE是windows上默認的Unicode編碼方式,使用wchar_t表示。所有wchar_t *類型的字符串(包括硬編碼在.h/.cpp裡的字符串字面值),VC都自動採用UTF-16的編碼(字符串字面值,literal string,存在很多坑。特別是char *類型的字面值,最終內存使用何種編碼方式完全取決於當前文件的編碼方式。也就是說當前文件如果是GBK編碼的,那麼文件裡char * str = "中午",str指向的內存字符串二進制是使用GBK編碼的。如果文件編碼是UTF-8,那麼內存是使用UTF-8編碼。所以為什麼一直要強調字符串應該放在資源文件裡,而不是硬編碼在.h/.cpp文件裡!)。

UTF-16另外一個優勢就是常用字符都可以使用兩個個字節表示,也就是一個wchar_t(這裡指Windows平臺)。所以,在Windows平臺上,特別適合使用wchar_t來作為字符串的存儲基類型。一個wchar_t表示一個字符。操作使用非常方便。

劣勢

沒有統一的表示UTF-16編碼的字符類型。C++98/03裡對wchar_t的定義是非常寬泛的。這導致在Windows平臺上,wchar_t是2字節的;在Unix-like系統上是4字節的。代碼移植上,可能會遇到挑戰(我沒移植過,所以不確定會有什麼難度,以及難度有多大)。

即使最新的C++11裡已經定義除了char16_t表示UTF-16,MS的VS2013還不支持char16_t。所以目前使用char16_t還不具移植性。

據我瞭解,UTF-16編碼和GBK編碼相比,還存在一個排序的劣勢。也就是說,如果要按照漢語拼音的字母順序對漢字進行排序,GBK會得到正確的結果,而UTF-16就不行(暫時我還沒這種需求,所以我沒驗證過,不過好像我馬上就要與到這種需求了,到時候我再驗證下)。

UTF-16編碼字符串的網絡傳輸,要考慮大小端的問題。另外網絡傳輸中如果一個字節信息丟失,剩下的字符串都無法正確解析。統統亂碼。

另外,UTF-16並不是定長類型。所以還是存在生僻字使用4個字節編碼而不是2個字節(但是Windows有例外。在Windows(NT內核)平臺,從MSDN的各種表述來看,似乎一個wchar_t就是一個字符。更多關於Windows平臺字符編碼的問題參考知乎回答和相關評論)。

UTF-32

優勢

這個優勢就明顯了,所有字符都是4字節,fix-length。一個wchar_t(Unix-like系統上)表示一個字符。

劣勢

對於以英文為主的字符串來說,空間消耗大。

面臨和上面UTF-16一樣的問題。一致性,排序,網絡傳輸,數據丟失後無法恢復。char32_t VS2013還不支持(甚至VS 14 CPT也沒打算支持)。

總結

UTF-8最適合用來作為字符串網絡傳輸的編碼格式。UTF-16最適合當作本地字符串編碼格式。如果定義好了網絡傳輸協議,那麼UTF-16也非常合適當作網絡字符串傳輸的編碼格式,特別是中文等遠東地區字符集。比起UTF-8來說,節省一點點流量。UTF-32沒什麼特殊癖好或者需求的話,暫時還用不上。

我個人覺得最佳實踐應該是:

Linux上使用char,採用UTF-8編碼。

網絡傳輸使用UTF-8編碼。

Windows上使用wchar_t / char16_t,採用UTF-16編碼。將收到的網絡數據統一從UTF-8轉碼到UTF-16。在Windows上應該銘記沒有char / std::string這種類型的字符/字符串,只有wchar_t / char16_t / std::wstring / std::u16string。

相關推薦

推薦中...