'14個方面，上百個框架和工具+完整的知識清單！5年速成Java架構師'
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
Java 中，netty已經成為當之無愧的網絡開發框架，包括其上的socketio（不要再和我提mina了）。對於http協議，有common-httpclient，以及更加輕量級的工具okhttp來支持。
對於一個rpc來說，要約定一個通訊方式和序列化方式。json是最常用的序列化方式，但是傳輸和解析成本大，xml等文本協議與其類似，都有很多冗餘的信息；avro和kryo是二進制的序列化工具，沒有這些缺點，但調試不便。
rpc是遠程過程調用的意思 ，其中，thrift、dubbo、gRPC默認都是二進制序列化方式的socket通訊框架；feign、hessian都是onhttp的遠程調用框架。
對了，gRPC的序列化工具是protobuf，一個壓縮比很高的二進制序列化工具。
通常，服務的響應時間主要耗費在業務邏輯以及數據庫上，通訊層耗時在其中的佔比很小。可以根據自己公司的研發水平和業務規模來選擇。
六、微服務
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
Java 中，netty已經成為當之無愧的網絡開發框架，包括其上的socketio（不要再和我提mina了）。對於http協議，有common-httpclient，以及更加輕量級的工具okhttp來支持。
對於一個rpc來說，要約定一個通訊方式和序列化方式。json是最常用的序列化方式，但是傳輸和解析成本大，xml等文本協議與其類似，都有很多冗餘的信息；avro和kryo是二進制的序列化工具，沒有這些缺點，但調試不便。
rpc是遠程過程調用的意思 ，其中，thrift、dubbo、gRPC默認都是二進制序列化方式的socket通訊框架；feign、hessian都是onhttp的遠程調用框架。
對了，gRPC的序列化工具是protobuf，一個壓縮比很高的二進制序列化工具。
通常，服務的響應時間主要耗費在業務邏輯以及數據庫上，通訊層耗時在其中的佔比很小。可以根據自己公司的研發水平和業務規模來選擇。
六、微服務
我們不止一次說到微服務，這一次我們從圍繞它的一堆支持框架，來窺探一下這個體系。是的，這裡依然是在說spring cloud。
默認的註冊中心eureka不再維護，consul已經成為首選。nacos、zookeeper等，都可以作為備選方案。其中nacos帶有後臺，比較適合國人使用習慣。
熔斷組件，官方的hystrix也已經不維護了。推薦使用resilience4j，最近阿里的sentinel也表現強勁。
對於調用鏈來說，由於OpenTracing的興起，有了很多新的面孔。推薦使用jaeger或者skywalking。spring cloud集成的sleuth+zipkin功能稍弱，甚至不如傳統侵入式的cat。
配置中心是管理多環境配置文件的利器，尤其在你不想重啟服務器的情況下進行配置更新。目前，開源中做的最好的要數apollo，並提供了對spring boot的支持。disconf使用也較為廣泛。相對來說，spring cloud config功能就侷限了些，用的很少。
網關方面，使用最多的就是nginx，在nginx之上，有基於lua腳本的openrestry。由於openresty的使用非常繁雜，所以有了kong這種封裝級別更高的網關。
對於spring cloud來說，zuul系列推薦使用zuul2，zuul1是多線程阻塞的，有硬傷。spring-cloud-gateway是spring cloud親生的，但目前用的不是很廣泛。
七、分佈式工具
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
Java 中，netty已經成為當之無愧的網絡開發框架，包括其上的socketio（不要再和我提mina了）。對於http協議，有common-httpclient，以及更加輕量級的工具okhttp來支持。
對於一個rpc來說，要約定一個通訊方式和序列化方式。json是最常用的序列化方式，但是傳輸和解析成本大，xml等文本協議與其類似，都有很多冗餘的信息；avro和kryo是二進制的序列化工具，沒有這些缺點，但調試不便。
rpc是遠程過程調用的意思 ，其中，thrift、dubbo、gRPC默認都是二進制序列化方式的socket通訊框架；feign、hessian都是onhttp的遠程調用框架。
對了，gRPC的序列化工具是protobuf，一個壓縮比很高的二進制序列化工具。
通常，服務的響應時間主要耗費在業務邏輯以及數據庫上，通訊層耗時在其中的佔比很小。可以根據自己公司的研發水平和業務規模來選擇。
六、微服務
我們不止一次說到微服務，這一次我們從圍繞它的一堆支持框架，來窺探一下這個體系。是的，這裡依然是在說spring cloud。
默認的註冊中心eureka不再維護，consul已經成為首選。nacos、zookeeper等，都可以作為備選方案。其中nacos帶有後臺，比較適合國人使用習慣。
熔斷組件，官方的hystrix也已經不維護了。推薦使用resilience4j，最近阿里的sentinel也表現強勁。
對於調用鏈來說，由於OpenTracing的興起，有了很多新的面孔。推薦使用jaeger或者skywalking。spring cloud集成的sleuth+zipkin功能稍弱，甚至不如傳統侵入式的cat。
配置中心是管理多環境配置文件的利器，尤其在你不想重啟服務器的情況下進行配置更新。目前，開源中做的最好的要數apollo，並提供了對spring boot的支持。disconf使用也較為廣泛。相對來說，spring cloud config功能就侷限了些，用的很少。
網關方面，使用最多的就是nginx，在nginx之上，有基於lua腳本的openrestry。由於openresty的使用非常繁雜，所以有了kong這種封裝級別更高的網關。
對於spring cloud來說，zuul系列推薦使用zuul2，zuul1是多線程阻塞的，有硬傷。spring-cloud-gateway是spring cloud親生的，但目前用的不是很廣泛。
七、分佈式工具
大家都知道分佈式系統zookeeper能用在很多場景，與其類似的還有基於raft協議的etcd和consul。
由於它們能夠保證極高的一致性，所以用作協調工具是再好不過了。用途集中在：配置中心、分佈式鎖、命名服務、分佈式協調、master選舉等場所。
對於分佈式事務方面，則有阿里的fescar工具進行支持。但如非特別的必要，還是使用柔性事務，追尋最終一致性，比較好。
八、監控系統
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
Java 中，netty已經成為當之無愧的網絡開發框架，包括其上的socketio（不要再和我提mina了）。對於http協議，有common-httpclient，以及更加輕量級的工具okhttp來支持。
對於一個rpc來說，要約定一個通訊方式和序列化方式。json是最常用的序列化方式，但是傳輸和解析成本大，xml等文本協議與其類似，都有很多冗餘的信息；avro和kryo是二進制的序列化工具，沒有這些缺點，但調試不便。
rpc是遠程過程調用的意思 ，其中，thrift、dubbo、gRPC默認都是二進制序列化方式的socket通訊框架；feign、hessian都是onhttp的遠程調用框架。
對了，gRPC的序列化工具是protobuf，一個壓縮比很高的二進制序列化工具。
通常，服務的響應時間主要耗費在業務邏輯以及數據庫上，通訊層耗時在其中的佔比很小。可以根據自己公司的研發水平和業務規模來選擇。
六、微服務
我們不止一次說到微服務，這一次我們從圍繞它的一堆支持框架，來窺探一下這個體系。是的，這裡依然是在說spring cloud。
默認的註冊中心eureka不再維護，consul已經成為首選。nacos、zookeeper等，都可以作為備選方案。其中nacos帶有後臺，比較適合國人使用習慣。
熔斷組件，官方的hystrix也已經不維護了。推薦使用resilience4j，最近阿里的sentinel也表現強勁。
對於調用鏈來說，由於OpenTracing的興起，有了很多新的面孔。推薦使用jaeger或者skywalking。spring cloud集成的sleuth+zipkin功能稍弱，甚至不如傳統侵入式的cat。
配置中心是管理多環境配置文件的利器，尤其在你不想重啟服務器的情況下進行配置更新。目前，開源中做的最好的要數apollo，並提供了對spring boot的支持。disconf使用也較為廣泛。相對來說，spring cloud config功能就侷限了些，用的很少。
網關方面，使用最多的就是nginx，在nginx之上，有基於lua腳本的openrestry。由於openresty的使用非常繁雜，所以有了kong這種封裝級別更高的網關。
對於spring cloud來說，zuul系列推薦使用zuul2，zuul1是多線程阻塞的，有硬傷。spring-cloud-gateway是spring cloud親生的，但目前用的不是很廣泛。
七、分佈式工具
大家都知道分佈式系統zookeeper能用在很多場景，與其類似的還有基於raft協議的etcd和consul。
由於它們能夠保證極高的一致性，所以用作協調工具是再好不過了。用途集中在：配置中心、分佈式鎖、命名服務、分佈式協調、master選舉等場所。
對於分佈式事務方面，則有阿里的fescar工具進行支持。但如非特別的必要，還是使用柔性事務，追尋最終一致性，比較好。
八、監控系統
監控系統組件種類繁多，目前，最流行的大概就是上面四類。
zabbix在主機數量不多的情況下，是非常好的選擇。
prometheus來勢凶猛，大有一統天下的架勢。它也可以使用更加漂亮的grafana進行前端展示。
influxdata的influxdb和telegraf組件，都比較好用，主要是功能很全。
使用es存儲的elkb工具鏈，也是一個較好的選擇。我所知道的很多公司，都在用。
九、調度
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
Java 中，netty已經成為當之無愧的網絡開發框架，包括其上的socketio（不要再和我提mina了）。對於http協議，有common-httpclient，以及更加輕量級的工具okhttp來支持。
對於一個rpc來說，要約定一個通訊方式和序列化方式。json是最常用的序列化方式，但是傳輸和解析成本大，xml等文本協議與其類似，都有很多冗餘的信息；avro和kryo是二進制的序列化工具，沒有這些缺點，但調試不便。
rpc是遠程過程調用的意思 ，其中，thrift、dubbo、gRPC默認都是二進制序列化方式的socket通訊框架；feign、hessian都是onhttp的遠程調用框架。
對了，gRPC的序列化工具是protobuf，一個壓縮比很高的二進制序列化工具。
通常，服務的響應時間主要耗費在業務邏輯以及數據庫上，通訊層耗時在其中的佔比很小。可以根據自己公司的研發水平和業務規模來選擇。
六、微服務
我們不止一次說到微服務，這一次我們從圍繞它的一堆支持框架，來窺探一下這個體系。是的，這裡依然是在說spring cloud。
默認的註冊中心eureka不再維護，consul已經成為首選。nacos、zookeeper等，都可以作為備選方案。其中nacos帶有後臺，比較適合國人使用習慣。
熔斷組件，官方的hystrix也已經不維護了。推薦使用resilience4j，最近阿里的sentinel也表現強勁。
對於調用鏈來說，由於OpenTracing的興起，有了很多新的面孔。推薦使用jaeger或者skywalking。spring cloud集成的sleuth+zipkin功能稍弱，甚至不如傳統侵入式的cat。
配置中心是管理多環境配置文件的利器，尤其在你不想重啟服務器的情況下進行配置更新。目前，開源中做的最好的要數apollo，並提供了對spring boot的支持。disconf使用也較為廣泛。相對來說，spring cloud config功能就侷限了些，用的很少。
網關方面，使用最多的就是nginx，在nginx之上，有基於lua腳本的openrestry。由於openresty的使用非常繁雜，所以有了kong這種封裝級別更高的網關。
對於spring cloud來說，zuul系列推薦使用zuul2，zuul1是多線程阻塞的，有硬傷。spring-cloud-gateway是spring cloud親生的，但目前用的不是很廣泛。
七、分佈式工具
大家都知道分佈式系統zookeeper能用在很多場景，與其類似的還有基於raft協議的etcd和consul。
由於它們能夠保證極高的一致性，所以用作協調工具是再好不過了。用途集中在：配置中心、分佈式鎖、命名服務、分佈式協調、master選舉等場所。
對於分佈式事務方面，則有阿里的fescar工具進行支持。但如非特別的必要，還是使用柔性事務，追尋最終一致性，比較好。
八、監控系統
監控系統組件種類繁多，目前，最流行的大概就是上面四類。
zabbix在主機數量不多的情況下，是非常好的選擇。
prometheus來勢凶猛，大有一統天下的架勢。它也可以使用更加漂亮的grafana進行前端展示。
influxdata的influxdb和telegraf組件，都比較好用，主要是功能很全。
使用es存儲的elkb工具鏈，也是一個較好的選擇。我所知道的很多公司，都在用。
九、調度
大家可能都用過cron表達式。這個表達式，最初就是來自linux的crontab工具。
quartz是java中比較古老的調度方案，分佈式調度採用數據庫鎖的方式，管理界面需要自行開發。
elastic-job-cloud應用比較廣泛，但系統運維複雜，學習成本較高。相對來說，xxl-job就更加輕量級一些。中國人開發的系統，後臺都比較漂亮。
十、入口工具
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
Java 中，netty已經成為當之無愧的網絡開發框架，包括其上的socketio（不要再和我提mina了）。對於http協議，有common-httpclient，以及更加輕量級的工具okhttp來支持。
對於一個rpc來說，要約定一個通訊方式和序列化方式。json是最常用的序列化方式，但是傳輸和解析成本大，xml等文本協議與其類似，都有很多冗餘的信息；avro和kryo是二進制的序列化工具，沒有這些缺點，但調試不便。
rpc是遠程過程調用的意思 ，其中，thrift、dubbo、gRPC默認都是二進制序列化方式的socket通訊框架；feign、hessian都是onhttp的遠程調用框架。
對了，gRPC的序列化工具是protobuf，一個壓縮比很高的二進制序列化工具。
通常，服務的響應時間主要耗費在業務邏輯以及數據庫上，通訊層耗時在其中的佔比很小。可以根據自己公司的研發水平和業務規模來選擇。
六、微服務
我們不止一次說到微服務，這一次我們從圍繞它的一堆支持框架，來窺探一下這個體系。是的，這裡依然是在說spring cloud。
默認的註冊中心eureka不再維護，consul已經成為首選。nacos、zookeeper等，都可以作為備選方案。其中nacos帶有後臺，比較適合國人使用習慣。
熔斷組件，官方的hystrix也已經不維護了。推薦使用resilience4j，最近阿里的sentinel也表現強勁。
對於調用鏈來說，由於OpenTracing的興起，有了很多新的面孔。推薦使用jaeger或者skywalking。spring cloud集成的sleuth+zipkin功能稍弱，甚至不如傳統侵入式的cat。
配置中心是管理多環境配置文件的利器，尤其在你不想重啟服務器的情況下進行配置更新。目前，開源中做的最好的要數apollo，並提供了對spring boot的支持。disconf使用也較為廣泛。相對來說，spring cloud config功能就侷限了些，用的很少。
網關方面，使用最多的就是nginx，在nginx之上，有基於lua腳本的openrestry。由於openresty的使用非常繁雜，所以有了kong這種封裝級別更高的網關。
對於spring cloud來說，zuul系列推薦使用zuul2，zuul1是多線程阻塞的，有硬傷。spring-cloud-gateway是spring cloud親生的，但目前用的不是很廣泛。
七、分佈式工具
大家都知道分佈式系統zookeeper能用在很多場景，與其類似的還有基於raft協議的etcd和consul。
由於它們能夠保證極高的一致性，所以用作協調工具是再好不過了。用途集中在：配置中心、分佈式鎖、命名服務、分佈式協調、master選舉等場所。
對於分佈式事務方面，則有阿里的fescar工具進行支持。但如非特別的必要，還是使用柔性事務，追尋最終一致性，比較好。
八、監控系統
監控系統組件種類繁多，目前，最流行的大概就是上面四類。
zabbix在主機數量不多的情況下，是非常好的選擇。
prometheus來勢凶猛，大有一統天下的架勢。它也可以使用更加漂亮的grafana進行前端展示。
influxdata的influxdb和telegraf組件，都比較好用，主要是功能很全。
使用es存儲的elkb工具鏈，也是一個較好的選擇。我所知道的很多公司，都在用。
九、調度
大家可能都用過cron表達式。這個表達式，最初就是來自linux的crontab工具。
quartz是java中比較古老的調度方案，分佈式調度採用數據庫鎖的方式，管理界面需要自行開發。
elastic-job-cloud應用比較廣泛，但系統運維複雜，學習成本較高。相對來說，xxl-job就更加輕量級一些。中國人開發的系統，後臺都比較漂亮。
十、入口工具
為了統一用戶的訪問路口，一般會使用一些入口工具進行支持。
其中，haproxy、lvs、keepalived等，使用非常廣泛。
服務器一般採用穩定性較好的centos，並配備ansible工具進行支持，那叫一個爽。
十一、OLT（A）P
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
Java 中，netty已經成為當之無愧的網絡開發框架，包括其上的socketio（不要再和我提mina了）。對於http協議，有common-httpclient，以及更加輕量級的工具okhttp來支持。
對於一個rpc來說，要約定一個通訊方式和序列化方式。json是最常用的序列化方式，但是傳輸和解析成本大，xml等文本協議與其類似，都有很多冗餘的信息；avro和kryo是二進制的序列化工具，沒有這些缺點，但調試不便。
rpc是遠程過程調用的意思 ，其中，thrift、dubbo、gRPC默認都是二進制序列化方式的socket通訊框架；feign、hessian都是onhttp的遠程調用框架。
對了，gRPC的序列化工具是protobuf，一個壓縮比很高的二進制序列化工具。
通常，服務的響應時間主要耗費在業務邏輯以及數據庫上，通訊層耗時在其中的佔比很小。可以根據自己公司的研發水平和業務規模來選擇。
六、微服務
我們不止一次說到微服務，這一次我們從圍繞它的一堆支持框架，來窺探一下這個體系。是的，這裡依然是在說spring cloud。
默認的註冊中心eureka不再維護，consul已經成為首選。nacos、zookeeper等，都可以作為備選方案。其中nacos帶有後臺，比較適合國人使用習慣。
熔斷組件，官方的hystrix也已經不維護了。推薦使用resilience4j，最近阿里的sentinel也表現強勁。
對於調用鏈來說，由於OpenTracing的興起，有了很多新的面孔。推薦使用jaeger或者skywalking。spring cloud集成的sleuth+zipkin功能稍弱，甚至不如傳統侵入式的cat。
配置中心是管理多環境配置文件的利器，尤其在你不想重啟服務器的情況下進行配置更新。目前，開源中做的最好的要數apollo，並提供了對spring boot的支持。disconf使用也較為廣泛。相對來說，spring cloud config功能就侷限了些，用的很少。
網關方面，使用最多的就是nginx，在nginx之上，有基於lua腳本的openrestry。由於openresty的使用非常繁雜，所以有了kong這種封裝級別更高的網關。
對於spring cloud來說，zuul系列推薦使用zuul2，zuul1是多線程阻塞的，有硬傷。spring-cloud-gateway是spring cloud親生的，但目前用的不是很廣泛。
七、分佈式工具
大家都知道分佈式系統zookeeper能用在很多場景，與其類似的還有基於raft協議的etcd和consul。
由於它們能夠保證極高的一致性，所以用作協調工具是再好不過了。用途集中在：配置中心、分佈式鎖、命名服務、分佈式協調、master選舉等場所。
對於分佈式事務方面，則有阿里的fescar工具進行支持。但如非特別的必要，還是使用柔性事務，追尋最終一致性，比較好。
八、監控系統
監控系統組件種類繁多，目前，最流行的大概就是上面四類。
zabbix在主機數量不多的情況下，是非常好的選擇。
prometheus來勢凶猛，大有一統天下的架勢。它也可以使用更加漂亮的grafana進行前端展示。
influxdata的influxdb和telegraf組件，都比較好用，主要是功能很全。
使用es存儲的elkb工具鏈，也是一個較好的選擇。我所知道的很多公司，都在用。
九、調度
大家可能都用過cron表達式。這個表達式，最初就是來自linux的crontab工具。
quartz是java中比較古老的調度方案，分佈式調度採用數據庫鎖的方式，管理界面需要自行開發。
elastic-job-cloud應用比較廣泛，但系統運維複雜，學習成本較高。相對來說，xxl-job就更加輕量級一些。中國人開發的系統，後臺都比較漂亮。
十、入口工具
為了統一用戶的訪問路口，一般會使用一些入口工具進行支持。
其中，haproxy、lvs、keepalived等，使用非常廣泛。
服務器一般採用穩定性較好的centos，並配備ansible工具進行支持，那叫一個爽。
十一、OLT（A）P
現在的企業，數據量都非常大，數據倉庫是必須的。
搜索方面，solr和elasticsearch比較流行，它們都是基於lucene的。solr比較成熟，穩定性更好一些，但實時搜索方面不如es。
列式存儲方面，基於Hadoop 的hbase，使用最是廣泛；基於LSM的leveldb寫入性能優越，但目前主要是作為嵌入式引擎使用多一些。
tidb是國產新貴，兼容mysql協議，公司通過培訓向外輸出dba，未來可期。
時序數據庫方面，opentsdb用在超大型監控系統多一些。druid和kudu，在處理多維度數據實時聚合方面，更勝一籌。
cassandra在剛出現時火了一段時間，雖然有facebook棄用的新聞，但生態已經形成，常年霸佔數據庫引擎前15名。
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
Java 中，netty已經成為當之無愧的網絡開發框架，包括其上的socketio（不要再和我提mina了）。對於http協議，有common-httpclient，以及更加輕量級的工具okhttp來支持。
對於一個rpc來說，要約定一個通訊方式和序列化方式。json是最常用的序列化方式，但是傳輸和解析成本大，xml等文本協議與其類似，都有很多冗餘的信息；avro和kryo是二進制的序列化工具，沒有這些缺點，但調試不便。
rpc是遠程過程調用的意思 ，其中，thrift、dubbo、gRPC默認都是二進制序列化方式的socket通訊框架；feign、hessian都是onhttp的遠程調用框架。
對了，gRPC的序列化工具是protobuf，一個壓縮比很高的二進制序列化工具。
通常，服務的響應時間主要耗費在業務邏輯以及數據庫上，通訊層耗時在其中的佔比很小。可以根據自己公司的研發水平和業務規模來選擇。
六、微服務
我們不止一次說到微服務，這一次我們從圍繞它的一堆支持框架，來窺探一下這個體系。是的，這裡依然是在說spring cloud。
默認的註冊中心eureka不再維護，consul已經成為首選。nacos、zookeeper等，都可以作為備選方案。其中nacos帶有後臺，比較適合國人使用習慣。
熔斷組件，官方的hystrix也已經不維護了。推薦使用resilience4j，最近阿里的sentinel也表現強勁。
對於調用鏈來說，由於OpenTracing的興起，有了很多新的面孔。推薦使用jaeger或者skywalking。spring cloud集成的sleuth+zipkin功能稍弱，甚至不如傳統侵入式的cat。
配置中心是管理多環境配置文件的利器，尤其在你不想重啟服務器的情況下進行配置更新。目前，開源中做的最好的要數apollo，並提供了對spring boot的支持。disconf使用也較為廣泛。相對來說，spring cloud config功能就侷限了些，用的很少。
網關方面，使用最多的就是nginx，在nginx之上，有基於lua腳本的openrestry。由於openresty的使用非常繁雜，所以有了kong這種封裝級別更高的網關。
對於spring cloud來說，zuul系列推薦使用zuul2，zuul1是多線程阻塞的，有硬傷。spring-cloud-gateway是spring cloud親生的，但目前用的不是很廣泛。
七、分佈式工具
大家都知道分佈式系統zookeeper能用在很多場景，與其類似的還有基於raft協議的etcd和consul。
由於它們能夠保證極高的一致性，所以用作協調工具是再好不過了。用途集中在：配置中心、分佈式鎖、命名服務、分佈式協調、master選舉等場所。
對於分佈式事務方面，則有阿里的fescar工具進行支持。但如非特別的必要，還是使用柔性事務，追尋最終一致性，比較好。
八、監控系統
監控系統組件種類繁多，目前，最流行的大概就是上面四類。
zabbix在主機數量不多的情況下，是非常好的選擇。
prometheus來勢凶猛，大有一統天下的架勢。它也可以使用更加漂亮的grafana進行前端展示。
influxdata的influxdb和telegraf組件，都比較好用，主要是功能很全。
使用es存儲的elkb工具鏈，也是一個較好的選擇。我所知道的很多公司，都在用。
九、調度
大家可能都用過cron表達式。這個表達式，最初就是來自linux的crontab工具。
quartz是java中比較古老的調度方案，分佈式調度採用數據庫鎖的方式，管理界面需要自行開發。
elastic-job-cloud應用比較廣泛，但系統運維複雜，學習成本較高。相對來說，xxl-job就更加輕量級一些。中國人開發的系統，後臺都比較漂亮。
十、入口工具
為了統一用戶的訪問路口，一般會使用一些入口工具進行支持。
其中，haproxy、lvs、keepalived等，使用非常廣泛。
服務器一般採用穩定性較好的centos，並配備ansible工具進行支持，那叫一個爽。
十一、OLT（A）P
現在的企業，數據量都非常大，數據倉庫是必須的。
搜索方面，solr和elasticsearch比較流行，它們都是基於lucene的。solr比較成熟，穩定性更好一些，但實時搜索方面不如es。
列式存儲方面，基於Hadoop 的hbase，使用最是廣泛；基於LSM的leveldb寫入性能優越，但目前主要是作為嵌入式引擎使用多一些。
tidb是國產新貴，兼容mysql協議，公司通過培訓向外輸出dba，未來可期。
時序數據庫方面，opentsdb用在超大型監控系統多一些。druid和kudu，在處理多維度數據實時聚合方面，更勝一籌。
cassandra在剛出現時火了一段時間，雖然有facebook棄用的新聞，但生態已經形成，常年霸佔數據庫引擎前15名。
十二、CI/CD
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
Java 中，netty已經成為當之無愧的網絡開發框架，包括其上的socketio（不要再和我提mina了）。對於http協議，有common-httpclient，以及更加輕量級的工具okhttp來支持。
對於一個rpc來說，要約定一個通訊方式和序列化方式。json是最常用的序列化方式，但是傳輸和解析成本大，xml等文本協議與其類似，都有很多冗餘的信息；avro和kryo是二進制的序列化工具，沒有這些缺點，但調試不便。
rpc是遠程過程調用的意思 ，其中，thrift、dubbo、gRPC默認都是二進制序列化方式的socket通訊框架；feign、hessian都是onhttp的遠程調用框架。
對了，gRPC的序列化工具是protobuf，一個壓縮比很高的二進制序列化工具。
通常，服務的響應時間主要耗費在業務邏輯以及數據庫上，通訊層耗時在其中的佔比很小。可以根據自己公司的研發水平和業務規模來選擇。
六、微服務
我們不止一次說到微服務，這一次我們從圍繞它的一堆支持框架，來窺探一下這個體系。是的，這裡依然是在說spring cloud。
默認的註冊中心eureka不再維護，consul已經成為首選。nacos、zookeeper等，都可以作為備選方案。其中nacos帶有後臺，比較適合國人使用習慣。
熔斷組件，官方的hystrix也已經不維護了。推薦使用resilience4j，最近阿里的sentinel也表現強勁。
對於調用鏈來說，由於OpenTracing的興起，有了很多新的面孔。推薦使用jaeger或者skywalking。spring cloud集成的sleuth+zipkin功能稍弱，甚至不如傳統侵入式的cat。
配置中心是管理多環境配置文件的利器，尤其在你不想重啟服務器的情況下進行配置更新。目前，開源中做的最好的要數apollo，並提供了對spring boot的支持。disconf使用也較為廣泛。相對來說，spring cloud config功能就侷限了些，用的很少。
網關方面，使用最多的就是nginx，在nginx之上，有基於lua腳本的openrestry。由於openresty的使用非常繁雜，所以有了kong這種封裝級別更高的網關。
對於spring cloud來說，zuul系列推薦使用zuul2，zuul1是多線程阻塞的，有硬傷。spring-cloud-gateway是spring cloud親生的，但目前用的不是很廣泛。
七、分佈式工具
大家都知道分佈式系統zookeeper能用在很多場景，與其類似的還有基於raft協議的etcd和consul。
由於它們能夠保證極高的一致性，所以用作協調工具是再好不過了。用途集中在：配置中心、分佈式鎖、命名服務、分佈式協調、master選舉等場所。
對於分佈式事務方面，則有阿里的fescar工具進行支持。但如非特別的必要，還是使用柔性事務，追尋最終一致性，比較好。
八、監控系統
監控系統組件種類繁多，目前，最流行的大概就是上面四類。
zabbix在主機數量不多的情況下，是非常好的選擇。
prometheus來勢凶猛，大有一統天下的架勢。它也可以使用更加漂亮的grafana進行前端展示。
influxdata的influxdb和telegraf組件，都比較好用，主要是功能很全。
使用es存儲的elkb工具鏈，也是一個較好的選擇。我所知道的很多公司，都在用。
九、調度
大家可能都用過cron表達式。這個表達式，最初就是來自linux的crontab工具。
quartz是java中比較古老的調度方案，分佈式調度採用數據庫鎖的方式，管理界面需要自行開發。
elastic-job-cloud應用比較廣泛，但系統運維複雜，學習成本較高。相對來說，xxl-job就更加輕量級一些。中國人開發的系統，後臺都比較漂亮。
十、入口工具
為了統一用戶的訪問路口，一般會使用一些入口工具進行支持。
其中，haproxy、lvs、keepalived等，使用非常廣泛。
服務器一般採用穩定性較好的centos，並配備ansible工具進行支持，那叫一個爽。
十一、OLT（A）P
現在的企業，數據量都非常大，數據倉庫是必須的。
搜索方面，solr和elasticsearch比較流行，它們都是基於lucene的。solr比較成熟，穩定性更好一些，但實時搜索方面不如es。
列式存儲方面，基於Hadoop 的hbase，使用最是廣泛；基於LSM的leveldb寫入性能優越，但目前主要是作為嵌入式引擎使用多一些。
tidb是國產新貴，兼容mysql協議，公司通過培訓向外輸出dba，未來可期。
時序數據庫方面，opentsdb用在超大型監控系統多一些。druid和kudu，在處理多維度數據實時聚合方面，更勝一籌。
cassandra在剛出現時火了一段時間，雖然有facebook棄用的新聞，但生態已經形成，常年霸佔數據庫引擎前15名。
十二、CI/CD
為了支持持續集成和虛擬化，除了耳熟能詳的docker，我們還有其他工具。
jenkins是打包發佈的首選，畢竟這麼多年了，一直是老大哥。當然，寫Idea的那家公司，還出了一個叫TeamCity的工具，操作界面非常流暢。
sonar（注意圖上的錯誤）不得不說是一個神器，用了它之後，小夥伴們的代碼一片飄紅，我都快被吐沫星子給淹沒了。
對於公司內部來說，一般使用gitlab搭建git服務器。其實，它裡面的gitlab CI，也是非常好用的。
十三、問題排查
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
Java 中，netty已經成為當之無愧的網絡開發框架，包括其上的socketio（不要再和我提mina了）。對於http協議，有common-httpclient，以及更加輕量級的工具okhttp來支持。
對於一個rpc來說，要約定一個通訊方式和序列化方式。json是最常用的序列化方式，但是傳輸和解析成本大，xml等文本協議與其類似，都有很多冗餘的信息；avro和kryo是二進制的序列化工具，沒有這些缺點，但調試不便。
rpc是遠程過程調用的意思 ，其中，thrift、dubbo、gRPC默認都是二進制序列化方式的socket通訊框架；feign、hessian都是onhttp的遠程調用框架。
對了，gRPC的序列化工具是protobuf，一個壓縮比很高的二進制序列化工具。
通常，服務的響應時間主要耗費在業務邏輯以及數據庫上，通訊層耗時在其中的佔比很小。可以根據自己公司的研發水平和業務規模來選擇。
六、微服務
我們不止一次說到微服務，這一次我們從圍繞它的一堆支持框架，來窺探一下這個體系。是的，這裡依然是在說spring cloud。
默認的註冊中心eureka不再維護，consul已經成為首選。nacos、zookeeper等，都可以作為備選方案。其中nacos帶有後臺，比較適合國人使用習慣。
熔斷組件，官方的hystrix也已經不維護了。推薦使用resilience4j，最近阿里的sentinel也表現強勁。
對於調用鏈來說，由於OpenTracing的興起，有了很多新的面孔。推薦使用jaeger或者skywalking。spring cloud集成的sleuth+zipkin功能稍弱，甚至不如傳統侵入式的cat。
配置中心是管理多環境配置文件的利器，尤其在你不想重啟服務器的情況下進行配置更新。目前，開源中做的最好的要數apollo，並提供了對spring boot的支持。disconf使用也較為廣泛。相對來說，spring cloud config功能就侷限了些，用的很少。
網關方面，使用最多的就是nginx，在nginx之上，有基於lua腳本的openrestry。由於openresty的使用非常繁雜，所以有了kong這種封裝級別更高的網關。
對於spring cloud來說，zuul系列推薦使用zuul2，zuul1是多線程阻塞的，有硬傷。spring-cloud-gateway是spring cloud親生的，但目前用的不是很廣泛。
七、分佈式工具
大家都知道分佈式系統zookeeper能用在很多場景，與其類似的還有基於raft協議的etcd和consul。
由於它們能夠保證極高的一致性，所以用作協調工具是再好不過了。用途集中在：配置中心、分佈式鎖、命名服務、分佈式協調、master選舉等場所。
對於分佈式事務方面，則有阿里的fescar工具進行支持。但如非特別的必要，還是使用柔性事務，追尋最終一致性，比較好。
八、監控系統
監控系統組件種類繁多，目前，最流行的大概就是上面四類。
zabbix在主機數量不多的情況下，是非常好的選擇。
prometheus來勢凶猛，大有一統天下的架勢。它也可以使用更加漂亮的grafana進行前端展示。
influxdata的influxdb和telegraf組件，都比較好用，主要是功能很全。
使用es存儲的elkb工具鏈，也是一個較好的選擇。我所知道的很多公司，都在用。
九、調度
大家可能都用過cron表達式。這個表達式，最初就是來自linux的crontab工具。
quartz是java中比較古老的調度方案，分佈式調度採用數據庫鎖的方式，管理界面需要自行開發。
elastic-job-cloud應用比較廣泛，但系統運維複雜，學習成本較高。相對來說，xxl-job就更加輕量級一些。中國人開發的系統，後臺都比較漂亮。
十、入口工具
為了統一用戶的訪問路口，一般會使用一些入口工具進行支持。
其中，haproxy、lvs、keepalived等，使用非常廣泛。
服務器一般採用穩定性較好的centos，並配備ansible工具進行支持，那叫一個爽。
十一、OLT（A）P
現在的企業，數據量都非常大，數據倉庫是必須的。
搜索方面，solr和elasticsearch比較流行，它們都是基於lucene的。solr比較成熟，穩定性更好一些，但實時搜索方面不如es。
列式存儲方面，基於Hadoop 的hbase，使用最是廣泛；基於LSM的leveldb寫入性能優越，但目前主要是作為嵌入式引擎使用多一些。
tidb是國產新貴，兼容mysql協議，公司通過培訓向外輸出dba，未來可期。
時序數據庫方面，opentsdb用在超大型監控系統多一些。druid和kudu，在處理多維度數據實時聚合方面，更勝一籌。
cassandra在剛出現時火了一段時間，雖然有facebook棄用的新聞，但生態已經形成，常年霸佔數據庫引擎前15名。
十二、CI/CD
為了支持持續集成和虛擬化，除了耳熟能詳的docker，我們還有其他工具。
jenkins是打包發佈的首選，畢竟這麼多年了，一直是老大哥。當然，寫Idea的那家公司，還出了一個叫TeamCity的工具，操作界面非常流暢。
sonar（注意圖上的錯誤）不得不說是一個神器，用了它之後，小夥伴們的代碼一片飄紅，我都快被吐沫星子給淹沒了。
對於公司內部來說，一般使用gitlab搭建git服務器。其實，它裡面的gitlab CI，也是非常好用的。
十三、問題排查
java經常發生內存溢出問題。使用jmap導出堆棧後，我一般使用mat進行深入分析。
如果在線上實時分析，有arthas和perf兩款工具。
當然，有大批量的linux工具進行支持。比如下面這些：
《Linux上，最常用的一批命令解析（10年精選）》
十四、本地工具
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
Java 中，netty已經成為當之無愧的網絡開發框架，包括其上的socketio（不要再和我提mina了）。對於http協議，有common-httpclient，以及更加輕量級的工具okhttp來支持。
對於一個rpc來說，要約定一個通訊方式和序列化方式。json是最常用的序列化方式，但是傳輸和解析成本大，xml等文本協議與其類似，都有很多冗餘的信息；avro和kryo是二進制的序列化工具，沒有這些缺點，但調試不便。
rpc是遠程過程調用的意思 ，其中，thrift、dubbo、gRPC默認都是二進制序列化方式的socket通訊框架；feign、hessian都是onhttp的遠程調用框架。
對了，gRPC的序列化工具是protobuf，一個壓縮比很高的二進制序列化工具。
通常，服務的響應時間主要耗費在業務邏輯以及數據庫上，通訊層耗時在其中的佔比很小。可以根據自己公司的研發水平和業務規模來選擇。
六、微服務
我們不止一次說到微服務，這一次我們從圍繞它的一堆支持框架，來窺探一下這個體系。是的，這裡依然是在說spring cloud。
默認的註冊中心eureka不再維護，consul已經成為首選。nacos、zookeeper等，都可以作為備選方案。其中nacos帶有後臺，比較適合國人使用習慣。
熔斷組件，官方的hystrix也已經不維護了。推薦使用resilience4j，最近阿里的sentinel也表現強勁。
對於調用鏈來說，由於OpenTracing的興起，有了很多新的面孔。推薦使用jaeger或者skywalking。spring cloud集成的sleuth+zipkin功能稍弱，甚至不如傳統侵入式的cat。
配置中心是管理多環境配置文件的利器，尤其在你不想重啟服務器的情況下進行配置更新。目前，開源中做的最好的要數apollo，並提供了對spring boot的支持。disconf使用也較為廣泛。相對來說，spring cloud config功能就侷限了些，用的很少。
網關方面，使用最多的就是nginx，在nginx之上，有基於lua腳本的openrestry。由於openresty的使用非常繁雜，所以有了kong這種封裝級別更高的網關。
對於spring cloud來說，zuul系列推薦使用zuul2，zuul1是多線程阻塞的，有硬傷。spring-cloud-gateway是spring cloud親生的，但目前用的不是很廣泛。
七、分佈式工具
大家都知道分佈式系統zookeeper能用在很多場景，與其類似的還有基於raft協議的etcd和consul。
由於它們能夠保證極高的一致性，所以用作協調工具是再好不過了。用途集中在：配置中心、分佈式鎖、命名服務、分佈式協調、master選舉等場所。
對於分佈式事務方面，則有阿里的fescar工具進行支持。但如非特別的必要，還是使用柔性事務，追尋最終一致性，比較好。
八、監控系統
監控系統組件種類繁多，目前，最流行的大概就是上面四類。
zabbix在主機數量不多的情況下，是非常好的選擇。
prometheus來勢凶猛，大有一統天下的架勢。它也可以使用更加漂亮的grafana進行前端展示。
influxdata的influxdb和telegraf組件，都比較好用，主要是功能很全。
使用es存儲的elkb工具鏈，也是一個較好的選擇。我所知道的很多公司，都在用。
九、調度
大家可能都用過cron表達式。這個表達式，最初就是來自linux的crontab工具。
quartz是java中比較古老的調度方案，分佈式調度採用數據庫鎖的方式，管理界面需要自行開發。
elastic-job-cloud應用比較廣泛，但系統運維複雜，學習成本較高。相對來說，xxl-job就更加輕量級一些。中國人開發的系統，後臺都比較漂亮。
十、入口工具
為了統一用戶的訪問路口，一般會使用一些入口工具進行支持。
其中，haproxy、lvs、keepalived等，使用非常廣泛。
服務器一般採用穩定性較好的centos，並配備ansible工具進行支持，那叫一個爽。
十一、OLT（A）P
現在的企業，數據量都非常大，數據倉庫是必須的。
搜索方面，solr和elasticsearch比較流行，它們都是基於lucene的。solr比較成熟，穩定性更好一些，但實時搜索方面不如es。
列式存儲方面，基於Hadoop 的hbase，使用最是廣泛；基於LSM的leveldb寫入性能優越，但目前主要是作為嵌入式引擎使用多一些。
tidb是國產新貴，兼容mysql協議，公司通過培訓向外輸出dba，未來可期。
時序數據庫方面，opentsdb用在超大型監控系統多一些。druid和kudu，在處理多維度數據實時聚合方面，更勝一籌。
cassandra在剛出現時火了一段時間，雖然有facebook棄用的新聞，但生態已經形成，常年霸佔數據庫引擎前15名。
十二、CI/CD
為了支持持續集成和虛擬化，除了耳熟能詳的docker，我們還有其他工具。
jenkins是打包發佈的首選，畢竟這麼多年了，一直是老大哥。當然，寫Idea的那家公司，還出了一個叫TeamCity的工具，操作界面非常流暢。
sonar（注意圖上的錯誤）不得不說是一個神器，用了它之後，小夥伴們的代碼一片飄紅，我都快被吐沫星子給淹沒了。
對於公司內部來說，一般使用gitlab搭建git服務器。其實，它裡面的gitlab CI，也是非常好用的。
十三、問題排查
java經常發生內存溢出問題。使用jmap導出堆棧後，我一般使用mat進行深入分析。
如果在線上實時分析，有arthas和perf兩款工具。
當然，有大批量的linux工具進行支持。比如下面這些：
《Linux上，最常用的一批命令解析（10年精選）》
十四、本地工具
本地使用的jar包和工具，那就多了去了。下面僅僅提一下最最常用的幾個。
數據庫連接池方面，國內使用druid最多。目前，有號稱速度最快的hikari數據庫連接池，以及老掉牙的dbcp和c3p0。
json方面，國內使用fastjson最多，三天兩頭冒出個漏洞；國外則使用jackson多一些。它們的api都類似，jackson特性多一些，但fastjson更加容易使用。
工具包方面，雖然有各種commons包，guava首選。
技術日新月異，新瓶裝舊酒，名詞一籮筐，程序員很辛苦。唯有那背後的基礎原理，大道至簡的思想，經久不衰。
作者：小姐姐味道
阿里 P8 級高級架構師吐血總結的一份 Java 核心知識.pdf, 內容覆蓋很廣，Java 核心基礎、Java 多線程、高併發、Spring、微服務、Netty 與 RPC、Zookeeper、Kafka、RabbitMQ、Habase、設計模式、負載均衡、分佈式緩存、Hadoop、Spark、Storm、雲計算等。
另外，附送《Java 核心知識體系&面試資料.pdf》+ 100G 學習、面試視頻文檔喲~
獲取方式：【關注 + 轉發】後，私信我，回覆關鍵字【學習】，即可免費無套路獲取哦~
以下是資源的部分目錄以及內容截圖：
在過去兩三年的 Spring 生態圈，最讓人興奮的莫過於 Spring Boot 框架。或許從命名上就能看出這個框架的設計初衷：快速的啟動 Spring 應用。因而 Spring Boot 應用本質上就是一個基於 Spring 框架的應用，它是 Spring 對“約定優先於配置”理念的最佳實踐產物，它能夠幫助開發者更快速高效地構建基於 Spring 生態圈的應用。
文章有點長，請大家耐心看完，話不多說直接上乾貨！！教程獲取方式在文末！！
以下是資源的部分目錄以及內容截圖：
正文開始
本篇內容涵蓋14個方面，涉及上百個框架和工具。會有你喜歡的，大概也會有你所討厭的傢伙。這是我平常工作中打交道最多的工具，大小公司都適用。如果你有更好的，歡迎留言補充。
一、消息隊列
二、緩存
三、分庫分表
四、數據同步
五、通訊
六、微服務
七、分佈式工具
八、監控系統
九、調度
十、入口工具
十一、OLT（A）P
十二、CI/CD
十三、問題排查
十四、本地工具
複製代碼
一、消息隊列
一個大型的分佈式系統，通常都會異步化，走消息總線。 消息隊列作為最主要的基礎組件，在整個體系架構中，有著及其重要的作用。kafka是目前最常用的消息隊列，尤其是在大數據方面，有著極高的吞吐量。而rocketmq和rabbitmq，都是電信級別的消息隊列，在業務上用的比較多。2019年了，不要再盯著JMS不放了（說的就是臃腫的ActiveMQ）。
pulsar是為了解決一些kafka上的問題而誕生的消息系統，比較年輕，工具鏈有限。有些激進的團隊經過試用，反響不錯。
mqtt具體來說是一種協議，主要用在物聯網方面，能夠雙向通信，屬於消息隊列範疇。
二、緩存
數據緩存是減少數據庫壓力的有效途徑，有單機java內緩存，和分佈式緩存之分。
對於單機來說，guava的cache和ehcache都是些熟面孔。
對於分佈式緩存來說，優先選擇的就是redis，別猶豫。由於redis是單線程的，並不適合高耗時操作。所以對於一些數據量比較大的緩存，比如圖片、視頻等，使用老牌的memcached效果會好的多。
JetCache是一個基於Java的緩存系統封裝，提供統一的api和註解來簡化緩存的使用。類似SpringCache，支持本地緩存和分佈式緩存，是簡化開發的利器。
三、分庫分表
分庫分表，幾乎每一個上點規模的公司，都會有自己的方案。目前，推薦使用驅動層的sharding-jdbc，或者代理層的mycat。如果你沒有額外的運維團隊，又不想花錢買其他機器，那麼就選前者。
如果分庫分表涉及的項目不多，spring的動態數據源是一個非常好的選擇。它直接編碼在代碼裡，直觀但不易擴展。
如果只需要讀寫分離 ，那麼mysql官方驅動裡的replication協議，是更加輕量級的選擇。
上面的分庫分表組件，都是大浪淘沙，最終的優勝品。這些組件不同於其他組件選型，方案一旦確定，幾乎無法回退，所以要慎之又慎。
分庫分表是小case，準備分庫分表的階段，才是重點：也就是數據同步。
四、數據同步
國內使用mysql的公司居多，但postgresql憑藉其優異的性能，使用率逐漸攀升。
不管什麼數據庫，實時數據同步工具，都是把自己模擬成一個從庫，進行數據拉取和解析。 具體來說，mysql是通過binlog進行同步；postgresql使用wal日誌進行同步。
對mysql來說，canal是國內用的最多的方案；類似的databus也是比較好用的工具。
現在，canal、maxwell等工具，都支持將要同步的數據寫入到mq中，進行後續處理，方便了很多。
對於ETL（抽取、清洗、轉換）來說，基本上都是source、task、sink路線，與前面的功能對應。gobblin、datax、logstash、sqoop等，都是這樣的工具。
它們的主要工作，就是怎麼方便的定義配置文件，編寫各種各樣的數據源適配接口等。這些ETL工具，也可以作為數據同步（尤其是全量同步）的工具，通常是根據ID，或者最後更新時間 等，進行處理。
binlog是實時增量工具，ETL工具做輔助。通常一個數據同步功能，需要多個組件的參與，他們共同組成一個整體。
五、通訊
Java 中，netty已經成為當之無愧的網絡開發框架，包括其上的socketio（不要再和我提mina了）。對於http協議，有common-httpclient，以及更加輕量級的工具okhttp來支持。
對於一個rpc來說，要約定一個通訊方式和序列化方式。json是最常用的序列化方式，但是傳輸和解析成本大，xml等文本協議與其類似，都有很多冗餘的信息；avro和kryo是二進制的序列化工具，沒有這些缺點，但調試不便。
rpc是遠程過程調用的意思 ，其中，thrift、dubbo、gRPC默認都是二進制序列化方式的socket通訊框架；feign、hessian都是onhttp的遠程調用框架。
對了，gRPC的序列化工具是protobuf，一個壓縮比很高的二進制序列化工具。
通常，服務的響應時間主要耗費在業務邏輯以及數據庫上，通訊層耗時在其中的佔比很小。可以根據自己公司的研發水平和業務規模來選擇。
六、微服務
我們不止一次說到微服務，這一次我們從圍繞它的一堆支持框架，來窺探一下這個體系。是的，這裡依然是在說spring cloud。
默認的註冊中心eureka不再維護，consul已經成為首選。nacos、zookeeper等，都可以作為備選方案。其中nacos帶有後臺，比較適合國人使用習慣。
熔斷組件，官方的hystrix也已經不維護了。推薦使用resilience4j，最近阿里的sentinel也表現強勁。
對於調用鏈來說，由於OpenTracing的興起，有了很多新的面孔。推薦使用jaeger或者skywalking。spring cloud集成的sleuth+zipkin功能稍弱，甚至不如傳統侵入式的cat。
配置中心是管理多環境配置文件的利器，尤其在你不想重啟服務器的情況下進行配置更新。目前，開源中做的最好的要數apollo，並提供了對spring boot的支持。disconf使用也較為廣泛。相對來說，spring cloud config功能就侷限了些，用的很少。
網關方面，使用最多的就是nginx，在nginx之上，有基於lua腳本的openrestry。由於openresty的使用非常繁雜，所以有了kong這種封裝級別更高的網關。
對於spring cloud來說，zuul系列推薦使用zuul2，zuul1是多線程阻塞的，有硬傷。spring-cloud-gateway是spring cloud親生的，但目前用的不是很廣泛。
七、分佈式工具
大家都知道分佈式系統zookeeper能用在很多場景，與其類似的還有基於raft協議的etcd和consul。
由於它們能夠保證極高的一致性，所以用作協調工具是再好不過了。用途集中在：配置中心、分佈式鎖、命名服務、分佈式協調、master選舉等場所。
對於分佈式事務方面，則有阿里的fescar工具進行支持。但如非特別的必要，還是使用柔性事務，追尋最終一致性，比較好。
八、監控系統
監控系統組件種類繁多，目前，最流行的大概就是上面四類。
zabbix在主機數量不多的情況下，是非常好的選擇。
prometheus來勢凶猛，大有一統天下的架勢。它也可以使用更加漂亮的grafana進行前端展示。
influxdata的influxdb和telegraf組件，都比較好用，主要是功能很全。
使用es存儲的elkb工具鏈，也是一個較好的選擇。我所知道的很多公司，都在用。
九、調度
大家可能都用過cron表達式。這個表達式，最初就是來自linux的crontab工具。
quartz是java中比較古老的調度方案，分佈式調度採用數據庫鎖的方式，管理界面需要自行開發。
elastic-job-cloud應用比較廣泛，但系統運維複雜，學習成本較高。相對來說，xxl-job就更加輕量級一些。中國人開發的系統，後臺都比較漂亮。
十、入口工具
為了統一用戶的訪問路口，一般會使用一些入口工具進行支持。
其中，haproxy、lvs、keepalived等，使用非常廣泛。
服務器一般採用穩定性較好的centos，並配備ansible工具進行支持，那叫一個爽。
十一、OLT（A）P
現在的企業，數據量都非常大，數據倉庫是必須的。
搜索方面，solr和elasticsearch比較流行，它們都是基於lucene的。solr比較成熟，穩定性更好一些，但實時搜索方面不如es。
列式存儲方面，基於Hadoop 的hbase，使用最是廣泛；基於LSM的leveldb寫入性能優越，但目前主要是作為嵌入式引擎使用多一些。
tidb是國產新貴，兼容mysql協議，公司通過培訓向外輸出dba，未來可期。
時序數據庫方面，opentsdb用在超大型監控系統多一些。druid和kudu，在處理多維度數據實時聚合方面，更勝一籌。
cassandra在剛出現時火了一段時間，雖然有facebook棄用的新聞，但生態已經形成，常年霸佔數據庫引擎前15名。
十二、CI/CD
為了支持持續集成和虛擬化，除了耳熟能詳的docker，我們還有其他工具。
jenkins是打包發佈的首選，畢竟這麼多年了，一直是老大哥。當然，寫Idea的那家公司，還出了一個叫TeamCity的工具，操作界面非常流暢。
sonar（注意圖上的錯誤）不得不說是一個神器，用了它之後，小夥伴們的代碼一片飄紅，我都快被吐沫星子給淹沒了。
對於公司內部來說，一般使用gitlab搭建git服務器。其實，它裡面的gitlab CI，也是非常好用的。
十三、問題排查
java經常發生內存溢出問題。使用jmap導出堆棧後，我一般使用mat進行深入分析。
如果在線上實時分析，有arthas和perf兩款工具。
當然，有大批量的linux工具進行支持。比如下面這些：
《Linux上，最常用的一批命令解析（10年精選）》
十四、本地工具
本地使用的jar包和工具，那就多了去了。下面僅僅提一下最最常用的幾個。
數據庫連接池方面，國內使用druid最多。目前，有號稱速度最快的hikari數據庫連接池，以及老掉牙的dbcp和c3p0。
json方面，國內使用fastjson最多，三天兩頭冒出個漏洞；國外則使用jackson多一些。它們的api都類似，jackson特性多一些，但fastjson更加容易使用。
工具包方面，雖然有各種commons包，guava首選。
技術日新月異，新瓶裝舊酒，名詞一籮筐，程序員很辛苦。唯有那背後的基礎原理，大道至簡的思想，經久不衰。
作者：小姐姐味道
阿里 P8 級高級架構師吐血總結的一份 Java 核心知識.pdf, 內容覆蓋很廣，Java 核心基礎、Java 多線程、高併發、Spring、微服務、Netty 與 RPC、Zookeeper、Kafka、RabbitMQ、Habase、設計模式、負載均衡、分佈式緩存、Hadoop、Spark、Storm、雲計算等。
另外，附送《Java 核心知識體系&面試資料.pdf》+ 100G 學習、面試視頻文檔喲~
獲取方式：【關注 + 轉發】後，私信我，回覆關鍵字【學習】，即可免費無套路獲取哦~
以下是資源的部分目錄以及內容截圖：