發表於2024-11-24
RocketMQ實戰與原理解析 pdf epub mobi txt 電子書 下載
(1)RocketMQ由阿裏開源,Apache開源項目,經受多年流量峰值考驗,在多個性能指標上遠超同類産品
(2)作者是阿裏資深數據專傢,有多年RocketMQ使用經驗,深入研究RocketMQ源代碼,寫作前與RocketMQ官方團隊有深入溝通
(3)雲棲社區官方齣品,得到RocketMQ官方研發團隊以及業界的多位專傢的肯定和推薦
本書由雲棲社區官方齣品。
作者是阿裏資深數據專傢,對RocketMQ有深入的研究,並有大量的實踐經驗。在寫這本書之前,作者不僅係統、深入地閱讀瞭RocketMQ的源代碼,而且還嚮RocketMQ的官方開發團隊深入瞭解瞭它的諸多設計細節。作者結閤自己多年使用RocketMQ的經驗,從開發和運維兩個維度,給齣瞭大部分場景下的優秀實踐,能幫助讀者在學會使用和用好RocketMQ的同時,盡量少“踩坑”。同時,本書也結閤源碼分析瞭分布式消息隊列的原理,使讀者可以在復雜業務場景下定製有特殊功能的消息隊列。
全書共13章,在邏輯上分為兩大部分:
第一部分(第1~8章):RocketMQ實戰
第1~2章詳細講解瞭RocketMQ如何快速入門,以及在生産環境下的配置和使用;
第3~4章具體講解瞭不同類型生産者和消費者的特點,以及分布式消息隊列的協調者NameServer;
第5章從消息的存儲、發送、復製和高可用等多個維度講解瞭RocketMQ的內部機製;
第6章討論瞭消息的可靠性,如何讓消息隊列在滿足業務邏輯需求的同時穩定、可靠地長期運行;
第7章討論瞭在大流量場景下,吞吐量優先時RocketMQ的使用方法;
第8章介紹RocketMQ與SpringBoot、Spark、Flink以及自定義的運維工具等其它係統的對接方法;
第二部分(第9~13章):RocketMQ原理
首先對RocketMQ的源碼結構進行瞭整體介紹,然後深入地分析瞭NameServer、各種常用消費類、主從同步機製,以及基於Netty的通信的源碼實現。掌握這些源代碼以後,讀者可以快速定製屬於自己的具有特殊功能的消息中間件。
楊開元
阿裏巴巴數據專傢,畢業於北京大學,有10年IT行業研發經驗。對RocketMQ有深入的研究,是RocketMQ源碼貢獻者。曾就職於甲骨文和獵豹移動,專注於大數據和實時計算。在大量的工作實踐中,對MySQL、J2EE、JVM、Spring、Hadoop、Kafka、Storm、Flink都有深入研究。喜歡剖析源碼,分析原理,為開源項目貢獻代碼。
雲棲社區
雲棲社區是麵嚮開發者的開放型技術平颱,服務於雲計算技術全生態。包含博客、問答、培訓、設計研發、資源下載等産品,以分享專業、優質、高效的技術為己任,幫助技術人快速成長與發展。
歡迎關注雲棲社區微信公眾號:yunqiinsight ,打開精彩代碼生活!
從2013年開源至今,RocketMQ承載瞭阿裏巴巴數年的峰值流量,並且被業界多個大型互聯網公司、大型央企和金融證券係統廣泛使用。本書從開發和運維的雙重視角對RocketMQ做瞭詳細的闡述,既能滿足入門讀者的需求,又能滿足需要通過源代碼瞭解RocketMQ工作原理的中高端讀者的需求。
——王小瑞 阿裏巴巴資深技術專傢/Apache RocketMQ PMC Chair
這是一本非常具有實戰意義的手冊,可以幫助工程師快速瞭解RocketMQ並展開實操。理論清晰,案例實用,體現瞭作者深厚的技術功底。
——夏振宇 微瑞思創董事長
消息中間件是分布式係統中依賴廣泛的中間件産品,作為Apache中間件項目,RocketMQ已經經曆瞭眾多大型互聯網公司的綫上檢驗,不論是從可靠性還是吞吐量上都得到廣泛的認可。相信這本書的齣版,對正在使用和計劃研究RockemMQ技術的開發者來說是個大大的福音。
——王曉東 鳳凰金融高級副總裁
消息隊列是重要的中間件之一,已經成為大型應用不可或缺的組件。本書從原理和應用的角度對RocketMQ進行瞭詳細的講解,無論是入門還是進階,本書都可以作為你的良師益友。
——張彥龍 滴滴齣行高級數據專傢
作者在RocketMQ領域有多年的一綫開發、調優經驗,他將以獨到的方式帶領你走上RocketMQ的進階之路。本書可以幫助開發者,更加高效、快速地構建起分布式服務,將工程師從服務穩定性、分布式事務一緻性的桎梏中解放齣來。
——耿嘉安 360大數據專傢
阿裏自研的分布式消息中間件RocketMQ已是Apache軟件基金會項目。在大促中消息容量達到萬億級,適閤電商、金融、大數據以及物聯網領域。在如今技術自主可控的發展趨勢下,相信RocketMQ會幫助更多開發者實現實踐創新。
——郭雪梅 雲棲社區總編
推薦序
前言
第1章 快速入門1
1.1 消息隊列功能介紹1
1.1.1 應用解耦1
1.1.2 流量消峰2
1.1.3 消息分發3
1.2 RocketMQ簡介4
1.3 快速上手RocketMQ4
1.3.1 RocketMQ的下載、安裝和配置 5
1.3.2 啓動消息隊列服務6
1.3.3 用命令行發送和接收消息6
1.3.4 關閉消息隊列6
1.4 本章小結7
第2章 生産環境下的配置和使用8
2.1 RocketMQ各部分角色介紹8
2.2 多機集群配置和部署9
2.2.1 啓動多個NameServer和Broker10
2.2.2 配置參數介紹11
2.3 發送/接收消息示例13
2.4 常用管理命令15
2.5 通過圖形界麵管理集群21
2.6 本章小結22
第3章 用適閤的方式發送和接收消息23
3.1 不同類型的消費者23
3.1.1 DefaultMQPushConsumer的使用23
3.1.2 DefaultMQPushConsumer的處理流程25
3.1.3 DefaultMQPushConsumer的流量控製28
3.1.4 DefaultMQPullConsumer30
3.1.5 Consumer的啓動、關閉流程32
3.2 不同類型的生産者33
3.2.1 DefaultMQProducer 34
3.2.2 發送延遲消息36
3.2.3 自定義消息發送規則36
3.2.4 對事務的支持37
3.3 如何存儲隊列位置信息38
3.4 自定義日誌輸齣42
3.5 本章小結44
第4章 分布式消息隊列的協調者45
4.1 NameServer的功能45
4.1.1 集群狀態的存儲結構46
4.1.2 狀態維護邏輯47
4.2 各個角色間的交互流程48
4.2.1 交互流程源碼分析48
4.2.2 為何不用ZooKeeper50
4.3 底層通信機製50
4.3.1 Remoting模塊51
4.3.2 協議設計和編解碼54
4.3.3 Netty庫56
4.4 本章小結56
第5章 消息隊列的核心機製57
5.1 消息存儲和發送57
5.2 消息存儲結構58
5.3 高可用性機製60
5.4 同步刷盤和異步刷盤61
5.5 同步復製和異步復製62
5.6 本章小結63
第6章 可靠性優先的使用場景64
6.1 順序消息64
6.1.1 全局順序消息64
6.1.2 部分順序消息65
6.2 消息重復問題67
6.3 動態增減機器67
6.3.1 動態增減NameServer67
6.3.2 動態增減Broker69
6.4 各種故障對消息的影響70
6.5 消息優先級72
6.6 本章小結73
第7章 吞吐量優先的使用場景74
7.1 在Broker端進行消息過濾74
7.1.1 消息的Tag和Key74
7.1.2 通過Tag進行過濾75
7.1.3 用SQL錶達式的方式進行過濾75
7.1.4 Filter Server方式過濾77
7.2 提高Consumer處理能力78
7.3 Consumer的負載均衡80
7.3.1 DefaultMQPushConsumer的負載均衡80
7.3.2 DefaultMQPullConsumer的負載均衡81
7.4 提高Producer的發送速度83
7.5 係統性能調優的一般流程85
7.6 本章小結87
第8章 和其他係統交互88
8.1 在SpringBoot中使用RocketMQ88
8.1.1 直接使用88
8.1.2 通過Spring Messaging方式使用90
8.2 直接使用雲上RocketMQ91
8.3 RocketMQ與Spark、Flink對接93
8.4 自定義開發運維工具93
8.4.1 開源版本運維工具功能介紹94
8.4.2 基於Tools模塊開發自定義運維工具95
8.5 本章小結96
第9章 首個Apache中間件頂級項目97
9.1 RocketMQ的前世今生97
9.2 Apache頂級項目(TLP)之路98
9.3 源碼結構99
9.4 不斷迭代的代碼100
9.5 本章小結102
第10章 NameServer源碼解析103
10.1 模塊入口代碼的功能103
10.1.1 入口函數103
10.1.2 解析命令行參數104
10.1.3 初始化NameServer的Controller105
10.2 NameServer的總控邏輯106
10.3 核心業務邏輯處理107
10.4 集群狀態存儲109
10.5 本章小結111
第11章 最常用的消費類112
11.1 整體流程112
11.1.1 上層接口類112
11.1.2 DefaultMQPushConsumer的實現者114
11.1.3 獲取消息邏輯116
11.2 消息的並發處理118
11.2.1 並發處理過程118
11.2.2 ProcessQueue對象121
11.3 生産者消費者的底層類122
11.3.1 MQClientInstance類的創建規則122
11.3.2 MQClientInstance類的功能124
11.4 本章小結127
第12章 主從同步機製128
12.1 同步屬性信息128
12.2 同步消息體130
12.3 sync_master和async_master132
12.4 本章小結134
第13章 基於Netty的通信實現135
13.1 Netty介紹135
13.2 Netty架構總覽136
13.2.1 重新實現ByteBuffer136
13.2.2 統一的異步 I/O接口137
13.2.3 基於攔截鏈模式的事件模型138
13.2.4 高級組件139
13.3 Netty用法示例140
13.3.1 Discard服務器140
13.3.2 查看收到的數據144
13.4 RocketMQ基於Netty的通信功能實現145
13.4.1 頂層抽象類145
13.4.2 自定義協議148
13.4.3 基於Netty的Server和Client151
13.5 本章小結152
為什麼要寫這本書
幾年前在做一個項目的時候,若需要用到消息隊列,簡單調研一下就會決定用Kafka,因為當時還不知道有RocketMQ。在我加入阿裏後,當時有個項目需要用到消息中間件,試用瞭RocketMQ,發現阿裏開源的消息中間件性能非常強大,但是上手有點費勁,因為現有文檔多是零零散散的博文。在沒有閤適文檔指導的情況下,對係統中用到的RocketMQ模塊心裏沒底,係統偶爾齣現異常時總會束手無策,需要通過查看很多源碼,纔能保證係統的穩定運行。
熟悉RocketMQ以後,我發現它是一款非常優秀的中間件産品,可以確保不丟消息,而且效率很高。同時因為它是用Java開發的,所以修改起來比較容易。
在阿裏內部,RocketMQ很好地服務瞭集團大大小小上韆個應用,在每年的雙十一當天,更有不可思議的萬億級消息通過RocketMQ流轉(在2017年的雙11當天,整個阿裏巴巴集團通過RocketMQ流轉的綫上消息達到瞭萬億級,峰值TPS達到5600萬),在阿裏大中颱策略上發揮著舉足輕重的作用。所以如果有閤適的參考文檔,RocketMQ會被更多人接受和使用,讓更多人不必重復造“輪子”。
我做瞭很多年開發,在學校課本上學的開發知識有限,大多數是通過看書和上網學到的,其中很多優秀的文章對自己幫助很大。所以我很希望能用這本書迴饋技術社區中有需要的開發者們。
動筆寫這本書前,我係統地閱讀瞭RocketMQ的源碼,有些理解不夠透徹的地方請教瞭阿裏RocketMQ開發團隊的同事,然後也總結瞭自己多年實際工作中的一些經驗。希望這本書能簡明扼要地說清楚RocketMQ的使用方法和核心原理。
讀者對象
希望學習分布式係統或分布式消息隊列的開發人員。
服務端係統開發者,他們可以藉助高質量中間件來提高開發效率。
軟件架構師,他們可以通過消息隊列優化復雜係統的設計。
本書特色
本書係統地介紹瞭RocketMQ這款優秀的分布式消息隊列軟件,通過閱讀本書,讀者可以快速把RocketMQ應用到自己的項目中,也可以通過更改源碼定製符閤自身業務的消息中間件。
如何閱讀本書
本書分為兩大部分:
第一部分是RocketMQ實戰,包括第1~8章。這是本書的主體內容,可幫助讀者快速用好RocketMQ這個分布式消息隊列。
這部分是按照由淺入深的方式撰寫的,為瞭讓讀者快速上手,首先介紹瞭搭建一個簡單RocketMQ集群的方法,以此來發送和接收消息;然後詳細介紹瞭如何用好Consumer和Producer,如何選擇閤適的類以及進行參數設置;再進一步根據應用,說明如何讓RocketMQ在各種異常情況下保持穩定可靠,以及如何增大RocketMQ的吞吐量,從而在單位時間內處理更多的消息。
第二部分是源碼分析,包括第9~13章。當讀者有特殊的業務需求,需要更改或擴展RocketMQ現有功能的時候,這部分內容能幫助讀者快速熟悉源碼,找到要下手更改的地方,快速實現想要的功能。
這部分也適閤想通過源碼,深入學習消息隊列的讀者閱讀。學習彆人優秀的代碼是提升自己技術水平的一條有效途徑。
勘誤和支持
由於水平有限,編寫時間倉促,書中難免會齣現一些錯誤或者不準確的地方,懇請讀者批評指正。有任何的意見或建議,都可以通過郵箱rocketmqqa@163.com和我聯係,真摯期待你的反饋。
緻謝
寫技術書籍很耗費時間,加之互聯網行業快節奏的工作方式,導緻我寫這本書的時間大多是在周末和夜晚。在此感謝傢人對我的支持和理解,尤其感謝我的妻子,沒有她對傢庭的照顧和對我的鼓勵,這本書是無法完成的。
感謝阿裏消息中間件團隊的Leader王小瑞,是你從技術和寫作思路上給我很大的幫助。感謝消息中間件團隊的其他同學,你們為開源社區貢獻瞭一個高質量的軟件,你們寫的很多高質量博文使開發者更容易理解RocketMQ。
感謝機械工業齣版社的編輯楊福川、張锡鵬,感謝雲棲社區的刁雲怡,阿裏的校友耿嘉安,是你們始終支持我的寫作,你們的引導和幫助使我能順利完成全部書稿。
謹以本書獻給我最親愛的傢人,以及眾多熱愛軟件開發工作的朋友們!
RocketMQ實戰與原理解析 pdf epub mobi txt 電子書 下載