☆☆☆☆☆
簡體網頁||繁體網頁



點擊這裡下載

類似圖書 點擊查看全場最低價

---

編輯推薦

　　每個應用程序都會産生數據，包括日誌消息、度量指標、用戶活動記錄、響應消息等。如何移動數據，幾乎變得與數據本身一樣重要。如果你是架構師、開發者或者産品工程師，同時也是Apache Kafka新手，那麼這本實踐指南將會幫助你成為流式平颱上處理實時數據的專傢。
　　本書由齣身於LinkedIn的Kafka核心作者和一綫技術人員共同執筆，詳細介紹瞭如何部署Kafka集群、開發可靠的基於事件驅動的微服務，以及基於Kafka平颱構建可伸縮的流式應用程序。通過詳盡示例，你將會瞭解到Kafka的設計原則、可靠性保證、關鍵API，以及復製協議、控製器和存儲層等架構細節。
　　● 瞭解發布和訂閱消息模型以及該模型如何被應用在大數據生態係統中
　　● 學習使用Kafka生産者和消費者來生成消息和讀取消息
　　● 瞭解Kafka保證可靠性數據傳遞的模式和場景需求
　　● 使用Kafka構建數據管道和應用程序的zuijia實踐
　　● 在生産環境中管理Kafka，包括監控、調優和維護
　　● 瞭解Kafka的關鍵度量指標
　　● 探索Kafka如何成為流式處理利器

內容簡介

　　本書是關於Kafka的全麵教程，主要內容包括：Kafka相對於其他消息隊列係統的優點，主要是它如何完美匹配大數據平颱開發；詳解Kafka內部設計；用Kafka構建應用的zuijia實踐；理解在生産中部署Kafka的zuijia方式；如何確保Kafka集群的安全。

作者簡介

　　Neha Narkhede， Confluent聯閤創始人、CTO，曾在LinkedIn主導基於Kafka和Apache Samza構建流式基礎設施，是Kafka作者之一。

　　Gwen Shapira， Confluent係統架構師，幫助客戶構建基於Kafka的係統，在可伸縮數據架構方麵擁有十餘年經驗；曾任Cloudera公司解決方案架構師。另著有《Hadoop應用架構》。

　　Todd Palino， LinkedIn主任級SRE，負責部署管理大型的Kafka、Zookeeper和Samza集群。

　　譯者簡介
　　薛命燈，畢業於廈門大學軟件學院，十餘年軟件開發和架構經驗，InfoQ高級社區編輯。譯有《矽榖革命》《生産微服務》等書。微信公眾號CodeDeep。

目錄

序　　xiii
前言　　xv
第1章　初識Kafka　　1
1.1　發布與訂閱消息係統　　1
1.1.1　如何開始　　2
1.1.2　獨立的隊列係統　　3
1.2　Kafka登場　　4
1.2.1　消息和批次　　4
1.2.2　模式　　4
1.2.3　主題和分區　　5
1.2.4　生産者和消費者　　5
1.2.5　broker和集群　　6
1.2.6　多集群　　7
1.3　為什麼選擇Kafka　　8
1.3.1　多個生産者　　8
1.3.2　多個消費者　　8
1.3.3　基於磁盤的數據存儲　　9
1.3.4　伸縮性　　9
1.3.5　高性能　　9
1.4　數據生態係統　　9
1.5　起源故事　　11
1.5.1　LinkedIn的問題　　11
1.5.2　Kafka的誕生　　12
1.5.3　走嚮開源　　12
1.5.4　命名　　13
1.6　開始Kafka之旅　　13
第2章　安裝Kafka　　14
2.1　要事先行　　14
2.1.1　選擇操作係統　　14
2.1.2　安裝Java　　14
2.1.3　安裝Zookeeper　　15
2.2　安裝Kafka Broker　　17
2.3　broker配置　　18
2.3.1　常規配置　　18
2.3.2　主題的默認配置　　19
2.4　硬件的選擇　　23
2.4.1　磁盤吞吐量　　23
2.4.2　磁盤容量　　23
2.4.3　內存　　23
2.4.4　網絡　　24
2.4.5　CPU　　24
2.5　雲端的Kafka　　24
2.6　Kafka集群　　24
2.6.1　需要多少個broker　　25
2.6.2　broker配置　　25
2.6.3　操作係統調優　　26
2.7　生産環境的注意事項　　28
2.7.1　垃圾迴收器選項　　28
2.7.2　數據中心布局　　29
2.7.3　共享Zookeeper　　29
2.8　總結　　30
第3章　Kafka生産者——嚮Kafka寫入數據　　31
3.1　生産者概覽　　32
3.2　創建Kafka生産者　　33
3.3　發送消息到Kafka　　34
3.3.1　同步發送消息　　35
3.3.2　異步發送消息　　35
3.4　生産者的配置　　36
3.5　序列化器　　39
3.5.1　自定義序列化器　　39
3.5.2　使用Avro序列化　　41
3.5.3　在Kafka裏使用Avro　　42
3.6　分區　　45
3.7　舊版的生産者API　　46
3.8　總結　　47
第4章　Kafka消費者——從Kafka讀取數據　　48
4.1　KafkaConsumer概念　　48
4.1.1　消費者和消費者群組　　48
4.1.2　消費者群組和分區再均衡　　51
4.2　創建Kafka 消費者　　52
4.3　訂閱主題　　53
4.4　輪詢　　53
4.5　消費者的配置　　55
4.6　提交和偏移量　　57
4.6.1　自動提交　　58
4.6.2　提交當前偏移量　　59
4.6.3　異步提交　　59
4.6.4　同步和異步組閤提交　　61
4.6.5　提交特定的偏移量　　61
4.7　再均衡監聽器　　62
4.8　從特定偏移量處開始處理記錄　　64
4.9　如何退齣　　66
4.10　反序列化器　　67
4.11　獨立消費者——為什麼以及怎樣使用沒有群組的消費者　　71
4.12　舊版的消費者API　　71
4.13　總結　　72
第5章　深入Kafka　　73
5.1　集群成員關係　　73
5.2　控製器　　74
5.3　復製　　74
5.4　處理請求　　76
5.4.1　生産請求　　78
5.4.2　獲取請求　　78
5.4.3　其他請求　　80
5.5　物理存儲　　81
5.5.1　分區分配　　81
5.5.2　文件管理　　82
5.5.3　文件格式　　83
5.5.4　索引　　84
5.5.5　清理　　84
5.5.6　清理的工作原理　　84
5.5.7　被刪除的事件　　86
5.5.8　何時會清理主題　　86
5.6　總結　　86
第6章　可靠的數據傳遞　　87
6.1　可靠性保證　　87
6.2　復製　　88
6.3　broker配置　　89
6.3.1　復製係數　　89
6.3.2　不完全的首領選舉　　90
6.3.3　最少同步副本　　91
6.4　在可靠的係統裏使用生産者　　92
6.4.1　發送確認　　92
6.4.2　配置生産者的重試參數　　93
6.4.3　額外的錯誤處理　　94
6.5　在可靠的係統裏使用消費者　　94
6.5.1　消費者的可靠性配置　　95
6.5.2　顯式提交偏移量　　95
6.6　驗證係統可靠性　　97
6.6.1　配置驗證　　98
6.6.2　應用程序驗證　　98
6.6.3　在生産環境監控可靠性　　99
6.7　總結　　100
第7章　構建數據管道　　101
7.1　構建數據管道時需要考慮的問題　　102
7.1.1　及時性　　102
7.1.2　可靠性　　102
7.1.3　高吞吐量和動態吞吐量　　103
7.1.4　數據格式　　103
7.1.5　轉換　　104
7.1.6　安全性　　104
7.1.7　故障處理能力　　104
7.1.8　耦閤性和靈活性　　105
7.2　如何在Connect API和客戶端API之間作齣選擇　　105
7.3　Kafka Connect　　106
7.3.1　運行Connect　　106
7.3.2　連接器示例——文件數據源和文件數據池　　107
7.3.3　連接器示例——從MySQL到ElasticSearch　　109
7.3.4　深入理解Connect　　114
7.4　Connect之外的選擇　　116
7.4.1　用於其他數據存儲的攝入框架　　116
7.4.2　基於圖形界麵的ETL 工具　　117
7.4.3　流式處理框架　　117
7.5　總結　　117
第8章　跨集群數據鏡像　　118
8.1　跨集群鏡像的使用場景　　118
8.2　多集群架構　　119
8.2.1　跨數據中心通信的一些現實情況　　119
8.2.2　Hub和Spoke架構　　120
8.2.3　雙活架構　　121
8.2.4　主備架構　　123
8.2.5　延展集群　　127
8.3　Kafka的MirrorMaker　　128
8.3.1　如何配置　　129
8.3.2　在生産環境部署MirrorMaker　　130
8.3.3　MirrorMaker調優　　132
8.4　其他跨集群鏡像方案　　134
8.4.1　優步的uReplicator　　134
8.4.2　Confluent的Replicator　　135
8.5　總結　　135
第9章　管理Kafka　　136
9.1　主題操作　　136
9.1.1　創建主題　　137
9.1.2　增加分區　　138
9.1.3　刪除主題　　138
9.1.4　列齣集群裏的所有主題　　139
9.1.5　列齣主題詳細信息　　139
9.2　消費者群組　　140
9.2.1　列齣並描述群組　　140
9.2.2　刪除群組　　142
9.2.3　偏移量管理　　142
9.3　動態配置變更　　143
9.3.1　覆蓋主題的默認配置　　143
9.3.2　覆蓋客戶端的默認配置　　145
9.3.3　列齣被覆蓋的配置　　145
9.3.4　移除被覆蓋的配置　　146
9.4　分區管理　　146
9.4.1　首選的首領選舉　　146
9.4.2　修改分區副本　　147
9.4.3　修改復製係數　　150
9.4.4　轉儲日誌片段　　151
9.4.5　副本驗證　　152
9.5　消費和生産　　153
9.5.1　控製颱消費者　　153
9.5.2　控製颱生産者　　155
9.6　客戶端ACL　　157
9.7　不安全的操作　　157
9.7.1　移動集群控製器　　157
9.7.2　取消分區重分配　　157
9.7.3　移除待刪除的主題　　158
9.7.4　手動刪除主題　　158
9.8　總結　　159
第10章　監控Kafka　　160
10.1　度量指標基礎　　160
10.1.1　度量指標在哪裏　　160
10.1.2　內部或外部度量　　161
10.1.3　應用程序健康檢測　　161
10.1.4　度量指標的覆蓋麵　　161
10.2　broker的度量指標　　162
10.2.1　非同步分區　　162
10.2.2　broker度量指標　　166
10.2.3　主題和分區的度量指標　　173
10.2.4　Java虛擬機監控　　174
10.2.5　操作係統監控　　175
10.2.6　日誌　　176
10.3　客戶端監控　　177
10.3.1　生産者度量指標　　177
10.3.2　消費者度量指標　　179
10.3.3　配額　　181
10.4　延時監控　　182
10.5　端到端監控　　183
10.6　總結　　183
第11章　流式處理　　184
11.1　什麼是流式處理　　185
11.2　流式處理的一些概念　　186
11.2.1　時間　　187
11.2.2　狀態　　188
11.2.3　流和錶的二元性　　188
11.2.4　時間窗口　　189
11.3　流式處理的設計模式　　190
11.3.1　單個事件處理　　191
11.3.2　使用本地狀態　　191
11.3.3　多階段處理和重分區　　193
11.3.4　使用外部查找——流和錶的連接　　193
11.3.5　流與流的連接　　195
11.3.6　亂序的事件　　195
11.3.7　重新處理　　196
11.4　Streams示例　　197
11.4.1　字數統計　　197
11.4.2　股票市場統計　　199
11.4.3　填充點擊事件流　　201
11.5　Kafka Streams的架構概覽　　202
11.5.1　構建拓撲　　202
11.5.2　對拓撲進行伸縮　　203
11.5.3　從故障中存活下來　　205
11.6　流式處理使用場景　　205
11.7　如何選擇流式處理框架　　206
11.8　總結　　208
附錄A　在其他操作係統上安裝Kafka　　209
作者介紹　　214
封麵介紹　　214

前言/序言

　　給予一個技術書籍作者最好的贊賞莫過於這句話——“如果在一開始接觸這門技術時能看到這本書就好瞭”。在開始寫這本書的時候，我們就是以這句話作為寫作目標。我們開發Kafka，在生産環境運行 Kafka，幫助很多公司構建基於 Kafka 的係統，幫助他們管理數據管道，積纍瞭很多經驗，但也睏惑：“應該把哪些東西分享給 Kafka 新用戶，讓他們從新手變成專傢？”這本書就是我們日常工作最好的寫照：運行 Kafka 並幫助其他人更好地使用 Kafka。
　　我們相信，書中提供的這些內容能夠幫助 Kafka 用戶在生産環境運行 Kafka 以及基於Kafka 構建健壯的高性能應用程序。我們列舉瞭一些非常流行的應用場景：用於事件驅動微服務係統的消息總綫、流式應用和大規模數據管道。這本書通俗易懂，能夠幫助每一個Kafka 用戶在任意的架構或應用場景裏使用好 Kafka。書中介紹瞭如何安裝和配置 Kafka、如何使用 Kafka API、Kafka 的設計原則和可靠性保證，以及 Kafka 的一些架構細節，如復製協議、控製器和存儲層。我們相信，Kafka 的設計原理和內部架構不僅會成為分布式係統構建者的興趣所在，對於那些在生産環境部署 Kafka 或使用 Kafka 構建應用程序的人來說也是非常有用的。越是瞭解 Kafka，就越是能夠更好地作齣權衡。
　　在軟件工程裏，條條道路通羅馬，每一個問題都有多種解決方案。Kafka 為專傢級彆的用戶提供瞭巨大的靈活性，而新手則需要剋服陡峭的學習麯綫纔能成為專傢。Kafka 通常會告訴你如何使用某個功能特性，但不會告訴你為什麼要用它或者為什麼不該用它。我們會盡可能地解釋我們的設計決策和權衡背後的緣由，以及用戶在哪些情況下應該或不應該使用 Kafka 提供的特性。
　　讀者對象
　　這本書是為使用 Kafka API 開發應用程序的工程師和在生産環境安裝、配置、調優、監控Kafka 的運維工程師（也可以叫作 SRE、運維人員或係統管理員）而寫的。我們也考慮到瞭數據架構師和數據工程師，他們負責設計和構建整個組織的數據基礎架構。某些章節（特彆是第 3 章、第 4 章和第 11 章）主要麵嚮 Java 開發人員，並假設讀者已經熟悉基本的Java 語言編程，比如異常處理和並發編程。其他章節（特彆是第 2 章、第 8 章、第 9 章和第 10 章）則假設讀者在 Linux 的運行、存儲和網絡配置方麵有一定的經驗。本書的其餘部分則討論瞭一般性的軟件架構，不要求讀者具備特定的知識。
　　另一類可能對本書感興趣的人是那些經理或架構師，他們不直接使用 Kafka，但會與使用Kafka 的工程師打交道。他們有必要瞭解 Kafka 所能提供的保證機製，以及他們的同事在構建基於 Kafka 的係統時所作齣的權衡。這本書可以成為企業管理人員的利器，確保他們的工程師在 Kafka 方麵訓練有素，讓他們的團隊瞭解他們本該知道的知識。
　　排版約定
　　本書使用瞭下列排版約定。
　　? 黑體
　　錶示新術語或重點強調的內容。
　　? 等寬字體（constant width）
　　錶示程序片段，以及正文中齣現的變量、函數名、數據庫、數據類型、環境變量、語句和關鍵字等。
　　? 加粗等寬字體（constant width bold）
　　錶示應該由用戶輸入的命令或其他文本。
　　? 等寬斜體（constant width italic）
　　錶示應該由用戶輸入的值或根據上下文確定的值替換的文本。
　　使用代碼示例
　　本書是要幫你完成工作的。一般來說，如果本書提供瞭示例代碼，你可以把它用在你的程序或文檔中。除非你使用瞭很大一部分代碼，否則無需聯係我們獲得許可。比如，用本書的幾個代碼片段寫一個程序就無需獲得許可，銷售或分發 O’Reilly 圖書的示例光盤則需要獲得許可；引用本書中的示例代碼迴答問題無需獲得許可，將書中大量的代碼放到你的産品文檔中則需要獲得許可。
　　我們很希望但並不強製要求你在引用本書內容時加上引用說明。引用說明一般包括書名、作者、齣版社和 ISBN。例如“Kafka 權威指南，作者 Neha Narkhede、Gwen Shapira 和 Todd Palino（O’Reilly），版權歸 Neha Narkhede、Gwen Shapira 和 Todd Palino 所有，978-1-4919-3616-0”。
　　如果你覺得自己對示例代碼的用法超齣瞭上述許可的範圍，歡迎你通過 permissions@ oreilly.com 與我們聯係。
　　O’Reilly Safari
　　Safari（原來叫 Safari Books Online）是麵嚮企業、政府、教育從業者和個人的會員製培訓和參考谘詢平颱。
　　些資源來自 250 多傢齣版機構，其中包括 O’Reilly Media、Harvard Business Review、 Prentice Hall Professional、Addison-Wesley Professional、Microsoft Press、Sams、Que、 Peachpit Press、Adobe、Focal Press、Cisco Press、John Wiley & Sons、Syngress、Morgan Kaufmann、IBM Redbooks、Packt、Adobe Press、FT Press、Apress、Manning、New Riders、McGraw-Hill、Jones & Bartlett 和 Course Technology。
　　更多信息，請訪問 http://oreilly.com/safari。
　　聯係我們
　　請把對本書的評價和問題發給齣版社。
　　美國：
　　O’Reilly Media, Inc.
　　1005 Gravenst Kafka權威指南 下載 mobi epub pdf txt 電子書

評分☆☆☆☆☆

不錯！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

評分☆☆☆☆☆

high哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈

評分☆☆☆☆☆

不愧是權威指南，寫的很好，很適閤管理架構從業人員參考學習

評分☆☆☆☆☆

給我男朋友買的，希望他好好學習，哈哈，技術更上一層樓

評分☆☆☆☆☆

書收到瞭，包裝完整，希望京東多搞點活動呀！這次趁活動買的還是很實惠的

評分☆☆☆☆☆

此用戶未及時填寫評價內容，係統默認好評！

評分☆☆☆☆☆

好好學習，天天嚮上

評分☆☆☆☆☆

寫得很好，令我快速瞭解這項技術

評分☆☆☆☆☆

好書，看英文版不錯，再買個中文版的

類似圖書 點擊查看全場最低價