具体描述
本书是涵盖Apache Kafka各方面的具有实践指导意义的工具书和参考书。作者结合典型的使用场景，对Kafka整个技术体系进行了较为全面的讲解，以便读者能够举一反三，直接应用于实践。同时，本书还对Kafka的设计原理及其流式处理组件进行了较深入的探讨，并给出了翔实的案例。 本书共分为10章：1章全面介绍消息引擎系统以及Kafka的基本概念与特性，快速带领读者走进Kafka的世界；第2章简要回顾了Apache Kafka的发展历史；第3章详细介绍了Kafka集群环境的搭建；第4、5章深入探讨了Kafka客户端的使用方法；第6章带领读者一览Kafka内部设计原理；第7~9章以实例的方式讲解了Kafka集群的管理、监控与调优；10章介绍了Kafka新引入的流式处理组件。
第1章 认识Apache Kafka 1
1.1 Kafka快速入门 1
1.1.1 下载并解压缩Kafka二进制代码压缩包文件 2
1.1.2 启动服务器 3
1.1.3 创建topic 3
1.1.4 发送消息 4
1.1.5 消费消息 4
1.2 消息引擎系统 5
1.2.1 消息设计 6
1.2.2 传输协议设计 6
1.2.3 消息引擎范型 6
1.2.4 Java消息服务 8
1.3 Kafka概要设计 8
1.3.1 吞吐量/*时 8
1.3.2 消息*久化 11
1.3.3 负载均衡和故障转移 12
1.3.4 伸缩性 13
1.4 Kafka基本概念与术语 13
1.4.1 消息 14
1.4.2 topic和partition 16
1.4.3 offset 17
1.4.4 replica 18
1.4.5 leader和follower 18
1.4.6 ISR 19
1.5 Kafka使用场景 20
1.5.1 消息传输 20
1.5.2 网站行为日志追踪 20
1.5.3 审计数据收集 20
1.5.4 日志收集 20
1.5.5 Event Sourcing 21
1.5.6 流式处理 21
1.6 本章小结 21
第2章 Kafka发展历史 22
2.1 Kafka的历史 22
2.1.1 背景 22
2.1.2 Kafka横空出世 23
2.1.3 Kafka开源 24
2.2 Kafka版本变迁 25
2.2.1 Kafka的版本演进 25
2.2.2 Kafka的版本格式 26
2.2.3 新版本功能简介 26
2.2.4 旧版本功能简介 31
2.3 如何选择Kafka版本 35
2.3.1 根据功能场景 35
2.3.2 根据客户端使用场景 35
2.4 Kafka与Confluent 36
2.5 本章小结 37
第3章 Kafka线上环境部署 38
3.1 集群环境规划 38
3.1.1 操作系统的选型 38
3.1.2 磁盘规划 40
3.1.3 磁盘容量规划 42
3.1.4 内存规划 43
3.1.5 CPU规划 43
3.1.6 带宽规划 44
3.1.7 典型线上环境配置 45
3.2 伪分布式环境安装 45
3.2.1 安装Java 46
3.2.2 安装ZooKeeper 47
3.2.3 安装单节点Kafka集群 48
3.3 多节点环境安装 49
3.3.1 安装多节点ZooKeeper集群 50
3.3.2 安装多节点Kafka 54
3.4 验证部署 55
3.4.1 测试topic创建与删除 55
3.4.2 测试消息发送与消费 57
3.4.3 生产者吞吐量测试 58
3.4.4 消费者吞吐量测试 58
3.5 参数设置 59
3.5.1 broker端参数 59
3.5.2 topic级别参数 62
3.5.3 GC参数 63
3.5.4 JVM参数 64
3.5.5 OS参数 64
3.6 本章小结 65
第4章 producer开发 66
4.1 producer概览 66
4.2 构造producer 69
4.2.1 producer程序实例 69
4.2.2 producer主要参数 75
4.3 消息分区机制 80
4.3.1 分区策略 80
4.3.2 自定义分区机制 80
4.4 消息序列化 83
4.4.1 默认序列化 83
4.4.2 自定义序列化 84
4.5 producer拦截器 87
4.6 无消息丢失配置 90
4.6.1 producer端配置 91
4.6.2 broker端配置 92
4.7 消息压缩 92
4.7.1 Kafka支持的压缩算法 93
4.7.2 算法性能比较与调优 93
4.8 多线程处理 95
4.9 旧版本producer 96
4.10 本章小结 98
第5章 consumer开发 99
5.1 consumer概览 99
5.1.1 消费者（consumer） 99
5.1.2 消费者组（consumer group） 101
5.1.3 位移（offset） 102
5.1.4 位移提交 103
5.1.5 __consumer_offsets 104
5.1.6 消费者组重平衡（consumer group rebalance） 106
5.2 构建consumer 106
5.2.1 consumer程序实例 106
5.2.2 consumer脚本命令 111
5.2.3 consumer主要参数 112
5.3 订阅topic 115
5.3.1 订阅topic列表 115
5.3.2 基于正则表达式订阅topic 115
5.4 消息轮询 115
5.4.1 poll内部原理 115
5.4.2 poll使用方法 116
5.5 位移管理 118
5.5.1 consumer位移 119
5.5.2 新版本consumer位移管理 120
5.5.3 自动提交与手动提交 121
5.5.4 旧版本consumer位移管理 123
5.6 重平衡（rebalance） 123
5.6.1 rebalance概览 123
5.6.2 rebalance触发条件 124
5.6.3 rebalance分区分配 124
5.6.4 rebalance generation 126
5.6.5 rebalance协议 126
5.6.6 rebalance流程 127
5.6.7 rebalance监听器 128
5.7 解序列化 130
5.7.1 默认解序列化器 130
5.7.2 自定义解序列化器 131
5.8 多线程消费实例 132
5.8.1 每个线程维护一个KafkaConsumer 133
5.8.2 单KafkaConsumer实例+多worker线程 135
5.8.3 两种方法对比 140
5.9 独立consumer 141
5.10 旧版本consumer 142
5.10.1 概览 142
5.10.2 high-level consumer 143
5.10.3 low-level consumer 147
5.11 本章小结 153
第6章 Kafka设计原理 154
6.1 broker端设计架构 154
6.1.1 消息设计 155
6.1.2 集群管理 166
6.1.3 副本与ISR设计 169
6.1.4 水印（watermark）和leader epoch 174
6.1.5 日志存储设计 185
6.1.6 通信协议（wire protocol） 194
6.1.7 controller设计 205
6.1.8 broker请求处理 216
6.2 producer端设计 219
6.2.1 producer端基本数据结构 219
6.2.2 工作流程 220
6.3 consumer端设计 223
6.3.1 consumer group状态机 223
6.3.2 group管理协议 226
6.3.3 rebalance场景剖析 227
6.4 实现*确一次处理语义 230
6.4.1 消息交付语义 230
6.4.2 幂等性producer（idempotent producer） 231
6.4.3 事务（transaction） 232
6.5 本章小结 234
第7章 管理Kafka集群 235
... ...
用户评价
评分
评分
评分
评分
评分
评分
评分
评分
相关图书
本站所有内容均为互联网搜索引擎提供的公开搜索信息，本站不存储任何数据与内容，任何内容与数据均与本站无关，如有需要请联系相关搜索引擎包括但不限于百度，google,bing,sogou 等，本站所有链接都为正版商品购买链接。
© 2025 windowsfront.com All Rights Reserved. 静流书站 版权所有