亿级流量网站架构核心技术 跟开涛学搭建高可用高并发系统+
分布式服务框架原理与实践
9787121309540 9787121279195
亿级流量网站架构核心技术 跟开涛学搭建高可用高并发系统
亿级流量网站架构核心技术》一书总结并梳理了亿级流量网站高可用和高并发原则,通过实例详细介绍了如何落地这些原则。本书分为四部分:概述、高可用原则、高并发原则、案例实战。从负载均衡、限流、降级、隔离、超时与重试、回滚机制、压测与预案、缓存、池化、异步化、扩容、队列等多方面详细介绍了亿级流量网站的架构核心技术,让读者看后能快速运用到实践项目中。
不管是软件开发人员,还是运维人员,通过阅读《亿级流量网站架构核心技术》都能系统地学习实现亿级流量网站的架构核心技术,并收获解决系统问题的思路和方法。
作者简介
张开涛,现就职于京东,“开涛的博客”公众号作者。写过《跟我学Spring》《跟我学Spring MVC》《跟我学Shiro》《跟我学Nginx+Lua开发》等系列教程,博客现有1000多万访问量。
目录
第1部分 概述 / 1
1 交易型系统设计的一些原则 / 2
1.1 高并发原则 / 3
1.1.1 无状态 / 3
1.1.2 拆分 / 3
1.1.3 服务化 / 4
1.1.4 消息队列 / 4
1.1.5 数据异构 / 6
1.1.6 缓存银弹 / 7
1.1.7 并发化 / 9
1.2 高可用原则 / 10
1.2.1 降级 / 10
1.2.2 限流 / 11
1.2.3 切流量 / 12
1.2.4 可回滚 / 12
1.3 业务设计原则 / 12
1.3.1 防重设计 / 13
1.3.2 幂等设计 / 13
1.3.3 流程可定义 / 13
1.3.4 状态与状态机 / 13
1.3.5 后台系统操作可反馈 / 14
1.3.6 后台系统审批化 / 14
1.3.7 文档和注释 / 14
1.3.8 备份 / 14
1.4 总结 / 14
第2部分 高可用 / 17
2 负载均衡与反向代理 / 18
2.1 upstream配置 / 20
2.2 负载均衡算法 / 21
2.3 失败重试 / 23
2.4 健康检查 / 24
2.4.1 TCP心跳检查 / 24
2.4.2 HTTP心跳检查 / 25
2.5 其他配置 / 25
2.5.1 域名上游服务器 / 25
2.5.2 备份上游服务器 / 26
2.5.3 不可用上游服务器 / 26
2.6 长连接 / 26
2.7 HTTP反向代理示例 / 29
2.8 HTTP动态负载均衡 / 30
2.8.1 Consul+Consul-template / 31
2.8.2 Consul+OpenResty / 35
2.9 Nginx四层负载均衡 / 39
2.9.1 静态负载均衡 / 39
2.9.2 动态负载均衡 / 41
参考资料 / 42
3 隔离术 / 43
3.1 线程隔离 / 43
3.2 进程隔离 / 45
3.3 集群隔离 / 45
3.4 机房隔离 / 46
3.5 读写隔离 / 47
3.6 动静隔离 / 48
3.7 爬虫隔离 / 49
3.8 热点隔离 / 50
3.9 资源隔离 / 50
3.10 使用Hystrix实现隔离 / 51
3.10.1 Hystrix简介 / 51
3.10.2 隔离示例 / 52
3.11 基于Servlet 3实现请求隔离 / 56
3.11.1 请求解析和业务处理线程池分离 / 57
3.11.2 业务线程池隔离 / 58
3.11.3 业务线程池监控/运维/降级 / 58
3.11.4 如何使用Servlet 3异步化 / 59
3.11.5 一些Servlet 3异步化压测数据 / 64
4 限流详解 / 66
4.1 限流算法 / 67
4.1.1 令牌桶算法 / 67
4.1.2 漏桶算法 / 68
4.2 应用级限流 / 69
4.2.1 限流总并发/连接/请求数 / 69
4.2.2 限流总资源数 / 70
4.2.3 限流某个接口的总并发/请求数 / 70
4.2.4 限流某个接口的时间窗请求数 / 70
4.2.5 平滑限流某个接口的请求数 / 71
4.3 分布式限流 / 75
4.3.1 Redis+Lua实现 / 76
4.3.2 Nginx+Lua实现 / 77
4.4 接入层限流 / 78
4.4.1 ngx_http_limit_conn_module / 78
4.4.2 ngx_http_limit_req_module / 80
4.4.3 lua-resty-limit-traffic / 88
4.5 节流 / 90
4.5.1 throttleFirst/throttleLast / 90
4.5.2 throttleWithTimeout / 91
参考资料 / 92
5 降级特技 / 93
5.1 降级预案 / 93
5.2 自动开关降级 / 95
5.2.1 超时降级 / 95
5.2.2 统计失败次数降级 / 95
5.2.3 故障降级 / 95
5.2.4 限流降级 / 95
5.3 人工开关降级 / 96
5.4 读服务降级 / 96
5.5 写服务降级 / 97
5.6 多级降级 / 98
5.7 配置中心 / 100
5.7.1 应用层API封装 / 100
5.7.2 配置文件实现开关配置 / 101
5.7.3 配置中心实现开关配置 / 102
5.8 使用Hystrix实现降级 / 106
5.9 使用Hystrix实现熔断 / 108
5.9.1 熔断机制实现 / 108
5.9.2 配置示例 / 112
5.9.3 采样统计 / 113
6 超时与重试机制 / 117
6.1 简介 / 117
6.2 代理层超时与重试 / 119
6.2.1 Nginx / 119
6.2.2 Twemproxy / 126
6.3 Web容器超时 / 127
6.4 中间件客户端超时与重试 / 127
6.5 数据库客户端超时 / 131
6.6 NoSQL客户端超时 / 134
6.7 业务超时 / 135
6.8 前端Ajax超时 / 135
6.9 总结 / 136
6.10 参考资料 / 137
7 回滚机制 / 139
7.1 事务回滚 / 139
7.2 代码库回滚 / 140
7.3 部署版本回滚 / 141
7.4 数据版本回滚 / 142
7.5 静态资源版本回滚 / 143
8 压测与预案 / 145
8.1 系统压测 / 145
8.1.1 线下压测 / 146
8.1.2 线上压测 / 146
8.2 系统优化和容灾 / 147
8.3 应急预案 / 148
第3部分 高并发 / 153
9 应用级缓存 / 154
9.1 缓存简介 / 154
9.2 缓存命中率 / 155
9.3 缓存回收策略 / 155
9.3.1 基于空间 / 155
9.3.2 基于容量 / 155
9.3.3 基于时间 / 155
9.3.4 基于Java对象引用 / 156
9.3.5 回收算法 / 156
9.4 Java缓存类型 / 156
9.4.1 堆缓存 / 158
9.4.2 堆外缓存 / 162
9.4.3 磁盘缓存 / 162
9.4.4 分布式缓存 / 164
9.4.5 多级缓存 / 166
9.5 应用级缓存示例 / 167
9.5.1 多级缓存API封装 / 167
9.5.2 NULL Cache / 170
9.5.3 强制获取新数据 / 170
9.5.4 失败统计 / 171
9.5.5 延迟报警 / 171
9.6 缓存使用模式实践 / 172
9.6.1 Cache-Aside / 173
9.6.2 Cache-As-SoR / 174
9.6.3 Read-Through / 174
9.6.4 Write-Through / 176
9.6.5 Write-Behind / 177
9.6.6 Copy Pattern / 181
9.7 性能测试 / 181
9.8 参考资料 / 182
10 HTTP缓存 / 183
10.1 简介 / 183
10.2 HTTP缓存 / 184
10.2.1 Last-Modified / 184
10.2.2 ETag / 190
10.2.3 总结 / 192
10.3 HttpClient客户端缓存 / 192
10.3.1 主流程 / 195
10.3.2 清除无效缓存 / 195
10.3.3 查找缓存 / 196
10.3.4 缓存未命中 / 198
10.3.5 缓存命中 / 198
10.3.6 缓存内容陈旧需重新验证 / 202
10.3.7 缓存内容无效需重新执行请求 / 205
10.3.8 缓存响应 / 206
10.3.9 缓存头总结 / 207
10.4 Nginx HTTP缓存设置 / 208
10.4.1 expires / 208
10.4.2 if-modified-since / 209
10.4.3 nginx proxy_pass / 209
10.5 Nginx代理层缓存 / 212
10.5.1 Nginx代理层缓存配置 / 212
10.5.2 清理缓存 / 215
10.6 一些经验 / 216
参考资料 / 217
11 多级缓存 / 218
11.1 多级缓存介绍 / 218
11.2 如何缓存数据 / 220
11.2.1 过期与不过期 / 220
11.2.2 维度化缓存与增量缓存 / 221
11.2.3 大Value缓存 / 221
11.2.4 热点缓存 / 221
11.3 分布式缓存与应用负载均衡 / 222
11.3.1 缓存分布式 / 222
11.3.2 应用负载均衡 / 222
11.4 热点数据与更新缓存 / 223
11.4.1 单机全量缓存+主从 / 223
11.4.2 分布式缓存+应用本地热点 / 224
11.5 更新缓存与原子性 / 225
11.6 缓存崩溃与快速修复 / 226
11.6.1 取模 / 226
11.6.2 一致性哈希 / 226
11.6.3 快速恢复 / 226
12 连接池线程池详解 / 227
12.1 数据库连接池 / 227
12.1.1 DBCP连接池配置 / 228
12.1.2 DBCP配置建议 / 233
12.1.3 数据库驱动超时实现 / 234
12.1.4 连接池使用的一些建议 / 235
12.2 HttpClient连接池 / 236
12.2.1 HttpClient 4.5.2配置 / 236
12.2.2 HttpClient连接池源码分析 / 240
12.2.3 HttpClient 4.2.3配置 / 241
12.2.4 问题示例 / 243
12.3 线程池 / 244
12.3.1 Java线程池 / 245
12.3.2 Tomcat线程池配置 / 248
13 异步并发实战 / 250
13.1 同步阻塞调用 / 251
13.2 异步Future / 252
13.3 异步Callback / 253
13.4 异步编排CompletableFuture / 254
13.5 异步Web服务实现 / 257
13.6 请求缓存 / 259
13.7 请求合并 / 261
14 如何扩容 / 266
分布式服务框架原理与实践
本书作者具有丰富的分布式服务框架、平台中间件的架构设计和实践经验,主导设计的华为分布式服务框架已经在全球数十个国家成功商用。书中依托工作实践,从分布式服务框架的架构设计原理到实践经验总结,涵盖了服务化架构演进、订阅发布、路由策略、集群容错和服务治理等多个专题,全方位剖析服务框架的设计原则和原理,结合大量实践案例与读者分享作者对分布式服务框架设计和运维的体会。同时,对基于Docker部署微服务以及基于微服务架构开发、部署和运维业务系统进行了详细介绍。第1章应用架构演进1
1.1传统垂直应用架构2
1.1.1垂直应用架构介绍2
1.1.2垂直应用架构面临的挑战4
1.2RPC架构6
1.2.1RPC框架原理6
1.2.2简单的RPC框架实现8
1.2.3业界主流RPC框架14
1.2.4RPC框架面临的挑战17
1.3SOA服务化架构18
1.3.1面向服务设计的原则18
1.3.2服务治理19
1.4微服务架构21
1.4.1什么是微服务21
1.4.2微服务架构对比SOA22
1.5总结23
第2章分布式服务框架入门25
2.1分布式服务框架诞生背景26
2.1.1应用从集中式走向分布式.26?
2.1.2亟需服务治理28
2.2业界分布式服务框架介绍29
2.2.1阿里Dubbo30
2.2.2淘宝HSF33
2.2.3亚逊CoralService35
2.3分布式服务框架设计36
2.3.1架构原理36
2.3.2功能特性37
2.3.3性能特性39
2.3.4可靠性39
2.3.5服务治理40
2.4总结41
第3章通信框架42
3.1关键技术点分析43
3.1.1长连接还是短连接43
3.1.2BIO还是NIO43
3.1.3自研还是选择开源NIO框架46
3.2功能设计47
3.2.1服务端设计48
3.2.2客户端设计50
3.3可靠性设计53
3.3.1链路有效性检测54
3.3.2断连重连机制56
3.3.3消息缓存重发57
3.3.4资源优雅释放58
3.4性能设计59
3.4.1性能差的三宗罪59
3.4.2通信性能三原则60
3.4.3高性能之道61
3.5佳实践61
3.6总结64
第4章序列化与反序列化65
4.1几个关键概念澄清66
4.1.1序列化与通信框架的关系66
4.1.2序列化与通信协议的关系66
4.1.3是否需要支持多种序列化方式67
4.2功能设计67
4.2.1功能丰富度67
4.2.2跨语言支持68
4.2.3兼容性69
4.2.4性能70
4.3扩展性设计71
4.3.1内置的序列化/反序列化功能类71
4.3.2反序列化扩展72
4.3.3序列化扩展75
4.4佳实践77
4.4.1接口的前向兼容性规范77
4.4.2高并发下的稳定性78
4.5总结78
第5章协议栈79
5.1关键技术点分析.80
5.1.1是否必须支持多协议80
5.1.2公有协议还是私有协议80
5.1.3集成开源还是自研81
5.2功能设计82
5.2.1功能描述82
5.2.2通信模型82
5.2.3协议消息定义84
5.2.4协议栈消息序列化支持的字段类型85
5.2.5协议消息的序列化和反序列化86
5.2.6链路创建89
5.2.7链路关闭90
5.3可靠性设计90
5.3.1客户端连接超时90
5.3.2客户端重连机制91
5.3.3客户端重复握手保护91
5.3.4消息缓存重发92
5.3.5心跳机制92
5.4安全性设计92
5.5佳实践—协议的前向兼容性94
5.6总结95
第6章服务路由96
6.1透明化路由97
6.1.1基于服务注册中心的订阅发布97
6.1.2消费者缓存服务提供者地址98
6.2负载均衡98
6.2.1随机98
6.2.2轮循99
6.2.3服务调用时延99
6.2.4一致性哈希100
6.2.5粘滞连接101
6.3本地路由优先策略102
6.3.1injvm模式102
6.3.2innative模式102
6.4路由规则103
6.4.1条件路由规则103
6.4.2脚本路由规则104
6.5路由策略定制105
6.6配置化路由106
6.7佳实践—多机房路由107
6.8总结108
第7章集群容错109
7.1集群容错场景110
7.1.1通信链路故障110
7.1.2服务端超时111
7.1.3服务端调用失败111
7.2容错策略112
7.2.1失败自动切换(Failover)112
7.2.2失败通知(Failback)113
7.2.3失败缓存(Failcache)113
7.2.4快速失败(Failfast)114
7.2.5容错策略扩展114
7.3总结115
第8章服务调用116
8.1几个误区117
8.1.1NIO就是异步服务117
8.1.2服务调用天生就是同步的118
8.1.3异步服务调用性能更高120
8.2服务调用方式120
8.2.1同步服务调用120
8.2.2异步服务调用121
8.2.3并行服务调用125
8.2.4泛化调用129
8.3佳实践130
8.4总结131
第9章服务注册中心132
9.1几个概念133
9.1.1服务提供者133
9.1.2服务消费者133
9.1.3服务注册中心133
9.2关键功能特性设计134
9.2.1支持对等集群135
9.2.2提供CRUD接口136
9.2.3安全加固136
9.2.4订阅发布机制137
9.2.5可靠性138
9.3基于ZooKeeper的服务注册中心设计139
9.3.1服务订阅发布流程设计139
9.3.2服务健康状态检测141
9.3.3对等集群防止单点故障142
9.3.4变更通知机制144
9.4总结144
第10章服务发布和引用145
10.1服务发布设计146
10.1.1服务发布的几种方式146
10.1.2本地实现类封装成代理148
10.1.3服务发布成指定协议148
10.1.4服务提供者信息注册149
10.2服务引用设计150
10.2.1本地接口调用转换成远程服务调用150
10.2.2服务地址本地缓存151
10.2.3远程服务调用151
10.3佳实践152
10.3.1对等设计原则152
10.3.2启动顺序问题153
10.3.3同步还是异步发布服务153
10.3.4警惕网络风暴154
10.3.5配置扩展154
10.4总结156
第11章服务灰度发布157
11.1服务灰度发布流程设计158
11.1.1灰度环境准备158
11.1.2灰度规则设置159
11.1.3灰度规则下发160
11.1.4灰度路由161
11.1.5失败回滚162
11.1.6灰度发布总结163
11.2总结163
第12章参数传递164
12.1内部传参165
12.1.1业务内部参数传递165
12.1.2服务框架内部参数传递168
12.2外部传参169
12.2.1通信协议支持169
12.2.2传参接口定义170
12.3佳实践171
12.3.1防止参数互相覆盖171
12.3.2参数生命周期管理171
12.4总结172
第13章服务多版本173
13.1服务多版本管理设计174
13.1.1服务版本号管理174
13.1.2服务提供者175
13.1.3服务消费者175
13.1.4基于版本号的服务路由176
13.1.5服务热升级177
13.2与OSGi的对比178
13.2.1模块化开发179
13.2.2插件热部署和热升级184
13.2.3不使用OSGi的其他理由185
13.3总结185
第14章流量控制186
14.1静态流控187
14.1.1传统静态流控设计方案187
14.1.2传统方案的缺点188
14.1.3动态配额分配制188
14.1.4动态配额申请制190
14.2动态流控191
14.2.1动态流控因子192
14.2.2分级流控192
14.3并发控制193
14.3.1服务端全局控制193
14.3.2服务消费者流控194
14.4连接控制195
14.4.1服务端连接数流控195
14.4.2服务消费者连接数流控195
14.5并发和连接控制算法195
14.6总结197
第15章服务降级198
15.1屏蔽降级199
15.1.1屏蔽降级的流程199
15.1.2屏蔽降级的设计实现200
15.2容错降级202
15.2.1容错降级的工作原理202
15.2.2运行时容错降级.204
15.3业务层降级205
15.4总结205
第16章服务优先级调度207
16.1设置服务优先级208
16.2线程调度器方案209
16.3Java优先级队列210
16.4加权优先级队列211
16.5服务迁入迁出212
16.6总结213
第17章服务治理214
17.1服务治理技术的历史变迁215
17.1.1SOAGovernance215
17.1.2分布式服务框架服务治理217
17.1.3AWS云端微服务治理217
17.2应用服务化后面临的挑战218
17.2.1跨团队协作问题219
17.2.2服务的上下线管控220
17.2.3服务安全220
17.2.4服务SLA保障.221
17.2.5故障快速定界定位221
17.3服务治理222
17.3.1服务治理架构设计223
17.3.2运行态服务治理功能设计225
17.3.3线下服务治理232
17.3.4安全和权限管理234
17.4总结237
第18章分布式消息跟踪239
18.1业务场景分析240
18.1.1故障的快速定界定位240
18.1.2调用路径分析241
18.1.3调用来源和去向分析242
18.2分布式消息跟踪系统设计242
18.2.1系统架构243
18.2.2埋点日志244
18.2.3采样率247
18.2.4采集和存储埋点日志248
18.2.5计算和展示249
18.2.6调用链扩展251
18.3总结251
第19章可靠性设计253
19.1服务状态检测254
19.1.1基于服务注册中心状态检测254