产品特色
编辑推荐
绝大多数应用程序的核心都有一个虚拟交换机,用于在服务器、程序和服务之间快速传递消息。RabbitMQ是一个高效且易于部署的消息队列服务器,它可以轻而易举地处理各种情形下的消息通信,不论是网络初创公司还是大型企业系统。
本书能够教会你如何使用RabbitMQ消息通信服务器,构建和管理用不同语言编写的可伸缩应用。这很容易上手。你将学习消息队列的工作原理以及RabbitMQ是如何适用的。然后,你将通过许多案例来探索实践当中的可扩展性和互操作性问题。最后,你将学习如何将Rabbit打造成一部运作良好的机器,以应对24×7×365的无间断工作环境。
本书包以下内容
□ 学习基本消息通信设计模式
□ 使用模式来满足按需扩展
□ 整合PHP编写的前端和用任何语言编写的后端
□ 在30分钟内实现发布/订阅的告警服务
□ 配置RabbitMQ内建集群
□ 监控、管理、扩展并调试RabbitMQ
本书是为那些熟悉Python、PHP、Java、.NET或者任何其他现代编程语言的开发者编写的。无须任何RabbitMQ经验。
内容简介
《RabbitMQ实战:高效部署分布式消息队列》对RabbitMQ做了全面、翔实的讲解,体现了两位专家的真知灼见。《RabbitMQ实战:高效部署分布式消息队列》首先介绍了有关MQ的历史,然后从基本的消息通信原理讲起,带领读者一路探索RabbitMQ的消息通信世界。这当中不仅包含了针对单台RabbitMQ服务器和RabbitMQ集群的讲解,还教导读者如何使用各种工具来进行监控。
《RabbitMQ实战:高效部署分布式消息队列》内容浅显易懂,文笔风趣幽默。《RabbitMQ实战:高效部署分布式消息队列》中包含了丰富的、可以运行的示例程序源代码,读者可以自行下载并运行,这种亲身实践有助于加深对相关主题的理解。对于初学者来说,这样的编排非常适用。
作者简介
Alvaro Videla,是一名专门从事基于MQ应用程序的开发者和架构师。
Jason J.W. Williams,是消息通信服务供应商DigiTar公司的CTO,他领导着设计与开发工作。
精彩书评
在这份杰出的工作中,两位专家为我们分享了他们多年运行大规模RabbitMQ系统的经验。
—— Alexis Richardson, VMware前言的作者
写得很棒,充满智慧,简单易懂。
——Karsten Str?b?k,微软
这是RabbitMQ大全,当中包含了各种有广度、有深度的案例。
——Patrick Lemiuex,来自Voxel Internap
本书将带你领略消息通信的美妙世界。
——David Dossot, Mule in Action的合作者
目录
第1章 天降奇兵1
1.1 住在别人的地下城堡 3
1.2 救世主AMQP 5
1.3 RabbitMQ简史 5
1.4 百里挑一 8
1.5 在UNIX系统上安装RabbitMQ 8
1.5.1 为什么环境很重要——生活在Erlang 的世界里 9
1.5.2 获取安装包 9
1.5.3 设置文件夹结构 9
1.5.4 首次运行Rabbit 10
1.6 总结 12
第2章 理解消息通信13
2.1 消费者和生产者(这可不是经济学课程哦) 14
2.2 从底部开始构造:队列 17
2.3 联合起来:交换器和绑定 22
2.4 多租户模式:虚拟主机和隔离 27
2.5 我的消息去哪儿了呢?持久化和你的策略 28
2.6 把所有内容结合起来:一条消息的一生 32
2.7 使用发送方确认模式来确认投递 37
2.8 总结 40
第3章 运行和管理Rabbit 42
3.1 服务器管理 43
3.1.1 启动节点 43
3.1.2 停止节点 45
3.1.3 关闭和重启应用程序:有何差别 46
3.1.4 Rabbit 配置文件 46
3.2 请求许可 48
3.2.1 管理用户 49
3.2.2 Rabbit 的权限系统 50
3.3 检查 54
3.3.1 查看数据统计 54
3.3.2 理解RabbitMQ 日志 59
3.4 修复Rabbit:疑难解答 63
由badrpc、nodedown 和其他Erlang 引起的问题 63
3.5 总结 68
第4章 解决Rabbit相关问题:编码与模式69
4.1 解耦风雨路:谁将我们推向消息通信 70
4.1.1 异步状态思维(分离请求和动作) 70
4.1.2 提供扩展性:没有负载均衡器的世界 73
4.1.3 零成本API :语言不应成为枷锁 73
4.2 发后即忘模型 74
4.2.1 发送告警 75
4.2.2 并行处理 84
4.3 别忘了:用RabbitMQ实现RPC并等待响应 92
4.3.1 私有队列和发送确认 93
4.3.2 使用reply_to 来实现简单的JSON RPC 93
4.4 总结 98
第5章 集群并处理失败99
5.1 开足马力:RabbitMQ集群 100
5.2 集群架构 101
5.2.1 集群中的队列 101
5.2.2 分布交换器 103
5.2.3 是内存节点还是磁盘节点 104
5.3 在你的笔记本电脑上设置集群 106
5.4 将节点分布到更多的机器上 110
5.5 升级集群节点 114
5.6 镜像队列和保留消息 115
5.6.1 声明并使用镜像队列 115
5.6.2 镜像队列工作原理 118
5.7 总结 120
第6章 从故障中恢复121
6.1 为Rabbit做负载均衡 122
6.1.1 安装HAProxy 124
6.1.2 配置HAProxy 125
6.2 连接丢失和故障转移 127
6.3 总结 134
第7章 warren和Shovel:故障转移和复制 135
7.1 warren:另一种集群方式 136
7.2 设定负载均衡器——基于主/从的集群 138
7.3 远距离通信和复制 142
7.3.1 给Rabbit 装备Shovel :Shovel 插件介绍 142
7.3.2 安装Shovel 145
7.3.3 配置并运行Shovel 146
7.4 总结 152
第8章 从Web端管理RabbitMQ 154
8.1 超越rabbitmqctl:RabbitMQ Management插件 155
8.1.1 为何需要Management 插件 155
8.1.2 Management 插件功能 155
8.1.3 启用Management 插件 156
8.2 从Web控制台来管理RabbitMQ 158
8.2.1 监控Erlang VM 158
8.2.2 从JSON 文件导入配置 159
8.3 从Web控制台管理用户 160
8.3.1 创建用户 161
8.3.2 管理用户的权限 162
8.4 从Web控制台管理交换器和队列 163
8.4.1 列出队列信息 165
8.4.2 创建队列 166
8.5 回到命令行 168
8.5.1 为什么需要另一个CLI 168
8.5.2 CLI 管理:一种更简单的方式 170
8.5.3 安装rabbitmqadmin 脚本 170
8.5.4 清空队列、创建交换器等 171
8.6 总结 172
第9章 使用REST API控制Rabbit 173
9.1 能用RabbitMQ REST API做什么 175
9.2 对客户端授权访问 177
9.3 访问数据统计 178
9.4 自动化vhost和用户配置 181
9.5 总结 .186
第10章 监控187
10.1 监控RabbitMQ:密切关注你的warren 188
10.1.1 为Nagios 编写健康检测 188
10.1.2 使用AMQP 模拟检测来确认RabbitMQ 是否运行 190
10.1.3 使用REST API 来检测 193
10.1.4 监控配置文件修改 196
10.1.5 监控集群状态 201
10.2 确保消费者正常工作 206
10.2.1 通过AMQP 监控队列等级 208
10.2.2 使用REST API 来监控队列级别 212
10.2.3 建立队列的消息计数基准经验法则 215
10.3 总结216
第11章 提升性能,保障安全217
11.1 对速度的需求 218
11.1.1 消息持久化 218
11.1.2 消息确认 219
11.1.3 路由算法和绑定规则 219
11.1.4 投递消息 221
11.2 内存使用率和进程限制 223
11.2.1 内存使用率 223
11.2.2 Erlang 进程计数 226
11.3 SSL连接 ..227
11.3.1 SSL 证书.228
11.3.2 设置证书颁发机构 ..229
11.3.3 生成根证书 233
11.3.4 生成服务器端证书 234
11.3.5 生成客户端证书 235
11.3.6 启用RabbitMQ 的SSL 监听器 236
11.3.7 测试你的RabbitMQ SSL 设置 237
11.4 总结 239
第12章 聪明的Rabbit:扩展RabbitMQ241
12.1 RabbitMQ插件 242
12.1.1 你可以用插件做什么 242
12.1.2 在哪里可以找到插件 244
12.1.3 安装插件 244
12.1.4 移除插件 245
12.2 制作你自己的插件 247
12.2.1 获取RabbitMQ Public Umbrella 248
12.2.2 设置文件夹结构 249
12.2.3 包含插件构建系统 250
12.2.4 创建Erlang 应用文件 250
12.3 创建自定义交换器模块 252
12.3.1 将交换器注册到RabbitMQ 254
12.3.2 实现交换器behaviour 257
12.3.3 编译自定义交换器 264
12.3.4 测试你的插件 267
12.4 总结 271
附录A 在Java和.NET上使用Rabbit 273
附录B 在线资源302
附录C 在Windows上安装RabbitMQ 307
精彩书摘
《RabbitMQ实战:高效部署分布式消息队列》:
欢迎阅读本书。如果你像我一样,你很有可能在想:“我是否应该从头开始阅读呢?”唉,市面上的技术书籍琳琅满目,但并不是所有的图书都值得花费时间关注。所以请让我邀你继续往下阅读,看看下面这份说明是否合你的胃口:
你想要通过一种实用的方法来学习推技术、流数据,以及其他消息通信模式。
你想要获得专家级别的RabbitMQ 技能,包括在设计方面和生产环境运行方面的最 佳实践。
换句话说,本书不仅仅是一本RabbitMQ 指南。它会为你讲解能覆盖多种使用场景的基本设计模式。它展现了为何越来越多的应用开始使用这些模式,以及哪些“可以做”、哪些“不能做”。
这些模式是怎样的呢?如果你曾经有想法将系统绘成一幅信息流或者网络图,而非栈的形式,那么你可能正在使用,或者正准备使用消息通信。你可能一直在考虑数据投递、非阻塞操作或者推送通知。或者,你想使用发布/ 订阅模式、异步处理或是工作队列。所有这些模式构成了众所周知的消息通信(messaging)。
消息通信是一种至关重要的能力:它使得软件应用可以相互连接并得以扩展。应用程序们既可以像一个巨大应用中的组件一样相互连接起来,也可以连接用户的设备和数据。消息通信从本质上来说是异步的,因为它通过分隔了数据的发送和接收来解耦应用。最奇妙的地方在于该连接模式可以在任何规模下以相同的方式工作。
规模是关键点。互联网无处不在,它作为应用程序投递的基础,使得规模在应用程序设计中成为关键因素。我们已经无法停留在小规模的思考方式上。最近,术语“大数据”(big data)已经变得非常流行。不过相较于最近几年来说,所有事物都往大的方向发展了。
举例来说,移动连接设备的数量很快就将超过地球上人口的数量。当我编写本书时,Facebook 正准备IPO。CTO Bret Taylor 说道:“如果Mark Zuckerberg 在宿舍编写Facebook 的时候这些技术就已经成熟的话,那么现在的Facebook 就已经是一个移动应用了。”
花点时间想想。大多数应用曾经都是这样运作的:加载文档或者从数据库获取数据,做一些处理,并将结果写入磁盘。将来的应用程序会更像Facebook :总是在线,并且托管在云端,在任何地方都能访问。输入和处理是连续且自动的,并即时输出用户想要的过滤信息流。
如果不采用一系列专门的设计模式的话,那么这些级别的自动化、可访问性和伸缩性都无从谈起。在本书中你就能学到这些模式。作为现代消息通信技术发起者之一,Derek Collison 将消息通信描述为“移动的数据”,这一点令人印象深刻。很难想象有什么应用是不需要移动数据的。因此,消息通信无处不在。
这本书可以让你立即上手。消息通信模式将以可运行代码的形式展现在你面前。作者也会帮助你在自己的系统上运行起来。在Jason J. W. Williams 和Alvaro Videla的帮助下,你就能零距离接触那些拥有多年运行大规模RabbitMQ 系统经验的专家了。本书是他们将经验分享给社区这一杰出工作的成果。
在对RabbitMQ 有了一点感觉之后,不管你使用何种语言编写程序,都能很容易地在广大RabbitMQ 用户社区里寻求到帮助并找到更多示例。这使得RabbitMQ成为能满足你消息通信需求的最 佳选择。
希望你已经被我吊起了胃口,准备翻开下一页继续阅读。书中会有关于消息和RabbitMQ 的一切,作者将会为你揭开它们的神秘“面纱”。
……
前言/序言
译者序
笔者从事互联网行业已五年有余,经历过大大小小十几个项目,其中包括金融领域方面的交易系统、医疗护理信息系统,再到后来的淘宝第三方软件供应商。这些项目不仅为我带来了丰富的阅历,更让我认识到软件开发的根本就在于降低软件复杂性。因此,我们需要采用可复用的软件设计模式,选取合适的软件构件来搭建自己的系统。这当中就用到了消息队列。
各位读者可能对消息队列并不陌生。消息队列提供一个异步通信协议,消息的发送者不用一直等待,直到消息被成功处理;而是立即返回。消息被暂存于队列当中,
对消息感兴趣的消费者会订阅消息并处理它们。那么,在什么样的场景下需要使用消息队列呢?其中之一就是系统集成。这些系统可能是公司的遗留系统,抑或是第三方维护的系统。集成的方法有很多,其中之一是让这些系统往数据库的某几张表写入数据,然后让新的系统定时地去轮询并取出数据进行处理。这已经具备了消息队列通信的雏形:其中的数据库表就是消息队列,它定义了消息的标准结构,并暂存待处理的消息。对于小型系统和简单的需求来讲,这样的解决方案没什么问题,并且足够应付了。但是随着日后业务需求的扩张,接入的系统越来越多,对于消息通信的需求也变得越来越复杂:
1. 你需要将同一条消息发送给多个感兴趣的系统,同时又需要让系统只接受符合特定模式的消息。
2. 你开始觉得系统当中的同步处理方式严重影响了吞吐量,你想把用户订单处理、消息通知等都修改成异步处理的方式。
3. 你开始关注系统的高可用性。同时你还想实时观测系统当中订单消息的处理速率,以便及时应对峰值压力。
通过使用标准的消息队列系统就可以轻松处理以上问题。当然它们提供的功能远不止这些。市面上有很多开放源码的消息队列系统,包括JBoss Messaging、JORAM、Apache ActiveMQ、Sun Open Message Queue、Apache Qpid、RabbitMQ,等等。其中就有本书讨论的RabbitMQ。它实现了AMQP 协议,并且遵循Mozilla Public License 开源协议。它支持多种编程语言,可以方便地和Spring 集成。最重要的一点是,使用消息队列并不是“杀鸡焉用牛刀”的问题,而是一种未雨绸缪,随着系统不断演进,你终将从消息队列中获益。
翻译一本书绝非易事。在此,我要感谢给予我帮助的赵震一和陈祥奎夫妇,你们是我的挚友与伯乐。感谢电子工业出版社的编辑张春雨和李云静,是你们的细心指导保证了本书的翻译质量。最后感谢我的女友,你是我的精神支柱,在你的陪伴和支持下,我得以全心全意地完成工作。
由于时间仓促,文中难免有不足之处,希望读者海涵,也希望各位能和我一样从中收获知识和快乐,谢谢大家。
汪佳南
2015 年9 月于杭州
序
欢迎阅读本书。如果你像我一样,你很有可能在想:“我是否应该从头开始阅读呢?”唉,市面上的技术书籍琳琅满目,但并不是所有的图书都值得花费时间关注。所以请让我邀你继续往下阅读,看看下面这份说明是否合你的胃口:
你想要通过一种实用的方法来学习推技术、流数据,以及其他消息通信模式。
你想要获得专家级别的RabbitMQ 技能,包括在设计方面和生产环境运行方面的最佳实践。
换句话说,本书不仅仅是一本RabbitMQ 指南。它会为你讲解能覆盖多种使用场景的基本设计模式。它展现了为何越来越多的应用开始使用这些模式,以及哪些“可以做”、哪些“不能做”。
这些模式是怎样的呢?如果你曾经有想法将系统绘成一幅信息流或者网络图,而非栈的形式,那么你可能正在使用,或者正准备使用消息通信。你可能一直在考虑数据投递、非阻塞操作或者推送通知。或者,你想使用发布/ 订阅模式、异步处理或是工作队列。所有这些模式构成了众所周知的消息通信(messaging)。
消息通信是一种至关重要的能力:它使得软件应用可以相互连接并得以扩展。应用程序们既可以像一个巨大应用中的组件一样相互连接起来,也可以连接用户的设备和数据。消息通信从本质上来说是异步的,因为它通过分隔了数据的发送和接收来解耦应用。最奇妙的地方在于该连接模式可以在任何规模下以相同的方式工作。
规模是关键点。互联网无处不在,它作为应用程序投递的基础,使得规模在应用程序设计中成为关键因素。我们已经无法停留在小规模的思考方式上。最近,术语“大数据”(big data)已经变得非常流行。不过相较于最近几年来说,所有事物都往大的方向发展了。
举例来说,移动连接设备的数量很快就将超过地球上人口的数量。当我编写本书时,Facebook 正准备IPO。CTO Bret Taylor 说道:“如果Mark Zuckerberg 在宿舍编写Facebook 的时候这些技术就已经成熟的话,那么现在的Facebook 就已经是一个移动应用了。”
花点时间想想。大多数应用曾经都是这样运作的:加载文档或者从数据库获取数据,做一些处理,并将结果写入磁盘。将来的应用程序会更像Facebook :总是在线,并且托管在云端,在任何地方都能访问。输入和处理是连续且自动的,并即时输出用户想要的过滤信息流。
如果不采用一系列专门的设计模式的话,那么这些级别的自动化、可访问性和伸缩性都无从谈起。在本书中你就能学到这些模式。作为现代消息通信技术
RabbitMQ实战:高效部署分布式消息队列 电子书 下载 mobi epub pdf txt