RabbitMQ实战(二)-基础概念

0 相关源码

1 为什么是你? RabbitMQ

RabbitMQ是一个开源的消息代理和队列服务器,通过普通协议在完全不同的应用之间共享数据,使用Erlang语言编写,并且基于AMQP协议.

1.1 大厂们共同的抉择

• 滴滴、美团、头条、去哪儿、艺龙…

1.2 得天独厚的强势

• 开源,性能优秀,稳定性有保障
• 提供可靠性消息投递模式(confirm), 返回模式 ( return )
• 与Spring AMQP完美整合,API丰富
• 集群模式丰富，表达式配置，HA模式，镜像队列模型
• 保证数据不丢失的前提做到高可靠性、可用性

2 高性能之源

• Erlang语言 最初在于交换机领域的架构模式，这样使得RabbitMQ在Broker之间进行数据交互的性能是非常优秀的
• Erlang的优点: Erlang有着和原生Socket一样的延迟

3 AMQP协议

• AMQP全称: Advanced Message Queuing Protocol 高级消息队列协议
• AMQP定义
  是具有现代特征的二进制协议。 是一个提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计

4 协议模型

5 AMQP核心概念

• Server: 又称Broker, 接受客户端的连接，实现AMQP实体服务
• Connection: 连接,应用程序与Broker的网络连接
• Channel:网络信道，几乎所有的操作都在Channel中进行，Channel是进行消息读写的通道。客户端可建立多个Channel,每个Channel代表一个会话任务
• Message:消息，服务器和应用程序之间传送的数据，由Properties和Body组成。Properties可以对消息进行修饰， 比如消息的优先级、延迟等高级特性; Body则就是消息体内容
• Virtual host:虚拟地址，用于进行逻辑隔离，最上层的消息路由.一个Virtual Host里面可以有若干个Exchange和Queue,同一个Virtual Host里面不能有相同名称的Exchange或Queue
• Exchange:交换机，接收消息，根据路由键转发消息到绑定的队列
• Binding: Exchange和Queue之间的虚拟连接，binding中可以包含routing key
• Routing key:一个路由规则，虚拟机可用它来确定如何路由一个特定消息
• Queue:也称为Message Queue,消息队列，保存消息并将它们转发给消费者

6 RabbitMQ整体架构与消息流转

7 安装

7.1 本节食用指南

• 官网地址: http://www.rabbitmq.com/
• 预先准备:安装Linux必要依赖包
• 下载RabbitMQ必须安装包
• 配置文件修改

7.2 下载及安装

7.2.1 Ubuntu环境

7.2.2 CentOS7.3

对于初学者,推荐使用一键式的RPM安装方式

• 注意与 erlang 版本的对应关系!
  

由于笔者使用3.6.5 版本.查看对应 erlang

• 下载 erlang 环境
  
• 下载完毕
  
• rpm时报错,缺少依赖
  
• 解决问题
  
• 再次 rpm
  
• 下载 rabbitmq rpm 文件
  
• 下载完毕
  
• 安装报错
  
• 下载 socat
  
• 安装 socat
  
• 再次安装 rebbitmq 即可.
  

配置文件

• 默认端口号
  
• 编辑用户访问权限.
  
• 修改如下,暂时本地可访问
  

7.2.3 macOS

• 下载安装RabbitMQ

  // 更新brew资源
  brew update
  // 执行安装
  brew install rabbitmq

MQ的安装目录在 /usr/local/Cellar/rabbitmq

• 安装RabiitMQ的可视化监控插件

 // 切换到MQ目录,注意你的安装版本可能不是3.7.15
   cd /usr/local/Cellar/rabbitmq/3.7.15/
   // 启用rabbitmq management插件
   sudo sbin/rabbitmq-plugins enable rabbitmq_management

• 配置环境变量

 sudo vi /etc/profile
 //加入以下两行
 export RABBIT_HOME=/usr/local/Cellar/rabbitmq/3.7.4
 export PATH=$PATH:$RABBIT_HOME/sbin
 // 立即生效
 source /etc/profile

• 后台启动rabbitMQ

  // 后台启动
  rabbitmq-server -detached  
  // 查看状态
  rabbitmqctl status 
  // 访问可视化监控插件的界面
  // 浏览器内输入 http://localhost:15672,默认的用户名密码都是guest,登录后可以在Admin那一列菜单内添加自己的用户
  rabbitmqctl stop 关闭

8 基本使用

8.1 常用命令

• 启动服务

rabbitmq-server start &

• 停止服务

rabbitmqctl stop_ app

• 管理插件

rabbitmq-plugins enable rabbitmq_ management

• 访问地址
  http://192.168.11.76:15672/

8.2 重启操作

9 quickstart - 消息的生产与消费

9.1 基本构建缺一不可

• ConnectionFactory:获取连接工厂
• Connection:一个连接
• Channel:数据通信信道,可发送和接收消息
• Queue:具体的消息存储队列
• Producer & Consumer生产和消费者

9.2 实操演示

• Pro
  
• Con
  
  由于是Con端才创建有对列,所以必须先启动Con端,再启动Pro端!
  分别启动运行

10 命令行与管控台常规操作

10.1 常用命令行

• rabbitmqctl stop_ app: 关闭应用
• rabbitmqctl start app: 启动应用
• rabbitmqctl status: 节点状态
• rabbitmqctl add_ user username password:添加用户
• rabbitmqctl list users:列出所有用户
• rabbitmqctl delete_ user username:删除用户
• rabbitmqctl clear permissions -p vhostpath username:清除用户权限
• rabbitmqctl list user_ permissions username:列出用户权限
• rabbitmqctl change_ password username newpassword:修改密码
• rabbitmqctl set permissions -p vhostpath username
• “."".”".*": 设置用户权限
• rabbitmqctl add vhost vhostpath:创建虚拟主机
• rabbitmqctl list vhosts: 列出所有虚拟主机
• rabbitmqctl list_ permissions -p vhostpath:列出虚拟主机上所有权限
• rabbitmqctl delete vhost vhostpath:删除虚拟主机
• rabbitmqctl list queues:查看所有队列信息
• rabbitmqctl -p vhostpath purge_ queue blue:清除队列里的消息
• rabbitmqctl reset:移除所有数据，要在rabbitmqctl stop_ app之后使用
• rabbitmqctl join_cluster < clusternode > [- -ram] :组成集群命令
• rabbitmqctl cluster status: 查看集群状态
• rabbitmqctl change_ cluster_ node type disc | ram 修改集群节点的存储形式
• rabbitmqctl forget_ cluster_ node [–offline]忘记节点(摘除节点)
• rabbitmqctl rename_cluster_node oldnode1 newnode1 [oldnode2] [newnode2…]修改节点名称

实操

• 查看端口占用
  
• ctl命令
  

10.2 管控台的管理

• 主界面
  
• 主界面-监测全部信息
  
• 主界面-当前节点的状态
  
• 主界面-当前节点一些存储路径
  
• 主界面-端口号集锦
  
• 主界面-配置文件的导入导出
  
• 管控台connection界面
  
• 管控台channel界面
  
• 管控台queues界面
  
• 管控台Exchanges界面
• 管理员界面-添加用户
• 管理员界面-添加虚拟主机
  
• 管理员界面-集群管理
  

13 Exchange交换机

Exchange:接收消息,并根据路由键转发消息所绑定的队列

蓝色 - Send Message:把消息投递到交换机,由路由键路由到指定的队列

13.1 交换机属性

除交换机类型外，在声明交换机时还可以附带许多其他的属性，其中最重要的几个分别是：

• Name:交换机名称
• Type:交换机类型direct、topic、 fanout、 headers
• Durability：是否需要持久化。如果持久化，则RabbitMQ重启后，交换机还存在
• Auto-delete:当最后一个绑定到Exchange 上的队列删除后，自动删除该Exchange
• Internal:当前Exchange是否于RabbitMQ内部使用，默认为False

13.2 交换机类型

交换机主要包括如下4种类型：

Direct exchange（直连交换机）
Fanout exchange（扇型交换机）
Topic exchange（主题交换机）
Headers exchange（头交换机）
另外RabbitMQ默认定义一些交换机：

默认交换机
amq.* exchanges
还有一类特殊的交换机：Dead Letter Exchange（死信交换机）

13.2.1 Direct Exchange

所有发送到DE的消息被转发到RouteKey中指定的Queue

注意: Direct模式可以使用RabbitMQ自带的Exchange: default Exchange,所以不需要将Exchange进行任何绑定(binding)操作,消息传递时，RouteKey必须完全匹配才会被队列接收，否则该消息会被抛弃.

13.2.2 Direct Exchange原理示意图

13.2.3 Direct Exchange实操演示

• Pro
  

• Con
  

注意路由key保持一致!,分别启动

13.2.2 Topic exchange

尽管使用直接交换改进了我们的系统，它仍然有局限性 - 不能做基于多个标准的路由.

在我们的日志系统中，我们可能不仅要根据严重性订阅日志，还要根据发出日志的源来订阅日志。你可能从syslog unix工具中了解这个概念，它根据严重性（info / warn / crit …）和facility（auth / cron / kern …）来路由日志。

这会给我们很多灵活性 - 我们可能想要监听来自’cron’的关键错误以及来自’kern’的所有日志。

为了在我们的日志记录系统中实现这一点，我们需要了解更复杂的主题交换机.

• *可以匹配一个单词

• #可以匹配零个或多个单词。

• 所有发送到Topic Exchange的消息会被转发到所有关心RouteKey中指
  定Topic的Queue上

• Exchange将RouteKey和某Topic进行模糊匹配，此时队列需要绑定一个Topic

13.2.2.1 实例1

在这个例子中，我们将发送所有描述动物的消息。消息将与包含三个单词（两个点）的routing key一起发送.
routing key中的第一个单词描述速度，第二颜色，第三是物种：“。。”。

我们创建了三个绑定：Q1绑定了绑定键“* .orange.”，Q2绑定了“.*.rabbit”和“lazy.＃”

这些绑定可以总结为：

• Q1对所有橙色动物感兴趣
• Q2希望听到关于兔子的一切，以及关于懒惰动物的一切

routing key设置为“quick.orange.rabbit”的消息将传递到两个队列。消息“lazy.orange.elephant”也将同时发送给他们.
另一方面

• “quick.orange.fox”只会转到第一个队列
• 而“lazy.brown.fox”只会转到第二个队列
• “lazy.pink.rabbit”将仅传递到第二个队列一次，即使它匹配两个绑定
• “quick.brown.fox”与任何绑定都不匹配，因此它将被丢弃。

如果我们违背我们的约定并发送带有一个或四个单词的消息，例如“orange” or “quick.orange.male.rabbit”，会发生什么?好吧,这些消息将不会匹配任何绑定,因此将丢失.

另一方面，“lazy.orange.male.rabbit”，虽然它有四个单词，也会匹配最后一个绑定，并将被传递到第二个队列。

实例图

实操演示

• Pro
  

• Con
  

• 启动消费者:
  
  

• 启动生产者:
  
  消费端收到了消息

• 修改匹配格式,理论上只能接受前两个消息
  

• 注意在管控台,先将之前的匹配绑定取消!
  
  

• 显然仅能接受前两个消息
  

小结

主题交换机功能强大，可以像其他交换机一样运行。
当队列绑定“＃”（哈希）绑定key时 - 它将接收所有消息，而不管routing key - 就像在fanout交换机一样
当特殊字符“*”（星号）和“＃”（哈希）未在绑定中使用时，主题交换机的行为就像直接交换机一样。

13.2.3 Fanout Exchange

• 不处理路由键，只需要简单的将队列绑定到交换机上
• 发送到交换机的消息都会被转发到与该交换机绑定的所有队列上
• Fanout交换机转发消息是最快的
  

实操演示

• Con
  

• Pro
  

• 启动消费端
  

• 不需要routing key
  

• 启动生产者后接收到的消息
  

14 绑定(Binding)

• Exchange和Exchange、Queue之间的连接关系
• Binding中可以包含RoutingKey或者参数

15 Queue-消息队列

• 消息队列，实际存储消息数据
• Durability: 是否持久化，Durable: 是，Transient: 否
• Auto delete:如选yes,代表当最后一个监听被移除之后,该Queue会自动被删除.

16 Message-消息

• 服务器和应用程序之间传送的数据
• 本质上就是一段数据，由Properties和Payload ( Body )组成

16.1 常用属性

delivery mode、headers (自定义属性)
content_ type. content_ encoding. priority
correlation id. reply to

expiration - 过期时间

这里就牵涉到RabbitMQ的TTL机制

message_ id
timestamp. type. user id. app_ id. cluster id

实操演示

• Con
  
• 启动消费端
  
• Pro,注意TTL为10s
  
• 接着启动Pro,Con接收消息
  
• 现在5条消息,10s后为0消息全部已清除
  
  

参考

RabbitMQ官网
mac + RabbitMQ 安装
RabbitMQ 从入门到精通 （一）

更多干货内容尽在JavaEdge公众号