你的邮件服务负责发送订单收据。把它扩展到三个副本后,客户开始为每笔订单收到三份收据。每个副本都用自己的消费者组订阅,因此各自收到了每条消息的副本。相反的错误同样常见:图片缩放任务进入广播主题,第二个工作进程加入后,每张图片都被缩放两次。
这两类故障混淆了两种消息模型:消息队列把每条消息交给一个消费者,发布订阅则让每个订阅者收到自己的副本。本文用架构图比较这两种模型,再介绍投递保证、顺序、重放、扇出和死信队列,以及 Kafka、RabbitMQ、SQS/SNS 和 Pub/Sub 如何对应这些模型。
队列与主题:谁收到每条消息
在点对点模型中,生产者把消息发送到队列,一个消费者接收它。队列上的消费者相互竞争:消息代理把每条消息交给其中一个,收到该消费者的确认后再删除。它们是同一服务的副本,因此增加副本能更快清空队列。这种竞争消费者模式适合只需执行一次的任务,例如缩放图片。
在发布订阅模型中,发布者把消息发送到主题,主题再向每个订阅投递一份副本。订阅者是互不知情的不同服务,新增订阅者不需要修改发布者。
大多数系统会组合两者:主题向订阅扇出,每个订阅又是一个队列,由某个服务的副本竞争消费。设计问题在于扇出和竞争分别发生在哪里。
| 消息队列(点对点) | 发布订阅 | |
|---|---|---|
| 每条消息的消费者数 | 一个 | 每个订阅一个 |
| 消费者关系 | 同一服务的副本 | 不同服务 |
| 扩展方式 | 增加消费者 | 增加某个订阅的消费者 |
| 保留时间 | 直到确认或过期 | 按订阅保留,或保留日志中的一个时间窗口 |
| 重放 | 不支持 | 如果代理保留日志,则支持 |
| 典型用途 | 作业和命令 | 事件和通知 |
Kafka、RabbitMQ、SQS/SNS 和 Pub/Sub 如何对应这些模型
每种消息代理都实现了这两种模型:
| 系统 | 扇出(发布订阅) | 竞争消费者(队列) | 顺序 | 重放 |
|---|---|---|---|---|
| Apache Kafka | 每个消费者组读取每条记录 | 组内消费者分担分区;共享组分担记录 | 分区内有序 | 重置组偏移量 |
| RabbitMQ | 交换机把消息复制到绑定的队列 | 同一队列上的消费者 | 每个队列、一个消费者 | 仅流支持 |
| Amazon SNS + SQS | SNS 复制到每个订阅队列 | 同一 SQS 队列上的消费者 | FIFO,按消息组有序 | 仅 SNS FIFO 主题 |
| Google Cloud Pub/Sub | 每个订阅接收每条消息 | 同一订阅的客户端 | 排序键 | Seek |
Kafka。 每个分区在每个订阅的消费者组中,都由且仅由一个消费者消费(设计文档),因此一个组的活跃消费者数量不会超过分区数量。Kafka 4.2(2026 年 2 月)让共享组(KIP-932,Queues for Kafka)达到生产可用状态:消费者共享同一批分区中的记录,并逐条确认,不受分区数量限制,也不保证顺序。
SNS 到 SQS。 除非启用原始消息投递,否则 SNS 会把每条消息放在 JSON 信封中,复制到每个订阅服务对应的一个 SQS 队列(AWS 扇出指南)。各服务的工作进程在自己的队列上竞争。
RabbitMQ。 生产者向交换机发布消息,绑定决定哪些队列获得副本:fanout 复制到每个绑定队列,topic 匹配 order.# 之类的模式,direct 精确匹配键,headers 则匹配消息头(交换机类型)。
Google Pub/Sub。 每个服务使用一个订阅,该订阅的客户端共享消息。
三份收据问题的原因是按副本而不是按服务创建订阅。订阅、队列和组 ID 应按服务命名(billing-sub、group.id=billing),不要按主机或 Pod 命名。
投递保证
消息代理会重新投递未确认的消息,因此问题是消费者何时确认:
- 至多一次:处理前确认。进程崩溃会丢失消息,且不会重新投递。
- 至少一次:处理后确认。崩溃会触发重新投递,所以一条消息可能被处理两次。SQS 标准队列和 Pub/Sub 默认都提供至少一次投递。
- 恰好一次:每条消息只被处理一次,消息代理只在有限范围内提供这种保证。
SQS FIFO 队列会丢弃 5 分钟内使用相同去重 ID 的重发。Google Pub/Sub 的恰好一次投递可在单一区域的拉取订阅中,阻止成功确认后的重新投递。Kafka 事务覆盖 Kafka 内部的读写。它们都无法阻止消费者在扣款后、确认前崩溃而导致的银行卡重复扣款。
实际可行的答案是有效一次处理:至少一次投递,加上在副作用所在事务中记录每个消息 ID 的幂等消费者:
BEGIN;
INSERT INTO processed_messages (consumer, message_id)
VALUES ('billing', 'm2')
ON CONFLICT DO NOTHING;
-- 0 rows: duplicate, skip the side effect
-- 1 row: apply the side effect in this transaction
COMMIT;
-- acknowledge the message only after the commit
在生产者一侧,事务性发件箱模式让数据库写入与消息发布保持一致。
顺序
竞争消费者会破坏先进先出:m1 分配给工作进程 1,m2 分配给工作进程 2,而 m2 可能先完成。况且,SQS 标准队列本身只承诺尽力保持顺序。严格顺序需要限定范围,在每个范围内同一时间只允许一个消费者:
- SQS FIFO:顺序在消息组(
MessageGroupId)内保持,不同组并行执行。不使用批处理时,每个操作每秒可调用 300 次 API;使用每批 10 条时,每秒可处理 3,000 条消息;高吞吐模式还能更高。 - Kafka:相同键的记录进入同一分区,每个组由一个消费者读取该分区。
- Google Pub/Sub:在同一区域发布、具有相同排序键的消息,会有序抵达启用排序的订阅。每个键的发布速率上限为 1 MBps;重新投递一条消息也会重新投递该键的后续消息。
按账户或设备排序,不要全局排序:全局顺序意味着只有一个消费者,并形成吞吐上限。
保留与重放:日志和队列的区别
队列是待办清单:已确认消息会被删除,SQS 默认让未消费消息在 4 天后过期(可设为 60 秒至 14 天)。日志则是历史记录:Kafka 在保留期内保存记录,无论是否已读取(log.retention.hours 默认为 168,即七天)。每个消费者组只保存一个偏移量,因此新组可以从最早的记录开始,已有组也能回退。RabbitMQ 流也是日志,从 x-stream-offset 指定的位置读取。Google Pub/Sub 介于两者之间:未确认消息默认保留 7 天(可设为 10 分钟至 31 天),已确认消息可选择保留,订阅也可以向过去 seek。
错误部署后,在消费者停止时重放 Kafka 组:
kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
--group billing --topic order-events \
--reset-offsets --to-datetime 2026-11-28T00:00:00.000 --execute
重放会重建CQRS 读取模型,为新服务补充历史数据,因此每个消费者都必须能够容忍重复处理。Kafka 架构图详细介绍了分区和偏移量。
背压、可见性超时与死信队列
队列能吸收突发负载,因为消费者按自己的速度取任务;通知系统中按渠道划分的队列还能避免一个缓慢的短信服务商拖慢邮件和推送。RabbitMQ 会向消费者推送消息,因此应使用 basic.qos 预取限制,约束每个消费者未确认的消息数。
消费者处理期间,消息代理会暂时向其他消费者隐藏消息,这与任务调度器中的租约十分相似。如果处理时间更长,消息就会重新出现,第二个消费者也会接收到它。将超时设置为高于正常处理的最慢耗时,或者延长它:
| 消息代理 | 处理期间的租约 | 延长方式 | 停止重试的条件 |
|---|---|---|---|
| Amazon SQS | 可见性超时:默认 30 s,最长 12 h | ChangeMessageVisibility |
达到 maxReceiveCount 后进入死信队列 |
| Google Pub/Sub | 确认期限:默认 10 s,最长 600 s | ModifyAckDeadline |
默认 5 次尝试(最多 100 次),之后进入死信主题 |
| Kafka 共享组 | 获取锁:默认 30 s | RENEW 确认 |
默认 5 次尝试,之后归档记录;Kafka 4.4 起也可写入死信主题 |
RabbitMQ 会在消费者确认前关闭通道时重新投递,并通过死信交换机转发失败消息。
始终处理失败的毒消息应进入死信队列:对队列深度设置告警,并准备重新投递流程。在发布订阅中,故障保持隔离:分析消费者损坏只会增加自己的积压,因此应对每个订阅中最早的未确认消息设置告警。
按场景选择
| 使用场景 | 模型 | 合适的选择 |
|---|---|---|
| 后台任务:缩略图、PDF、邮件 | 队列 | SQS standard、RabbitMQ quorum 队列、Kafka 共享组 |
| 每个账户内有序的命令 | 带排序范围的队列 | 按账户分组的 SQS FIFO、以账户为键的 Kafka |
| 多个服务都要响应的事件 | 发布订阅,每个订阅者一个队列 | SNS 到 SQS、RabbitMQ fanout 交换机、Pub/Sub 订阅、Kafka 消费者组 |
| 重建状态或为消费者补充历史数据 | 日志 | Kafka、RabbitMQ 流 |
| 跨服务的多步骤流程 | 队列承载命令,发布订阅承载结果 | Saga 模式 |
队列与 Pub/Sub 架构图
图表内容
- Upload API
- resize-jobs
- Resize worker 1
- Resize worker 2
- Resize worker 3
- Order service
- order-events
- email-sub
- billing-sub
- analytics-sub
- Email service
- Billing service
- Analytics service
- send m1, m2, m3
- m1
- m2
- m3
- publish m1, m2, m3
- copy
- m1, m2, m3
这张图的读法如下:
- 两条泳道使用相同的消息 ID。 上方是点对点队列,下方是发布订阅。每个生产者发送 m1 至 m3。
- 上方泳道: resize-jobs 队列把每条消息交给不同工作进程,它们都是同一服务的副本。
- 下方泳道: order-events 主题把每条消息复制到三个订阅,每个服务对应一个,因此邮件、计费和分析服务各自收到 m1、m2、m3。
- 实线箭头表示发送、发布和复制;虚线箭头表示由消费者确认的异步投递。
- Markdown 块列出超时与保留时间的默认值。
清晰绘制消息系统架构图
- 画出订阅,不要只画主题。 从主题直接指向服务的箭头会隐藏消息在哪里等待,以及谁负责各自的积压。
- 用消息名称或 ID 标注连线,不要只写“事件”:m1、m2、m3 展示的是分配与复制的区别。
- 在竞争关系重要时画出副本,并在队列或主题旁标记排序键和死信路径。
事件驱动架构图指南将这套表示法扩展到完整的 Kafka 系统。
在 Archboard 中构建
- 使用 Google 或 GitHub 登录并创建图表。
- 为每条泳道添加基础包中的文本标题。
- 上方泳道:从 C4 模型 包添加名为 Upload API 的容器,从数据包添加名为 resize-jobs 的队列,再添加三个容器节点 Resize worker 1 至 3。向队列绘制标记“send m1, m2, m3”的实线,向工作进程绘制标记 m1、m2、m3 的虚线。
- 下方泳道:添加名为 Order service 的容器、数据包中名为 order-events 的主题、三个队列节点(email-sub、billing-sub、analytics-sub),以及分别表示邮件、计费和分析服务的三个容器节点。将主题的连线标记为“copy”,虚线投递标记为“m1, m2, m3”。
- 每条泳道使用一种强调色,蓝色或青绿色,并在队列和主题下方添加基础包中的文本注释。
- 从基础包添加一个 Markdown 块,列出默认值。
更大的系统可以从事件驱动架构模板开始;如果流程已经采用 Mermaid,Mermaid 转可编辑图表工具可以生成初稿。
这个示例共用 14 个图表节点,在 Free 套餐的限制之内。
常见问题
Pub/Sub 与消息队列有什么区别? 队列把每条消息交给一个消费者,并在确认后删除。Pub/Sub 给每个订阅各一份副本,因此多个服务都可以响应同一事件。
Kafka 是消息队列还是 Pub/Sub 系统? 两者都是。每个消费者组读取每条记录,这属于发布订阅;组内消费者像队列一样分担分区。Kafka 4.2 的共享组增加了逐条记录确认。
Kafka、RabbitMQ 和 SQS 应该选哪个? 若需要无需自行运维组件的 AWS 托管队列,选择 SQS;灵活路由选择 RabbitMQ;需要高吞吐和可重放历史,选择 Kafka。
已经有 SQS,还需要 SNS 吗? 只有多个服务都需要每条消息时才需要。此时 SNS 会为每个服务把消息复制到一个 SQS 队列,各自拥有独立的重试和死信队列。
有消息队列能保证恰好一次投递吗? 不能端到端保证。SQS FIFO、Google Pub/Sub 和 Kafka 事务只在有限范围内防止重复;邮件和支付仍然需要幂等消费者。