メールサービスが注文の領収書を送っています。レプリカを3つに増やすと、顧客に注文ごとに3通の領収書が届き始めました。各レプリカが独自のコンシューマーグループで購読したため、すべてのメッセージのコピーをそれぞれ受け取ったのです。逆の間違いもよくあります。画像のリサイズ処理をブロードキャストトピックに送り、2つ目のワーカーが加わると、すべての画像が2回リサイズされます。
どちらも、各メッセージを1つのコンシューマーに渡すメッセージキューと、各購読者が自分のコピーを受け取る発行・購読という2つのメッセージングモデルを混同しています。この記事では両者を図で比較し、配信保証、順序、再生、ファンアウト、デッドレターキューと、Kafka、RabbitMQ、SQS/SNS、Pub/Subが各モデルにどう対応するかを説明します。
キューとトピック:各メッセージを誰が受け取るか
ポイントツーポイントモデルでは、プロデューサーがキューにメッセージを送り、1つのコンシューマーが受信します。キューのコンシューマーは競合します。ブローカーは各メッセージをそのうちの1つに渡し、そのコンシューマーが確認応答を返すと削除します。同じサービスのレプリカなので、増やすとキューを速く処理できます。この競合コンシューマーパターンは、画像のリサイズのように1回実行すべき処理に適しています。
発行・購読モデルでは、パブリッシャーがトピックにメッセージを送り、トピックが各サブスクリプションにコピーを配信します。サブスクライバーは互いを知らない別々のサービスで、追加してもパブリッシャーは変わりません。
多くのシステムは両者を組み合わせます。トピックがサブスクリプションにファンアウトし、それぞれのサブスクリプションは1つのサービスのレプリカが競合するキューになります。設計で問うべきなのは、ファンアウトと競合がどこで起きるかです。
| メッセージキュー(ポイントツーポイント) | 発行・購読 | |
|---|---|---|
| メッセージあたりのコンシューマー | 1つ | サブスクリプションごとに1つ |
| コンシューマーの関係 | 1つのサービスのレプリカ | 異なるサービス |
| スケール方法 | コンシューマーを増やす | サブスクリプションのコンシューマーを増やす |
| 保持 | 確認応答または期限切れまで | サブスクリプション単位、またはログの時間枠 |
| 再生 | なし | ブローカーがログを保持する場合は可能 |
| 代表的な用途 | ジョブとコマンド | イベントと通知 |
Kafka、RabbitMQ、SQS/SNS、Pub/Subと各モデルの対応
どのブローカーも両方のモデルを実装しています。
| システム | ファンアウト(Pub/Sub) | 競合コンシューマー(キュー) | 順序 | 再生 |
|---|---|---|---|---|
| Apache Kafka | 各コンシューマーグループが全レコードを読む | グループ内でパーティションを分担し、共有グループではレコードを分担する | パーティション単位 | グループのオフセットをリセット |
| RabbitMQ | Exchangeがバインドされたキューに複製する | 1つのキューのコンシューマー | キュー単位、コンシューマー1つ | ストリームのみ |
| Amazon SNS + SQS | SNSが購読している各キューに複製する | 1つのSQSキューのコンシューマー | FIFO、メッセージグループ単位 | SNS FIFOトピックのみ |
| Google Cloud Pub/Sub | 各サブスクリプションが全メッセージを受信する | 1つのサブスクリプションのクライアント | 順序キー | Seek |
Kafka。 各パーティションは、購読する各コンシューマーグループ内のちょうど1つのコンシューマーに消費されます(設計ドキュメント)。そのため、グループのアクティブなコンシューマー数がパーティション数を超えることはありません。Kafka 4.2(2026年2月)で共有グループ(KIP-932、Queues for Kafka)が本番利用可能になりました。コンシューマーは同じパーティションのレコードを共有し、1件ずつ確認応答を返せるため、パーティション数による制限も順序保証もありません。
SNSからSQSへ。 生のメッセージ配信を有効にしない限り、SNSは各メッセージをJSONエンベロープに包み、購読するサービスごとに1つのSQSキューへ複製します(AWSのファンアウトガイド)。各サービスのワーカーは自分たちのキューで競合します。
RabbitMQ。 プロデューサーはExchangeに発行し、バインディングがコピーを受け取るキューを決めます。fanoutはバインドされた全キューへ複製し、topicはorder.#などのパターン、directはキーの完全一致、headersはメッセージヘッダーで照合します(Exchangeの種類)。
Google Pub/Sub。 サービスごとにサブスクリプションを1つ作り、そのサブスクライバークライアントがメッセージを分担します。
領収書が3通届く問題は、サービス単位ではなくレプリカ単位でサブスクリプションを作ったことが原因です。サブスクリプション、キュー、グループIDは、ホストやPodではなくサービスに合わせて命名してください(billing-sub、group.id=billing)。
配信保証
ブローカーは未確認のメッセージを再配信するため、重要なのはコンシューマーがいつ確認応答を返すかです。
- 最大1回:処理前に確認応答を返します。クラッシュするとメッセージは失われ、再配信されません。
- 最低1回:処理後に確認応答を返します。クラッシュすると再配信されるため、同じメッセージを2回処理する可能性があります。SQS標準キューとPub/Subのデフォルトは、どちらも最低1回の配信です。
- 厳密に1回:各メッセージを1回だけ処理します。ブローカーが提供するのは、限定された範囲での保証です。
SQS FIFOキューは、5分以内に同じ重複排除IDで再送されたメッセージを除外します。Google Pub/Subの厳密に1回の配信は、単一リージョンのpullサブスクリプションで、確認応答の成功後に再配信を防ぎます。KafkaトランザクションはKafka内の読み書きを対象とします。課金後、確認応答の前にコンシューマーがクラッシュした場合に、カードへの二重請求を防ぐものではありません。
実務的な答えは、実質的に1回の処理です。最低1回の配信と、メッセージIDを副作用と同じトランザクションで記録する冪等なコンシューマーを組み合わせます。
BEGIN;
INSERT INTO processed_messages (consumer, message_id)
VALUES ('billing', 'm2')
ON CONFLICT DO NOTHING;
-- 0 rows: duplicate, skip the side effect
-- 1 row: apply the side effect in this transaction
COMMIT;
-- acknowledge the message only after the commit
プロデューサー側では、トランザクショナルアウトボックスパターンがデータベースへの書き込みと発行の整合性を保ちます。
順序
競合するコンシューマーは先入れ先出しを崩します。m1がワーカー1、m2がワーカー2に渡り、m2が先に完了する場合があります。そもそもSQS標準キューが約束するのはベストエフォートの順序です。厳密な順序には範囲を決め、その範囲で同時に1つのコンシューマーだけが処理する必要があります。
- SQS FIFO:メッセージグループ(
MessageGroupId)内で順序が保たれ、グループは並列に実行されます。バッチなしではアクションごとに毎秒300 API呼び出し、10件のバッチでは毎秒3,000メッセージ、高スループットモードではそれ以上を処理できます。 - Kafka:同じキーのレコードは同じパーティションに入り、グループごとに1つのコンシューマーが読みます。
- Google Pub/Sub:単一リージョンで発行した同じ順序キーのメッセージは、順序を有効にしたサブスクリプションに順番に届きます。キーごとの発行上限は1 MBpsで、再配信が起きると、そのキーの後続メッセージも再配信されます。
順序はアカウント単位やデバイス単位にし、全体には適用しないでください。全体の順序を保つとコンシューマーが1つになり、スループットに上限ができます。
保持と再生:ログとキューの違い
キューは処理待ちリストです。確認済みメッセージは削除され、SQSでは未処理メッセージもデフォルトで4日後に期限切れになります(設定範囲は60秒~14日)。ログは履歴です。Kafkaは読まれたかどうかにかかわらず、保持期間中はレコードを残します(log.retention.hoursのデフォルトは168、つまり7日)。各コンシューマーグループはオフセットだけを保存するため、新しいグループは最古のレコードから始められ、既存のグループは巻き戻せます。RabbitMQストリームもログであり、x-stream-offsetで指定した位置から読みます。Google Pub/Subはその中間です。未確認メッセージはデフォルトで7日間(10分~31日)保持され、確認済みメッセージの保持は任意で、サブスクリプションを過去にseekできます。
問題のあるデプロイ後、コンシューマーを停止してKafkaグループを再生する例です。
kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
--group billing --topic order-events \
--reset-offsets --to-datetime 2026-11-28T00:00:00.000 --execute
再生はCQRSの読み取りモデルを再構築し、新サービスへ過去データを補充するため、どのコンシューマーも再処理に耐えなければなりません。Kafkaアーキテクチャ図ではパーティションとオフセットを詳しく説明しています。
バックプレッシャー、可視性タイムアウト、デッドレターキュー
コンシューマーが自分のペースで仕事を取得するため、キューは急な負荷を吸収します。通知システムのチャネルごとのキューなら、遅いSMSプロバイダーがメールやプッシュを滞らせることもありません。RabbitMQはメッセージをコンシューマーにプッシュするので、basic.qosのプリフェッチ上限でコンシューマーごとの未確認メッセージ数を制限してください。
コンシューマーが処理している間、ブローカーは一定時間、ほかのコンシューマーからメッセージを隠します。これはジョブスケジューラのリースとよく似た仕組みです。処理が長引くとメッセージは再び表示され、2つ目のコンシューマーも受け取ります。タイムアウトを通常処理の最長時間より長くするか、延長してください。
| ブローカー | 処理中のリース | 延長方法 | 再試行の終了条件 |
|---|---|---|---|
| Amazon SQS | 可視性タイムアウト:デフォルト30 s、最大12 h | ChangeMessageVisibility |
maxReceiveCountの後、デッドレターキューへ |
| Google Pub/Sub | 確認応答期限:デフォルト10 s、最大600 s | ModifyAckDeadline |
デフォルト5回(最大100回)の後、デッドレタートピックへ |
| Kafka共有グループ | 取得ロック:デフォルト30 s | RENEW確認応答 |
デフォルト5回の後、レコードをアーカイブ(Kafka 4.4以降はデッドレタートピックへの書き込みも可能) |
RabbitMQは、コンシューマーのチャネルが確認応答の前に閉じると再配信し、デッドレターExchangeを通じて失敗したメッセージを送ります。
必ず失敗するポイズンメッセージはデッドレターキューに入れます。深さを監視してアラートを設定し、再投入手順を用意してください。Pub/Subでは失敗が分離され、分析コンシューマーが壊れても増えるのはそのサービスの滞留だけです。サブスクリプションごとに最も古い未確認メッセージを監視してください。
用途に応じた選択
| 用途 | モデル | 適した選択肢 |
|---|---|---|
| バックグラウンド処理:サムネイル、PDF、メール | キュー | SQS standard、RabbitMQ quorumキュー、Kafka共有グループ |
| アカウントごとに順序を守るコマンド | 順序の範囲を持つキュー | アカウントでグループ化したSQS FIFO、アカウントをキーにしたKafka |
| 複数サービスが反応するイベント | Pub/Sub、購読者ごとに1キュー | SNSからSQS、RabbitMQ fanout Exchange、Pub/Subサブスクリプション、Kafkaコンシューマーグループ |
| 状態の再構築やコンシューマーへの過去データの補充 | ログ | Kafka、RabbitMQストリーム |
| 複数サービスにまたがる多段階処理 | キュー上のコマンド、Pub/Sub上の結果 | Sagaパターン |
キューとPub/Subの図
ダイアグラムの内容
- Upload API
- resize-jobs
- Resize worker 1
- Resize worker 2
- Resize worker 3
- Order service
- order-events
- email-sub
- billing-sub
- analytics-sub
- Email service
- Billing service
- Analytics service
- send m1, m2, m3
- m1
- m2
- m3
- publish m1, m2, m3
- copy
- m1, m2, m3
図の読み方は次のとおりです。
- 2つのレーンで同じメッセージIDを使います。 上はポイントツーポイントのキュー、下は発行・購読です。各プロデューサーはm1~m3を送ります。
- 上のレーン: resize-jobsキューは、同じサービスのレプリカである別々のワーカーに1件ずつメッセージを渡します。
- 下のレーン: order-eventsトピックは、サービスごとに1つの計3サブスクリプションに全メッセージをコピーします。メール、請求、分析の各サービスがm1、m2、m3をすべて受信します。
- 実線の矢印は送信、発行、コピーを示し、破線の矢印はコンシューマーが確認応答を返す非同期配信を示します。
- Markdownブロックは、タイムアウトと保持期間のデフォルト値を示します。
メッセージング図をわかりやすく描く
- トピックだけでなくサブスクリプションも描きます。 トピックから直接サービスへ向かう矢印では、メッセージがどこで待ち、誰が滞留を所有するのかがわかりません。
- 接続線にはメッセージ名やIDを付けます。 単に「イベント」とせず、m1、m2、m3によって分担と複製の違いを示します。
- 競合が重要な場合はレプリカを示します。 また、順序キーとデッドレター経路を、そのキューやトピックの横に記します。
イベント駆動アーキテクチャ図のガイドでは、この表記をKafkaシステム全体へ拡張しています。
Archboard で作る
- GoogleまたはGitHubでログインし、図を作成します。
- 各レーンに基本パックのテキスト見出しを追加します。
- 上のレーン:C4 モデルパックのコンテナをUpload APIという名前で、データパックのキューをresize-jobsという名前で配置し、Resize worker 1~3という3つのコンテナノードを追加します。キューには「send m1, m2, m3」の実線、各ワーカーにはm1、m2、m3の破線を接続します。
- 下のレーン:Order serviceというコンテナ、データパックのorder-eventsというトピック、3つのキュー(email-sub、billing-sub、analytics-sub)、メール、請求、分析サービス用の3つのコンテナを追加します。トピックの接続線は「copy」、破線の配信は「m1, m2, m3」と表示します。
- 各レーンを青か青緑の1つのアクセント色にし、キューとトピックの下に基本パックのテキスト注記を置きます。
- 基本パックから、デフォルト値を記したMarkdownブロックを追加します。
大きなシステムではイベント駆動アーキテクチャのテンプレートから始めてください。既存のMermaidフローなら、Mermaidを編集可能な図にするツールで最初の下書きを作れます。
この例で使うダイアグラムノードは14個で、Freeプランの範囲に収まります。
よくある質問
Pub/Subとメッセージキューの違いは何ですか? キューは各メッセージを1つのコンシューマーに渡し、確認応答後に削除します。Pub/Subは各サブスクリプションにコピーを渡すので、複数のサービスが1つのイベントに反応できます。
Kafkaはメッセージキューですか、それともPub/Subシステムですか? 両方です。すべてのコンシューマーグループがすべてのレコードを読む点はPub/Subで、グループ内のコンシューマーはキューのようにパーティションを分担します。Kafka 4.2の共有グループでは、レコードごとに確認応答を返せます。
Kafka、RabbitMQ、SQSのどれを使うべきですか? 運用するものがないAWSのマネージドキューならSQS、柔軟なルーティングならRabbitMQ、再生可能な履歴を伴う高スループットならKafkaです。
すでにSQSを使っている場合もSNSは必要ですか? 複数のサービスが各メッセージを必要とする場合だけです。その場合、SNSはサービスごとに1つのSQSキューへメッセージを複製し、それぞれが独立した再試行とデッドレターキューを持ちます。
厳密に1回の配信を保証するメッセージキューはありますか? エンドツーエンドではありません。SQS FIFO、Google Pub/Sub、Kafkaトランザクションは一定の範囲内で重複を防ぎますが、メールや支払いには引き続き冪等なコンシューマーが必要です。