Zum Inhalt springen

Pub/Sub vs. Message Queue: Diagramme, Zustellsemantik und Einsatzgebiete

Eine Queue gibt jede Nachricht an einen Consumer, Pub/Sub an jedes Abonnement; vergleiche Zustellgarantien, Reihenfolge und Replay der wichtigsten Broker.

· Gründer & Entwickler

Veröffentlicht am

Zwei Bahnen: Oben sendet Upload API m1 bis m3 an resize-jobs; drei Worker erhalten je eine Nachricht. Unten veröffentlicht Order service in order-events; das Topic kopiert die Nachrichten in drei Abonnements für drei Dienste.

Dein E-Mail-Dienst verschickt Bestellbelege. Du skalierst ihn auf drei Replikate, und Kunden bekommen plötzlich drei Belege pro Bestellung. Jedes Replikat hat eine eigene Consumer-Gruppe abonniert und erhält deshalb eine eigene Kopie jeder Nachricht. Der umgekehrte Fehler ist genauso häufig: Größenänderungsaufträge landen in einem Broadcast-Topic, ein zweiter Worker kommt hinzu, und jedes Bild wird zweimal skaliert.

Beide Fehler verwechseln zwei Messaging-Modelle: eine Nachrichtenwarteschlange, bei der jede Nachricht an einen Consumer geht, und Publish-Subscribe, bei dem jeder Abonnent eine eigene Kopie bekommt. Dieser Beitrag vergleicht beide anhand eines Diagramms und behandelt Zustellgarantien, Reihenfolge, Replay, Fan-out und Dead-Letter-Queues sowie die Zuordnung von Kafka, RabbitMQ, SQS/SNS und Pub/Sub zu den Modellen.

Queue oder Topic: Wer erhält welche Nachricht?

Im Punkt-zu-Punkt-Modell sendet ein Producer eine Nachricht an eine Queue, und ein Consumer empfängt sie. Consumer an einer Queue konkurrieren: Der Broker gibt jede Nachricht an einen von ihnen und löscht sie nach dessen Bestätigung. Sie sind Replikate eines Dienstes; weitere Replikate leeren die Queue deshalb schneller. Dieses Muster konkurrierender Consumer passt zu Arbeit, die einmal erledigt werden muss, etwa zur Größenänderung eines Bildes.

Bei Publish-Subscribe veröffentlicht ein Publisher eine Nachricht in einem Topic, und das Topic stellt jedem Abonnement eine Kopie zu. Abonnenten sind verschiedene Dienste, die nichts voneinander wissen; ein weiterer Abonnent verändert den Publisher nicht.

Die meisten Systeme kombinieren beides: Ein Topic verteilt an Abonnements, und jedes Abonnement ist eine Queue, um deren Nachrichten die Replikate eines Dienstes konkurrieren. Die Entwurfsfrage lautet, wo Fan-out und Konkurrenz stattfinden.

Nachrichtenwarteschlange (Punkt zu Punkt) Publish-Subscribe
Consumer pro Nachricht Einer Einer pro Abonnement
Consumer sind Replikate eines Dienstes Verschiedene Dienste
Skalieren durch Weitere Consumer Weitere Consumer an einem Abonnement
Aufbewahrung Bis zur Bestätigung oder zum Ablauf Pro Abonnement oder über ein Zeitfenster im Log
Replay Nein Ja, wenn der Broker ein Log führt
Typischer Einsatz Aufträge und Befehle Ereignisse und Benachrichtigungen

So bilden Kafka, RabbitMQ, SQS/SNS und Pub/Sub die Modelle ab

Jeder Broker implementiert beide Modelle:

System Fan-out (Pub/Sub) Konkurrierende Consumer (Queue) Reihenfolge Replay
Apache Kafka Jede Consumer-Gruppe liest jeden Datensatz Consumer einer Gruppe teilen Partitionen, Share-Gruppen teilen Datensätze Pro Partition Gruppen-Offsets zurücksetzen
RabbitMQ Exchanges kopieren Nachrichten in gebundene Queues Consumer an einer Queue Pro Queue, ein Consumer Nur Streams
Amazon SNS + SQS SNS kopiert in jede abonnierende Queue Consumer an einer SQS-Queue FIFO, pro Nachrichtengruppe Nur SNS-FIFO-Topics
Google Cloud Pub/Sub Jedes Abonnement erhält jede Nachricht Clients eines Abonnements Ordering Keys Seek

Kafka. Jede Partition wird innerhalb jeder abonnierenden Consumer-Gruppe von genau einem Consumer gelesen (Entwurfsdokumentation); eine Gruppe hat deshalb nie mehr aktive Consumer als Partitionen. Kafka 4.2 (Februar 2026) machte Share-Gruppen (KIP-932, Queues for Kafka) produktionsreif: Consumer teilen Datensätze derselben Partitionen und bestätigen jeden einzeln, ohne Partitionsgrenze oder Reihenfolge.

SNS zu SQS. SNS kopiert jede Nachricht in eine SQS-Queue pro abonnierendem Dienst, in einem JSON-Umschlag, sofern du nicht die direkte Nachrichtenzustellung aktivierst (AWS-Fan-out-Leitfaden). Die Worker jedes Dienstes konkurrieren an ihrer eigenen Queue.

RabbitMQ. Producer veröffentlichen an eine Exchange, und Bindings bestimmen, welche Queues eine Kopie erhalten: fanout kopiert in jede gebundene Queue, topic gleicht Muster wie order.# ab, direct gleicht den Schlüssel exakt ab, und headers prüft Nachrichten-Header (Exchange-Typen).

Google Pub/Sub. Ein Abonnement pro Dienst; seine Subscriber-Clients teilen die Nachrichten.

Der Fehler mit den drei Belegen entsteht durch ein Abonnement pro Replikat statt pro Dienst. Benenne Abonnements, Queues und Gruppen-IDs nach dem Dienst (billing-sub, group.id=billing), niemals nach einem Host oder Pod.

Zustellgarantien

Broker stellen unbestätigte Nachrichten erneut zu. Entscheidend ist also, wann dein Consumer bestätigt:

  • Höchstens einmal: vor der Verarbeitung bestätigen. Bei einem Absturz geht die Nachricht verloren und wird nicht erneut zugestellt.
  • Mindestens einmal: nach der Verarbeitung bestätigen. Ein Absturz führt zur erneuten Zustellung; eine Nachricht kann also zweimal verarbeitet werden. SQS-Standard-Queues und Pub/Sub stellen standardmäßig mindestens einmal zu.
  • Genau einmal: jede Nachricht wird einmal und nur einmal verarbeitet; Broker bieten dies nur innerhalb bestimmter Grenzen.

SQS-FIFO-Queues verwerfen eine erneute Sendung mit derselben Deduplizierungs-ID innerhalb von 5 Minuten. Die Genau-einmal-Zustellung von Google Pub/Sub verhindert nach einer erfolgreichen Bestätigung weitere Zustellungen, für Pull-Abonnements in einer Region. Kafka-Transaktionen decken Lese- und Schreibvorgänge innerhalb von Kafka ab. Nichts davon verhindert, dass ein Consumer eine Karte doppelt belastet, wenn er zwischen Belastung und Bestätigung abstürzt.

Die praktische Antwort ist effektiv einmalige Verarbeitung: mindestens einmalige Zustellung plus ein idempotenter Consumer, der jede Nachrichten-ID in derselben Transaktion wie die Nebenwirkung speichert:

BEGIN;
INSERT INTO processed_messages (consumer, message_id)
VALUES ('billing', 'm2')
ON CONFLICT DO NOTHING;
-- 0 rows: duplicate, skip the side effect
-- 1 row: apply the side effect in this transaction
COMMIT;
-- acknowledge the message only after the commit

Auf Producer-Seite hält das Transactional-Outbox-Muster Datenbankänderung und Veröffentlichung konsistent.

Reihenfolge

Konkurrierende Consumer brechen First-in-first-out: m1 geht an Worker 1, m2 an Worker 2, und m2 kann zuerst fertig werden. SQS-Standard-Queues versprechen ohnehin nur eine bestmögliche Reihenfolge. Strikte Reihenfolge braucht einen Geltungsbereich mit jeweils einem Consumer zur selben Zeit:

  • SQS FIFO: Die Reihenfolge gilt innerhalb einer Nachrichtengruppe (MessageGroupId); Gruppen laufen parallel. Der Durchsatz liegt ohne Batching bei 300 API-Aufrufen pro Sekunde und Aktion, bei Zehner-Batches bei 3.000 Nachrichten pro Sekunde und im Hochdurchsatzmodus darüber.
  • Kafka: Datensätze mit demselben Schlüssel landen in derselben Partition, die ein Consumer pro Gruppe liest.
  • Google Pub/Sub: Nachrichten mit demselben Ordering Key, die in einer Region veröffentlicht werden, kommen bei einem Abonnement mit aktivierter Sortierung geordnet an. Jeder Schlüssel ist auf 1 MBps Veröffentlichungsrate begrenzt; eine erneute Zustellung stellt auch die späteren Nachrichten dieses Schlüssels erneut zu.

Ordne pro Konto oder Gerät, niemals global: Globale Reihenfolge bedeutet einen Consumer und eine Durchsatzgrenze.

Aufbewahrung und Replay: Log statt Queue

Eine Queue ist eine Aufgabenliste: Bestätigte Nachrichten werden gelöscht, und SQS lässt nicht konsumierte Nachrichten standardmäßig nach 4 Tagen ablaufen (60 Sekunden bis 14 Tage). Ein Log ist eine Historie: Kafka behält Datensätze unabhängig vom Lesen für seine Aufbewahrungszeit (log.retention.hours ist standardmäßig 168, also sieben Tage). Jede Consumer-Gruppe speichert nur einen Offset; eine neue Gruppe kann deshalb beim ältesten Datensatz beginnen, eine bestehende zurückspringen. RabbitMQ-Streams sind ebenfalls Logs, deren Startpunkt x-stream-offset festlegt. Google Pub/Sub liegt dazwischen: Unbestätigte Nachrichten bleiben standardmäßig 7 Tage erhalten (10 Minuten bis 31 Tage), bestätigte optional, und Abonnements können zurückspringen.

Replay einer Kafka-Gruppe nach einem fehlerhaften Deployment, bei angehaltenen Consumern:

kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
  --group billing --topic order-events \
  --reset-offsets --to-datetime 2026-11-28T00:00:00.000 --execute

Replay baut CQRS-Lesemodelle neu auf und füllt die Historie neuer Dienste nach. Jeder Consumer muss deshalb erneute Verarbeitung vertragen. Das Kafka-Architekturdiagramm erklärt Partitionen und Offsets im Detail.

Backpressure, Sichtbarkeits-Timeouts und Dead-Letter-Queues

Queues fangen Lastspitzen ab, weil Consumer Arbeit im eigenen Tempo abrufen, und eigene Queues pro Kanal in einem Benachrichtigungssystem verhindern, dass ein langsamer SMS-Anbieter E-Mail und Push aufhält. RabbitMQ schiebt Nachrichten an Consumer; begrenze deshalb unbestätigte Nachrichten pro Consumer mit einem basic.qos-Prefetch-Limit.

Während ein Consumer arbeitet, verbirgt der Broker die Nachricht für begrenzte Zeit vor den anderen, ähnlich wie die Leases in einem Job-Scheduler. Dauert die Verarbeitung länger, erscheint die Nachricht wieder, und ein zweiter Consumer erhält sie ebenfalls. Setze den Timeout über die langsamste normale Verarbeitungszeit oder verlängere ihn:

Broker Lease während der Verarbeitung Verlängern mit Ende der Wiederholungen
Amazon SQS Sichtbarkeits-Timeout: standardmäßig 30 s, höchstens 12 h ChangeMessageVisibility maxReceiveCount, danach eine Dead-Letter-Queue
Google Pub/Sub Bestätigungsfrist: standardmäßig 10 s, höchstens 600 s ModifyAckDeadline Standardmäßig 5 Versuche (bis 100), danach ein Dead-Letter-Topic
Kafka-Share-Gruppen Acquisition Lock: standardmäßig 30 s RENEW-Bestätigung Standardmäßig 5 Versuche, danach wird der Datensatz archiviert; Kafka 4.4 kann ihn zusätzlich in ein Dead-Letter-Topic schreiben

RabbitMQ stellt erneut zu, wenn der Kanal eines Consumers vor der Bestätigung geschlossen wird, und leitet fehlgeschlagene Nachrichten über Dead-Letter-Exchanges weiter.

Poison Messages, die immer scheitern, gehören in eine Dead-Letter-Queue: Alarmiere bei wachsender Tiefe und halte ein Verfahren zur erneuten Verarbeitung bereit. Bei Pub/Sub bleiben Fehler isoliert: Ein defekter Analytics-Consumer vergrößert nur seinen eigenen Rückstau. Alarmiere deshalb pro Abonnement anhand der ältesten unbestätigten Nachricht.

Auswahl nach Anwendungsfall

Anwendungsfall Modell Passende Lösungen
Hintergrundaufträge: Vorschaubilder, PDFs, E-Mails Queue SQS standard, eine RabbitMQ-Quorum-Queue, eine Kafka-Share-Gruppe
Befehle in Reihenfolge pro Konto Queue mit Reihenfolgen-Geltungsbereich SQS FIFO nach Konto gruppiert, Kafka mit Kontoschlüssel
Ein Ereignis, auf das mehrere Dienste reagieren Pub/Sub, eine Queue pro Abonnent SNS zu SQS, eine RabbitMQ-Fanout-Exchange, Pub/Sub-Abonnements, Kafka-Consumer-Gruppen
Zustand wiederherstellen oder Consumer-Historie nachfüllen Log Kafka, RabbitMQ-Streams
Mehrstufiger Prozess über mehrere Dienste Befehle auf Queues, Ergebnisse über Pub/Sub Das Saga-Muster

Das Queue- und Pub/Sub-Diagramm

Zwei Bahnen: Oben sendet Upload API m1 bis m3 an resize-jobs; drei Worker erhalten je eine Nachricht. Unten veröffentlicht Order service in order-events; das Topic kopiert die Nachrichten in drei Abonnements für drei Dienste.

18 Komponenten · 11 Verbindungen

In Archboard öffnen
Diagramminhalt
  • Upload API
  • resize-jobs
  • Resize worker 1
  • Resize worker 2
  • Resize worker 3
  • Order service
  • order-events
  • email-sub
  • billing-sub
  • analytics-sub
  • Email service
  • Billing service
  • Analytics service
  • send m1, m2, m3
  • m1
  • m2
  • m3
  • publish m1, m2, m3
  • copy
  • m1, m2, m3
Eine Queue verteilt m1, m2 und m3 einzeln an drei konkurrierende Worker. Das Pub/Sub-Topic kopiert alle drei in drei Abonnements, sodass E-Mail-, Billing- und Analytics-Dienst jede Nachricht verarbeiten.

So liest du es:

  • Zwei Bahnen, dieselben Nachrichten-IDs. Oben: eine Punkt-zu-Punkt-Queue. Unten: Publish-Subscribe. Jeder Producer sendet m1 bis m3.
  • Obere Bahn: Die Queue resize-jobs gibt jede Nachricht an einen anderen Worker; alle sind Replikate eines Dienstes.
  • Untere Bahn: Das Topic order-events kopiert jede Nachricht in drei Abonnements, eines pro Dienst. E-Mail-, Billing- und Analytics-Dienst erhalten also jeweils m1, m2 und m3.
  • Durchgezogene Pfeile zeigen Senden, Veröffentlichen und Kopieren; gestrichelte Pfeile sind asynchrone Zustellungen, die Consumer bestätigen.
  • Der Markdown-Block nennt die Standardwerte für Timeouts und Aufbewahrung.

Messaging-Diagramme verständlich zeichnen

  • Zeichne Abonnements, nicht nur Topics. Pfeile direkt vom Topic zu Diensten verbergen, wo Nachrichten warten und wem jeder Rückstau gehört.
  • Beschrifte Kanten mit Nachrichtennamen oder IDs, nicht mit „Ereignisse“: m1, m2 und m3 zeigen Verteilen gegenüber Kopieren.
  • Zeige Replikate, wenn Konkurrenz relevant ist, und notiere Ordering Key und Dead-Letter-Pfad neben der jeweiligen Queue oder dem Topic.

Der Leitfaden zum ereignisgesteuerten Architekturdiagramm erweitert diese Darstellung zu einem vollständigen Kafka-System.

In Archboard nachbauen

  1. Melde dich mit Google oder GitHub an und erstelle ein Diagramm.
  2. Ergänze für jede Bahn eine Text-Überschrift aus Basis.
  3. Obere Bahn: Füge aus C4-Modell einen Container namens Upload API hinzu, aus Daten eine Warteschlange namens resize-jobs und drei Container-Nodes, Resize worker 1 bis 3. Zeichne zur Queue eine durchgezogene Kante „send m1, m2, m3“ und zu den Workern gestrichelte Kanten m1, m2 und m3.
  4. Untere Bahn: Ergänze einen Container namens Order service, ein Thema namens order-events aus Daten, drei Warteschlange-Nodes (email-sub, billing-sub, analytics-sub) und drei Container-Nodes für E-Mail-, Billing- und Analytics-Dienst. Beschrifte die Topic-Kanten mit „copy“ und die gestrichelten Zustellungen mit „m1, m2, m3“.
  5. Gib jeder Bahn einen Akzent in Blau oder Türkis und ergänze unter Queue und Topic eine Text-Notiz aus Basis.
  6. Füge aus Basis einen Markdown-Block mit den Standardwerten hinzu.

Beginne für ein größeres System mit der Vorlage für ereignisgesteuerte Architektur; liegen Abläufe bereits in Mermaid vor, erstellt das Werkzeug Mermaid zu bearbeitbarem Diagramm einen ersten Entwurf.

Das Beispiel nutzt 14 Diagramm-Nodes und bleibt damit im Free-Plan.

FAQ

Was unterscheidet Pub/Sub von einer Message Queue? Eine Queue gibt jede Nachricht an einen Consumer und löscht sie nach dessen Bestätigung. Pub/Sub gibt jedem Abonnement eine eigene Kopie, sodass mehrere Dienste auf ein Ereignis reagieren können.

Ist Kafka eine Message Queue oder ein Pub/Sub-System? Beides. Jede Consumer-Gruppe liest jeden Datensatz, was Pub/Sub entspricht; Consumer einer Gruppe teilen die Partitionen wie eine Queue. Kafka-4.2-Share-Gruppen ergänzen Bestätigungen pro Datensatz.

Kafka, RabbitMQ oder SQS: Was sollte ich verwenden? SQS für eine verwaltete Queue auf AWS ohne eigenen Betrieb, RabbitMQ für flexible Weiterleitung und Kafka für hohen Durchsatz mit wiederholbar lesbarer Historie.

Brauche ich SNS, wenn ich bereits SQS nutze? Nur wenn mehrere Dienste jede Nachricht benötigen. SNS kopiert dann jede Nachricht in eine SQS-Queue pro Dienst, jeweils mit eigenen Wiederholungen und einer Dead-Letter-Queue.

Garantiert eine Message Queue genau einmalige Zustellung? Nicht durchgängig. SQS FIFO, Google Pub/Sub und Kafka-Transaktionen verhindern Duplikate innerhalb bestimmter Grenzen; E-Mails und Zahlungen brauchen dennoch einen idempotenten Consumer.

Kostenlos starten — ein Seat, keine Kreditkarte.

Ähnliche Beiträge

← Zurück zum Blog

In einer Minute ein Canvas öffnen

Melden Sie sich mit Google oder GitHub an. Kostenlos für einen Sitzplatz. Upgraden Sie, wenn das Team dazukommt.