Dein E-Mail-Dienst verschickt Bestellbelege. Du skalierst ihn auf drei Replikate, und Kunden bekommen plötzlich drei Belege pro Bestellung. Jedes Replikat hat eine eigene Consumer-Gruppe abonniert und erhält deshalb eine eigene Kopie jeder Nachricht. Der umgekehrte Fehler ist genauso häufig: Größenänderungsaufträge landen in einem Broadcast-Topic, ein zweiter Worker kommt hinzu, und jedes Bild wird zweimal skaliert.
Beide Fehler verwechseln zwei Messaging-Modelle: eine Nachrichtenwarteschlange, bei der jede Nachricht an einen Consumer geht, und Publish-Subscribe, bei dem jeder Abonnent eine eigene Kopie bekommt. Dieser Beitrag vergleicht beide anhand eines Diagramms und behandelt Zustellgarantien, Reihenfolge, Replay, Fan-out und Dead-Letter-Queues sowie die Zuordnung von Kafka, RabbitMQ, SQS/SNS und Pub/Sub zu den Modellen.
Queue oder Topic: Wer erhält welche Nachricht?
Im Punkt-zu-Punkt-Modell sendet ein Producer eine Nachricht an eine Queue, und ein Consumer empfängt sie. Consumer an einer Queue konkurrieren: Der Broker gibt jede Nachricht an einen von ihnen und löscht sie nach dessen Bestätigung. Sie sind Replikate eines Dienstes; weitere Replikate leeren die Queue deshalb schneller. Dieses Muster konkurrierender Consumer passt zu Arbeit, die einmal erledigt werden muss, etwa zur Größenänderung eines Bildes.
Bei Publish-Subscribe veröffentlicht ein Publisher eine Nachricht in einem Topic, und das Topic stellt jedem Abonnement eine Kopie zu. Abonnenten sind verschiedene Dienste, die nichts voneinander wissen; ein weiterer Abonnent verändert den Publisher nicht.
Die meisten Systeme kombinieren beides: Ein Topic verteilt an Abonnements, und jedes Abonnement ist eine Queue, um deren Nachrichten die Replikate eines Dienstes konkurrieren. Die Entwurfsfrage lautet, wo Fan-out und Konkurrenz stattfinden.
| Nachrichtenwarteschlange (Punkt zu Punkt) | Publish-Subscribe | |
|---|---|---|
| Consumer pro Nachricht | Einer | Einer pro Abonnement |
| Consumer sind | Replikate eines Dienstes | Verschiedene Dienste |
| Skalieren durch | Weitere Consumer | Weitere Consumer an einem Abonnement |
| Aufbewahrung | Bis zur Bestätigung oder zum Ablauf | Pro Abonnement oder über ein Zeitfenster im Log |
| Replay | Nein | Ja, wenn der Broker ein Log führt |
| Typischer Einsatz | Aufträge und Befehle | Ereignisse und Benachrichtigungen |
So bilden Kafka, RabbitMQ, SQS/SNS und Pub/Sub die Modelle ab
Jeder Broker implementiert beide Modelle:
| System | Fan-out (Pub/Sub) | Konkurrierende Consumer (Queue) | Reihenfolge | Replay |
|---|---|---|---|---|
| Apache Kafka | Jede Consumer-Gruppe liest jeden Datensatz | Consumer einer Gruppe teilen Partitionen, Share-Gruppen teilen Datensätze | Pro Partition | Gruppen-Offsets zurücksetzen |
| RabbitMQ | Exchanges kopieren Nachrichten in gebundene Queues | Consumer an einer Queue | Pro Queue, ein Consumer | Nur Streams |
| Amazon SNS + SQS | SNS kopiert in jede abonnierende Queue | Consumer an einer SQS-Queue | FIFO, pro Nachrichtengruppe | Nur SNS-FIFO-Topics |
| Google Cloud Pub/Sub | Jedes Abonnement erhält jede Nachricht | Clients eines Abonnements | Ordering Keys | Seek |
Kafka. Jede Partition wird innerhalb jeder abonnierenden Consumer-Gruppe von genau einem Consumer gelesen (Entwurfsdokumentation); eine Gruppe hat deshalb nie mehr aktive Consumer als Partitionen. Kafka 4.2 (Februar 2026) machte Share-Gruppen (KIP-932, Queues for Kafka) produktionsreif: Consumer teilen Datensätze derselben Partitionen und bestätigen jeden einzeln, ohne Partitionsgrenze oder Reihenfolge.
SNS zu SQS. SNS kopiert jede Nachricht in eine SQS-Queue pro abonnierendem Dienst, in einem JSON-Umschlag, sofern du nicht die direkte Nachrichtenzustellung aktivierst (AWS-Fan-out-Leitfaden). Die Worker jedes Dienstes konkurrieren an ihrer eigenen Queue.
RabbitMQ. Producer veröffentlichen an eine Exchange, und Bindings bestimmen, welche Queues eine Kopie erhalten: fanout kopiert in jede gebundene Queue, topic gleicht Muster wie order.# ab, direct gleicht den Schlüssel exakt ab, und headers prüft Nachrichten-Header (Exchange-Typen).
Google Pub/Sub. Ein Abonnement pro Dienst; seine Subscriber-Clients teilen die Nachrichten.
Der Fehler mit den drei Belegen entsteht durch ein Abonnement pro Replikat statt pro Dienst. Benenne Abonnements, Queues und Gruppen-IDs nach dem Dienst (billing-sub, group.id=billing), niemals nach einem Host oder Pod.
Zustellgarantien
Broker stellen unbestätigte Nachrichten erneut zu. Entscheidend ist also, wann dein Consumer bestätigt:
- Höchstens einmal: vor der Verarbeitung bestätigen. Bei einem Absturz geht die Nachricht verloren und wird nicht erneut zugestellt.
- Mindestens einmal: nach der Verarbeitung bestätigen. Ein Absturz führt zur erneuten Zustellung; eine Nachricht kann also zweimal verarbeitet werden. SQS-Standard-Queues und Pub/Sub stellen standardmäßig mindestens einmal zu.
- Genau einmal: jede Nachricht wird einmal und nur einmal verarbeitet; Broker bieten dies nur innerhalb bestimmter Grenzen.
SQS-FIFO-Queues verwerfen eine erneute Sendung mit derselben Deduplizierungs-ID innerhalb von 5 Minuten. Die Genau-einmal-Zustellung von Google Pub/Sub verhindert nach einer erfolgreichen Bestätigung weitere Zustellungen, für Pull-Abonnements in einer Region. Kafka-Transaktionen decken Lese- und Schreibvorgänge innerhalb von Kafka ab. Nichts davon verhindert, dass ein Consumer eine Karte doppelt belastet, wenn er zwischen Belastung und Bestätigung abstürzt.
Die praktische Antwort ist effektiv einmalige Verarbeitung: mindestens einmalige Zustellung plus ein idempotenter Consumer, der jede Nachrichten-ID in derselben Transaktion wie die Nebenwirkung speichert:
BEGIN;
INSERT INTO processed_messages (consumer, message_id)
VALUES ('billing', 'm2')
ON CONFLICT DO NOTHING;
-- 0 rows: duplicate, skip the side effect
-- 1 row: apply the side effect in this transaction
COMMIT;
-- acknowledge the message only after the commit
Auf Producer-Seite hält das Transactional-Outbox-Muster Datenbankänderung und Veröffentlichung konsistent.
Reihenfolge
Konkurrierende Consumer brechen First-in-first-out: m1 geht an Worker 1, m2 an Worker 2, und m2 kann zuerst fertig werden. SQS-Standard-Queues versprechen ohnehin nur eine bestmögliche Reihenfolge. Strikte Reihenfolge braucht einen Geltungsbereich mit jeweils einem Consumer zur selben Zeit:
- SQS FIFO: Die Reihenfolge gilt innerhalb einer Nachrichtengruppe (
MessageGroupId); Gruppen laufen parallel. Der Durchsatz liegt ohne Batching bei 300 API-Aufrufen pro Sekunde und Aktion, bei Zehner-Batches bei 3.000 Nachrichten pro Sekunde und im Hochdurchsatzmodus darüber. - Kafka: Datensätze mit demselben Schlüssel landen in derselben Partition, die ein Consumer pro Gruppe liest.
- Google Pub/Sub: Nachrichten mit demselben Ordering Key, die in einer Region veröffentlicht werden, kommen bei einem Abonnement mit aktivierter Sortierung geordnet an. Jeder Schlüssel ist auf 1 MBps Veröffentlichungsrate begrenzt; eine erneute Zustellung stellt auch die späteren Nachrichten dieses Schlüssels erneut zu.
Ordne pro Konto oder Gerät, niemals global: Globale Reihenfolge bedeutet einen Consumer und eine Durchsatzgrenze.
Aufbewahrung und Replay: Log statt Queue
Eine Queue ist eine Aufgabenliste: Bestätigte Nachrichten werden gelöscht, und SQS lässt nicht konsumierte Nachrichten standardmäßig nach 4 Tagen ablaufen (60 Sekunden bis 14 Tage). Ein Log ist eine Historie: Kafka behält Datensätze unabhängig vom Lesen für seine Aufbewahrungszeit (log.retention.hours ist standardmäßig 168, also sieben Tage). Jede Consumer-Gruppe speichert nur einen Offset; eine neue Gruppe kann deshalb beim ältesten Datensatz beginnen, eine bestehende zurückspringen. RabbitMQ-Streams sind ebenfalls Logs, deren Startpunkt x-stream-offset festlegt. Google Pub/Sub liegt dazwischen: Unbestätigte Nachrichten bleiben standardmäßig 7 Tage erhalten (10 Minuten bis 31 Tage), bestätigte optional, und Abonnements können zurückspringen.
Replay einer Kafka-Gruppe nach einem fehlerhaften Deployment, bei angehaltenen Consumern:
kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
--group billing --topic order-events \
--reset-offsets --to-datetime 2026-11-28T00:00:00.000 --execute
Replay baut CQRS-Lesemodelle neu auf und füllt die Historie neuer Dienste nach. Jeder Consumer muss deshalb erneute Verarbeitung vertragen. Das Kafka-Architekturdiagramm erklärt Partitionen und Offsets im Detail.
Backpressure, Sichtbarkeits-Timeouts und Dead-Letter-Queues
Queues fangen Lastspitzen ab, weil Consumer Arbeit im eigenen Tempo abrufen, und eigene Queues pro Kanal in einem Benachrichtigungssystem verhindern, dass ein langsamer SMS-Anbieter E-Mail und Push aufhält. RabbitMQ schiebt Nachrichten an Consumer; begrenze deshalb unbestätigte Nachrichten pro Consumer mit einem basic.qos-Prefetch-Limit.
Während ein Consumer arbeitet, verbirgt der Broker die Nachricht für begrenzte Zeit vor den anderen, ähnlich wie die Leases in einem Job-Scheduler. Dauert die Verarbeitung länger, erscheint die Nachricht wieder, und ein zweiter Consumer erhält sie ebenfalls. Setze den Timeout über die langsamste normale Verarbeitungszeit oder verlängere ihn:
| Broker | Lease während der Verarbeitung | Verlängern mit | Ende der Wiederholungen |
|---|---|---|---|
| Amazon SQS | Sichtbarkeits-Timeout: standardmäßig 30 s, höchstens 12 h | ChangeMessageVisibility |
maxReceiveCount, danach eine Dead-Letter-Queue |
| Google Pub/Sub | Bestätigungsfrist: standardmäßig 10 s, höchstens 600 s | ModifyAckDeadline |
Standardmäßig 5 Versuche (bis 100), danach ein Dead-Letter-Topic |
| Kafka-Share-Gruppen | Acquisition Lock: standardmäßig 30 s | RENEW-Bestätigung |
Standardmäßig 5 Versuche, danach wird der Datensatz archiviert; Kafka 4.4 kann ihn zusätzlich in ein Dead-Letter-Topic schreiben |
RabbitMQ stellt erneut zu, wenn der Kanal eines Consumers vor der Bestätigung geschlossen wird, und leitet fehlgeschlagene Nachrichten über Dead-Letter-Exchanges weiter.
Poison Messages, die immer scheitern, gehören in eine Dead-Letter-Queue: Alarmiere bei wachsender Tiefe und halte ein Verfahren zur erneuten Verarbeitung bereit. Bei Pub/Sub bleiben Fehler isoliert: Ein defekter Analytics-Consumer vergrößert nur seinen eigenen Rückstau. Alarmiere deshalb pro Abonnement anhand der ältesten unbestätigten Nachricht.
Auswahl nach Anwendungsfall
| Anwendungsfall | Modell | Passende Lösungen |
|---|---|---|
| Hintergrundaufträge: Vorschaubilder, PDFs, E-Mails | Queue | SQS standard, eine RabbitMQ-Quorum-Queue, eine Kafka-Share-Gruppe |
| Befehle in Reihenfolge pro Konto | Queue mit Reihenfolgen-Geltungsbereich | SQS FIFO nach Konto gruppiert, Kafka mit Kontoschlüssel |
| Ein Ereignis, auf das mehrere Dienste reagieren | Pub/Sub, eine Queue pro Abonnent | SNS zu SQS, eine RabbitMQ-Fanout-Exchange, Pub/Sub-Abonnements, Kafka-Consumer-Gruppen |
| Zustand wiederherstellen oder Consumer-Historie nachfüllen | Log | Kafka, RabbitMQ-Streams |
| Mehrstufiger Prozess über mehrere Dienste | Befehle auf Queues, Ergebnisse über Pub/Sub | Das Saga-Muster |
Das Queue- und Pub/Sub-Diagramm
Diagramminhalt
- Upload API
- resize-jobs
- Resize worker 1
- Resize worker 2
- Resize worker 3
- Order service
- order-events
- email-sub
- billing-sub
- analytics-sub
- Email service
- Billing service
- Analytics service
- send m1, m2, m3
- m1
- m2
- m3
- publish m1, m2, m3
- copy
- m1, m2, m3
So liest du es:
- Zwei Bahnen, dieselben Nachrichten-IDs. Oben: eine Punkt-zu-Punkt-Queue. Unten: Publish-Subscribe. Jeder Producer sendet m1 bis m3.
- Obere Bahn: Die Queue resize-jobs gibt jede Nachricht an einen anderen Worker; alle sind Replikate eines Dienstes.
- Untere Bahn: Das Topic order-events kopiert jede Nachricht in drei Abonnements, eines pro Dienst. E-Mail-, Billing- und Analytics-Dienst erhalten also jeweils m1, m2 und m3.
- Durchgezogene Pfeile zeigen Senden, Veröffentlichen und Kopieren; gestrichelte Pfeile sind asynchrone Zustellungen, die Consumer bestätigen.
- Der Markdown-Block nennt die Standardwerte für Timeouts und Aufbewahrung.
Messaging-Diagramme verständlich zeichnen
- Zeichne Abonnements, nicht nur Topics. Pfeile direkt vom Topic zu Diensten verbergen, wo Nachrichten warten und wem jeder Rückstau gehört.
- Beschrifte Kanten mit Nachrichtennamen oder IDs, nicht mit „Ereignisse“: m1, m2 und m3 zeigen Verteilen gegenüber Kopieren.
- Zeige Replikate, wenn Konkurrenz relevant ist, und notiere Ordering Key und Dead-Letter-Pfad neben der jeweiligen Queue oder dem Topic.
Der Leitfaden zum ereignisgesteuerten Architekturdiagramm erweitert diese Darstellung zu einem vollständigen Kafka-System.
In Archboard nachbauen
- Melde dich mit Google oder GitHub an und erstelle ein Diagramm.
- Ergänze für jede Bahn eine Text-Überschrift aus Basis.
- Obere Bahn: Füge aus C4-Modell einen Container namens Upload API hinzu, aus Daten eine Warteschlange namens resize-jobs und drei Container-Nodes, Resize worker 1 bis 3. Zeichne zur Queue eine durchgezogene Kante „send m1, m2, m3“ und zu den Workern gestrichelte Kanten m1, m2 und m3.
- Untere Bahn: Ergänze einen Container namens Order service, ein Thema namens order-events aus Daten, drei Warteschlange-Nodes (email-sub, billing-sub, analytics-sub) und drei Container-Nodes für E-Mail-, Billing- und Analytics-Dienst. Beschrifte die Topic-Kanten mit „copy“ und die gestrichelten Zustellungen mit „m1, m2, m3“.
- Gib jeder Bahn einen Akzent in Blau oder Türkis und ergänze unter Queue und Topic eine Text-Notiz aus Basis.
- Füge aus Basis einen Markdown-Block mit den Standardwerten hinzu.
Beginne für ein größeres System mit der Vorlage für ereignisgesteuerte Architektur; liegen Abläufe bereits in Mermaid vor, erstellt das Werkzeug Mermaid zu bearbeitbarem Diagramm einen ersten Entwurf.
Das Beispiel nutzt 14 Diagramm-Nodes und bleibt damit im Free-Plan.
FAQ
Was unterscheidet Pub/Sub von einer Message Queue? Eine Queue gibt jede Nachricht an einen Consumer und löscht sie nach dessen Bestätigung. Pub/Sub gibt jedem Abonnement eine eigene Kopie, sodass mehrere Dienste auf ein Ereignis reagieren können.
Ist Kafka eine Message Queue oder ein Pub/Sub-System? Beides. Jede Consumer-Gruppe liest jeden Datensatz, was Pub/Sub entspricht; Consumer einer Gruppe teilen die Partitionen wie eine Queue. Kafka-4.2-Share-Gruppen ergänzen Bestätigungen pro Datensatz.
Kafka, RabbitMQ oder SQS: Was sollte ich verwenden? SQS für eine verwaltete Queue auf AWS ohne eigenen Betrieb, RabbitMQ für flexible Weiterleitung und Kafka für hohen Durchsatz mit wiederholbar lesbarer Historie.
Brauche ich SNS, wenn ich bereits SQS nutze? Nur wenn mehrere Dienste jede Nachricht benötigen. SNS kopiert dann jede Nachricht in eine SQS-Queue pro Dienst, jeweils mit eigenen Wiederholungen und einer Dead-Letter-Queue.
Garantiert eine Message Queue genau einmalige Zustellung? Nicht durchgängig. SQS FIFO, Google Pub/Sub und Kafka-Transaktionen verhindern Duplikate innerhalb bestimmter Grenzen; E-Mails und Zahlungen brauchen dennoch einen idempotenten Consumer.