İçeriğe atla

Pub/Sub ve Mesaj Kuyruğu: Diyagramlar, Teslim Semantiği ve Kullanım Alanları

Kuyruk her mesajı bir tüketiciye, pub/sub ise her aboneye bir kopya verir; teslim garantileri, sıralama, yeniden oynatma ve aracıların farklarını öğrenin.

· Kurucu ve geliştirici

Yayımlandı:

İki şerit. Üstte Upload API, resize-jobs kuyruğuna m1–m3 gönderir; üç işçinin her biri bir mesaj alır. Altta Order service, order-events konusuna yayın yapar; konu mesajları üç servisi besleyen üç aboneliğe kopyalar.

E-posta servisiniz sipariş makbuzları gönderiyor. Servisi üç replikaya ölçekliyorsunuz ve müşteriler her sipariş için üç makbuz almaya başlıyor. Her replika kendi tüketici grubuyla abone olduğundan, her biri bütün mesajların ayrı bir kopyasını aldı. Tersi hata da aynı derecede yaygın: boyutlandırma işleri bir yayın konusuna gönderiliyor, ikinci bir işçi katılıyor ve her görsel iki kez boyutlandırılıyor.

Her iki hata da iki mesajlaşma modelini karıştırıyor: her mesajın bir tüketiciye gittiği mesaj kuyruğu ve her abonenin kendi kopyasını aldığı yayınla-abone ol modeli. Bu yazı ikisini bir diyagramla karşılaştırıyor; ardından teslim garantilerini, sıralamayı, yeniden oynatmayı, fan-out dağıtımını ve başarısız mesaj kuyruklarını, ayrıca Kafka, RabbitMQ, SQS/SNS ve Pub/Sub'ın bu modellere nasıl karşılık geldiğini ele alıyor.

Kuyruk ve konu: her mesajı kim alır?

Noktadan noktaya modelde bir üretici kuyruğa mesaj gönderir ve bir tüketici bu mesajı alır. Kuyruktaki tüketiciler yarışır: mesaj aracısı her mesajı bunlardan birine verir ve tüketici alındı onayı gönderince siler. Bunlar tek bir servisin replikalarıdır; dolayısıyla replika eklemek kuyruğun daha hızlı boşalmasını sağlar. Yarışan tüketiciler deseni, görsel boyutlandırma gibi bir kez yapılması gereken işler için uygundur.

Yayınla-abone ol modelinde yayıncı bir konuya mesaj gönderir; konu da her aboneliğe bir kopya teslim eder. Aboneler birbirinden habersiz farklı servislerdir ve yeni bir abone eklemek yayıncıyı değiştirmez.

Çoğu sistem ikisini birleştirir: konu mesajları aboneliklere dağıtır ve her abonelik, bir servisin replikalarının yarıştığı bir kuyruktur. Tasarım sorusu, dağıtımın ve yarışmanın nerede gerçekleştiğidir.

Mesaj kuyruğu (noktadan noktaya) Yayınla-abone ol
Mesaj başına tüketici Bir Her abonelik için bir
Tüketiciler Tek bir servisin replikaları Farklı servisler
Ölçekleme yöntemi Tüketici eklemek Bir aboneliğe tüketici eklemek
Saklama Onaylanana veya süresi dolana kadar Abonelik başına veya günlükteki bir zaman aralığı boyunca
Yeniden oynatma Yok Aracı günlük tutuyorsa var
Tipik kullanım İşler ve komutlar Olaylar ve bildirimler

Kafka, RabbitMQ, SQS/SNS ve Pub/Sub modellere nasıl karşılık gelir?

Her mesaj aracısı iki modeli de uygular:

Sistem Fan-out (pub/sub) Yarışan tüketiciler (kuyruk) Sıralama Yeniden oynatma
Apache Kafka Her tüketici grubu her kaydı okur Gruptaki tüketiciler bölümleri, share grupları kayıtları paylaşır Bölüm başına Grup ofsetlerini sıfırlama
RabbitMQ Exchange'ler mesajları bağlı kuyruklara kopyalar Tek kuyruktaki tüketiciler Kuyruk başına, tek tüketici Yalnızca stream'ler
Amazon SNS + SQS SNS abone olan her kuyruğa kopyalar Tek SQS kuyruğundaki tüketiciler FIFO, mesaj grubu başına Yalnızca SNS FIFO konuları
Google Cloud Pub/Sub Her abonelik her mesajı alır Tek abonelikteki istemciler Sıralama anahtarları Seek

Kafka. Her bölüm, abone olan her tüketici grubu içinde tam olarak bir tüketici tarafından tüketilir (tasarım belgeleri); dolayısıyla bir gruptaki etkin tüketici sayısı hiçbir zaman bölüm sayısını aşmaz. Kafka 4.2 (Şubat 2026), share gruplarını (KIP-932, Queues for Kafka) üretimde kullanıma hazır hâle getirdi: tüketiciler aynı bölümlerdeki kayıtları paylaşır ve her birini ayrı ayrı onaylar; bölüm sınırı ve sıralama gereksinimi yoktur.

SNS'den SQS'ye. SNS, ham mesaj teslimini etkinleştirmediğiniz sürece, her mesajı abone olan servis başına bir SQS kuyruğuna JSON zarfı içinde kopyalar (AWS fan-out rehberi). Her servisin işçileri kendi kuyruklarında yarışır.

RabbitMQ. Üreticiler bir exchange'e yayın yapar ve hangi kuyrukların kopya alacağını binding'ler belirler: fanout her bağlı kuyruğa kopyalar; topic, order.# gibi desenleri eşleştirir; direct anahtarı tam olarak eşleştirir; headers ise mesaj başlıklarını eşleştirir (exchange türleri).

Google Pub/Sub. Servis başına bir abonelik vardır; aboneliğin istemcileri mesajları paylaşır.

Üç makbuz hatası, servis başına değil replika başına abonelik oluşturulmasından kaynaklanır. Abonelikleri, kuyrukları ve grup kimliklerini bir ana makineye veya Pod'a göre değil, servise göre adlandırın (billing-sub, group.id=billing).

Teslim garantileri

Mesaj aracıları onaylanmamış mesajları yeniden teslim eder; dolayısıyla soru, tüketicinizin ne zaman onay verdiğidir:

  • En fazla bir kez: işlemeden önce onaylayın. Bir çökme mesajın kaybolmasına neden olur ve mesaj yeniden teslim edilmez.
  • En az bir kez: işledikten sonra onaylayın. Bir çökme yeniden teslime neden olur; dolayısıyla bir mesaj iki kez işlenebilir. SQS standart kuyrukları ve Pub/Sub varsayılan olarak en az bir kez teslim sunar.
  • Tam olarak bir kez: her mesaj yalnızca bir kez işlenir; mesaj aracıları bunu ancak belirli sınırlar içinde sunar.

SQS FIFO kuyrukları, 5 dakika içinde aynı tekilleştirme kimliğiyle yeniden gönderilen mesajı eler. Google Pub/Sub'ın tam olarak bir kez teslimi, tek bir bölgedeki pull aboneliklerinde başarılı bir onaydan sonra yeniden teslimi durdurur. Kafka işlemleri, Kafka içindeki okumaları ve yazmaları kapsar. Bunların hiçbiri, ödeme ile onay arasında çöken bir tüketicinin karttan iki kez ücret almasını engellemez.

Pratik çözüm, fiilen bir kez işlemedir: en az bir kez teslim ile her mesaj kimliğini yan etkinin işlemi içinde kaydeden idempotent bir tüketiciyi birleştirin:

BEGIN;
INSERT INTO processed_messages (consumer, message_id)
VALUES ('billing', 'm2')
ON CONFLICT DO NOTHING;
-- 0 rows: duplicate, skip the side effect
-- 1 row: apply the side effect in this transaction
COMMIT;
-- acknowledge the message only after the commit

Üretici tarafında transactional outbox deseni, veritabanı yazımıyla yayının tutarlı kalmasını sağlar.

Sıralama

Yarışan tüketiciler ilk giren ilk çıkar sırasını bozar: m1 işçi 1'e, m2 işçi 2'ye gider ve m2 önce bitebilir. Zaten SQS standart kuyrukları yalnızca mümkün olduğunca sıralı teslim vaat eder. Kesin sıralama, her kapsam için aynı anda tek bir tüketici olacak şekilde bir kapsam gerektirir:

  • SQS FIFO: sıra bir mesaj grubu (MessageGroupId) içinde korunur ve gruplar paralel çalışır. Toplu işlem olmadan işlem başına saniyede 300 API çağrısı, 10'lu gruplarla saniyede 3.000 mesaj, yüksek işlem hacmi modunda ise daha fazlası mümkündür.
  • Kafka: aynı anahtarı taşıyan kayıtlar, grup başına tek tüketicinin okuduğu aynı bölüme gider.
  • Google Pub/Sub: tek bir bölgede yayınlanan aynı sıralama anahtarına sahip mesajlar, sıralaması etkin bir aboneliğe sırayla ulaşır. Her anahtarın yayın sınırı 1 MBps'dir ve yeniden teslim, anahtarın sonraki mesajlarının da yeniden teslim edilmesine yol açar.

Hesap veya cihaz başına sıralayın; hiçbir zaman küresel sıralama kullanmayın: küresel sıra, tek tüketici ve bir işlem hacmi tavanı demektir.

Saklama ve yeniden oynatma: günlük ve kuyruk

Kuyruk bir yapılacaklar listesidir: onaylanan mesajlar silinir ve SQS, tüketilmemiş mesajları varsayılan olarak 4 gün sonra zaman aşımına uğratır (60 saniye ile 14 gün arası). Günlük ise bir geçmiş kaydıdır: Kafka, okunmuş olsun veya olmasın, kayıtları saklama süresi boyunca tutar (log.retention.hours varsayılanı 168, yani yedi gündür); her tüketici grubu yalnızca bir ofset saklar. Böylece yeni bir grup en eski kayıttan başlayabilir ve mevcut bir grup geriye dönebilir. RabbitMQ stream'leri de birer günlüktür ve x-stream-offset ile belirlenen başlangıç noktasından okunur. Google Pub/Sub arada yer alır: onaylanmamış mesajlar varsayılan olarak 7 gün (10 dakika ile 31 gün arası), onaylananlar ise isteğe bağlı olarak saklanır; abonelikler geriye doğru seek yapabilir.

Hatalı bir dağıtımdan sonra, tüketicileri durdurulmuş bir Kafka grubunu yeniden oynatma:

kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
  --group billing --topic order-events \
  --reset-offsets --to-datetime 2026-11-28T00:00:00.000 --execute

Yeniden oynatma, CQRS okuma modellerini yeniden oluşturur ve yeni servislerin geçmiş verilerini doldurur; bu nedenle her tüketici yeniden işlemeyi tolere etmelidir. Kafka mimari diyagramı, bölümleri ve ofsetleri ayrıntılı olarak ele alır.

Geri basınç, görünürlük zaman aşımları ve başarısız mesaj kuyrukları

Tüketiciler işleri kendi hızlarında aldığından kuyruklar ani yük artışlarını emer; bir bildirim sistemindeki kanal başına kuyruklar da yavaş bir SMS sağlayıcısının e-posta ve push bildirimlerini bekletmesini önler. RabbitMQ mesajları tüketicilere iter; bu nedenle tüketici başına onaylanmamış mesaj sayısını basic.qos prefetch sınırıyla kısıtlayın.

Bir tüketici çalışırken, mesaj aracısı mesajı sınırlı bir süre diğer tüketicilerden gizler; bu, bir iş zamanlayıcıdaki kiralamalara çok benzer. İşleme daha uzun sürerse mesaj yeniden görünür olur ve ikinci bir tüketici de mesajı alır. Zaman aşımını normalde görülen en yavaş işleme sürenizin üzerinde ayarlayın veya süreyi uzatın:

Mesaj aracısı İşleme sırasında kiralama Uzatma yöntemi Yeniden denemenin sonu
Amazon SQS Görünürlük zaman aşımı: varsayılan 30 s, en fazla 12 h ChangeMessageVisibility maxReceiveCount, ardından başarısız mesaj kuyruğu
Google Pub/Sub Onay süresi: varsayılan 10 s, en fazla 600 s ModifyAckDeadline Varsayılan 5 deneme (en fazla 100), ardından başarısız mesaj konusu
Kafka share grupları Alma kilidi: varsayılan 30 s RENEW onayı Varsayılan 5 deneme, ardından kayıt arşivlenir; Kafka 4.4 kaydı bir başarısız mesaj konusuna da yazabilir

RabbitMQ, tüketicinin kanalı onaydan önce kapanırsa mesajı yeniden teslim eder ve başarısız mesajları dead-letter exchange'ler üzerinden yönlendirir.

Her seferinde başarısız olan zehirli mesajlar, başarısız mesaj kuyruğuna aittir: kuyruk derinliği için alarm kurun ve bir yeniden işleme prosedürü bulundurun. Pub/sub modelinde hatalar birbirinden yalıtılır: bozuk bir analitik tüketicisi yalnızca kendi birikimini büyütür; dolayısıyla her abonelikteki en eski onaylanmamış mesaj için alarm kurun.

Kullanım senaryosuna göre seçim

Kullanım senaryosu Model Uygun seçenekler
Arka plan işleri: küçük görseller, PDF'ler, e-posta Kuyruk SQS standard, RabbitMQ quorum kuyruğu, Kafka share grubu
Hesap başına sıralı komutlar Sıralama kapsamına sahip kuyruk Hesaba göre gruplandırılmış SQS FIFO, hesap anahtarlı Kafka
Birkaç servisin tepki verdiği olay Pub/sub, abone başına bir kuyruk SNS'den SQS'ye, RabbitMQ fanout exchange, Pub/Sub abonelikleri, Kafka tüketici grupları
Durumu yeniden oluşturmak veya tüketicinin geçmişini doldurmak Günlük Kafka, RabbitMQ stream'leri
Servisler arasında çok adımlı süreç Kuyruklarda komutlar, pub/sub üzerinde sonuçlar Saga deseni

Kuyruk ve pub/sub diyagramı

İki şerit. Üstte Upload API, resize-jobs kuyruğuna m1–m3 gönderir; üç işçinin her biri bir mesaj alır. Altta Order service, order-events konusuna yayın yapar; konu mesajları üç servisi besleyen üç aboneliğe kopyalar.

18 bileşen · 11 bağlantı

Archboard'da aç
Diyagram içeriği
  • Upload API
  • resize-jobs
  • Resize worker 1
  • Resize worker 2
  • Resize worker 3
  • Order service
  • order-events
  • email-sub
  • billing-sub
  • analytics-sub
  • Email service
  • Billing service
  • Analytics service
  • send m1, m2, m3
  • m1
  • m2
  • m3
  • publish m1, m2, m3
  • copy
  • m1, m2, m3
Kuyruk m1, m2 ve m3 mesajlarını yarışan üç işçiye birer tane verir; pub/sub konusu üçünü de üç aboneliğe kopyalar, böylece e-posta, faturalama ve analitik servisleri her mesajı işler.

Nasıl okunur:

  • İki şerit, aynı mesaj kimlikleri. Üstte noktadan noktaya kuyruk, altta yayınla-abone ol modeli vardır. Her üretici m1'den m3'e kadar mesaj gönderir.
  • Üst şerit: resize-jobs kuyruğu her mesajı, aynı servisin replikası olan farklı bir işçiye verir.
  • Alt şerit: order-events konusu her mesajı servis başına bir tane olmak üzere üç aboneliğe kopyalar; böylece e-posta, faturalama ve analitik servisleri m1, m2 ve m3'ün tamamını alır.
  • Düz oklar gönderme, yayınlama ve kopyalama adımlarıdır; kesik oklar, tüketicilerin onayladığı eşzamansız teslimlerdir.
  • Markdown bloğu, zaman aşımı ve saklama varsayılanlarını listeler.

Mesajlaşma diyagramlarını anlaşılır çizmek

  • Yalnızca konuları değil, abonelikleri çizin. Konudan doğrudan servislere giden oklar, mesajların nerede beklediğini ve her birikimin kime ait olduğunu gizler.
  • Bağlantıları mesaj adları veya kimlikleriyle etiketleyin; yalnızca “olaylar” yazmayın: m1, m2 ve m3 bölüşme ile kopyalama arasındaki farkı gösterir.
  • Yarışmanın önemli olduğu yerlerde replikaları gösterin; sıralama anahtarını ve başarısız mesaj yolunu kuyruk veya konunun yanında belirtin.

Olay güdümlü mimari diyagramı rehberi, bu gösterimi tam bir Kafka sistemine genişletir.

Archboard'da oluşturun

  1. Google veya GitHub ile giriş yapın ve bir diyagram oluşturun.
  2. Her şerit için Temel pack'inden bir Metin başlığı ekleyin.
  3. Üst şerit: C4 Modeli pack'inden Upload API adlı bir Container, Veri pack'inden resize-jobs adlı bir Kuyruk ve Resize worker 1–3 adlı üç Container node'u ekleyin. Kuyruğa “send m1, m2, m3” etiketli düz bir bağlantı; işçilere m1, m2 ve m3 etiketli kesik bağlantılar çizin.
  4. Alt şerit: Order service adlı bir Container, Veri pack'inden order-events adlı bir Konu, üç Kuyruk node'u (email-sub, billing-sub, analytics-sub) ve e-posta, faturalama ve analitik servisleri için üç Container node'u ekleyin. Konudan çıkan bağlantıları “copy”, kesik teslim bağlantılarını “m1, m2, m3” diye etiketleyin.
  5. Her şeridi mavi veya turkuaz tek bir vurgu rengiyle renklendirin; kuyruğun ve konunun altına Temel pack'inden bir Metin notu ekleyin.
  6. Varsayılanları gösteren bir Markdown bloğunu Temel pack'inden ekleyin.

Daha büyük bir sistem için olay güdümlü mimari şablonuyla başlayın; zaten Mermaid olarak bulunan akışlarda Mermaid'i düzenlenebilir diyagrama dönüştürme aracı ilk taslağı oluşturur.

Örnek 14 diagram node kullanıyor ve Free planın sınırları içinde kalıyor.

SSS

Pub/sub ile mesaj kuyruğu arasındaki fark nedir? Kuyruk her mesajı bir tüketiciye verir ve onaydan sonra siler. Pub/sub her aboneliğe ayrı bir kopya verir; böylece birkaç servis aynı olaya tepki verebilir.

Kafka bir mesaj kuyruğu mu, yoksa pub/sub sistemi mi? İkisidir. Her tüketici grubu her kaydı okur; bu pub/sub modelidir. Gruptaki tüketiciler bölümleri bir kuyruk gibi paylaşır. Kafka 4.2 share grupları, kayıt başına onay ekler.

Kafka, RabbitMQ ve SQS: hangisini kullanmalıyım? AWS üzerinde işletilecek bileşeni olmayan yönetilen bir kuyruk için SQS; esnek yönlendirme için RabbitMQ; yeniden oynatılabilir geçmişle yüksek işlem hacmi için Kafka kullanın.

Zaten SQS kullanıyorsam SNS'ye ihtiyacım var mı? Yalnızca birden fazla servisin her mesajı alması gerekiyorsa. Bu durumda SNS her mesajı servis başına bir SQS kuyruğuna kopyalar; her kuyruğun yeniden denemeleri ve başarısız mesaj kuyruğu ayrıdır.

Herhangi bir mesaj kuyruğu tam olarak bir kez teslimi garanti eder mi? Uçtan uca değil. SQS FIFO, Google Pub/Sub ve Kafka işlemleri belirli sınırlar içinde yinelemeleri önler; ancak e-postalar veya ödemeler yine de idempotent bir tüketici gerektirir.

Ücretsiz başlayın — tek kullanıcı, kredi kartı gerekmez.

İlgili yazılar

← Blog'a dön

Bir dakikada canvas açın

Google veya GitHub ile giriş yapın. Tek koltuk ücretsiz; ekip katılınca planı yükseltin.