LLM Gateway Mimarisi: Yönlendirme, Önbellekleme, Yedek Modeller ve Maliyet Kontrolü

Şirketinizde bir düzine özellik üç model sağlayıcısını çağırıyor. Her ekip kendi API anahtarını tutuyor, geçen ay hangi ekibin ne kadar harcadığını kimse bilmiyor ve ana sağlayıcı bir saat boyunca 429 hataları döndürdüğünde her uygulama başka türlü bozuldu. Biri model değiştirdi ve JSON çıktısını bozdu.

AI gateway ya da LLM proxy olarak da bilinen bir LLM gateway, her model çağrısını anahtarların, yönlendirmenin ve ölçümün sahibi olan tek bir servisten geçirir. Bu yazı istek yolunu adım adım izliyor, ardından yönlendirmeyi, önbelleklemeyi, token limitlerini, metrikleri, güvenliği ve hazır kullanabileceğiniz gateway'leri ele alıyor.

Model sağlayıcılarının önüne neden bir gateway koymalı

Sağlayıcı limitleri ve faturaları organizasyon şemanıza uymaz. OpenAI hız limitlerini kullanıcı başına değil, organizasyon ve proje başına belirler; Anthropic ise organizasyon başına, isteğe bağlı workspace limitleriyle. Bir müşteri sohbetiyle aynı projedeki gecelik bir toplu iş, sohbetin dakika başına token kotasını tüketebilir. Gateway size anahtarlar, yönlendirme, ekip başına limitler ve maliyetin ekiplere dağıtılması için tek bir yer verir.

API gateway'inizin yerini almaz. API gateway istekleri sayar; LLM gateway ise token'ları ve dolarları sayar, akış hâlinde gelen yanıtları anlar ve bir sağlayıcının 429'unu başka bir modeli denemek için bir neden olarak görür.

İstek yolu, adım adım

Ucuz kontroller önce çalışır: İstek izin alana ve daha önce yanıtlanmadığı anlaşılana kadar hiçbir şey sağlayıcıya ulaşmaz.

1. Kimlik doğrulayın. Sanal anahtarı bir uygulamaya, bir ekibe ve o ekibin izin verilen modellerine eşleyin ya da 401 döndürün.
2. Limitleri kontrol edin. Ekibin Redis'teki token sayaçlarını ve bütçesini karşılaştırın. Limit aşılmışsa Retry-After ile 429 döndürün.
3. Politikayı uygulayın. Model izin listesini ve bir max_tokens üst sınırını zorunlu kılın, e-posta adresleri gibi kişisel verileri maskeleyin.
4. Önbelleğe bakın. İsabet olursa saklanan yanıt, sağlayıcı çağrılmadan döner.
5. Yönlendirin. Bir model ve sıralı bir yedek zinciri seçin.
6. Adaptörü çağırın. İsteği sağlayıcının API'sine çevirin, sağlayıcı anahtarını ekleyin ve ilk token için bir zaman aşımı başlatın.
7. Yeniden deneyin ya da yedeğe geçin. Bunu 429, 5xx, Anthropic'in 529 aşırı yük hatası ya da bir zaman aşımında yapın, ama yalnızca ilk token uygulamaya ulaşmadan önce. Bir sağlayıcı, akışı 200 ile başlattıktan sonra da hata gönderebilir ve yanıtın ortasında model değiştirmek iki cevabı birbirine yamar.
8. Akışı iletin ve ölçün. Server-sent events'i olduğu gibi geçirin ve kullanım olayını asenkron olarak yazın. OpenAI'ın Chat Completions API'si kullanımı yalnızca stream_options.include_usage ile son bir parçada gönderir ve kesilen bir akışta bu bilgi kaybolur; bu yüzden istemcinin bağlantısı koptuktan sonra da okumaya devam edin.

1'den 4'e kadarki adımlar bellek ya da Redis sorgularından ibaret olmalı; loglama ve değerlendirmeler istek yolunun dışında kalır.

Yönlendirme stratejileri

En güvenli yedek, başka bir sağlayıcıda çalışan aynı modeldir; örneğin hem Anthropic API'sinde hem de Amazon Bedrock'ta sunulan bir Claude modeli. Farklı bir model ailesi kendi değerlendirmelerini gerektirir, çünkü ilk bozulan şeyler araç çağrıları ve JSON çıktısıdır; ayrıca her yedeğin boşta kotası olmalıdır.

Yalnızca tek bir katmanda yeniden deneyin: OpenAI Python SDK'sı varsayılan olarak iki kez yeniden dener ve LiteLLM'in belgeleri, üst üste binen yeniden denemelerin tek bir isteği (1 + N)² upstream çağrısına dönüştürdüğü konusunda uyarır. Başarısız olan bir deployment'ı yüklenmeye devam etmek yerine dinlendirin; LiteLLM bunu varsayılan olarak bir 429'dan sonra 5 saniye boyunca yapar. Circuit breaker deseni bu fikri genelleştirir.

Önbellekleme: tam eşleşme, anlamsal ve sağlayıcı tarafı

Tam eşleşmeli önbellekleme güvenlidir ama dar kapsamlıdır: Cloudflare AI Gateway sağlayıcının, endpoint'in, modelin, auth başlığının ve tüm gövdenin hash'ini alır; bu yüzden her değişiklik yeni bir kayıt demektir. Müşteri kimliğini (tenant) önbellek anahtarına ekleyin, yoksa bir müşterinin yanıtı başka bir müşteriye ulaşabilir. Anlamsal önbellekleme farklı ifade edilmiş soruları da eşleştirir, ama “siparişimi iptal et” ile “aboneliğimi iptal et” birbirine yakın düşebilir; bu yüzden onu yalnızca yakın ama yanlış bir eşleşmenin zararsız olduğu yerlerde kullanın.

Çoğu zaman en çok tasarrufu sağlayıcı tarafındaki önbellek sağlar. Anthropic, cache_control ile işaretlenen önekleri 5 dakika boyunca önbellekte tutar, bu süre her isabette yenilenir ve çoğu modelde önbellekten okumalar temel girdi fiyatının 0,1 katına mal olur. OpenAI desteklenen modellerde varsayılan olarak önbelleğe alır ve önbellekteki girdi %95'e kadar daha ucuzdur (bu yazının yazıldığı Kasım 2026 itibarıyla). Sistem prompt'larını bayt bayt aynı tutun, en üste zaman damgası koymayın, maskelemeyi deterministik yapın ve bir konuşmayı tek bir deployment'a sabitleyin, çünkü her sağlayıcı hesabının kendi önbelleği vardır.

Milyon girdi token'ı başına varsayılan 3 USD fiyatla, 6.000 token'lık bir sistem prompt'u ve 500 token'lık bir soru 0,0195 USD tutar. Önek önbellekten okunduğunda 6.000 × 0,30 USD/M + 500 × 3 USD/M = 0,0033 USD olur; bu, isabet başına yaklaşık %83 daha azdır. Geçersiz kılmayı önbellekleme stratejileri yazısı ele alıyor.

Token hız limitleri ve ekip bütçeleri

Dakika başına istek sayısı LLM trafiği için zayıf bir limittir: Tek bir istek 50 token da taşıyabilir, 200.000 token da. Ekip başına dakikadaki token sayısını sınırlayın, max_tokens için üst sınır koyun ve dolar cinsinden aylık bir bütçe belirleyin. Bir isteğin boyutu bitene kadar bilinmez, bu yüzden bir yaklaşım seçin:

• Ayırın, sonra mutabakat yapın. Tahmini girdiyi ve max_tokens değerini baştan sayın, sonra düzeltin. OpenAI kendi limitlerinde max_tokens ile karakter sayısına dayalı bir tahminden büyük olanı sayar.
• İlerledikçe sayın. Anthropic çıktı token'larını üretildikçe sayar ve çoğu modelde önbellekten okumalar dakika başına girdi token'ı limitine dahil edilmez.
• Sonradan sayın. Basittir, ama ani yüklerde limit aşılır. Cloudflare, eşzamanlı isteklerin harcama limitlerini kısa süreliğine aşabildiğini söylüyor.

Sayaçları tüm gateway örneklerinin paylaştığı Redis'te tutun; algoritmaları ve bir Redis kesintisini hız sınırlayıcı sistem tasarımı ele alıyor. Kullanımı sürümlü bir fiyat tablosuyla fiyatlandırın, bütçenin %80'inde alarm verin ve %100'ün kesin bir durdurma mı yoksa daha ucuz bir model mi anlamına geleceğine karar verin.

Neyi ölçmeli

Sağlayıcı ve model başına ilk token süresini; ekip başına girdi, çıktı ve önbellekten gelen token'ları; ekip ve özellik başına maliyeti; türe göre hataları; yedeğe geçiş ve önbellek isabet oranlarını izleyin. OpenTelemetry'nin üretken yapay zekâ kuralları gen_ai.usage.input_tokens gibi öznitelikleri tanımlar ama hâlâ geliştirme aşamasındadır; bu yüzden yaydığınız sürümü sabitleyin. Gözlemlenebilirlik mimari diyagramı sinyallerin nereye gittiğini gösteriyor.

Güvenlik: gateway'in çözmediği şeyler

Gateway her sağlayıcı anahtarını tutar ve her prompt'u görür; bu yüzden ona az sayıda yönetici, denetlenen yapılandırma değişiklikleri ve her çağrının meta verisini tutan, ama prompt'ları yalnızca örneklenmiş, maskelenmiş ve kısa ömürlü olarak saklayan loglar verin.

LLM uygulamaları için OWASP Top 10 listesinin sınırsız tüketim (unbounded consumption) dediği riske karşı işe yarar: Limitler ve bütçeler, döngüye girmiş bir ajanın ya da sızmış bir anahtarın faturayı şişirmesini durdurur. Prompt injection'ı ise çözmez; OWASP kesin bir önleme yönteminin olup olmadığının belirsiz olduğunu söylüyor ve getirilen bir belgeye gizlenmiş talimatlar gateway'e veri gibi görünür. Savunmalar, yapay zekâ ajanı mimari diyagramında olduğu gibi en az yetkiyle çalışan araçlar, onaylar ve çıktının sıkı biçimde işlenmesidir.

Geliştirmek mi, hazırını kullanmak mı

Envoy AI Gateway, Eylül 2026'da Agent Router adıyla Agentic AI Foundation'a katıldı. Yalnızca size özgü olanı, örneğin veri sınıfına göre yönlendirmeyi kendiniz geliştirin; pahalı kısım, sağlayıcı adaptörlerini güncel tutmaktır. Yönetilen bir gateway her prompt'un yoluna üçüncü bir taraf koyar; kendi sunucunuzdaki bir gateway ise Redis'i, Postgres'i ve sürüm yükseltmelerini sizin işiniz hâline getirir.

LLM gateway diyagramı

Nasıl okunur:

• İki uygulama, kendi sanal anahtarlarıyla ve sağlayıcı anahtarı olmadan OpenAI formatındaki tek bir endpoint'i çağırır.
• Beş aşama sırayla çalışır; her birinin üstünde neye karar verdiğini anlatan bir açıklama vardır. Bir istek Auth'ta (401, 429) ya da bir önbellek isabetinde durabilir.
• Üç hedef: birincil olarak OpenAI, 429 ya da 5xx durumunda kesikli çizgiyle yedek olarak Anthropic ve hassas veriler için kendi sunucunuzdaki bir vLLM modeli.
• Aşamaların altında: anahtarlar ve bütçeler için Postgres, sayaçlar ve önbellekteki yanıtlar için Redis ve asenkron olarak yazılan kullanım kaydı.
• Markdown bloğu bir ekip için örnek ayarları listeler.

LLM gateway diyagramlarını net çizmek

• Tek bir kutu değil, aşamalar çizin. Tek bir gateway dikdörtgeni, maskelemenin önbellekten önce mi yapıldığını gizler.
• Koşulları kenarlara yazın: “fallback on 429/5xx”, “sensitive data”, “miss”.
• Verinin ağınızdan nerede çıktığını işaretleyin, ki harici sağlayıcılar kendi sunucunuzdaki modelden farklı görünsün.
• Asenkron yolları kesikli çizin, ölçüm ve loglama gibi.
• Model kataloğunu dışarıda bırakın; onun yeri yapılandırmadır.

Archboard'da oluşturun

1. Google ya da GitHub ile giriş yapın ve bir diyagram oluşturun.
2. Temel paketinden LLM gateway adlı bir Çerçeve ekleyin.
3. Çerçevenin içine C4 Model paketinden beş Bileşen düğümünü yan yana ekleyin: 1 Auth, 2 Policy, 3 Cache, 4 Router ve 5 Adapters; her birinin üstüne bir Temel Metin açıklaması koyun.
4. Bunların altına Veri paketinden Postgres ve Redis, kullanım ve maliyet kaydı için de bir Veri ambarı ekleyin.
5. Çerçevenin soluna uygulamalar için C4 Model paketinden iki Konteyner düğümü; sağına OpenAI API ve Anthropic API için iki Harici sistem düğümü ve kendi sunucunuzdaki model için ML paketinden bir Uç nokta ekleyin.
6. Etiketli kenarlar çizin; yedeğe geçişi ve kullanım olaylarını kesikli yapın.
7. Örnek ayarlarla Temel paketinden bir Markdown bloğu ekleyin.

Yolu bir Mermaid akış şeması olarak tutuyorsanız Mermaid dönüştürücü onu düzenlenebilir bir ilk taslağa çevirir. Örnek 15 diyagram düğümü kullanıyor ve Free planın sınırları içinde kalıyor.

SSS

LLM gateway nedir? Her model çağrısının içinden geçtiği bir servis. Sağlayıcı anahtarlarını tutar, modeller arasında yönlendirme ve yedeğe geçiş yapar, önbelleğe alır, token limitlerini ve bütçeleri uygular ve kullanımı ekip başına kaydeder.

AI gateway ile API gateway arasındaki fark nedir? API gateway HTTP isteklerini sınırlar. AI gateway ise token'ları, akış hâlindeki yanıtları ve sağlayıcı hatalarını da anlar; bu sayede token'a göre sınırlayabilir, maliyeti ekiplere dağıtabilir ve başka bir modele geçebilir.

Anlamsal önbellekleme ile prompt önbellekleme arasındaki fark nedir? Anlamsal önbellekleme gateway'inizde çalışır ve benzer bir soru için saklanmış bir yanıt döndürür. Prompt önbellekleme sağlayıcıda çalışır ve işlenmiş bir prompt önekini yeniden kullanır; model yine de yeni bir yanıt yazar.

LLM istekleri token'a göre nasıl sınırlanır? Redis'te ekip başına bir token bucket tutun, her çağrıdan önce tahmini girdiyi ve max_tokens değerini ayırın, sonra düzeltin ve limite ulaşıldığında Retry-After ile 429 döndürün.

LLM gateway prompt injection'ı önleyebilir mi? Hayır. Bariz saldırıları filtreleyebilir ve bütçelerle hasarı sınırlayabilir, ama belgelere enjekte edilmiş talimatlar veri gibi görünür. Savunmayı uygulamada en az yetkiyle çalışan araçlar ve onaylarla yapın.

Ücretsiz başlayın — tek kullanıcı, kredi kartı gerekmez.