---
title: CNCF çatısı altında llm-d 1.0 yayınlandı
url: https://www.dataloco.com/tr/cncf-catisi-altinda-llm-d-10-yayinlandi
published: 2026-10-23T14:43:04+00:00
language: tr
section: Yapay zeka
source: https://www.techtalkthai.com/llm-d-1-0-cncf-production-ready-distributed-ai-inference/
organizations: CNCF, Red Hat, IBM, Google Cloud, CoreWeave, NVIDIA
publisher: Dataloco
---

# CNCF çatısı altında llm-d 1.0 yayınlandı

llm-d geliştirici grubu, büyük dil modellerinin dağıtık çıkarımı için tasarlanmış açık kaynaklı yazılım olan llm-d 1.0 sürümünü CNCF yönetimi altında piyasaya sürdü.

2025 yılında Red Hat, IBM, Google Cloud, CoreWeave ve NVIDIA tarafından kurulan proje, daha sonra Cloud Native Computing Foundation bünyesine geçti. Yazılım, büyük altyapılarda çıkarım işlemleri yürüten kuruluşlara yardımcı olmayı amaçlıyor. Özellikle yapay zeka ajanlarının oluşturduğu, yüksek miktarda bağlam kullanımı ve öngörülemeyen trafik artışları gibi farklı yükleri yönetmeye odaklanıyor.

Sürüm 1.0 ile birlikte üretim ortamındaki operasyonlar için çok kiracılı hizmet kalitesi, kesintisiz yükseltmeler, kararlı yapılandırma API v1 ve yapay zeka ajanlarına özel servis imkanları getirildi. Çok kiracılı hizmet kalitesi, öncelik ve adalet odaklı akış kontrolü sağlayarak düşük gecikme süreli isteklerin ve trafik dalgalanmaları olan ajanların aynı filoyu kaynak çatışması yaşamadan kullanmasına olanak tanıyor.

Kesintisiz operasyonlar kapsamında, yönlendirici yüksek kullanılabilirliği için sıcak yedekleme ve kademeli güncelleme özellikleri sunuluyor. Ajan farkındalıklı servis ise, çok turlu konuşmaları bağlamın önbellekte bulunduğu noktalara yönlendiren oturum farkındalıklı yönlendirme ve tur öncelikli zamanlama yöntemlerini kullanıyor.

IBM Research tarafından yürütülen bir çalışmada, kuantum hata düzeltme donanım tasarımı araştırmaları için kullanılan sistemin, tamamen tescilli sistemlere kıyasla çıkarım maliyetlerini 11,5 kat düşürdüğü görüldü. Bu çalışmada önbellek isabet oranı yaklaşık yüzde 98 olarak kaydedilirken, ortalama servis maliyeti 1 milyon token başına 0,11 dolar olarak belirlendi.

Bir diğer testte, NVIDIA GPU'lar üzerinde çalışan 753 milyar parametreli GLM 5.2 modeli ile dakikada 6,6 milyondan fazla token çıktısı alındı. Sistem, herhangi bir ön alma işlemi olmadan aynı anda 3.000 kodlama ajanını destekledi. Bulut kiralama ücretleri üzerinden yapılan hesaplamalarda, token başına maliyetin benzer ticari API fiyatlarından 5 ile 10 kat daha düşük olduğu saptandı. Ayrıca bir başka testte çıktı işlem kapasitesinin 3 kat arttığı gözlemlendi.

Google Cloud, llm-d 1.0'ı Google Kubernetes Engine'e entegre ederek Google TPU ve NVIDIA GPU üzerinde kullanıma sundu. CoreWeave, müşterilerinin bu yazılımı CoreWeave Kubernetes Service ve NVIDIA Dynamo ile kullanmasına imkan tanıyor. NVIDIA, yazılımı NVIDIA Vera Rubin üzerinde kullanmaya hazırlanırken, AMD ise AMD Instinct GPU desteği sağlıyor. DigitalOcean, JetBrains, Mistral, Cohere ve Roblox gibi kuruluşlar da kendi model servis sistemlerinde llm-d kullanıyor.

## This story in other languages

- [Norsk](https://www.dataloco.com/no/llm-d-10-lanseres-under-cncf-med-stotte-for-produksjonsklare-distribuert-ai-inferens)