Llm-d 1.0 lanseres under CNCF med støtte for produksjonsklare distribuert AI-inferens

Prosjektutviklerne bak llm-d har lansert versjon 1.0 av open-source-programvaren under Cloud Native Computing Foundation (CNCF). Denne versjonen er designet for å støtte daglige operasjoner i produksjon, inkludert multi-tenant kvalitetssikring, null-downtime oppgraderinger, en stabil konfigurasjons-API v1, og agent-bevisst tjenestelevering. Prosjektet ble grunnlagt i 2025 av Red Hat, IBM, Google Cloud, CoreWeave og NVIDIA, og har siden blitt overført til CNCF. Llm-d er ment å hjelpe organisasjoner med å kjøre inferens på store infrastrukturer, spesielt i forbindelse med agentbasert AI, som krever omfattende konteksthåndtering og kan generere uforutsette trafikkmønstre. Tidligere versjoner av llm-d har støttet ulike typer hardvare og funksjoner som prefix-cache, lastbevisst ruting, KV-cache offloading, og batch- og async-inferens. Den nye versjonen legger vekt på produksjonsoperasjoner, med funksjoner som multi-tenant kvalitetssikring, null-downtime operasjoner, en stabil grunnlag og agent-bevisst tjenestelevering.

Multi-tenant kvalitetssikring inkluderer flytkontroll som tar hensyn til prioriteringer og rettferdighet, slik at lavlatensieforespørsler og agentbaserte oppgaver kan kjøres samtidig uten å konkurrere om ressurser. Null-downtime operasjoner støtter router høy tilgjengelighet og rullende oppgraderinger, slik at trafikk kan fortsette under oppgraderinger eller planlagte vedlikeholdsarbeider. Agent-bevisst tjenestelevering bruker sesjonsbevisst ruting og turn-prioritetsplanlegging for å optimalisere konteksthåndtering og redusere gjentatt prosessering. I en nylig test av IBM Research, der de brukte en open frontier-modell sammen med llm-d for å utforske kvantumfeilkorrigerende hardvare, fant de at inferenskostnadene var 11,5 ganger lavere enn ved bruk av proprietære systemer. Prefix-cache trefferaten var omtrent 98%, og den gjennomsnittlige tjenesteomkostningen var rundt 0,11 dollar per million token. En annen test, der de brukte en 753B parameter mixture-of-experts-modell, viste at systemet kunne produsere over 6,6 millioner token per sekund og støtte opptil 3.000 coding-agenter samtidig.