AI-agenter og Kubernetes: En analyse av kontrollsløyfen

turned on black and grey laptop computer — Lukas Blazek / Unsplash

Kubernetes har alltid benyttet agenter, men ikke av den typen som dominerer dagens samtaler om kunstig intelligens. En kontroller overvåker nåværende tilstand, sammenligner denne med en deklarert ønsket tilstand, og utfører handlinger for å lukke gapet.

Verktøy for agenter har beveget seg fra å være sideprosjekter til å bli en del av den sky-native stakken i løpet av de siste 18 månedene. CNCF har inkludert rammeverk for agenter i sin Sandbox, og Kubernetes SIG Apps har etablert Agent Sandbox som et underprosjekt for sikker kjøring av agentarbeidsbelastninger.

En Kubernetes-operator er designet for å være forutsigbar ved at den avstemmer ressurser etter kodede regler, prøver mislykkede operasjoner på nytt og konvergerer mot en deklarert tilstand. En AI-agent er derimot nyttig når det ønskede resultatet er klart, men veien dit ikke er det. Den kan undersøke ukjente situasjoner, samle kontekst fra flere systemer, veie avveininger og foreslå en handlingsplan.

Et tryggere arkitektonisk mønster kombinerer disse styrkene ved at agenten leverer resonnement og kontekst, mens operatorer, policy-motorer og andre deterministiske systemer beholder kontrollen over utførelsen. kagent, et åpen kildekode-prosjekt i CNCF Sandbox, eksemplifiserer dette ved å kjøre AI-agenter som Kubernetes-ressurser koblet til Helm, observabilitet og tilpassede verktøy. En agent kan inspisere ressurser, hente logger, hendelser og metrikker, samt konsultere dokumentasjon.

For å sikre kontroll kan ikke-sensitive leseoperasjoner kjøre automatisk, mens endringer som patching eller sletting av ressurser krever eksplisitt godkjenning. Dette hindrer at en usikker resonnementsprosess får ubegrenset myndighet over klyngen. Den operasjonelle sløyfen består av å observere, diagnostisere, foreslå, godkjenne, avstemme og verifisere.

Karpenter fungerer som en operator som evaluerer planleggingsbegrensninger og avstemmer NodePools og NodeClaims. Å erstatte denne logikken med en stor språkmodell ville gjort kontrollsløyfen mindre forutsigbar. En kagent-basert operasjonsagent bør i stedet jobbe over Karpenter for å analysere konfigurasjoner, ventende pods og Prometheus-metrikker for å forstå hvorfor observert atferd avviker fra målet.

Agentens utdata bør være et smalt konfigurasjons-patch basert på bevis fremfor vage anbefalinger. Etter godkjenning gjennom en policy-port, utfører Karpenter avstemmingen. Agenten overvåker deretter resultatet for å se om konsolideringen forbedret seg uten å øke ventetiden for pods. Ved behov kan systemet anbefale eller starte en tilbakestilling.

I tilfeller med oppgradering av Helm-diagrammer administrert av Argo CD, kan en agent forklare hva forskjeller i ressurser betyr for arbeidsbelastningen. Agenten kan sammenligne utgivelsesnotater og manifester for å identifisere om en oppgradering vil føre til utilsiktet bruk av standardverdier, og deretter opprette en målrettet forespørsel om endring som forklarer operasjonell risiko.