Akamai führt Akamai Inference und Agent Sandbox für die Akamai Cloud ein

a close up of a typewriter with a paper reading machine learning — Markus Winkler / Unsplash

Akamai hat Akamai Inference, einen Dienst für die verwaltete Modellbereitstellung, sowie die Akamai Agent Sandbox, eine isolierte Umgebung für die Ausführung von Code durch KI-Agenten, in der Akamai Cloud eingeführt.

Die neuen Dienste ermöglichen es Unternehmen, KI-Modelle mit offenen Gewichten sowie eigene Modelle zu erstellen, anzupassen und zu betreiben. Akamai Inference bietet Zugriff auf diese Modelle über eine mit OpenAI kompatible Schnittstelle, wodurch bestehende Anwendungen ohne Neuentwicklung genutzt werden können. Zum Start stehen zwölf Modelle mit offenen Gewichten zur Verfügung, deren Größe zwischen 8 Milliarden und 2,8 Billionen Parametern liegt, darunter NVIDIA Nemotron 3 Ultra, OpenAI gpt-oss-120b und Google Gemma 4 sowie Einbettungsmodelle für die abrufbasierte Generierung.

Kunden können zwischen einer serverlosen Abrechnung nach Nutzung oder einer dedizierten Bereitstellung wählen. Die Modelle können Unternehmensdaten aus verwalteten Datenbanken und Objektspeichern in der Akamai Cloud oder aus verbundenen privaten und öffentlichen Clouds beziehen. Akamai übernimmt dabei die Orchestrierung, die Modellausführung und die Authentifizierung, während die Anfragen über das globale Netzwerk von Akamai verarbeitet werden, um Latenzen zu verringern.

Die Akamai Agent Sandbox dient als Bereich für die Ausführung von KI-Agenten und deren generiertem Code. Während die Agenten auf Akamai Functions laufen, wird der erzeugte Code in einer separaten Umgebung ausgeführt. Die Sandbox ist eine Open-Source-Komponente des Spin-Frameworks und nutzt WebAssembly-Isolierung, um Rechenleistung, Speicher, ausgehende Verbindungen und Systemfunktionen genau festzulegen.

Parallel dazu erweitert Akamai seine GPU-Flotte um NVIDIA Blackwell Ultra Cluster. Diese bieten pro Knoten acht GPUs mit jeweils 288 GB HBM3e-Speicher, was insgesamt 2,3 TB ergibt. Diese Infrastruktur ist für Grenzmodelle sowie für Aufgaben wie Testzeit-Skalierung und Ketten-von-Gedanken-Schlussfolgerungen ausgelegt. Zudem stehen NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs für Anwendungen mit geringer Latenz bereit. Für das Jahr 2027 plant Akamai die Unterstützung der NVIDIA Vera Rubin Plattform in seinen Rechenzentren.

Akamai Cloud bietet Rechenressourcen von GPU- und CPU-Clustern in Kernregionen bis hin zu über 4.350 Standorten am Netzwerkrand. Das Unternehmen hat bereits mehrjährige Verträge für die Akamai Cloud im Gesamtwert von über 14 Milliarden US-Dollar abgeschlossen.