Gartner prognostiziert, dass bis 2028 15 % der Entscheidungen autonom von KI getroffen werden – aber ist die Infrastruktur bereit?

In den letzten fünf Jahren hat generative KI den Markt erobert, indem sie auf Basis von Benutzer-Prompts Texte, dynamische Videos und andere Inhalte erstellt. Nun verspricht Agentic KI einen grundlegenden Wandel für Unternehmen. Agentic KI reagiert nicht nur auf Benutzer-Prompts, sondern kann durch logisches Denken, Planung und Ausführung mehrstufiger Aktionen Ziele erreichen – nahezu ohne menschliches Eingreifen.

Gartner prognostiziert, dass bis 2028 mindestens 15 % der täglichen Arbeitsentscheidungen autonom von Agentic KI getroffen werden. Gartner weist auch darauf hin, dass Unternehmen bis Ende 2027 über 40 % ihrer Agentic-KI-Projekte einstellen werden. Warum ist Agentic KI so wichtig, aber Unternehmen haben Schwierigkeiten, KI in ihren Betrieb zu integrieren? Laut Gartner sind die größten Hindernisse die steigenden Kosten und die Komplexität der großflächigen Bereitstellung von KI-Agenten.

Um eine erfolgreiche Einführung von Agentic KI zu gewährleisten, müssen Unternehmen ein angemessenes Verhältnis von GPU zu CPU sicherstellen. Die „GPU-Leerlaufsteuer“ wird zu einem wachsenden Problem, wenn Nutzer KI skalieren – sie bezieht sich auf versteckte Kosten, wenn GPUs nicht ausgelastet sind und dennoch Kosten verursachen. Basierend auf Daten von Zehntausenden von Clustern veröffentlichte Cast AI einen Bericht, der eine GPU-Auslastung von nur 5 % zeigt. Die Leerlaufzeit von GPUs ist in der Regel nicht beabsichtigt, um Ressourcen zu sparen, sondern höchstwahrscheinlich auf ein architektonisches Ungleichgewicht zurückzuführen. In einem gemeinsamen Forschungsprojekt von Intel und dem Georgia Institute of Technology wurde festgestellt, dass die Tool-Verarbeitung auf der CPU 50 % bis 90 % der Gesamtlatenz bei Agenten-Workloads ausmacht; die GPU ist im Leerlauf, während sie darauf wartet, dass die CPU ihre Arbeit beendet, bevor sie den nächsten Token-Batch verarbeiten kann, was die Betriebskosten unsichtbar erhöht.

Mit der anhaltenden Veränderung und Weiterentwicklung der KI-Landschaft müssen Unternehmen CPU und GPU zusammenarbeiten lassen und ein angemessenes Verhältnis beibehalten, um hervorragende Leistung zu erzielen und überhöhte Kosten für die KI-Infrastruktur zu vermeiden.

Generative KI vs. Agentic KI

Generative KI und Agentic KI unterscheiden sich grundlegend darin, wie ihre Workflows mit den umgebenden Systemen interagieren. Generative KI läuft typischerweise in einer relativ isolierten Infrastruktur. Sie nimmt einen Eingabe-Prompt entgegen, verarbeitet ihn mit einem vortrainierten Modell und gibt eine Ausgabe zurück, oft ohne tiefgehende Echtzeit-Integration mit anderen Systemen. Ihr Workflow ist weitgehend in sich geschlossen, basiert auf statischen Trainingsdaten und greift maximal auf begrenzte Wissensdatenbanken zurück.

Im Gegensatz dazu kann Agentic KI autonom handeln, um Ziele zu erreichen, was eine kontinuierliche Kommunikation über mehrere Komponenten der Unternehmensinfrastruktur erfordert. Diese Systeme müssen in der Lage sein, Aktionen zu orchestrieren, Echtzeit-Datenbanken abzufragen, mit APIs zu interagieren, Workflows auszulösen und sich dynamisch basierend auf Rückmeldungen verschiedener Dienste anzupassen. Daher ist Agentic KI auf eine Umgebung angewiesen, in der Daten-, Werkzeug- und Entscheidungsebenen miteinander verbunden, eng integriert und interoperabel sind. Ihre Workflows sind von Natur aus komplexer und verteilter als die relativ isolierten Prozesse der generativen KI.

Balance zwischen CPU und GPU

In den letzten fünf Jahren des KI-Booms war die GPU das Rechenzentrum. Allerdings sind GPUs nicht für die Verarbeitung der vielfältigen Aktionen ausgelegt, die Agentensysteme definieren, wie das Abrufen von Echtzeit-Netzwerkdaten, die Verarbeitung kontinuierlicher Sensorströme von Kameras und Lidar für autonomes Fahren oder das Navigieren auf komplexen Oberflächen wie E-Commerce-Plattformen, um Aufgaben zu erledigen. Hier spielt die CPU eine entscheidende ergänzende Rolle, indem sie die allgemeine Rechenleistung, Kontrollfluss und systemweite Koordination bietet, die GPUs fehlt. Mit der Weiterentwicklung von Agentic KI, insbesondere bei der Automatisierung von Geschäftsabläufen, rücken CPU-gesteuerte Prozesse zunehmend in den Mittelpunkt, um breitere Abläufe zu orchestrieren, Werkzeuge zu koordinieren, Speicher und Zustand zu verwalten und mit externen Systemen zu interagieren.

Aus Workload-Perspektive bringt dieser Wandel eine subtilere Balance zwischen CPU- und GPU-Auslastung. Traditionelle generative KI-Workflows verbringen die meiste Zeit auf der GPU, während die CPU nur relativ leichte Vorverarbeitung und Anfrageverwaltung übernimmt. Im Gegensatz dazu verbringen Agenten-Workloads aufgrund häufiger Tool-Aufrufe, Entscheidungsschleifen und I/O-intensiver Operationen möglicherweise den Großteil, oft die dominierende Ausführungszeit, auf der CPU, während die GPU nur in kurzen Ausbrüchen während der Modellinferenz genutzt wird. Dieses Ungleichgewicht ist besonders in Service-Umgebungen ausgeprägt, wo die parallele Verarbeitung der CPU zwar flexibel, aber weniger skalierbar als die GPU ist – das bedeutet, dass stark toolabhängige Agenten-Workloads die CPU-Ressourcen sättigen können, bevor die GPU voll ausgelastet ist. Um eine hohe GPU-Auslastung aufrechtzuerhalten und Engpässe zu vermeiden, benötigen Agentic-KI-Systeme leistungsstarke CPUs mit ausreichend Kernen und Threads, um die Aufgabenorchestrierung zu bewältigen. In modernen Rechenzentren ist die richtige Anzahl von GPUs und CPUs entscheidend; andernfalls lassen Einrichtungen ohne ausreichende CPU-Rechenleistung teure GPU-Ressourcen im Leerlauf, was die Systemleistung und den ROI verringert.

CPU-zentrierter Ansatz

In einem Papier mit dem Titel „Auf dem Weg zum Verständnis, zur Analyse und Optimierung der Ausführung von Agentic KI: Eine CPU-zentrierte Perspektive“ beschreiben und analysieren Forscher von Intel in Zusammenarbeit mit Partnern des Georgia Institute of Technology die durch Agentic-KI-Workloads verursachten Systemengpässe und betonen insbesondere die zentrale Rolle der CPU im Verarbeitungsprozess.

Zu diesem Zweck führten die Forscher Runtime-Charakterisierungen auf verschiedenen Hardwaresystemen durch, wobei sie sich auf Ende-zu-Ende-Latenz, Batch-Durchsatz und Energieanalyse konzentrierten, um Hardware-Engpässe im System zu isolieren. Das Team identifizierte und testete fünf weit verbreitete Agentic-KI-Workloads, die Anwendungen wie Faktenfragen, Codierung und wissenschaftliche Aufgaben umfassen und eine Vielzahl von Modellgrößen, Orchestrierungsmustern und Tool-Integrationsstrategien repräsentieren. Die folgende Abbildung zeigt den durchschnittlichen Prozentsatz der Verarbeitungszeit, den diese fünf Workloads jeweils auf CPU und GPU verbringen.

Die Ergebnisse zeigen, dass tool-lastige Agentic-KI-Workloads stark durch die Tool-Verarbeitung auf der CPU eingeschränkt werden, wobei CPU-Aufgaben bis zu durchschnittlich 86 % der Ende-zu-Ende-Latenz verbrauchen. Diese Ergebnisse deuten darauf hin, dass Unternehmen für die meisten Anwendungsfälle aktiv CPU-zentrierte Optimierungsstrategien umsetzen sollten. Allerdings variieren die spezifischen Prozentsätze der CPU- und GPU-Verarbeitungszeit stark, von 17 % CPU-Zeit bei Toolformer für mathematisch angereicherte Aufgaben bis zu 86 % CPU-Zeit bei LangChain für Frage-Antwort-Aufgaben. Daher ist es entscheidend, den spezifischen Anwendungsfall zu berücksichtigen, wenn das effizienteste CPU:GPU-Verhältnis für ein Unternehmen bestimmt wird.

Steigendes CPU:GPU-Verhältnis

In dem Intel-Whitepaper „Agentic KI braucht mehr CPU“ wird untersucht, wie Systemengpässe durch Erhöhung der CPU-Rechenleistung gemildert werden können, um die GPU-Auslastung zu halten und Kosten zu senken. Ein von dem Team erstellter Prozessablauf zeigte, dass die CPU den Großteil der Zeit des gesamten Prozesses verbraucht, wobei der Schritt „Kontext ergänzen“ dreimal so lange dauerte wie die LLM-Inferenz. Die Forscher erstellten auch einen zweiten Benchmark, der ein Szenario simuliert, in dem ein Entwickler einen KI-Assistenten bittet, Code zu schreiben und zu testen. Dieser Benchmark zeigte, dass die Codegenerierung (GPU) in 62,8 Sekunden abgeschlossen war, während die Ausführung auf der CPU 64,1 Sekunden dauerte, was die CPU zum limitierenden Faktor im Prozess machte.

Laut den Tests in diesem Whitepaper fanden die Forscher heraus, dass für aktuelle Bereitstellungen ein Verhältnis von etwa 0,8:1 bis 1,4:1 (CPU zu GPU) eine vollständige GPU-Auslastung gewährleistet. Wie bereits erwähnt, hängt dies jedoch stark vom Workload und der Hardware ab. Die folgende Abbildung zeigt, wie die Modellgröße das empfohlene Verhältnis beeinflusst:

Die Abbildung zeigt, dass je kleiner und effizienter das Modell ist, desto mehr CPUs werden benötigt, um die gleiche Leistung aufrechtzuerhalten. Darüber hinaus weist das Whitepaper darauf hin, dass dieses Verhältnis mit der anhaltenden Verbesserung der GPU-Leistung im Vergleich zu CPU-Verbesserungen möglicherweise drastisch steigen muss, in Zukunftsszenarien je nach Workload-Typ und Komplexität bis zu 7:1. Diese Forschung zeigt überzeugend, dass die CPU eine zentrale Rolle bei der Erzielung von Leistung und Kosteneffizienz der nächsten Generation von Agentic-KI-Systemen spielt.

Intel Xeon Prozessoren, entwickelt für Agentic KI

Die CPU übernimmt die Orchestrierung, Datenmigration, Inferenz und systemweite Koordination und wird zum Rückgrat des gesamten KI-Technologie-Stacks. Daher ist die Auswahl der richtigen CPU entscheidend, um eine konsistente Leistung in einer zunehmend komplexen und hybriden KI-Umgebung sicherzustellen. Intel Xeon 6 Prozessoren kombinieren integrierte KI-Beschleunigung, Infrastrukturkonsistenz und Sicherheitsgarantien und bieten eine robuste Grundlage für moderne KI-Infrastruktur.

Integrierte Beschleunigung: Intel Xeon Prozessoren ermöglichen es Unternehmen, Inferenz direkt auf der vorhandenen Architektur auszuführen, was die Wertschöpfung beschleunigt und die Abhängigkeit von spezifischen Fähigkeiten reduziert – das hebt Xeon hervor. Mit integrierten KI-Beschleunigern wie Intel AMX und Intel AVX bieten Xeon Prozessoren eine starke Leistung bei gängigen Inferenz-Workloads und erzielen im Vergleich zu Mitbewerbern mit weniger Kernen eine bis zu 50 % höhere Leistung. Diese Kombination aus integrierter Beschleunigung, Skalierbarkeit und Betriebsflexibilität macht Xeon zu einer soliden Grundlage für Unternehmens-KI.
Infrastrukturkonsistenz: Intel Xeon 6 Prozessoren sind die weltweit am weitesten verbreiteten Host-CPUs. Mit der zunehmenden Skalierung und Integration von KI-Operationen in Unternehmen kann Xeon die Konsistenz der Infrastruktur gewährleisten. Diese Prozessoren unterstützen bis zu 192 PCIe 5.0-Kanäle und erhöhen so die I/O-Bandbreite, Skalierbarkeit und Architekturflexibilität. Wie bei Inferenz-Workloads profitieren auch Host-Server von Intel Xeon 6 CPUs durch erhöhte Speicherbandbreite mit MCRDIMM und können die CXL 2.0-Unterstützung der CPU nutzen, um den Speicher zu erweitern. Branchenführende RAS-Funktionen tragen zur Stabilität von KI-Clustern bei, während eine hohe Single-Thread-Leistung dazu beiträgt, Aufgaben wie Orchestrierung und Planung zu beschleunigen und gleichzeitig P99- und Tail-Latenzen zu reduzieren – entscheidend für benutzerorientierte KI-Dienste.
Stabilität und Zuverlässigkeit für KI: Stabilität und Zuverlässigkeit sind die Grundlage von KI-Anwendungen; Unternehmen benötigen eine vertrauenswürdige Infrastruktur, um ihre Modelle und Daten zu schützen. Intel-Technologie ist weithin anerkannt für ihre robuste Produktstabilität und Zuverlässigkeit; etwa 96 % der Firmware-Schwachstellen werden durch proaktive interne Abwehrmaßnahmen entdeckt, während dieser Anteil bei anderen vergleichbaren Plattformen nur 57 % beträgt. Zusammen mit einem der umfassendsten Portfolios an Confidential-Computing-Produkten in der Branche ist Xeon 6 eine ideale Wahl für Organisationen, die eine robuste, unternehmensgerechte CPU-Architektur in heterogenen KI-Umgebungen aufbauen möchten.

In einer Zeit, in der KI-Workloads dynamischer, verteilter und enger mit Unternehmenssystemen integriert werden, müssen Infrastrukturentscheidungen eine Balance zwischen Leistung, Skalierbarkeit und Vertrauen finden. Intel Xeon Prozessoren vereinen diese Elemente und bieten integrierte Beschleunigung für effiziente Inferenz, eine konsistente und skalierbare Plattform, die wachsende Bereitstellungen unterstützt, sowie robuste Schutzfunktionen für kritische Daten und Modelle, um den sich entwickelnden Anforderungen moderner KI gerecht zu werden. Durch die Bündelung dieser Fähigkeiten in einer weit verbreiteten, einheitlichen Architektur ermöglicht Xeon Kunden, den Betrieb zu vereinfachen und gleichzeitig die Flexibilität für die Skalierung von KI-Anwendungsfällen zu bieten.