Custom Silicon für KI-Rechenzentren Jalapeño gegen Blackwell: OpenAI schafft sich Spielraum gegenüber Nvidia

Anbieter zum Thema

MicroConsult Academy GmbH

OpenAIs eigener Inferenz-ASIC soll bei ausgewählten Workloads effizienter und schneller sein als Nvidias Blackwell-Systeme. Genauso interessant wie die Spitzenwerte ist die strategische Botschaft: Der KI-Anbieter will mehr Kontrolle über Kosten, Kapazitäten und seine Recheninfrastruktur gewinnen.

OpenAI will bei der KI-Infrastruktur nicht länger nur als Großkunde auftreten. Mit Jalapeño hat das Unternehmen einen eigenen ASIC für die Inferenz großer Sprachmodelle entwickelt, der zunächst in der eigenen Infrastruktur eingesetzt werden soll. Vorerst geht es also nicht um Hardware-Konkurrenz zu dem unbestreitbar größten Serveranbieter der Welt, sondern darum, einen Teil der laufenden Kosten und der benötigten Rechenkapazität selbst zu beeinflussen. Und darum, OpenAIs Abhängigkeit von Nvidia zumindest verringern.

Denn die Verantwortlichen von OpenAI betonen, auch künftig Beschleuniger von Nvidia und anderen Partnern für Training und Inferenz einzusetzen. Jalapeño ist deshalb weniger ein Frontalangriff auf Nvidia als ein strategischer Hebel: OpenAI will nicht jede benötigte Rechenoperation selbst abdecken, aber bei einem besonders wichtigen Teil der Infrastruktur mehr Kontrolle gewinnen.

Die Benchmarkzahlen

OpenAI hat Jalapeño auf InferenceX getestet, einem öffentlichen Benchmark von SemiAnalysis. Die Messungen umfassten GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 mit einer Billion Parametern. Nach Angaben von OpenAI lag die Leistung pro Watt je nach Modell zwischen 1,5- und 1,9-mal höher als bei den verglichenen Blackwell-Systemen von Nvidia. Die End-to-End-Latenz fiel zwischen 1,7- und 3,6-mal geringer aus.

Die Werte beziehen sich auf eine nominale Sequenzlänge von 8.000 Eingabe- und 1.000 Ausgabetokens sowie auf die jeweils betrachteten Betriebspunkte. Für stark interaktive Anwendungen meldet OpenAI einen Leistungsvorteil zwischen 2,1- und 4,1-fach.

Die bis zu 104‑fach höhere Durchsatzleistung, die OpenAI ebenfalls ausweist, ist dagegen kein allgemeiner Geschwindigkeitsvorteil. Sie bezieht sich auf einen bestimmten Betriebspunkt mit gleicher Zeit zwischen zwei ausgegebenen Tokens. Solche Werte zeigen, wie stark sich die Kurven an einzelnen Punkten unterscheiden können – sie ersetzen aber keinen umfassenden Vergleich über reale Produktionslasten.

700 Watt gegen 1.200 beziehungsweise 1.400 Watt

Jalapeño ist laut OpenAI für eine Package-Leistung von 700 Watt ausgelegt. Die dauerhaft gemessene Leistungsaufnahme habe in den Tests höchstens 550 Watt betragen. Die Vergleichssysteme GB200 und GB300 werden mit 1.200 beziehungsweise 1.400 Watt Package-TDP angesetzt.

Das beschreibt allerdings nicht den Energiebedarf eines kompletten Racks oder Rechenzentrums. OpenAI normalisiert die Ergebnisse auf die veröffentlichte Package-TDP der jeweiligen Beschleuniger. Tom’s Hardware verweist zudem auf eine Vergleichsrechnung mit der Gesamtleistung pro Beschleuniger: Werden auch weitere Komponenten berücksichtigt, fällt der Abstand kleiner aus.

Auch die Dekodiermethode beeinflusst das Ergebnis. Bei der Single-Token-Prediction erzeugt das Modell pro Rechenschritt jeweils ein Token. Bei der Multi-Token-Prediction werden mehrere Folgetokens vorgeschlagen und anschließend vom großen Modell überprüft. Das reduziert die Zahl der aufeinanderfolgenden Dekodierschritte und kann die Latenz deutlich verringern.

OpenAI kennzeichnet die veröffentlichten Vergleichsszenarien im Anhang als Single-Token-Prediction. SemiAnalysis schreibt dagegen, dass die Nvidia-Bestkonfigurationen seiner Vergleichsdarstellung mit Multi-Token-Prediction liefen. Die Quellen beziehen sich damit nicht vollständig auf identische Konfigurationen. Das bedeutet, dass die Nvidia-Werte von einer zusätzlichen Software- und Modelloptimierung profitieren können; zugleich ist die Single-Token-Leistung von Jalapeño ohne diese Unterstützung bemerkenswert.

In einem zusätzlichen Vergleich mit einem GB300 und aktivierter Multi-Token-Prediction schrumpft der Effizienzvorteil von Jalapeño laut Tom’s Hardware auf ungefähr das 1,5-Fache. Der Vergleich ist damit interessant, aber kein reiner Chip-gegen-Chip-Test.

Der Maßstab bewegt sich bereits weiter

Hinzu kommt, dass Jalapeño nicht gegen Nvidias neueste Plattform Vera Rubin getestet wurde. Vera Rubin NVL72 kombiniert 72 Rubin-GPUs mit 36 Vera-CPUs und 20,7 TByte HBM4. Nvidia verspricht für bestimmte, anders konfigurierte Kimi-K2-Thinking-Workloads bis zu zehnmal mehr Tokens pro Megawatt als beim GB200. Diese Werte sind wegen des anderen Modells, der längeren Eingabe- und Ausgabesequenzen sowie der abweichenden Testkonfiguration nicht direkt mit Jalapeño vergleichbar. Sie zeigen aber, wie schnell sich der Maßstab verschiebt. Wer aus den OpenAI-Zahlen einen allgemeinen Sieg über Nvidia ableitet, vergleicht deshalb den neuen ASIC mit einer älteren Plattform und lässt Nvidias nächste Generation außen vor.

Interessant ist Jalapeño deshalb nicht nur wegen der Benchmarkwerte. OpenAI hat den ASIC gemeinsam mit Speicher, Netzwerk, Software und Rack-System für typische Inferenzabläufe entwickelt. Beim sogenannten Prefill wird eine Anfrage zunächst rechenintensiv verarbeitet. Die anschließende Token-Erzeugung, das Dekodieren, ist dagegen stärker durch Speicherbandbreite und Datenbewegungen begrenzt. Zusätzlich muss der sogenannte KV-Cache – der während der Generierung benötigte Modellzustand – zwischen Rechenkernen und Chips verfügbar sein.

Jalapeño soll den KV-Cache möglichst lokal halten und Rechen-, Speicher- und Netzwerkeinheiten je nach Inferenzphase unterschiedlich nutzen. OpenAI setzt dabei auf einen möglichst einheitlichen Verbund, statt Prefill und Dekodierung grundsätzlich auf getrennte Beschleunigerpools zu verteilen. Das kann vermeiden, dass Kapazitäten ungenutzt bleiben, wenn sich das Verhältnis zwischen Eingaben, Ausgaben und Nutzerlast verändert.

Ob sich dieser Ansatz in realen, langen und mehrteiligen Agenten-Workloads bewährt, ist allerdings noch offen. SemiAnalysis hat die InferenceX-Läufe nach eigenen Angaben gemeinsam mit OpenAI nachvollzogen, aber nicht die komplette Benchmark-Suite unabhängig ausgeführt. Ergebnisse für längere Kontexte und mehrteilige Agentenaufgaben fehlen bislang. Gerade solche Anwendungen belasten auch Router, Cache-Verwaltung und die Kommunikation zwischen Systemkomponenten.

Zu den technischen Eckdaten nennt SemiAnalysis für ein späteres B0-Stepping 13,4 PetaFLOPS bei MXFP4-Matrixberechnungen. Jalapeño soll pro Package 15,4 TByte/s HBM4-Bandbreite und 216 GByte HBM4 bieten. Ein Rack umfasst 128 ASICs; über die Netzwerktopologie sollen sich bis zu 2.048 Chips verbinden lassen. Die ersten Benchmarkwerte wurden allerdings noch mit einem A0-Stepping ermittelt. Die Daten des B0-Steppings sind deshalb nicht einfach mit den Messergebnissen gleichzusetzen.

Vom Chip zur eigenen Infrastruktur

OpenAI gibt an, Jalapeño innerhalb von neun Monaten vom Entwurf bis zum Tape-out gebracht zu haben. Eigene KI-Modelle sollen dabei Teile der Entwicklung, Optimierung und Verifikation beschleunigt haben. Für ausgewählte Attention- und Mixture-of-Experts-Blöcke seien KI-generierte Implementierungen zwischen 1,5- und 1,8-mal schneller als zuvor von Experten geschriebene Varianten gewesen. Diese Werte beziehen sich jedoch auf einzelne Kernels und nicht auf ein vollständiges Modell.

Broadcom unterstützt OpenAI bei der Siliziumimplementierung, der Netzwerktechnik und der Skalierung. Celestica steuert Board-, Rack- und Systemintegration bei. Die erste Bereitstellung ist bis Ende 2026 vorgesehen. Jalapeño ist damit der erste Baustein einer mehrgenerationellen Plattform, nicht das fertige Ende der Nvidia-Abhängigkeit. Die nüchterne Einordnung lautet deshalb: Jalapeño ist kein Nvidia-Killer und auch kein frei verfügbares Gegenprodukt zu Blackwell oder Vera Rubin. Der ASIC soll zunächst OpenAIs eigene Dienste versorgen und ist auf Inferenz beschränkt; für Training und andere Aufgaben bleibt das Unternehmen auf GPUs und weitere Beschleuniger angewiesen.

Seine Bedeutung liegt trotzdem in der Verschiebung der Machtverhältnisse. Wenn OpenAI einen Teil seiner Modelle auf eigener Hardware effizient betreiben kann, gewinnt das Unternehmen Einfluss auf Kosten, Energieverbrauch, Lieferfähigkeit und die Auswahl seiner Lieferanten. Die Abhängigkeit verschwindet dadurch nicht – sie verlagert sich teilweise zu Broadcom, TSMC, HBM-Herstellern und Systemintegratoren.

Genau deshalb veröffentlicht OpenAI die Benchmarkwerte. Die Botschaft lautet nicht unbedingt: „Wir haben Nvidia geschlagen.“ Sie lautet eher: „Wir können selbst Hardware entwickeln, die für unsere Inferenz-Workloads konkurrenzfähig ist.“ Für OpenAI ist das ein Infrastrukturprojekt. Für Nvidia ist es ein weiteres Signal, dass die größten Kunden beginnen, sich zumindest teilweise eigene Alternativen aufzubauen. (sb)

(ID:50937854)