Neuer KI-Speicher High Bandwidth Flash soll Speicherlücke bei KI-Inferenz schließen

Die Speicherhersteller SK Hynix und Sandisk haben die erste technische Spezifikation für High Bandwidth Flash (HBF) veröffentlicht. Die neue Architektur mit NAND-Speicher für Recheneinheiten zielt primär auf KI-Inferenz.

SK Hynix und Sandisk haben nun einen wichtigen Meilenstein für eine neue Speicherarchitektur HBF erreicht. Die beiden Unternehmen legten Anfang August 2026 die erste technische Spezifikation für High Bandwidth Flash vor. Das Konzept sieht vor, den bewährten NAND-Flash-Speicher nicht mehr über eine klassische Schnittstelle als Laufwerk anzubinden, sondern als gestapelten Speicher mit einer direkten Verbindung zu den Recheneinheiten. Die Spezifikation wurde über den Open Compute Project (OCP)-Rahmen veröffentlicht. Sie definiert HBF-Stapel mit acht oder 16 NAND-Dies, einer Kapazität von bis zu 512 GByte je Stack sowie drei Bandbreitenklassen. Die Bandbreite reicht den Angaben zufolge von rund 0,4 bis 3,0 TByte/s. Als Verbindung zum Host ist UCIe vorgesehen, der offene Chiplet-Interconnect für Verbindungen innerhalb eines Packages.

Die nun standardisierten Eckdaten definieren die technischen Parameter für künftige Beschleunigerkarten. Die Vorgaben umfassen folgende Kernpunkte:

Der Unterschied zu bisherigen Speicherlösungen

High Bandwidth Flash übernimmt das Prinzip vertikal gestapelter Speicher-Dies, das auch bei High Bandwidth Memory zum Einsatz kommt. HBF verwendet jedoch NAND-Flash statt DRAM. Das verändert das Verhältnis von Kapazität, Bandbreite und Latenz.

HBM bietet eine hohe Bandbreite bei niedriger Latenz, erreicht aber pro Stack geringere Kapazitäten als NAND-basierte Speicher. Klassische SSDs stellen dagegen große Kapazitäten bereit, sind jedoch über Controller, PCIe und das NVMe-Protokoll in die Systemarchitektur eingebunden. Dieser Datenpfad ist auf Massenspeicher ausgelegt und nicht auf eine möglichst enge Kopplung an GPU- oder CPU-Recheneinheiten.

HBF soll NAND-Flash über eine breitere und physisch nähere Verbindung anbinden. Dadurch kann die Übertragungsrate gegenüber extern angeschlossenen Laufwerken deutlich steigen. Zugleich ermöglicht die hohe NAND-Dichte Kapazitäten von bis zu 512 GByte pro HBF-Stack.

Die grundlegenden Eigenschaften von NAND bleiben jedoch erhalten: Flash-Speicher weist höhere Zugriffszeiten als DRAM auf und besitzt eine begrenzte Schreibhaltbarkeit. Konkrete Werte zu Latenz, Schreibausdauer oder Leistungsaufnahme fertiger HBF-Bausteine enthalten die veröffentlichten Angaben bislang nicht.

Universelle Chiplet-Verbindung als Schlüssel

Eine wesentliche Rolle spielt die Anbindung über Universal Chiplet Interconnect Express, kurz UCIe. Dabei handelt es sich um einen offenen Standard für die Kommunikation zwischen Halbleiter-Dies innerhalb eines gemeinsamen Packages oder eines eng gekoppelten Multi-Chip-Moduls.

UCIe definiert die physische Die-to-Die-Verbindung sowie Adapter- und Protokollschichten. Der Standard unterstützt unter anderem Zuordnungen für PCIe, CXL und Streaming-Protokolle. Für HBF soll UCIe die Verbindung zwischen dem Speicherstack und dem jeweiligen Host-Prozessor beziehungsweise Beschleuniger bereitstellen.

Damit können Hardwareentwickler HBF-Stapel nahe an CPUs, GPUs oder anderen xPUs integrieren. Der Datenweg wäre kürzer als bei einem externen SSD-Subsystem, die mögliche Bandbreite steigt. Daraus folgt allerdings nicht automatisch, dass Betriebssysteme HBF wie gewöhnlichen Arbeitsspeicher behandeln. Wie HBF in Speicherhierarchie, Treiber und Laufzeitumgebung eingebunden wird, hängt von der jeweiligen Systemarchitektur ab.

Für große KI-Modelle gedacht

Das wichtigste Einsatzgebiet ist die KI-Inferenz, also die Ausführung bereits trainierter Modelle. Große Sprachmodelle und multimodale Modelle können Gewichte mit einem Umfang von mehreren hundert GByte oder mehreren TByte enthalten. Diese Daten müssen mit hoher Rate zum Beschleuniger gelangen.

HBM liefert hierfür niedrige Latenzen und hohe Bandbreite, ist bei der Kapazität pro Stack aber begrenzt. Das Nachladen von Modellgewichten aus externen SSDs erweitert zwar die Gesamtkapazität, bremst den Datenfluss aber deutlich stärker als eine paketnahe Speicheranbindung.

HBF soll diese Lücke teilweise schließen: Ein Beschleuniger könnte HBM für besonders latenzkritische Daten und aktive Rechenzustände verwenden, während größere Mengen an Modellgewichten in NAND-basierten HBF-Stacks liegen. Ob und in welchem Umfang dies in realen Systemen Vorteile bringt, hängt unter anderem von Cache-Architektur, Fehlerkorrektur, Speicherverwaltung und Software ab.

Die bisherige Positionierung richtet sich vor allem auf leselastige Inferenz. Für schreibintensive Trainingsprozesse haben Sandisk und SK hynix bislang keine entsprechenden HBF-Leistungsdaten veröffentlicht.

Von der Partnerschaft zum Industriestandard

Die Standardisierung begann mit einer im August 2025 angekündigten Kooperation von Sandisk und SK hynix. Ende Februar 2026 starteten die Unternehmen ein Konsortium für die HBF-Spezifikation. Nun folgte die erste technische Spezifikation im OCP-Umfeld.

Nach Angaben von Sandisk beteiligten sich auch Google und Tenstorrent am Konsortium. Beide Unternehmen sollen an der Validierung der Technik und an der Standardisierung mitgewirkt haben. Die breite Beteiligung ist für HBF relevant, weil die Technik nur mit abgestimmten Speicher-, Packaging-, Beschleuniger- und Softwarelösungen in Systeme integriert werden kann.

Sandisk plant erste HBF-Muster weiterhin für die zweite Jahreshälfte 2026. Muster erster KI-Inferenzgeräte mit HBF sollen Anfang 2027 folgen. SK Hynix hat zudem angekündigt, Enterprise-SSDs auf Basis seiner 375-lagigen V10-4D-NAND Anfang 2027 in Serie zu fertigen. Einen konkreten Termin für ein konkretes HBF-Produkt auf Basis dieser NAND-Generation hat das Unternehmen jedoch nicht genannt.

Mit der offenen Spezifikation liegt nun ein Rahmen für eine weitere Speicherstufe in KI-Systemen vor. Ob HBF über Muster und spezialisierte Beschleuniger hinaus Verbreitung findet, wird vor allem von realen Latenzen, Energieverbrauch, Schreibhaltbarkeit, Packaging-Kosten und der Unterstützung durch Hard- und Software abhängen.

(mc)

(ID:50921858)