High Bandwith Flash (HBF) SK Hynix stellt „hybride“ Speicherarchitektur für bessere KI-Inferenz vor

Anbieter zum Thema

MES Electronic Connect GmbH & Co. KG

CADFEM Germany GmbH

ISH Ingenieursozietät GmbH

Mit einem neuartigen Ansatz für Speicherarchitekturen will SK Hynix die gesteigerten Ansprüche speicherintensiver KI-Anwendungen adressieren. Das H³ genannte Konzept kombiniert High Bandwith Memory (HBM) und High Bandwidth Flash (HBF) auf einem Interposer. Simulationen zeigen einer Studie zufolge deutliche Effizienzgewinne.

Mit der Architektur H³ beschreibt SK Hynix in einem IEEE-Paper ein hybrides Speicherkonzept für KI-Beschleuniger. Ziel ist es, Bandbreite und Kapazität enger an die Anforderungen großer Sprachmodelle in der Inferenzphase anzupassen.

Kern der Idee ist die Kombination aus High Bandwidth Memory (HBM) und High Bandwidth Flash (HBF) auf einem gemeinsamen Interposer neben der GPU. Während aktuelle Designs – etwa auf Basis von Blackwell B200 – ausschließlich HBM direkt anbinden, ergänzt H³ den DRAM-Stack um gestapeltes NAND-Flash mit hoher Parallelität.

HBF als Kapazitätsebene neben HBM

HBF stapelt mehrere 3D-NAND-Dies in einer HBM-ähnlichen Package-Struktur. Anders als klassische SSD-Architekturen setzt das Konzept auf eine stark parallelisierte Sub-Array-Struktur mit eigenständigen Lese- und Schreibkanälen. Das verkürzt interne Datenpfade und erhöht die effektive I/O-Parallelität.

Im Vergleich zu HBM bietet HBF eine deutlich höhere Kapazität, allerdings bei höherer Zugriffslatenz und begrenzter Schreib-Endurance von typischerweise rund 100.000 Zyklen. Die Bandbreite liegt deutlich über der von NVMe-SSDs, bleibt jedoch unterhalb der DRAM-Latenzcharakteristik.

In H³ sind HBM- und HBF-Stacks kaskadiert angebunden. Der Zugriff erfolgt über eine gemeinsame Adressierung; die GPU kann beide Speicherbereiche als Hauptspeicher nutzen. Ein im HBM-Base-Die integrierter Prefetch- beziehungsweise Latency-Hiding-Buffer soll die höheren NAND-Latenzen abfedern.

Fokus auf KV-Cache in der Inferenz

Treiber des Konzepts ist der wachsende Speicherbedarf großer Sprachmodelle in der Inferenz. Insbesondere der Key-Value-Cache (KV-Cache), der Kontextinformationen zwischenspeichert, skaliert mit Sequenzlängen und Batch-Größen stark.

Sequenzen im Millionen-Token-Bereich können Cache-Größen im Terabyte-Maßstab erfordern. In heutigen Systemen führt die begrenzte HBM-Kapazität dazu, dass Daten auf lokale SSDs ausgelagert oder GPUs skaliert werden müssen. Beides erhöht Latenz und Energiebedarf.

H³ sieht vor, read-only Daten wie Modellgewichte oder vorab berechnete, geteilte KV-Caches im HBF abzulegen, während dynamische Daten im HBM verbleiben. Damit wird HBM von Kapazitätslast entkoppelt und stärker auf bandbreitenkritische Operationen fokussiert.

Simulationen mit acht HBM3E-Stacks und acht HBF-Stacks in Kombination mit einer Blackwell-B200-GPU zeigen SK Hynix zufolge eine bis zu 2,69-fache Steigerung der Performance pro Watt um gegenüber HBM-only-Konfigurationen. Bei einem KV-Cache von 10 Millionen Tokens erhöhte sich die mögliche Batch-Größe um den Faktor 18,8.

Technische Hürden und Standardisierung

Die Integration von NAND in ein HBM-nahes Packaging bringt erhebliche Herausforderungen mit sich. Neben der Latenz sind insbesondere Controller-Design, Wear-Leveling und das Management blockbasierter Adressierung kritisch. Für KV-Cache-Anwendungen gewinnt zudem die Schreibperformance an Bedeutung.

Auch der Energiebedarf pro Zugriff liegt über dem von HBM. Die Architektur setzt daher voraus, dass Workloads klar read-intensiv sind oder durch Software entsprechend optimiert werden. Cache-augmented Generation gilt hier als ein mögliches Einsatzszenario.

Parallel treiben mehrere Anbieter die Standardisierung voran. Samsung Electronics und SK Hynix arbeiten gemeinsam mit SanDisk in einem Konsortium an Spezifikationen für HBF. Ziel ist eine Kommerzialisierung ab 2027.

Im Wettbewerb um speicherzentrierte Inferenzarchitekturen positioniert sich H³ damit als Ergänzung, nicht als Ersatz für HBM. Ob sich das Konzept durchsetzt, wird maßgeblich von Packaging-Komplexität, Kostenstruktur und Software-Ökosystem abhängen.(sg)

(ID:50740419)