Mobile-Menu

Speicherarchitekturen für KI-Beschleuniger Sandisk-Patent stapelt Prozessor direkt auf NAND-Tile

Von Sebastian Gerstl 2 min Lesedauer

Anbieter zum Thema

SanDisk GmbH
Bürklin GmbH & Co. KG
GLYN GmbH & Co. KG
Apacer Technology B.V.

Um Speichermangel in Rechenzentren und HPCs langfristig aus dem Weg zu gehen arbeitet Sandisk an neuen Wegen jenseits von High-Bandwith-Memory (HB) oder High Bandwith Flash (HBF): In einem Patent beschreibt der Festplattenspezialist einen 3D-Stack aus Compute-Die und NAND-CBA-Tile. HBM bleibt auf dem Interposer, übernimmt aber eher latenzkritische Aufgaben.

Sandisk geht über HBF hinaus: Ein US-Patent offenbart die direkte Anbindung eines Prozessors an einen NAND-Stack-Array, mit HBM-Stapeln auf einem gemeinsamen Interposer.(Bild: US Patent & Trademark Office / Sandisk)
Sandisk geht über HBF hinaus: Ein US-Patent offenbart die direkte Anbindung eines Prozessors an einen NAND-Stack-Array, mit HBM-Stapeln auf einem gemeinsamen Interposer.
(Bild: US Patent & Trademark Office / Sandisk)

Sandisk arbeitet neben High Bandwidth Flash (HBF) offenbar an einem weiteren Ansatz, um Speicherengpässe in KI- und HPC-Systemen zu adressieren. Ein US-Patent mit der Nummer US 12,430,274 B2 beschreibt eine Architektur, bei der ein Multicore-Prozessor direkt mit einem nichtflüchtigen NAND-Speicher-Tile verbunden wird.

Der Compute-Die kann laut Beschreibung etwa als GPU oder KI-Beschleuniger ausgeführt sein. Darunter liegt ein CBA-Tile, also eine CMOS-Bonded-to-Array-Struktur, die ein großes NAND-Flash-Array mit einer CMOS-Logikschicht kombiniert. Der gesamte Verbund wird auf einem Interposer platziert.

HBM verschwindet in diesem Konzept nicht. Die HBM-Stacks werden weiterhin auf demselben Interposer rund um den kombinierten Compute- und NAND-Stack angeordnet. Ihre Rolle verschiebt sich jedoch: Sie dienen vor allem für unmittelbare, sehr schnelle Speicherzugriffe, während die NAND-Ebene größere Datenmengen und lese- beziehungsweise schreibintensive Aufgaben übernehmen soll.

Neue Arbeitsteilung im Speicherhierarchiemodell

Der Ansatz reagiert auf bekannte Grenzen heutiger Speicherhierarchien. HBM bietet hohe Bandbreite und geringe Nähe zum Rechenkern, ist aber teuer, knapp und in der Kapazität pro Stack begrenzt. In den vorliegenden Texten werden typische HBM-Stacks mit 32 bis 64 GByte genannt. Für große Modelle und Datensätze kann diese Kapazität zum begrenzenden Faktor werden.

HBF soll diese Lücke teilweise schließen. Sandisk setzt dabei ebenfalls auf vertikale Stapelung, nutzt jedoch NAND-Flash statt DRAM. Mehrere NAND-Lagen werden über TSVs verbunden und bilden einen gemeinsamen Speicherstack. Laut den vorliegenden Angaben zielt HBF auf Kapazitäten von bis zu 4 TByte pro Stack und soll bei vergleichbaren Kosten eine deutlich höhere Kapazität als HBM erreichen.

Der Nachteil bleibt die grundsätzliche Position von NAND in der Speicherhierarchie. NAND ist günstiger und dichter, aber langsamer als DRAM und in klassischen Systemen weiter vom Compute-Die entfernt. Das Patent versucht, diese Distanz durch 3D-Integration zu verkürzen. Für Entwickler ist dabei vor allem interessant, dass nicht nur die Speichertechnik, sondern auch das Packaging und die Datenpfade neu gedacht werden.

Noch handelt es sich um ein Patent, nicht um ein angekündigtes Produkt. Fragen zu Leistungsaufnahme, thermischer Kopplung, Yield, Kosten und Fertigbarkeit eines solchen Verbunds bleiben offen. Strategisch zeigt der Entwurf jedoch, wohin sich Speicherarchitekturen für KI-Beschleuniger bewegen könnten: weg von klar getrennten Speicherklassen und hin zu enger integrierten Compute-Memory-Stacks mit funktional abgestuften Speicherrollen. (sg)

(ID:50881227)

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte