Halbleitertrend 5: Rasanter Aufstieg der Edge-KI-Chip-Industrie

Anbieter zum Thema

imec Interuniversity Micro Electronics Centre

MicroConsult Academy GmbH

Syslogic GmbH

congatec GmbH

Wenn Anwendungen schnelle Entscheidungen erfordern, müssen diese direkt am Edge getroffen werden, nicht im Hinterzimmer der Cloud. Mit welchen Techniken sich die Verschiebung von KI von der Cloud zum Edge beschleunigen lässt, untersucht Teil 5 unserer Serie zu Halbleiter-Technologietrends.

Mit einem erwarteten Wachstum von über 100% in den nächsten fünf Jahren ist der Markt für Edge-KI-Produkte einer der größten Trends in der Chipindustrie. Das Edge beschreibt einen Bereich, an dem analog erfasste Signale in digitale Daten gewandelt, vorverarbeitet und aggregiert werden – also vom Sensor bis zum Übergabepunkt (Edge-Gateway) in Richtung Cloud. Die genaue Ausprägung der Edge unterscheidet sich je nach Anwendungsfall stark.

Im Gegensatz zur Cloud-basierten KI sind dabei Inferenzfunktionen – also das Berechnen von Schlussfolgerungen mithilfe bereits trainierter Neuronaler Netzwerke (NN) auf Basis vor Ort generierter Daten – lokal in die Endpunkte des Internet der Dinge (Internet of Things, IoT) eingebettet. Sie überwachen beispielsweise den Zustand von Maschinen oder die Umgebung vor einem fahrenden Fahrzeug. Eher auf Konsumenten zielen Applikationen wie Smartphones und intelligente Lautsprecher.

Edge-KI verbessert Datenschutz und Informationssicherheit

Die IoT-Geräte kommunizieren meist drahtlos mit einem Edge-Server in der Nähe. Dieser Server entscheidet, welche Daten direkt verarbeitet werden und welche an den Cloud-Server gesendet werden. Letzteres sind in der Regel Daten, die für weniger zeitkritische, aber möglicherweise energieintensivere Aufgaben wie das Trainieren von NN benötigt werden.

Im Vergleich zur Cloud-basierten KI lassen sich Anforderungen an den Datenschutz und die Informationssicherheit viel leichter erfüllen, wenn sensitive Informationen das Edge nicht verlassen, sie also nicht erst in die Cloud fließen und von dort schließlich eine Entscheidung zurückgesendet wird. Ganz nebenbei kann Edge-KI die Arbeitslast von Cloud-Servern erheblich reduzieren.

Schlussfolgern ohne Umweg für kürzere Latenzen

Inferenzberechnungen am Edge ermöglichen zudem sehr geringe Latenzen, da der Umweg über die Cloud ausbleibt. Systeme können also sehr schnell auf veränderte Umgebungsbedingungen reagieren. Stellen Sie sich ein autonomes Auto vor, das Entscheidungen auf der Grundlage von KI treffen soll. Es kann nicht darauf warten, bis auf Basis von übermittelten Daten berechnete Entscheidungen aus der Cloud eintreffen.

Da am Edge meist nur ein kleines Energiebudget verfügbar ist – beispielsweise bei batteriebetrieben IoT-Endpunkten – müssen die Inferenzberechnungen sehr energieeffizient erfolgen. Ähnliches gilt auch für Edge-Gateways.

10.000 statt 10 TOPS/W: Energieeffizienz muss besser werden

Heute kommerziell erhältliche Edge-AI-Chips, die etwa in Edge-Servern eingesetzt werden, erreichen Effizienzwerte in der Größenordnung von 1 bis 100 Tera Operationen pro Sekunde pro Watt (TOPS/W). Oft kommen dafür schnelle GPUs (Graphic Processing Units) oder ASICs (Application Specific Integrated Circuits) zum Einsatz.

Doch für wirklich effiziente IoT-KI-Implementierungen werden wesentlich höhere Effizienzwerte benötigt. Das Ziel von Imec ist es, für Schlussfolgerungen Werte in der Größenordnung von 10.000 Tops/W zu erreichen.

Versuche mit analogen Compute-in-Memory-Architekturen

Die Imec-Forscher und -Entwickler verfolgen dafür auch alternative Ansätze wie analoge Compute-in-Memory-Architekturen anstelle klassischer Von-Neumann-Rechnerarchitekturen. Dieser Ansatz bricht mit dem traditionellen Computing-Paradigma, bei dem zentrale Recheneinheiten (CPUs) oder GPUs die zu berechnenden digitalen Daten zunächst aus dem Speicher laden müssen.

Beim analogen Compute-in-Memory erfolgt die Berechnung direkt innerhalb eines Speicher-Frameworks. Das Hin- und Herbewegen von Daten entfällt größtenteils, was sich deutlich auf die Stromaufnahme der Schaltung auswirkt.

Das Imec hat bereits eine SRAM-basierte „Analog in Memory Computing“-(AiMC-)Architektur realisiert, die den besonders stromsparenden 22FDX-CMOS-Prozess der Dresdner Globalfoundries-Fab nutzt. Der darauf basierende „Analog Inference Accelerator“ (AnIA) schafft derzeit 2900 TOPS/W. Durch den Einsatz anderer nichtflüchtiger Speicher wie SOT-MRAM, FeFET und IGZO-basierten Speichern will das Imec 10.000 TOPS/W erreichen. Damit ließen sich auch sehr umfangreiche NN direkt am Edge berechnen.

NXP: So bringt man Ethik und Edge-KI zusammen

Intelligent Edge

KI-Inferenz am Edge: Bringt der AnIA-Chip den Durchbruch?

Halbleitertrend 4: Neue Speichertechniken verdrängen Flash und DRAM

* Sri Samavedam ist Senior Vice President of CMOS-Technologies am Imec

(ID:46950392)