Embedded KI mit Echtzeit-Anwendungen Edge-KI mit NPUs und Modellkompression optimieren

Anbieter zum Thema

Mathworks Deutschland

MicroConsult Academy GmbH

Syslogic GmbH

IBR Leiterplatten GmbH & Co. KG

Durch die geschickte Kombination von NPUs und KI-Modellgestaltung mit strategischen Kompressionstechniken lassen sich eingebettete Geräte in effiziente, leistungsstarke Real-Time-Entscheidungsträger verwandeln – bereit, in Echtzeit zu handeln.

Immer mehr Geräte denken mit. Vom Smartphone über vernetzte Sensoren bis hin zum autonomen Fahren rückt Edge-KI immer stärker in den Fokus. Edge-KI bezeichnet Künstliche Intelligenz, die direkt auf dem Gerät Entscheidungen trifft, ohne den Umweg über die Cloud. Leistungsstarke Modelle brauchen jedoch viel Rechenleistung, Speicher und Energieressourcen. Gleichzeitig wächst der Bedarf an Echtzeit- oder nahezu Echtzeit-Entscheidungen, was die Nachfrage nach leistungsfähigen Edge-Lösungen weiter antreibt. Genau hier kommen Neural Processing Units (NPUs) ins Spiel: Sie sind speziell dafür entwickelt, komplexe KI-Modelle mit niedriger Latenz und geringem Energieverbrauch auszuführen und eröffnen damit neue Möglichkeiten für die Praxis. Eine der größten Herausforderungen bleibt dennoch die Minimierung der Inferenzzeit also der Zeitspanne, die ein Modell benötigt, um eine Vorhersage zu treffen. Gerade um in der Motorsteuerung muss die Inferenzzeit oft unter 10 Millisekunden liegen, um Systemstabilität und Reaktionsfähigkeit zu gewährleisten und mechanische Belastungen oder Schäden zu vermeiden.

NPUs sind speziell für KI-Inferenz und Berechnungen in neuronalen Netzen konzipiert. Damit eignen sie sich besonders für eingebettete Systeme, in denen Rechenleistung begrenzt und Energieeffizienz entscheidend ist. Im Gegensatz zu CPUs als Allzweckprozessoren oder GPUs, die zwar leistungsstark, aber energiehungrig sind, sind NPUs auf die effiziente Berechnung von Matrixoperationen optimiert, dem Kern neuronaler Netze. Zwar können auch GPUs für KI-Inferenz eingesetzt werden, doch NPUs punkten mit deutlich geringerem Energieverbrauch und geringeren Kosten.

Aus wirtschaftlicher Sicht stellen NPUs eine attraktive Alternative zu Mikrocontrollern (MCUs), GPUs oder FPGAs für KI-Aufgaben dar. Zwar sind Chips mit integrierten NPUs in der Anschaffung teurer als einfache Mikrocontroller, ihr Mehrwert liegt jedoch in der überlegenen Energieeffizienz und KI-Leistung. Diese Eigenschaften senken langfristig die Betriebskosten, verlängern Batterielaufzeiten und bieten neue Einsatzmöglichkeiten für eingebettete Systeme. Zudem ermöglichen NPUs Echtzeit-KI-Verarbeitung ohne auf kostspielige und stromhungrige Alternativen wie GPUs oder FPGAs zurückgreifen zu müssen.

Schlanke KI-Modelle für die Edge: Projektion und Quantisierung im Einsatz

Gleichzeitig stoßen NPUs jedoch an Grenzen: Speicher und Energie sind begrenzt. Deshalb ist Modellkompression entscheidend, um die Größe und Komplexität von Modellen zu reduzieren und so Echtzeitleistung zu ermöglichen.

Modellkompressionstechniken sind entscheidend, um große KI-Modelle für den Einsatz an der Edge bereitzustellen. Sie reduzieren die Größe und Komplexität, verbessern die Inferenzgeschwindigkeit und senken den Energieverbrauch. Gleichzeitig kann jedoch eine zu starke Kompression die Vorhersagequalität beeinträchtigen. Daher müssen Ingenieuresorgfältig abwägen, wie viel Genauigkeit sie für die Hardwareanforderungen opfern können.

Zwei sich ergänzende Kompressionstechniken haben sich dabei besonders bewährt: Projektion und Quantisierung. Durch die Kombination dieser beiden Methoden können KI-Modelle gezielt für NPUs optimiert werden. Die Projektion reduziert die Modellgröße, indem sie redundante Parameter entfernt, während die Quantisierung das Modell weiter komprimiert, indem sie verbleibende Parameter in (typischerweise ganzzahlige) Datentypen mit weniger Speicherbedarf umwandelt. Gemeinsam sorgen beide Vorgehensweisen für eine Kompression auf struktureller und Datentypebene, was die Effizienz steigert, ohne die Genauigkeit wesentlich zu verringern.

Die Projektion neuronaler Netze ist eine strukturelle Kompressionstechnik, die in der MATLAB Deep Learning Toolbox verfügbar ist. Sie reduziert die Anzahl der lernbaren Parameter in einem Modell, indem die Gewichtsmatrizen der Schichten auf niedrigdimensionale Unterräume projiziert werden.

Basierend auf der Hauptkomponentenanalyse (PCA) werden die wichtigsten Richtungen der neuronalen Aktivierungen identifiziert und redundante Parameter entfernt. So sinken Speicher- und Rechenaufwand, während die Modellgenauigkeit weitgehend erhalten bleibt.

Auf die Projektion folgt die Quantisierung: Sie ist eine Kompressionstechnik auf Datentyp-Ebene, die den Speicherbedarf und die Rechenkomplexität von KI-Modellen reduziert, indem sie lernbare Parameter (Gewichte und Biases) von hochpräzisen Gleitkommawerten in niedrigpräzise Ganzzahltypen umwandelt. Dies senkt den Speicherverbrauch und beschleunigt die Inferenz eines Modells, besonders auf NPUs. Die Quantisierung führt zwar zu einem gewissen Verlust an numerischer Präzision. Aber durch die Kalibrierung des Modells mit repräsentativen Eingabedaten kann die Genauigkeit in der Regel innerhalb akzeptabler Grenzen für Echtzeitanwendungen gehalten werden.

Implementierung der Projektion- und Quantisierungstechniken bei STMicroelectronics

Ein praktisches Beispiel liefert STMicroelectronics, ein globaler Hersteller von Halbleitern und Mikroelektronik, der Chips für Autos, Smartphones, Industrie und IoT-Geräte entwickelt. Dabei erstellten Ingenieuren einen Workflow mit MATLAB® und Simulink®, um Deep-Learning-Modelle auf STM32-Mikrocontrollern bereitzustellen. Ingenieure begannen mit dem Entwurf und Training des Modells, gefolgt von Hyperparameter-Optimierung und Wissensdestillation, um die Modellkomplexität zu reduzieren.

Im nächsten Schritt setzten sie Projektion ein, um das Modell strukturell zu komprimieren und überflüssige Parameter zu entfernen. Anschließend folgte die Quantisierung, bei der Gewichte und Aktivierungen in 8-Bit-Ganzzahlen konvertiert wurden. Dadurch sank der Speicherbedarf deutlich, während die Ausführungsgeschwindigkeit stieg. Dieser zweistufige Kompressionsansatz ermöglicht die Bereitstellung von Deep-Learning-Modellen auf ressourcenbeschränkten NPUs und MCUs, ohne die Echtzeitleistung zu beeinträchtigen.

Best Practices bei der Bereitstellung von KI-Modellen auf NPUs

Modellkompressionstechniken wie Projektion und Quantisierung können die Leistung und Einsatzfähigkeit von KI-Modellen auf NPUs erheblich verbessern. Da Kompression jedoch die Genauigkeit beeinflussen kann, ist iteratives Testen – sowohl in der Simulation als auch mit Processor-in-the-Loop-Validierung – entscheidend, um sicherzustellen, dass die Modelle funktionale und ressourcenbezogene Anforderungen erfüllen.

Frühes und häufiges Testen ermöglicht es Ingenieuren, Probleme frühzeitig zu erkennen und zu beheben, wodurch das Risiko reduziert wird, in späten Entwicklungsphasen nacharbeiten zu müssen. Das unterstützt eine reibungslose Bereitstellung in eingebetteten Systemen.

Ein einheitliches Ökosystem kann zudem viele Herausforderungen bei der Bereitstellung von KI-Modellen abfangen, indem es die Integration vereinfacht, die Entwicklung beschleunigt und umfassende Tests während des gesamten Prozesses unterstützt. Dies ist besonders wertvoll in der heutigen fragmentierten Softwarelandschaft, in der Ingenieure häufig unterschiedliche Codebasen in ihre Simulations-Workflows oder größere Systemumgebungen integrieren müssen. Die Integration von NPUs erhöht die Komplexität der Toolchain zusätzlich – ein weiterer Grund für die Notwendigkeit eines einheitlichen Ökosystems.

Mit der MATLAB® Deep Learning Toolbox können Ingenieure komprimierte KI-Modelle entwerfen, simulieren und optimieren. Das erlaubt ihnen, die anwendungsspezifischen Anforderungen an Geschwindigkeit, Genauigkeit und Effizienz auf NPU-Hardware zu erfüllen. Gleichzeitig liegt die Zukunft der eingebetteten KI in leistungsfähigen, an der Edge optimierten Hardwarearchitekturen, die komplexe technische Systeme steuern. Erfolg hängt dabei von der richtigen Balance zwischen Modellkompression, frühzeitigen Hardwaretests und anpassungsfähigen Systemen ab.  (sg)

Implementierung von generativer KI

Generative KI in Endgeräten: neue Anforderungen an Mikrocontroller

Embedded-KI

Wie Embedded-KI Smart-Home-Anwendungen energieeffizienter und sicherer macht

* Christoph Stockhammer ist Principal Application Engineer bei MathWorks

(ID:50674087)