Edge-KI Wie MCUs und MPUs für Edge-KI neue Anwendungsszenarien eröffnen

Anbieter zum Thema

Future Electronics Ltd

MicroConsult Academy GmbH

MES Electronic Connect GmbH & Co. KG

ROHM Semiconductor GmbH

Hersteller von Embedded-Systemen implementieren Anwendungen für Maschinenlernen (ML) und künstliche Intelligenz (KI) bevorzugt direkt auf den Geräten Denn diese Edge-KI-Geräte erfüllen die Anforderungen an Datenschutz, Sicherheit, Latenz, Kosten und Flexibilität leichter als cloudbasierende KI-Systeme.

Als Reaktion auf die Nachfrage nach Edge-KI bauen die großen Anbieter im Markt für Mikrocontroller und Mikroprozessoren ihr Produktsortiment mit erweiterten KI-Fähigkeiten aus. So ist ein Wettlauf entstanden, um den einfachsten Weg zur Entwicklung wertvoller KI-Funktionen und die höchste Leistung innerhalb der Einschränkungen der Prozessoren und des Speichers von Edge-Geräten anzubieten.

Einige deutliche Unterschiede bei den Ansätzen zur Verwirklichung der KI an der Edge werden bereits erkennbar. Das heißt, dass die Entwicklungsingenieure die unten vorgestellten neuesten Produkte und Werkzeuge nutzen können, um jede der drei Anforderungen der verschiedenen Anwendungen zu erfüllen:

Bildergalerie

• eine KI-Lösung für die MCUs mit den eingeschränktesten Ressourcen,

• eine KI-Lösung, die für eine Reihe von Produkten skalierbar ist,

• eine KI-Lösung für hohe Leistung.

Wenn Ihre MCU nur wenig Speicher und Rechenleistung hat

Früher war man der Meinung, dass für brauchbare KI-Operationen eine spezielle Grafikprozessoreinheit (GPU) mit einem hohen Energieverbrauch notwendig wäre. Tatsächlich hat die Entwicklung von Algorithmen für neuronale Netzwerke wie tinyML gezeigt, dass selbst die kleinste MCU bestimmte KI-Funktionen, z. B. Objekterkennung oder eingeschränkte Spracherkennung, ausführen kann.

Der Entwicklungsingenieur, der KI auf einer Low-Cost-MCU implementiert, muss jedoch darauf achten, den Speicherbedarf der Inferenz-Engine seiner Anwendung so gering wie möglich zu halten und die Berechnungen so zu vereinfachen, dass die Fähigkeiten einer so kleinen CPU wie dem Arm-Cortex-M0-Kern nicht überfordert werden.

Für dieses Entwicklungsziel hat STMicroelectronics die NanoEdge-AI-Studio-Entwicklungsumgebung geschaffen. Sie eignet sich bestens für allgemeine KI-Anwendungen, etwa für die prädiktive Wartung, bei der eine MCU Daten zu Parametern wie Vibration, Schall, Druck, magnetische Feldstärke oder Temperaturänderungen analysiert. Über die Erkennung von Unregelmäßigkeiten oder ungewöhnlichen Mustern im Datenstrom kann das KI-System dabei helfen, einen wahrscheinlichen Ausfall einer Anlage vorherzusagen. Das NanoEdge AI Studio kann auch zur intelligenten Bewegungserkennung und zum Zählen von Personen eingesetzt werden.

Ziel von ST war es, mit dem Studio die Entwicklung von ML zu vereinfachen. Es ist ein PC-basierendes, anwenderfreundliches Entwicklungswerkzeug, für das keine umfangreichen Kenntnisse der Datenwissenschaft erforderlich sind. Selbst ohne vorherige Erfahrung mit KI kann jeder Softwareentwickler mit dem Studio eine tinyML-Bibliothek zur Erkennung von Unregelmäßigkeiten oder Ausreißern sowie zur Klassifizierung oder Regression erstellen.

Diese Bibliotheken können zu kompletten Edge-KI-Lösungen zusammengestellt werden. Bei der prädiktiven Wartung kann z. B. die Erkennung von Unregelmäßigkeiten oder Ausreißern dazu herangezogen werden, ein Problem zu identifizieren, die Quelle des Problems mit der Klassifizierung zu finden und Informationen per Regression zu extrapolieren, um Einblicke zu gewinnen, die es den Wartungstechnikern erlauben, das Problem schneller zu beheben.

Sowohl das Lernen als auch die Inferenz werden mit der NanoEdge-AI-Lernbibliothek auf dem Baustein in der MCU selbst ausgeführt. Das vereinfacht den Entwicklungsprozess für die Edge-KI und erlaubt es, nützliche KI-Funktionen auch mit kleinen Trainingsdatensätzen zu realisieren.

Das Studio enthält eine Reihe von Werkzeugen zur Entwicklung von ML-Algorithmen, z. B.:

• ein Sampling-Finder-Werkzeug zur Auswahl der richtigen Datenrate und Datenlänge,

• einen Datenlogger-Generator, mit dem der Entwickler Daten mit wenigen Klicks protokollieren kann,

• ein Daten-Manipulationswerkzeug für Datensätze.

• ML Libraries-Benchmark, ein Werkzeug, das dem Entwickler dabei hilft, Aufbereitung und Modelle zum Maschinenlernen optimal aufeinander abzustimmen,

• einen Embedded-Emulator, um die Leistung der Bibliothek live auf einem STM32-Board oder mit Testdatensätzen zu testen,

• die Schätzung der Inferenzzeit hilft dem Entwickler bei der Auswahl des ML-Modells, um den besten Kompromiss zwischen Geschwindigkeit, Genauigkeit und Prozessor- bzw. Speicherauslastung zu finden,

• ein Validierungswerkzeug zum Vergleich der in Studio enthaltenen Bibliotheken.

In der NanoEdge-AI-Studio-Umgebung entwickelte KI-Anwendungen können einfach auf dem STM32-MCU-Entwicklungs-Board ausgeführt werden, wobei keine Konfigurierung erforderlich ist (Bild 1). Sie lassen sich auch leicht zwischen STM32-MCUs portieren, um den OEM die Möglichkeit zu geben, einen anderen Arm Cortex-M CPU-Kern einzusetzen, ohne dass ihre Investition in die KI-Anwendungsentwicklung verloren ist.

Chips und Werkzeuge zur Skalierung von KI-Implementierungen innerhalb einer breiten Produktfamilie

Während tinyML und ähnliche Algorithmen die Ausführung von KI-Anwendungen auf den kleinsten und preisgünstigsten MCUs erlauben, verlangen einige Märkte eine breitere Auswahl an KI-Fähigkeiten. So kann die Marketingstrategie eines OEM darauf abzielen, die Nachfrage für Low-End, den mittleren Marktbereich und Premiumprodukte mit einem Portfolio abzudecken, das auf einer gemeinsamen Plattform basiert.

In diesem Fall werden die Entwickler des OEM die KI-Fähigkeiten so aufwärts und abwärts skalieren wollen, dass sie zu den Ressourcen ihres MCU- und MPU-Portfolios passen. Genau das verspricht die eIQ-Entwicklungsumgebung von NXP Semiconductors (Bild 2). Die eIQ-Umgebung ist zu den EdgeVerse-Produkten von NXP kompatibel, die ein Portfolio aus MCUs und MPUs bilden, sowie den i.MX RT-„crossover“-MCUs.

Das eIQ-System ist eine umfassende KI-Umgebung mit Inferenz-Engines, Compilern für neuronale Netzwerke, Bibliotheken und Hardware-Abstraktionsebenen.

Zur Entwicklung enthält das eIQ-Toolkit eine intuitive Benutzeroberfläche, das eIQ-Portal, und Werkzeuge für den Entwicklungs-Workflow sowie Kommandozeilenoptionen für das Host-Tool. Das eIQ-Toolkit erlaubt eine Profilierung auf Graphenebene, um den Entwicklern bei der Optimierung ihrer Architekturen für neuronale Netzwerke zum Einsatz auf bestimmten EdgeVerse-Prozessoren zu helfen.

Im Portal können die Entwickler ML-Modelle erstellen, optimieren, debuggen und exportieren sowie Datensätze und Modelle importieren. Außerdem können sie Modelle für neuronale Netzwerke und ML-Workloads für visuelle Anwendungen trainieren und einsetzen. Das Portal gibt daraufhin Software aus, die sich nahtlos in Runtime-Inferenz-Engines einbinden lässt.

NXP liefert Beispiele zur Erklärung verschiedener Anwendungsfälle und Leitlinien für die verschiedenen Optionen zum Prozessablauf, zum Beispiel den Import vortrainierter Modelle auf der Grundlage verbreiteter Frameworks sowie Erstellen, Import und Verbesserung von Datensätzen zur Entwicklung der Modelle innerhalb der Werkzeuge.

Die eIQ-Umgebung unterstützt u. a. die folgenden Inferenz-Engines zum Maschinenlernen:

• DeepViewRT: eine proprietäre NXP-Inferenz-Engine für i.MX RT crossover MCUs und Anwendungsprozessoren der Serie i.MX 8,

• TensorFlow Lite Micro: eine schnellere und kleinere Inferenz-Engine als die bekannte TensorFlow Lite,

• TensorFlow Lite: eine flexible Inferenz-Engine für Embedded-Anwendungen auf Arm-Cortex-A- und Cortex-M-CPUs. Sie eignet sich auch für Verisilicon GPUs und NPUs (Neural Processing Units),

• CMSIS-NN: eine leistungs- und speicheroptimierte Inferenz-Engine für Cortex-M-CPU-Kerne,

• Glow : ein Compiler für neuronale Netzwerke, der speichereffiziente Hochleistungs-Inferenz auf i.MX RT crossover MCUs erzeugt.

Hard- und Softwarekombinationfür maximale KI-Leistung an der Edge

Während die Umgebung NanoEdge AI Studio von ST darauf ausgelegt ist, brauchbare KI auf den kleinsten MCUs zu liefern, kann KI auf Hochleistungshardware den hochentwickelten Edge-Geräten, z. B. mobilen Robotern, dabei helfen, ein hohes Maß an Autonomie bei geringer Leistungsaufnahme zu erreichen.

Für die Anforderungen dieser High-End-Anwendungen hat Renesas ihre RZ/V2H-High-End KI-MPU entwickelt. Sie bietet eine dynamisch rekonfigurierbare KI-Beschleunigung, die DRP-AI3, und vier Arm-Cortex-A55-Prozessorkerne für das Linux-Betriebssystem der Anwendung sowie zwei Cortex-R8-Echtzeit-Prozessoren. Ein weiterer dynamisch rekonfigurierbarer Prozessor kann die Bildverarbeitung bei Algorithmen zum KI-unterstützten maschinellen Sehen, z. B. OpenCV, beschleunigen und die für Anwendungen in der Robotik erforderlichen Berechnungen zur Dynamik ausführen. Die RZ/V2H hat den weiteren Vorteil einer sehr geringen Leistungsaufnahme. Dadurch können in vielen Entwicklungen die Kühlkörper und Lüfter entfallen.

Wie ST und NXP hat auch Renesas den Bedarf für eine weitreichende Softwareunterstützung des KI/ML-Entwicklungsprozesses erkannt. Hierzu dient das RZ/V KI-Software-Entwicklungs-Kit (SDK), ein System, das unter Linux läuft und Yocto Linux mit Bootloader, einen Linux Kernel, einen Cross-Compiler und einen vollständigen Satz von Bibliotheken für den DRP-AI3, Grafik und Codec umfasst (Bild 3).

Der Ansatz von Renesas zum Beschleunigen der KI-Berechnungen arbeitet mit deren proprietärer DRP-AI3-KI-Engine und mehreren Hochgeschwindigkeits-CPU-Kernen. Andere Hersteller verfolgen einen anderen Ansatz. Für ihre schnellsten KI-Produkte hat NXP die eIQ Neutron Neural Processing Unit (NPU) entwickelt, einen hochgradig skalierbaren Beschleunigerkern für ML-Operationen. Dessen KI-spezifische Funktionen schließen einen eng angebundenen Speicher, DMA-Controller, Data-Mover-Kerne, Steuerkerne und gewichtete Kompressions- und Dekompressionstechnologie ein.

Die eIQ-Neutron-NPUs unterstützen eine Reihe von neuronalen Netzwerktypen, z. B. CNN, RNN, TCN und Transformer-Netzwerke. Die eIQ-Neutron-NPU ist vollständig in die eIQ-Softwareentwicklungsumgebung zum Maschinenlernen integriert.

Zahlreiche hochintegrierte Angebote von MCU und MPU

Dieser Beitrag zeigt, dass die MCU- und MPU-Industrie auf die schnell zunehmende Nachfrage nach KI-Fähigkeiten mit einem breiten Angebot von Komponenten reagiert, die verschiedene ML-Operationen ausführen können. Vorteil der großen Bauteilehersteller ist, dass sie über die benötigten Ressourcen verfügen, um ein vollständiges, integriertes Angebot aufzubauen, das nicht nur optimierte Hardware umfasst, sondern auch die gesamten Werkzeuge, die erforderlich sind, um echte KI-Anwendungen so schnell und einfach wie möglich auf den Markt zu bringen. (mk)

Künstliche Intelligenz

Raspberry Pi AI HAT+ mit bis zu 26 TOPS

* Laurent Helin ist EMEA Business Development Manager (Embedded Solutions) bei Future Electronics,

* Tom Foltier ist ist AI Business Development Manager bei Future Electronics.

(ID:50249417)