Intelligent Edge: Glow Neural Networks auf Mikrocontrollern

Anbieter zum Thema

NXP Semiconductors

MicroConsult Academy GmbH

E.E.P.D. Electronic Equipment Produktion & Distribution GmbH

Syslogic GmbH

Nach eigenen Angaben hat NXP die branchenweit erste MCU-basierte Implementierung eines Glow Neural-Network-Compilers für Künstliche Intelligenz im Edge Computing realisiert. Dank optimierter Bibliotheken soll sie bis zu 3-mal schneller sein als die Glow-Standardversion.

Halbleiterhersteller NXP hat seine Machine-Learning-(ML-)Softwareentwicklungsumgebung „eIQ“ um die Unterstützung für den „Graph Lowering“-(Glow-)Compiler für Neuronale Netzwerke (NN) erweitert. eIQ ist selbst Teil des frei verfügbaren MCUXpresso SDK. Auf die eigenen Mikrocontroller zugeschnittene Software-Bibliotheken (NN-Operator-Libraries) für ARM-Cortex-M-Kerne und den Cadence Tensilica HiFi 4 DSP (digital signal processor) beschleunigen die Inferenzleistung der Crossover-MCUs i.MX RT685 und i.MX RT1050 und RT1060 laut NXP deutlich. Konkret gibt der Hersteller eine 2 bis 3-mal schnellere Verarbeitung von NN gegenüber der Standardversion von Glow an.

Glow ist ein Open-Source-Compiler für Neuronale Netzwerke (NN), die domänenspezifische Optimierungen durchführen kann. Die Entwicklung hatte Facebook im Mai 2018 angestoßen. Ziel ist es, Leistungssteigerungen für neuronale Netzwerke auf verschiedenen Hardware-Plattformen zu ermöglichen. Innerhalb der Open-Source-Community von Glow hat NXP nach eigenen Angaben eine aktive Rolle übernommen, um die breite Einführung neuer Funktionen von Glow voranzutreiben.

Glow verbessert nicht optimierte neuronale Netzwerke

Als NN-Compiler erfasst Glow ein nicht optimiertes neuronales Netzwerk und erstellt dafür hoch optimierten Code. Dies unterscheidet sich von der typischen Verarbeitung eines neuronalen Netzwerkmodells, bei der eine Just-in-Time-Kompilierung genutzt wird, die mehr Leistung erfordert und zusätzlichen Speicher-Overhead mit sich bringt. Der direkt laufende optimierte Code von Glow soll den Verarbeitungs- und Speicherbedarf erheblich reduzieren.

„Die Standard-GitHub-Version von Glow ist geräteunabhängig, um Benutzern die Flexibilität zu geben, neuronale Netzwerkmodelle für grundlegende Architekturen von Interesse zu kompilieren, einschließlich der Cortex-A- und Cortex-M-Kerne von ARM sowie RISC-V-Architekturen", sagt Dwarak Rajagopal, Software Engineering Manager bei Facebook. „

KI: Vom Wettbewerbsvorteil zum Must-Have

Die Nachfrage nach ML-Anwendungen wird nach übereinstimmender Meinung vieler Marktbeobachter in den kommenden Jahren deutlich steigen. Tirias Research etwa prognostiziert, dass bis 2025 98% aller Peripheriegeräte irgendeine Form von maschinellem Lernen und künstlicher Intelligenz nutzen werden. Also so gut wie alle. KI wird zum Mainstream, vom Wettbewerbsvorteil zum Must-Have.

Schätzungen zufolge werden in diesem Zeitraum 18 bis 25 Mrd. Geräte mit ML-Fähigkeiten ausgestattet sein – und viele davon werden keine spezielle ML-Beschleuniger haben. Hersteller von Endgeräten und Entwickler von Komponenten im Bereich Embedded-IoT benötigen also optimierte ML-Frameworks für energiesparende Embedded-Edge-Anwendungen, die MCUs nutzen.

ML auf MCUs erfordert hochoptimierte Software

Vor diesem Hintergrund ist es nachvollziehbar, dass NXP ähnlich wie STMicroelectronics und andere Wettbewerber das Bereitstellen von ML-Fähigkeiten auf Peripheriegeräten durch Software-Optimierungen für die eigenen Mikrocontroller forciert.

Konkret hat NXP den Glow-Compiler um eigene Bibliotheken für seine „i.MX“-Anwendungsprozessoren und „i.MX RT“-Crossover-MCUs erweitert und in die eigene „eIQ“-ML-Software-Entwicklungsumgebung eingebunden. So gerüstet, könnten Anwender „detaillierte neuronale Netzwerkmodelle erstellen und sich damit einen Wettbewerbsvorteil verschaffen“, sagt Ron Martino, Senior Vice President und General Manager, NXP Semiconductors.

Nach eigenen Angaben ist die Entwicklungslösung von NXP für Edge-Intelligence-Umgebungen ein umfassendes Toolkit, „das Entwicklern die Bausteine bereitstellt, die sie zur effizienten Implementierung von ML in Peripheriegeräten benötigen“. Das Framework sei über die Edge-Processing-Lösungen von NXP hinweg ausbaubar. So könnten Kunden beispielsweise Sprach-, Objekt- und Gesichtskennungsanwendungen auf i.MX RT MCUs und i.MX-Anwendungsprozessoren entwickeln.

Mehr Leistung durch NXPs Glow-Implementierung für neuronale Netze

Um mögliche Leistungsvorteile zu belegen, hat NXP Benchmark-Messungen für die Inferencing-Leistung durchgeführt. Zu den MCU-Benchmarks gehören laut NXP Standard-NN-Modelle wie CIFAR-10. Diese hat NXP mit und ohne Glow-Optimierung auf seinen MCUs i.MX RT1060 (mit ARM-Kern Cortex-M7, 600 MHz), i.MX RT1170 (mit ARM-Kern Cortex-M7, 1 GHz) und i.MX RT685 (mit Candence-Tensilica-HiFi-4-DSP, 600 MHz) laufen lassen.

Für die Glow-Integration hat NXP die Neuronalen Netzwerkbibliothek (NNLib) genutzt, die Cadence für seinen Tensilica HiFi 4 DSP bereitstellt – der Baustein erreicht nominell eine Verarbeitungsleistung von 4,8 GMACs (giga multiply-accumulates per second). So gerüstet führt der i.MX-RT685-Controller das Standard-NN-Modell CIFAR-10 rund 25-mal schneller aus als ohne Optimierung.

Optimiert für das Verarbeiten von Audio und Sprache

„Der Tensilica HiFi 4 DSP wurde ursprünglich in die i.MX-RT600-Crossover-MCU integriert, um eine breite Palette von Audio- und Sprachverarbeitungsanwendungen zu ermöglichen“, erklärt Sanjive Agarwala, Corporate VP, Tensilica IP bei Cadence. Mittlerweile würden immer mehr ML-Inferenzanwendungen auf kostengünstige MCU-Anwendungen mit niedrigem Energieverbrauch abzielen. „Das macht die Rechenleistung des HiFi 4 DSP zu einem idealen Werkzeug zur Beschleunigung dieser NN-Modelle“, sagt Agarwala. Dazu zählt er Keyword-Spotting (KWS), Spracherkennung, Geräuschunterdrückung und das Erkennen von Anomalien.

Für seine ARM-Cortex-M-basierten Controller hat NXP die CMSIS-NN-Softwarebibliothek in eIQ eingebunden. Auch hier geht es darum, die maximale NN-Verarbeitungsleistung bei minimalem Speicherverbrauch zu erreichen. Laut Dennis Laudick, VP Marketing, Machine Learning von ARM, erzielt NXP für das CIFAR-10-Netzwerkmodell einen 1,8-fachen Leistungsvorteil. „Andere NN-Modelle dürften zu ähnlichen Ergebnissen führen“, sagt Laudick.

Neben Glow unterstützt eIQ auch Tensorflow Lite. Interessant ist diesbezüglich der experimentelle Port „Tensorflow Lite for Microcontrollers“: Dieser zielt darauf ab, ML-Modelle auf Mikrocontrollern und anderen Recheneinheiten mit nur wenigen kByte Speicher auszuführen.

Imtelligent Edge

Vorbild Gehirn: Neuartige Lernmethode macht Edge-Geräte schlau

xcore.ai-Prozessor: Wenn der Rauchmelder die Rettung koordiniert

(ID:46750499)