Interview mit Keigo Kawasaki, Renesas „Renesas will Robotik der nächsten Generation ermöglichen“

Anbieter zum Thema

MicroConsult Academy GmbH

MES Electronic Connect GmbH & Co. KG

IBR Leiterplatten GmbH & Co. KG

Der Mikroprozessor RZ/V2H vereint KI- und OpenCV-Beschleuniger sowie CPU in einem Chip. Seine „Dynamically Reconfigurable Processor“-Technologie soll KI-Bildverarbeitung und Echtzeitsteuerung ohne aktive Kühlung ermöglichen. Wir sprachen darüber mit Keigo Kawasaki, Director of Embedded Processing MPU Product Marketing von Hersteller Renesas.

Der japanische Chiphersteller Renesas hat seine RZ-Mikroprozessorfamilie erweitert: Mit der höchsten Rechenleistung innerhalb der RZ-Familie soll der neue RZ/V2H bildverarbeitende KI und Echtzeit-Steuerungsfunktionen für Robotikanwendungen ermöglichen. Renesas präsentiert den neuen Baustein erstmals auf der diesjährigen Embedded World in Halle 1, Stand 234. Wir hatten die Gelegenheit, im Vorfeld mit Keigo Kawasaki, Director of Embedded Processing MPU Product Marketing von Renesas, zu sprechen.

Immer mehr Halbleiterunternehmen bieten KI-Prozessoren an. Wodurch hebt sich Renesas von der Konkurrenz ab?

Es gibt drei wesentliche Unterscheidungsmerkmale: Erstens der KI-Beschleuniger „DRP-AI“ mit „Pruning“-Technologie. Pruning ist ein hardwarebasierter Ansatz, der die Verarbeitung von ressourcenschonenden KI-Modellen ermöglicht und die KI-Recheneffizienz verbessert. Dies resultiert in einer Leistungseffizienz von 10 TOPS/W, was einer zehnfachen Verbesserung gegenüber früheren Modellen entspricht. Zweitens die Beschleunigung der Bildverarbeitung zusätzlich zur KI-Beschleunigung. Der RZ/V2H hat den OpenCV-Beschleuniger und die kostenlose OpenCV-Beschleunigungsbibliothek integriert. Dies steigert die Leistung des gesamten Bildverarbeitungssystems. Drittens bietet der Baustein neben dem Quad-Cortex-A55 von Arm mit 1,8 GHz für die Anwendungsverarbeitung auch eine robuste Echtzeit-Steuerungsleistung. Zu diesem Zweck verfügt der Baustein über Dual-Core-Cortex-R8-Prozessoren mit 800 MHz und einen Cortex-M33-Prozessor für weniger intensive Aufgaben, wie die Datenabfrage von Sensoren. Der RZ/V2H von Renesas ist der einzige heterogene KI-Prozessor, der mit allen drei Cortex-Produktvarianten (A, R, M) von Arm ausgestattet ist.

Bildergalerie

Was sind die Herausforderungen bei der Implementierung von KI, besonders bei Embedded-Systemen? Welche Lösung bietet Renesas hierfür?

Die Wärmeentwicklung ist eine große Herausforderung bei Embedded-Systemen. Hochleistungsprozessoren erzeugen Wärme. Entwickler stehen vor der Wahl: Sie müssen entweder die Rechenleistung verringern oder wärmeableitende Komponenten hinzufügen, was wiederum die Kosten und die Systemgröße erhöht. Mit einer KI-Leistungseffizienz von 10 TOPS/W kann der RZ/V2H von Renesas leistungsstarke KI-Anwendungen ohne Lüfter realisieren – etwa Bildverarbeitung in Echtzeit.

Welche Anwendungen erfordern denn Bildverarbeitung in Echtzeit?

Industrieroboter für die Fabrikautomation und Serviceroboter für Restaurants und den Handel benötigen Echtzeit-Bildverarbeitungsfunktionen. Hierbei handelt es sich um Roboter, die umliegende Objekte und Hindernisse in Echtzeit erkennen und sich autonom bewegen können. Auch Drohnen und kleine Transportfahrzeuge müssen selbstständig ‚denken‘ und in Echtzeit arbeiten. Der RZ/V2H ist ideal für diese Anwendungen.

Haben Sie bereits Feedback zur neuen Lösung von Kunden erhalten?

Viele Kunden haben bereits beschlossen, unsere KI-Module für industrielle Anwendungen sowie kleine Module für HSR, also Human Support Robots, einzusetzen. Außerdem gibt es mehr als 40 Kunden, die unsere Produkte in Betracht ziehen. Der entscheidende Faktor in all unseren Kundengesprächen ist die Tatsache, dass der RZ/V2H die Wärmeentwicklung deutlich reduzieren kann.

Welche Faktoren beschleunigen die breite Einführung von bildverarbeitenden KI-Anwendungen? Welche Strategie verfolgt Renesas hier?

Eine große Herausforderung besteht darin, dass Entwickler oft Schwierigkeiten haben, KI effektiv zu nutzen, da sie über spezi­elle KI-Kenntnisse verfügen müssen. Renesas bietet eine Reihe von kostenlosen KI-Anwendungsbibliotheken an, um den Herausforderungen unserer Kunden in diesem Bereich zu begegnen.

Können Sie etwas über die künftige Roadmap von Renesas in diesem Bereich sagen?

Was die Technologie betrifft, so werden wir die TOPS/W weiter verbessern, um die Rechenleistung zu steigern. Embedded-Anwendungen werden in Zukunft noch erheblich mehr Rechenleistung erfordern, beispielsweise die generative KI. Was die Produktentwicklung anbetrifft, so werden wir weiterhin den Anforderungen unserer Kunden und des Marktes nachkommen. Einen wichtigen Part spielt dabei unsere DRP-Technologie.

Können Sie die DRP-Technologie erklären? Was steckt dahinter, und was bietet sie für Vorteile?

Ein DRP ist ein „Dynamically Reconfigurable Processor“, also ein dynamisch rekonfigurierbarer Prozessor. Dieser kann Anwendungen ausführen und dabei die Schaltkreis-Konfiguration der Recheneinheiten auf dem Chip bei jedem Betriebstakt entsprechend dem zu verarbeitenden Inhalt dynamisch schalten. Der DRP verbraucht weniger Strom als eine CPU und kann eine höhere Geschwindigkeit erreichen, da nur die erforderlichen Rechenschaltungen genutzt werden. Im Vergleich zu CPUs, deren Leistung durch häufige externe Speicherzugriffe aufgrund von Cache-Fehlern und anderen Faktoren beeinträchtigt wird, kann der DRP außerdem die erforderlichen Datenpfade in Hardware aufbauen. Dadurch lassen sich Leistungseinbußen minimieren und Schwankungen der Betriebsgeschwindigkeit, sogenannter Jitter, aufgrund von Speicherzugriffen verringern.

Der DRP verfügt außerdem über eine dynamisch rekonfigurierbare Funktion, die die Verbindungsinformationen der Schaltkreise bei jeder Änderung des Algorithmus schaltet. Dies ermöglicht die Verarbeitung mit begrenzten Hardwareressourcen, selbst bei Roboteranwendungen, die die Verarbeitung mehrerer Algorithmen erfordern. Der DRP ist besonders effektiv bei der Verarbeitung von Streaming-Daten wie der Bilderkennung, wo Parallelisierung und Pipelining die Leistung direkt verbessern.

DRP-AI, DRP und CPU sollen in einer heterogenen Architektur nahtlos zusammenarbeiten. Welche Vorteile bietet dieser Ansatz?

Serviceroboter beispielsweise benötigen eine hochentwickelte KI-Verarbeitung, um die Umgebung zu erkennen. Andererseits muss die algorithmenbasierte Verarbeitung, die keine KI nutzt, auch das Verhalten des Roboters bestimmen und steuern. Aktuelle Embedded-Prozessoren (CPUs) verfügen jedoch nicht über ausreichende Ressourcen, um diese verschiedenen Verarbeitungsarten in Echtzeit durchzuführen. Renesas hat diese Herausforderung durch die Entwicklung einer Technologie mit heterogener Architektur gelöst, bei der der KI-Beschleuniger (DRP-AI), der OpenCV-Beschleuniger (DRP) und die CPUs zusammenarbeiten.

Der DRP-AI beschleunigt die KI-Verarbeitung. Renesas hat mit seiner proprietären DRP-Technologie einen OpenCV-Beschleuniger entwickelt. Dieser beschleunigt die Verarbeitung von OpenCV, einer Open-Source-Standardbibliothek für die Bildverarbeitung. Die daraus resultierende Geschwindigkeitsverbesserung ist bis zu 16-mal schneller als die CPU-Verarbeitung. Die Kombination aus DRP-AI und OpenCV-Beschleuniger verbessert sowohl die KI-Berechnungen, als auch die Bildverarbeitungsalgorithmen. Sie ermöglicht die energieeffiziente Echtzeitausführung von Visual SLAM, das in Anwendungen wie Staubsaugerrobotern eingesetzt wird.

Andererseits erfordern Programme, wie die Entscheidungsfindung und Steuerung des Roboterverhaltens, eine präzise Verarbeitung als Reaktion auf sich ändernde Bedingungen und Veränderungen in der Umgebung. Hierfür ist eine CPU-Software-Verarbeitung möglicherweise besser geeignet als eine Hardware-Verarbeitung wie die des DRP. Es ist wichtig, die Verarbeitung an die richtigen Stellen zu verteilen und koordiniert zu verarbeiten. Dank der heterogenen Architektur von Renesas können DRP und CPU zusammenarbeiten.

Welche neuen Technologien verwendet DRP-AI im RZ/V2H?

DRP-AI umfasst Hochgeschwindigkeits- und Energiesparmethoden, die die wichtigsten Methoden zur Vereinfachung von KI-Modellen unterstützen. Im Einzelnen handelt es sich hierbei um Lightweight-Methoden Quantisierung und Branch Pruning. Erstere steht für das Nutzen von niederwertigen Bits für die Gewichtungsinformationen des neuronalen Netzes und die Eingangs-/Ausgangsdaten, man spricht hier von Weight und Feature Map, für jede Schicht. Etwa der Wechsel von der 16-Bit-Gleitkomma-Arithmetik im herkömmlichen DRP-AI zur 8-Bit-Ganzzahlarithmetik (INT8). Branch Pruning ist eine Technik, bei der Berechnungen übersprungen werden, indem Gewichtungsinformationen, die die Erkennungsgenauigkeit nicht beeinflussen, auf null gesetzt werden. Ausführlichere technische Inhalte dazu hat Renesas erst vor kurzem auf der International Solid-State Circuits Conference ISSCC 2024 vorgestellt.

Gibt es bereits Winning Combinations beziehungsweise Referenzdesigns für den RZ/V2H?

Ja. Renesas hat den „Visual Detection Single Board Computer“ entwickelt. Dieser nutzt Kamerabilder, um seine Umgebung zu identifizieren und Bewegungsabläufe in Echtzeit zu bestimmen und zu steuern. Die Lösung kombiniert den RZ/V2H mit Power-Management-ICs und programmierbaren VersaClock-Taktgeneratoren, um stromsparende Industrieroboter und Maschinen zu unterstützen. Dank des effizienten Designs sind keine zusätzlichen Lüfter erforderlich, was die Stückliste und die Größe der Lösung minimiert. Diese Winning Combination werden wir auf der Embedded World zeigen. (me)

Embedded-Entwicklung

Renesas übernimmt PCB-Designspezialist Altium

Design- und Datensicherheit

Sidechannel-Attacken auf ICs: Grundlegende Informationen

Restrukturieung

STMicroelectronics stellt sich neu auf

(ID:49950620)