„Der dedizierte KI-Prozessor ist tot!“: Erweiterbare KI-Architektur für das Smart Edge

Seine neue KI-Prozessorarchitektur NeuPro-S hat Ceva für Inferenzaufgaben wie Imaging und Vision am Edge optimiert. Der Clou: Über die integrierte „CDNN-Invite“-Programmierschnittstelle können Entwickler ihre eigenen anwendungsspezifischen Neuronalen Netzwerke einbinden.

Anbieter zum Thema

EBV Elektronik GmbH & Co. KG

congatec GmbH

NetModule AG

Publitek GmbH

Ceva Inc. Richard Kingston

„Der dedizierte KI-Prozessor ist tot!“, provoziert Richard Kingston, Vice President of Market Intelligence, Investor and Public Relations des Wireless-Connectivity- und Smart-Sensing-Anbieters Ceva. Um gleich nachzuschieben: „KI-Berechnungen werden Teil der Workload jedes Smart Devices – genau wie Software.“ Tatsächlich scheint sich nach dem letzten, rund zweijährigen KI-Hype die Idee der Entscheidungsfindung per maschineller Intelligenz jetzt ernsthaft in Produkten zu manifestieren, die auf breiter Front beispielsweise am Edge zum Einsatz kommen. Nach Berechnungen unterschiedlicher Marktbeobachter und Ceva-internen Einschätzungen werden beispielsweise bis 2022 über 1,5 Mrd. Kameras für Computer-Vision-Anwendungen ausgeliefert – ein großer Teil davon mit KI-Funktionen.

Als eigene Antwort auf diesen Bedarf hat Ceva nun NeuPro-S vorgestellt, eine nach eigenen Worten stromsparende KI-Prozessorarchitektur für Inferenz-, Bildgebungs- und Computer-Visions-Workloads auf Endgeräten. Deren Besonderheit: NeuPro-S arbeitet zwar mit einem eigenständigen KI-Prozessor, unterstützt aber auch heterogenes Co-Processing mit kundenspezifischen KI-Engines. Dafür hat Ceva die Programmierschnittstelle (API) „CDNN-Invite“ implementiert. Anwender können darüber ihre eigenen Neural-Network-(NN-)Module „nahtlos in das Ceva Deep Neural Network Framework einbinden“, sagt Ilan Yona, Vice President und General Manager der Vision Business Unit von Ceva.

Bildergalerie

Bildergalerie mit 5 Bildern

Präzision oder Schnelligkeit: Der KI-Prozessor entscheidet in Echtzeit

Das CDNN optimiere Netzwerke und Schichten übergreifend mit Blick auf die eingesetzten digitalen Signalprozessoren (DSP), NeuPro-S-Cores und die kundenspezifischen NN-Prozessoren. Nutzer hätten dadurch die Möglichkeit, spezifische Anwendungsanforderungen abzudecken und sich von ihren Wettbewerbern zu differenzieren. Zudem sei es so mögich, NeuPro-S für ein breites Spektrum von Applikationen anzupassen, zum Beispiel IoT, Smartphones, Überwachung, Automotive, Robotik, Medizin und Industrie.

Der KI-Prozessor von Ceva setzt sich aus der NeuPro-S-Engine und dem Vision-DSP Ceva-XM6 zusammen. XM6 ist ein voll programmierbarer Vektor-DSP für ergänzende NN-Funktionen. Er unterstützt das parallele Verarbeiten von Computer-Vision- und Imaging-Daten sowie Workloads, die aus den kundenspezifischen Erweiterungen resultieren. Der KI-Prozessor kann gemischt mit 8- oder 16-Bit-Genauigkeit rechnen. Dies soll Echtzeitentscheidungen zwischen Präzision und Rechenleistung ermöglichen. Mehrstufige Speichersubsysteme unterstützen zudem eine Skalierung über mehrere Prozessorkerne. Spezielle Hardware-DMA-Controller würden mit minimalem System-Overhead arbeiten und die Parallelverarbeitugn der Daten beschleunigen.

Drei Modelle, skalierbar bis 100 TOPS

Derzeit umfasst die NeuPro-S-Familie die Modelle NPS1000, NPS2000 und NPS4000 – vorkonfigurierte Prozessoren mit 1024, 2048 und 4096 8x8-Bit-MAC-Einheiten. Der NPS4000 erreicht pro Kern eine CNN-Leistung von bis zu 12,5 Tera Operations Per Second (TOPS) bei einem Takt von 1,5 GHz. In Multi-Core-Designs ist der Prozessor laut Ceva auf bis zu 100 TOPS skalierbar.

Mit seiner neuen Architektur zielt Ceva primär auf Bildverarbeitungsanwendungen, die Künstliche Intelligenz (KI) für Inferenzberechnungen am Edge nutzen – beispielsweise Assistenzsysteme in Autos, Smartphones, Überwachung, Fotografie und vermehrt eingesetzte Applikationen wie Headsets für Augmented Reality/Virtual Reality, Robotik und weitere industrielle Anwendungen. Ceva hat NeuPro-S Edge-Geräte optimiert, die Objekte in Videos und Bildern segmentieren, erkennen und klassifizieren. Nach eigenen Angaben unterstützt die NeuPro-S-Architektur mehrstufige Speichersubsysteme, die helfen sollen, unnötige Datentransfers mit extern angebundenem SRAM zu vermeiden und so Berechnungen zu beschleunigen.

Gewichtete Kompression und heterogene Skalierbarkeit

Für NeuPro-S nutzt der Hersteller nach eigenen Angaben seine Erfahrung mit mehrschichtigen neuronalen Netzwerken (Deep Neural Networks, DNN), die es beispielsweise mit Computer-Vision-Anwendungen gemacht hat und die etwa in Consumer-, Überwachungs- und ADAS-Produkten zum Einsatz kommen. Wichtige Komponenten der Lösung sind gewichtete Kompressionsverfahren und eine „heterogene Skalierbarkeit“. Darunter versteht Ceva die Möglichkeit, verschiedene Kombinationen von XM6 Vision-DSPs, NeuPro-S-Cores und kundenspezifischen KI-Engines in einer einheitlichen Architektur zu ermöglichen. Laut Hersteller erreicht NeuPro-S damit im Durchschnitt 50 % mehr Rechenleistung bei gleichzeitig 40 % geringerer Speicherbusauslastung und 30 % geringerem Stromverbrauch als der Ceva-KI-Prozessor der ersten Generation.

Yona ist überzeugt, durch die CDNN-Invite-API die Hürden für den Einsatz neuronaler Netzwerke gesenkt zu haben: „Anwender profitieren von der breiten Unterstützung und Benutzerfreundlichkeit unserer CDNN-Compiler-Technologie.“

(ID:46195462)