Sparsame CMOS-Bildsensoren Ein Bildsensor vereint maschinelles Lernen

Anbieter zum Thema

MicroConsult Microelectronics Consulting & Training GmbH

Syslogic GmbH

congatec GmbH

AMS Osram AG

Mehr Möglichkeiten für tragbare Geräte, aber auch für Robotik, in der Industrie und der Sicherheit: Der GPNPU-Prozessors soll die Verarbeitungsleistung von CMOS-Bildsensoren steigern und gleichzeitig mit wenig elektrischer Energie auskommen. Dazu arbeitet AMS Osram mit Quadric zusammen.

Eine Kombination aus CMOS-Sensoren der Familie Mira von AMS Osram und den GPNPU-Prozessoren der Familie Chimera von Quadric ergeben die Ultra-Low-Power-Module. Mit ihnen soll es möglich sein, die Methoden zur Erfassung der Umgebung zu verbessern.

Im Mittelpunkt stehen die neuronalen Chimera-Universalprozessoren von Quadric. Die sogenannten GPNPUs können sowohl mit der Graphenverarbeitung für maschinelles Lernen (ML) als auch mit klassischen datenparallelen Algorithmen aus C++in einer einheitlichen Architektur umgehen und geräteinterne KI-Funktionen für Edge-Anwendungen bereitstellen.

Ein typischer Chip für KI- oder ML-Informationen umfasst eine NPU, einen DSP, eine Echtzeit-CPU sowie Speicher, einen Anwendungsprozessor, einen ISP und weitere IP-Blöcke. Die GPNPU Chimera kombiniert NPU, DSP und Echtzeit-CPU in einem einzigen programmierbaren Kern.

CMOS-Bildsensoren und maschinelles Lernen

Die Quadric-Architektur bietet eine effiziente ML- (Machine-Learning-)Inferenzleistung im Gegensatz zu anderen neuronalen Netzen. Diese unterstützen nur eine begrenzte Anzahl von Graphenoperatoren für maschinelles Lernen. Die GPNPU von Quadric verfügt über allgemeine Steuerungs- und Signalverarbeitungsfähigkeiten. Damit vereint der Prozessor Eigenschaften von NPU mit DSPs.

Die GPNPUs können sowohl neuronale Netzgraphen als auch Code aus C++ für die Signalvor- und -nachverarbeitung ausführen. Die Verlustleistung ist deutlich geringerer als bei anderen Edge-Prozessoren.

Der Vorteil bei künftigen Anwendungen liegt in einem niedrigen Energiebedarf für Sensoren und die für das verbundene System Energievorteile. Im Speziellen können die CMOS-Sensoren die Effizienz bei der Auflösung erhöhen und das bei kleinerer Hardware.

Leistung bei wenigen hundert Milliwatt

Mit der jetzt vorgestellten Kombination aus einem Bildsensor zusammen mit einer GPNPU sind Bilderfassung und maschinelles Lernen in einem kompakten System integriert. Die Leistung soll sich bei wenigen hundert Milliwatt bewegen. Nach Simulationen von Quadric ist dazu heute eine GPU mit 5 oder 10 W notwendig.

Der Mira220 und künftige Derivate bieten eine Vielzahl von Kombinationsmöglichkeiten für unterschiedliche Anwendungen zusammen mit Quadrics skalierbarer Chimera-Prozessorreihe, die einen Rechenbereich von 1 TOP bis 16 TOPs abdeckt.

(ID:49017877)