Bildverarbeitung- und KI-Leistung auf DSPs hochskalieren

Mobile Anwendungen, Virtual- und Augmented-Realtiy-Headsets, intelligente Überwachungskameras, selbstfahrende Fahrzeuge: Der Bedarf an Anwendungen, die On-The-Fly KI und hochauflösendes Bildmaterial verarbeiten, steigt massiv an. Welche Anforderungen gilt es hier zu erfüllen?

Anbieter zum Thema

Syslogic GmbH

NetModule AG

SECO Northern Europe

Cadence Design Systems GmbH

In den Bereichen Mobile, AR/VR-Headset, Überwachung und Automotive hat der Bedarf an hochauflösenden Kameras und entsprechend schneller Bildverarbeitung in den letzten Jahren massiv zugenommen. Hier sind einige Algorithmen, die auf KI zurückgreifen - etwa Objekt-, und Gesichtserkennung - hinzugekommen und immer mehr zum Anwendungsstandard geworden. Diese Märkte verlassen sich immer mehr auf eine Mischung aus Embedded Vision und KI-Algorithmen, um eine breite Palette an erweiterten Funktionen zu bieten.

Mit dem Wachstum und der Komplexität dieser Anwendungen ergeben sich auch neue Herausforderungen. Das umfasst unter anderem:

• Die Notwendigkeit, mit höheren Auflösungen zu arbeiten

• Algorithmen zu verwenden, die mehr Frames verarbeiten

• und das Erreichen einer höheren Leistung (Performance) bei geringerem Energiebedarf.

Wichtige Wachstumsmärkte für KI in Endgeräten

Im Mobile-Markt kommt mehr und mehr hochauflösendes Video zum Einsatz. Endbenutzer erstellen immer mehr und längere Filmclips, zu denen Effekte und Leistungsmerkmale wie intelligente High Dynamic Range (HDR), Bokeh und andere Effekte hinzukommen. Auf diese Aufnahmen kommen zusätzlich Algorithmen zur Gesichtserkennung und Objekterkennung hinzu. Dies alles zusammen erfordert einen enormen Anstieg der zur Verfügung stehenden Rechenleistung . Um das bestmögliche Nutzererlebnis zu garantieren, müssen alle diese Anwendungen - Bildverarbeitung mit KI - auf der mobilen Plattform ngemeinsam zum Einsatz kommen.

Virtual- und Augmented-Reality-Headsets sind inzwischen ebenfalls weit genug ausgereift für interessante, praktische Anwendungen auf dem Endmarkt. Um allerdings endgültig im Massenmarkt anzukommen, kommt es immer mehr auf eine Verbesserung der Benutzerfreundlichkeit solcher Geräte an. Vor allem möglichst geringe Latenzzeiten beim Streaming hochauflösenden Bildmaterials, oder der Optimierung der Live-Aufnahmen durch zusätzliche Informationen in Echtzeit, erlangen neue Notwendigkeit stellen hohe Anforderungen an Embedded Vision und KI - und so an die damit beauftragte Hardware. Diese Headsets benötigen eine geräteinterne KI zur Objekterkennung und -erkennung, Gestenerkennung und Eye-Tracking.

Moderne, intelligente Überwachungskameras sind ebenfalls ein enormer Wachstumsmarkt. Die meisten dieser Kameras laufen derzeit mit einer Auflösung von 1080p, aber künftige Kameras werden bis zu 4K Auflösung bei 60 Bildern pro Sekunde (FPS) liefern müssen. Auf diesen Kameras sorgt eine KI für die selbsttätige Erkennung von Fremdkörpern, unbekannten Personen oder Anomalien. Überwachungskameras für kommerzielle Anwendungen verwenden die On-Device-KI, um das Video mit identifizierten Personen zu kennzeichnen und Freund und Feind in Echtzeit zu unterscheiden und somit die Latenzzeit bei der Ausführung dieser Aufgaben in der Cloud so gering wie möglich zu halten. Dies führt zu einem höheren Leistungsbedarf bei SoCs, die vor Ort zur Überwachung eingesetzt werden.

Als vierter wichtiger Markt kommt der Automotive-Bereich hinzu. Dem Global Semiconductor Industry Service Report von September 2016 zufolge besteht die Möglichkeit, dass in High-End-Autos bis zum Jahr 2025 bis zu 50 verschiedene Kameras zum Einsatz kommen. Hinzu kommen 360-Grad-Sensoren, Sensoren zur Überwachung der Aufmerksamkeit des Fahrers, und die Prozessor-Leistung, die für autonomes Fahren notwendig ist. Dadurch steigt selbstverständlich auch die Nachfrage nach Embedded Vision und KI-Verarbeitung. Die Bildgebungsfunktionalität wird in den nächsten 10 bis 15 Jahren aufgrund der Vielzahl von Daten und Variablen, die zur Vermeidung von Unfällen anfallen, sehr komplex werden.

Ein neuer Lösungsansatz muss her

Die Rechenleistung und Geschwindigkeit, die für die heutigen neuronalen Netze erforderlich sind, haben mit diesen in den letzten Jahren enorm gestiegenen Anforderungen bislang kaum mitgehalten – ganz besonders hinsichtlich des visuellen Bereichs. Bis vor kurzem wurde die Inferenzierung von neuronalen Netzwerken überwiegend in der Cloud durchgeführt, was jedoch für die wachsende Zahl von Edge-Anwendungen, die eine geringere Latenz erfordern, problematisch ist. Infolgedessen geht der Trend in Richtung On-Device-KI. DSPs erweisen sich hier als eine immer beliebtere Lösung.

Eine erfolgreiche Embedded-Vision- und KI-Lösung muss folgende Merkmale erfüllen:

1. Sie muss Embedded sein. Dies trifft auf alle erwähnten Märkte zu, ob nun Mobile oder Automotive. In ihnen allen müssen enorme Datenmengen On-the-Fly verarbeitet werden können. Während das Training eines neuronalen Netzes meist offline stattfinden kann, müssen die Anwendungen, die sie nutzen, in ihr eigenes System eingebettet sein.

2. Sie muss energieeffizient sein.So wie wir keine Rechenzentren in unserem Auto oder auf unserem Gerät mit uns herumtragen, können wir auch nicht ständig wo wir hingehen eine dedizierten Stromquelle mit uns herumtragen, die sich nur um KI und Embedded Vision kümmert.

3. Sie muss zukunftssicher sein. Die Geschwindigkeit, die Steigerung der Leistung und Evolution neuronaler Netzwerke nimmt stetig zu. Produkte, die jetzt gerade neuronale Netze in der Entwicklung verwenden, müssen bis zur Auslieferung möglicherweise umprogrammiert und auf den neuesten Stand gebracht werden. Die Plattform muss also mit der Industrie wachsen können.

An diese gesteigerten Anforderungen hinsichtlich Embedded Vision und KI richtet sich gezielt der Cadence Tensilica Vision Q6 DSP. Er basiert auf einer tieferen 13-stufigen Prozessor-Pipeline und einer Systemarchitektur, die für den Einsatz mit großen lokalen Speichern ausgelegt ist. Damit erreicht der digitale Signalprozessor eine Spitzenfrequenz von 1,5 GHz und eine typische Frequenz von 1 GHz bei 16 nm in der gleichen Grundfläche wie sein Vorgänger, der Vision P6 DSP. Darüber hinaus bietet der Vision Q6 DSP eine komplette KI-Software-Plattform, um den Marktanforderungen gerecht zu werden.

Neuronale Netzwerke evolvieren in rasanter Geschwindigkeit

Es ist eine aufregende Zeit für Embedded Vision und KI. Die Anforderungen an die Bildverarbeitung steigen mit neuen Erfahrungen, höherer Auflösung und Sensoren. Die Anzahl und Komplexität der KI-Erfahrungen auf dem Gerät nimmt ebenfalls zu, während sich die zugrunde liegenden neuronalen Netzwerke in rasantem Tempo weiterentwickeln. Um diese unzähligen Anforderungen zu erfüllen, benötigt der Markt einen DSP, der in der Lage ist, die steigenden Anforderungen an Vision und KI und Energieeffizienz zu erfüllen. Schneller und mit weniger Leistung als bisherige Lösungen ist der Vision Q6 DSP eine ideale Lösung für diesen sich schnell verändernden Markt.

* Pulin Desai ist Product Marketing Director der Tensilica Vision DSP Product Line bei Cadence.

(ID:45328769)