Internet der Dinge IoT-Plattformen für den Einsatz in Smartkameras und Robotik

Der Mobilfunk erobert weitere Branchen wie das Automobil, IoT und die Datenverarbeitung und ebnet so den Weg für eine Zukunft, in der alles und jeder nahtlos miteinander kommunizieren kann.

Anbieter zum Thema

MicroConsult Microelectronics Consulting & Training GmbH

Syslogic GmbH

Codico GmbH

Die zunehmende Nutzung von 5G, Edge Computing, und KI-Technologien in einem breiten Spektrum neuer Industrien brachte Qualcomm Technologies dazu, eine Reihe von Lösungen zu entwickeln, die das Beste aus ihren Rechen-, Multimedia- und AI-Technologien in hochintegrierten SoC-Plattformen vereinen. Dieses Angebot wird um funktionsreiche Software-Releases, SDKs und technische Support-Dokumentation ergänzt, um eine ganz neue Kundengruppe bei der Entwicklung von Smartkamera- und Robotiklösungen für Industrie, Lager, Fabriken und Einzelhandel zu unterstützen.

Mit diesen Plattformen stehen nun heterogene Mehrkern-Rechensysteme (eine Kombination aus CPU-, GPU- und DSP-Verarbeitungskapazitäten) und dezidierte AI-, Kamera- und Videobearbeitungsressourcen zur Verfügung. Diese lassen sich mit den Mobilfunk-, Drahtlos- und Leistungsmanagementgeräten von Qualcomm kombinieren, um komplette Plattformlösungen für Endkunden bereitzustellen. Qualcomm und ihre Partner haben diese Techniken in Referenzdesigns und Hardware-Entwicklungskits (HDK) integriert, die überdies von einer mit allen Funktionen ausgestatteten Softwareentwicklungsumgebung profitieren, um Produktentwicklung und Markteinführung zu beschleunigen.

Werfen wir nun einen Blick auf die Hauptmerkmale der neuesten Plattformen für Smartkamera- und Robotikanwendungen von Qualcomm.

Rechenplattformen mit CPU, GPU und DSP

Die SoCs QCS410 und QCS610 bieten starke Rechenleistung für integrierte Verarbeitung in der Kameraeinheit und Maschinelles Lernen, gepaart mit hervorragender Strom- und Wärmeeffizienz. Bei beiden Lösungen ist ein leistungsstarker Bildsignalprozessor (ISP) sowie Qualcomms AI Engine mit an Bord, zusammen mit einer heterogenen Rechenarchitektur, bestehend aus hochoptimierter, individuell entwickelter CPU, GPU und DSP für eine noch schnellere KI-Leistung und Rechenkapazität unter Linux und An­droid. Diese Plattformen kommen in Smartkameras für den Einzelhandelbereich, Endkontroll- oder Prozessüberwachungssystemen für Werks- bzw. Lageranwendungen, Smart Displays, Videokonferenz- und Firmensicherheitssystemen zum Einsatz.

QCS8250 ist eine leistungsstarke Rechenplattform mit Mehrkern-CPU, GPU und DSP für den gleichzeitigen Betrieb von bis zu sieben Kameras sowie Unterstützung für drei simultan laufende 4K-Displays. Die Plattform erreicht eine Rechenleistung von bis zu 15 TOPS für KI-optimierte Anwendungen. Unter Android 10 können Kunden mit der QCS8250 Anwendungen mit zahlreichen Funktionen schnell auf den Markt bringen. Die Kombination aus leistungsstarker Hardware und einer funktions­reichen Software-Suite bietet eine ideale Plattform für automatisierte Kassen- und Überwachungssysteme im Einzelhandel, Mehrbildschirmsysteme, hochauflösende Smart-Displays, Serviceroboter, Lager- und Logistiksysteme, sowie werksinterne Qualitäts- und Fertigungskontrollsysteme.

Eine gemeinsame SoC-Architektur

Zwar teilen sich QRB5165 und QCS8250 eine gemeinsame SoC-Architektur (heterogenes Rechnen, gleichzeitiger Betrieb von mehreren Kameras und Bildschirmen sowie dezidierte KI-Engine), die beiden Plattformen unterscheiden sich jedoch in Bezug auf die Softwareumgebung. Bei der QRB5165 legte man den Schwerpunkt auf Robotikanwendungen, was eine Softwareumgebung mit geringer Latenz erfordert. Das Betriebssystem der QRB5165 basiert auf Ubuntu Linux. Zusätzlich zum Betriebssystem erstellte Qualcomm auch zahlreiche SDKs und Tools, um die Kunden bei der Implementierung der wichtigsten Features eines Roboters zu unterstützen, etwa Objekterkennungs- und -verfolgungsalgorithmen, Kollisionsvermeidung, Visual SLAM sowie 3D-Mapping. Diese leistungsstarke, funktionsreiche Plattform wird in Anwendungen wie professionelle Reinigungsgeräte, Drohnen, Roboter für die öffentliche Sicherheit und fahrerlose Transportfahrzeuge eingesetzt.

Beide Plattformen erfüllen sämtliche Anforderungen für Industrie- und Roboteranwendungen. Darüber hinaus unterstützt die QRB5165 auch einen erweiterten Temperaturbereich.

Linuxbasierendes Entwicklungs-Framework

Um Kunden zur schnellen Produktentwicklung zu verhelfen, hat Qualcomm überdies ein linuxbasieendes Entwicklungs-Framework geschaffen, welches Tools zur Kombinierung der Anwendungssoftware und -algorithmen der Kunden mit Open-Source-Betriebssystemen (Linux und/oder Android) und den proprietären BSP, Firmware und Treibern von Qualcomm enthält. Qualcomm liefert ebenfalls Flash- und Debug-Tools, um chipinternes Debugging und Entwicklung zu unterstützen. Über das Entwicklungs-Framework hinaus stellt Qualcomm den Kunden SDKs zur Verfügung, um die Differenzierungsmerkmale auf dem SoC voll ausschöpfen zu können. So wird beispielsweise das Neural Network SDK für KI zur Portierung und Ausführung von KI-Modellen direkt auf den Rechenkernen (CPU, GPU) eingesetzt, darunter auch die dezidierte Snapdragon Neural Processing Engine.

Die im Bild 2 unter dem Linux Embedded Platform Development Kit (LEPDK) gezeigte Embedded-Softwarearchitektur von QCS610 und QCS410 bildet eine Kombination aus dem proprietären Code von Qualcomm und bewährten, weit verbreiteten Open-Source-Komponenten. Sie basiert auf der Linux-Distribution Yocto (Poky-Release) und verwendet Open-Source-Komponenten wie Gstreamer für die Implementierung von Kamera-, Video-, Multimedia- und KI-Anwendungen. Da es sich um eine Familie von Smartkameraprodukten handelt, herrscht zwischen den Plattformen QCS410 und QCS610 volle Softwarekompatibilität. Die SoCs sind also pinkombatibel, was dem Kunden einen nahtlosen Übergang von der einen zur anderen Plattform erlaubt.

Gleiche Softwarearchitektur für QCS610 und QCS410

Die im Bild 2 abgebildete Softwarearchitektur ist für die SoCs QCS610 und QCS410 die gleiche, so dass der Endkunde leichter eine Produkt-Roadmap erstellen kann, da die für ein SoC entwickelten Anwendungen bei Nachfolgeprojekten bzw. bei komplett neuen Produktkategorien verwendet werden können, die sich ein leistungsstärkeres SoC zunutze machen.

Qualcomm hat eine Reihe von Tools entwickelt, die es Endkunden ermöglichen, ihre Endprodukte mithilfe innovativer KI-Techniken zu differenzieren. Beim QCS610 könnte dies etwa ein Kameraprodukt mit einem KI-Algorithmus sein, das den Sprecher in einem Konferenzsystem automatisch identifiziert oder das Verhalten von Konsumenten im Einzelhandel erkennt.

Im Fall des QRB5165 könnte dies eine KI-optimierte Navigation oder ein Objekterkennungs- und Kollisionsvermeidungsalgorithmus für einen Lagerroboter oder eine Drohne sein. Mithilfe des Neural Processing SDK for AI können Techniker ihre eigenen KI-Modelle oder jene von Dritten nehmen, die in weitverbreiteten KI-Entwicklungsframeworks wie Caffe, Caffe2, TensorFlow und ONNX entwickelt und erarbeitet wurden, und diese Modelle gezielt für die SoC und konkrete zukunftsorientierte Anwendungen einsetzen und optimieren.

KI-Entwickler können sich für den Einsatz ihres KI-Modells auf der leistungsstarken Neural Processing Engine entscheiden, die für Interference Acceleration optimiert wurde, oder auf der Mehrkern-CPU oder sogar auf der GPU, je nachdem welche Ressourcen, Latenzen oder Speicherkapazitäten ihre AI-Lösung erfordert. Die Möglichkeiten des Neural Processing SDK for AI werden laufend ausgeweitet, um die Effizienz und Leistung von KI-Anwendungen für diese SoC-Plattformen zu verbessern.

* Thomas Carmody ist zuständig für das Business Development und Product Management für Qualcomm-Produkte bei Codico.

(ID:47991721)