Analogtipp KI-basierte Sensorfusion aus mmWave-Radardaten und Kamerabildern

Robotik, autonome mobile Plattformen und industrielle Automatisierungssysteme müssen ihre Umgebung mit hoher Genauigkeit, geringer Latenz und gleichbleibender Zuverlässigkeit erfassen.

Reine Bildsensoren sind bei Nebel, Blendung, Staub, Regen oder schlechten Lichtverhältnissen eingeschränkt und monomodalen Tiefensensoren machen dynamischen Szenen Schwierigkeiten. mmWave-Radar basiert auf einem grundlegend anderem Prinzip. Mit dem IWR6243 bietet Texas Instruments einen hochintegrierten, im Frequenzband von 57 bis 64 GHz arbeitenden mmWave-Radartransceiver. In Kombination mit der Edge-Computing-Plattform NVIDIA Jetson Thor und der NVIDIA Holoscan Sensor Bridge (Bild 1) lassen sich Radardaten effizient in KI-basierte Sensorfusions-Pipelines einbinden, sodass humanoide Roboter oder autonome mobile Plattformen in vollem Umfang von der hohen Messgenauigkeit und Zuverlässigkeit der Radartechnik profitieren.

Am Anfang der Sensorfusion-Pipeline steht das synchronisierte Erfassen von Radar- und Kameradaten. Die Radarverarbeitung profitiert davon, dass der Chip die nötigen Rohdaten für präzise Entfernungs-, Geschwindigkeits- und Winkelmessungen beisteuert. Die daraus generierten Punktwolken geben die räumliche Struktur und die Bewegungscharakteristika der Umgebung wieder. Zeitgleich werden Kamerabilder mithilfe GPU-beschleunigter KI-Modelle verarbeitet, die Objekte identifizieren und klassifizieren.

Die Fusionsstufe gleicht die Radarmessungen zeitlich und räumlich mit den visuell detektierten Resultaten ab, was sich besonders in Szenarien mit sich schnell bewegenden Objekten oder eingeschränkter Sicht bewährt, die reine Kamerasysteme an ihre Grenzen bringen würden. Der hohe Integrationsgrad des Bausteins verringert die Komplexität und den Stromverbrauch des Gesamtsystems und ermöglicht skalierbare Multi-Sensor-Systeme. Funktionale Sicherheit, Zuverlässigkeit und langfristige Verfügbarkeit sind durch die Expertise aus dem Automotive- und Industriebereich gegeben – alles wichtige Voraussetzungen auch für Roboter und autonome Systeme.

Sensor-Frontend auf Basis von Holoscan

Im Verbund mit der KI-Pipeline auf Basis von Holoscan fungiert der IWR6243 als Sensor-Frontend, das die Leistungsfähigkeit des Gesamtsystems verbessert und in Edge-Lösungen das Risiko von Wahrnehmungsfehlern reduziert. Grundlage für eine reale Implementierung ist ein Hardware-Stack für die breitbandige, latenzarme Datenübertragung von den Sensoren an die zentrale KI-Plattform. Die Referenz-Hardware besteht aus dem Evaluierungsmodul IWR6243EVM, einem CSI-2 Adapter Board, der Holoscan Sensor Bridge von Nvidia, einem Kameramodul und Nvidia Jetson Thor (Bild 2).

Dank dieser Kombination kann der Fokus bei der Entwicklung auf die Wahrnehmungs-Algorithmen und die KI-Sensorfusion gerichtet werden. Für die Softwareentwicklung wird das Holoscan-SDK eingerichtet, um die Softwarekomponenten der Sensor Bridge zu aktivieren, bevor die eigentliche Applikationssoftware für die Radarverarbeitung und Sensorfusion eingerichtet wird.

Das auf Jetson Thor laufende Holoscan-SDK umfasst ein grafikbasiertes Verarbeitungsmodell, GPU-beschleunigte Operatoren, deterministisches Scheduling sowie integrierte Unterstützung für Sensorinferenz, Visualisierung und Datenübertragung. Der Softwarestack der Holoscan Sensor Bridge ergänzt das SDK, indem es breitbandigen Sensoren das effiziente Streamen von Daten ermöglicht. Hierfür umfasst er die nötigen Treiber, die Firmware und die Schnittstellen, um Sensordaten von der Sensorbrücken-Hardware (Lattice) direkt in den für die GPU zugänglichen Speicher zu laden.

Diese Softwareschicht abstrahiert die Transportdetails und verifiziert das deterministische Timing, sodass sich Entwickler nicht mit den Einzelheiten der Datentransfers befassen müssen. Die dichte Anbindung der Holoscan Sensor Bridge an das Holoscan-SDK ist in Echtzeit-Fusionsanwendungen entscheidend für die Synchronisation zwischen Radar- und Kameradaten.

Die auf der Holoscan-Plattform aufsetzende Applikationssoftware implementiert die Radarkonfiguration, die Signalverarbeitung, das Ausrichten der Sensoren und die Fusionslogik. Sie wurde von D3 Embedded entwickelt und ist speziell für den mmWave-Radarsensoren von Texas Instruments, das Holoscan Sensor Bridge Board von Lattice Semiconductor und die Nvidia-Holoscan-Infrastruktur konzipiert. (kr)

Nach Unterlagen von Texas Instruments.

(ID:50956218)