ToF-IBV in Industrieanwendungen Wenn Stereoskopie oder Time-of-Flight allein nicht ausreicht

Das Verfahren Time-of-Flight zur Distanzbestimmung ist in der Messtechnik als Pulslaufzeitverfahren etabliert. In der Bildverarbeitung hingegen ist es eine junge Technik, die als 3D-Disziplin neue Anwendungen ermöglicht. Sensor- und Lösungsanbieter BECOM zeigte zur VISION 2021 seine Weiterentwicklung TOREO.

Anbieter zum Thema

Micro-Epsilon Messtechnik GmbH & Co. KG

congatec GmbH

Apacer Technology B.V.

BECOM Electronics GmbH

Zum Erkennen und Bestimmen von Objekten nutzt Machine Vision das Prinzip der Kantendetektion als wesentliche Voraussetzung. Diese Technik vereinzelt Objekte in der zweidimensionalen Ebene. Im dreidimensionalen Raum wird das Auffinden von Kanten schwieriger, u.a. durch Lichtreflexionen und Beleuchtungskanten. Aber zeitgemäße Algorithmen erlauben inzwischen auch den sicheren „Griff in die Kiste“.

Dreidimensionale Bildverarbeitung in der Industrie, etwa zur Automatisierung und visuellen Inspektion, ist heute sozusagen eine Routineaufgabe, doch mit immer wieder neuen Aufgaben und Lösungen. Das liegt auch an den unterschiedlichen angewandten 3D-Verfahren wie Laser-Triangulation, Stereomikroskopie, Streifenlichtprojektion und in jüngster Zeit das Time-of-Flight-Verfahren (kurz ToF).

Bildverarbeitungssysteme mit TOF-Kameras sind 3D-Lösungen, die anhand der Laufzeit von Licht die Distanzen im dreidimensionalen Raum erfassen. Damit steht ToF für Time of Flight. Eine Szene wird mittels Lichtpulse ausgeleuchtet; die Kamera misst für jeden Bildpunkt die Zeit, die das Licht bis zum Objekt und wieder zurück braucht. Die benötigte Zeit ist direkt proportional zur Distanz.

Kamera und Algorithmus liefern dadurch für jeden Bildpunkt im Raum die Entfernung des abgebildeten Objektes. Das Prinzip entspricht dem eines Laser-Scanning mit dem Vorteil, dass eine ganze Szene auf einmal aufgenommen wird und nicht abgetastet werden muss.

TOREO kombiniert ToF + Stereo + Embedded AI

TOF-Kameras sind eine relativ junge Entwicklung. Entsprechende Systeme lassen sich für Distanzen von Dezimetern bis einer Vielzahl von Metern einsetzen.

TOREO-P650 ist der Name einer neuen Bildgebungsplattform von BECOM, die speziell für anspruchsvolle 3D-Vision-Szenarien entwickelt wurde. Zur Lösung der Erkennungsaufgaben nutzt sie einen VGA-Time-of-Flight-Sensor in Kombination mit zwei 2D-Farbsensoren für ein hochauflösendes Stereosystem. Der Name TOREO ist ein Akronym aus ToF & Stereo.

„Dieses bietet eine höhere Genauigkeit, Robustheit und mehr Modalitäten für die Bildaufnahme und Bildverarbeitung“, konstatiert Marcus Himmel, Business Development Manager bei BECOM, „in Kombination mit den von Data Spree entwickelten Software-Komponenten Deep Learning DS zur KI-Modellerstellung und Inference DS als KI-Ausführungsumgebung ist es auch Nicht-Experten möglich, KI-basierte Bildverarbeitung für 3D-Anwendungen zu realisieren.“

Charakteristische Merkmale und Spezifikationen

Das Hauptmerkmal dieser Kamera ist, dass sie zwei unabhängige 3D-Aufnahmesysteme besitzt. Zusätzlich liefern zwei RGB-Sensormodule Farbdaten im sichtbaren Spektrum. Die Daten werden von einem Verarbeitungsmodul NVIDIA Tegra TX2 gesammelt, das sowohl stereoskopische 3D-Daten von den RGB-Modulen als auch Tiefendaten vom ToF-Sensor berechnen kann. Dieses Modul übernimmt die Sensorfusion und kann auch Deep-Learning-Anwendungen ausführen.

Die von den Sensoren erfassten Daten können an einen externen Host gesendet oder On Board verarbeitet werden, wo das NVIDIA-basierte Verarbeitungsmodul auch den Einsatz von KI am Edge ermöglicht. Um den kompletten Deep-Learning-Workflow und den einfachen Einsatz in Produktivsystemen zu unterstützen, stellen die Berliner Deep-Learning-Experten Data Spree eine Software-Toolchain (PC-basiert und eingebettet) bereit: Deep Learning DS ermöglicht als KI-Tool eine effiziente Organisation und Annotation großer 3D-Bilddatensätze, während Triggering das KI-Training und die Bewertung der KI-Leistung mit wenigen Mausklicks über eine einfache grafische Benutzeroberfläche übernimmt.

Himmel: „Mit Inference DS ist die Bereitstellung von KI per Drag-and-Drop-Prinzip im Produktionssystem einfacher denn je. In der grafischen Benutzeroberfläche wird nicht nur der Einsatz abgebildet, sondern es können auch Funktionen wie Bildaufnahme etc. durchgeführt werden.“

Relevanz und Anwendung für die BV-Industrie

Die präzise 3D-Vision-Technologie in Kombination mit KI-Modellen aus der aktuellen Forschung eröffnet völlig neue Möglichkeiten für die Automatisierung hochkomplexer Robotik-Anwendungen. Hier werden die vielschichtigen KI-Algorithmen über Inference DS auf der Kamera selbst eingebettet ausgeführt.

Somit findet eine technisch enorm anspruchsvolle Abbildung und rechenintensive neuronale Verarbeitung der Daten in einem hochkomprimierten Raum statt. Anwendungen in sehr unstrukturierten Umgebungen profitieren von 3D-Daten mit unterschiedlichen Erfassungsmodi (ToF versus Stereo/2D) und auch unterschiedlichen Wellenlängen (NIR versus sichtbar).

Je nach Anwendung geeignete Datenmodalitäten

Himmel: „Mehrere Datenmodalitäten stehen zur Verfügung, beispielsweise Depthmap, Amplitude Image (NIR) plus RGB. In der Depthmap haben wir eine Redundanz durch die Verwendung von zwei komplementären Quellen. Dadurch können wir 3D-Punktwolken bzw. Tiefenkarten aber auch Farbinformationen zur besseren Objekttrennung und Objektklassifizierung verwenden.

Darüber hinaus können wir KI nutzen, um die einfache Erstellung von Modellen zu ermöglichen, die die Leistung der herkömmlichen Bildverarbeitung schnell übertreffen. Gerade die Logistikbranche bietet vielfältige Anwendungen, die vom Warenhandling bis hin zu autonomen Robotern, die mit ihrer Umwelt oder menschlichen Mitarbeitern interagieren.“

Mit Sensorfusion und KI die Anwendung verbessern

Wenn wir Sortier- oder Handhabungsanwendungen betrachten, treffen wir auf eine Vielzahl von Formen und Arten von Verpackungen wie Polybags, Rollen oder kleine Umschläge, die auch mit verschiedenen Materialien wie schwarzen oder reflektierenden Folien oder transluzentem Kunststoff umhüllt werden können. Dazu Himmel: „Mit dieser Bildgebungsplattform können wir Sensorfusion und KI nutzen, um Ergebnisse und Leistung in diesen anspruchsvollen Anwendungen zu verbessern.

Unterschiedliche Strukturen, Muster und Drucke oder Materialien können für einen einzelnen Sensor eine Herausforderung darstellen, aber mit KI kann für jeden Fall die bestgeeignete Modalität ausgewählt werden. Mit Hilfe dieses KI-basierten multimodalen Kameraansatzes lässt sich auch eine sehr robuste und sichere Orientierungslogik für autonome Fahrzeuge für Logistik und Produktion realisieren. Dies liegt nicht nur an der relativen Invarianz der Licht- und Erscheinungsbedingungen, sondern auch an der Redundanz ähnlicher Modalitäten.

Selbst in sehr dunklen Szenarien, in denen wir nicht viele Informationen aus dem sichtbaren Spektrum erhalten, ermöglicht die aktive Beleuchtung der ToF-Komponente das Sehen und Handeln in diesen sonst schwierigen Situationen.“

Die Kamera TOREO und die Bildgebungsplattform TOREO-P650 sind für den Innovationspreis Burgenland in Österreich nominiert.

(ID:47778528)