Winkelabhängige Pixel Wie Teledyne mit einer Beugungsmaske räumliches Sehen ermöglicht

Ein Gastbeitrag von Laurent Appercel* 6 min Lesedauer

Anbieter zum Thema

Ein CMOS-Sensor statt zwei Kameras: Teledynes Perciva 5D liefert gleichzeitig 2D-Bilder und 3D-Tiefendaten. Winkelabhängige Pixel ermöglichen räumliches Sehen im Nahbereich – vorausgesetzt, die Szene bietet genügend Kontrast.

3D-Bildgebung mit nur einem Sensor: Die Perciva 5D von Teledyne e2v erfasst gleichzeitig 2D-Bilder und 3D-Tiefendaten. Die Berechnung erfolgt in Echtzeit direkt in der Kamera.(Bild:  Teledyne e2v)
3D-Bildgebung mit nur einem Sensor: Die Perciva 5D von Teledyne e2v erfasst gleichzeitig 2D-Bilder und 3D-Tiefendaten. Die Berechnung erfolgt in Echtzeit direkt in der Kamera.
(Bild: Teledyne e2v)

Mit Perciva 5D hat Teledyne e2v hat eine innovative Bildverarbeitungslösung vorgestellt, die hochwertige 3D-Aufnahmen im Nahbereich kostengünstiger, zuverlässiger und einfacher integrierbar macht. Während die meisten Industriekameras ausschließlich zweidimensionale Bilder erfassen, benötigen viele Anwendungen zunehmend eine Tiefenwahrnehmung im Nah- und unmittelbaren Nahbereich. Perciva 5D erfüllt diese Anforderung durch die einzigartige Angular Sensitive Pixel-Technologie mit winkelabhängigen Pixeln und eine leistungsfähige integrierte Signalverarbeitung. Dadurch können gleichzeitig vollständig synchronisierte 2D-Bilder sowie 3D-Depth Maps oder Punktwolken aufgenommen werden. Diese Kombination aus 2D-Bilddaten und 3D-Tiefeninformationen führt zur neuen Bezeichnung „5D“.

Die Perciva 5D arbeitet autark und berechnet die 3D-Tiefendaten mit Hilfe einer Kombination aus CPU-, GPU- und NPU-Ressourcen in Echtzeit direkt in der Kamera. Die 2D-Bilder und 3D-Tiefendaten werden vollständig synchronisiert über eine 1-GigE-Schnittstelle ausgegeben und entsprechen dem GigE Vision®-Industriestandard. Für die parallele Übertragung von 2D- und 3D-Daten nutzt die Kamera das GenDC-Container-Prinzip, wodurch sie mit weit verbreiteten GigE Vision®-Software-Lösungen auf externen Host-Systemen kompatibel ist. Darüber hinaus ist Perciva 5D GenICam®-konform, sodass Kamerafunktionen über eine XML-Datei beschrieben und Firmware-Updates unkompliziert vom Host-System aus durchgeführt werden können.

Für eine einfache Installation und Inbetriebnahme unterstützt die Kamera mehrere Stromversorgungsoptionen: Power over Ethernet (PoE) über einen M12-Buchsenstecker mit 8 Pins, eine externe Stromversorgung über einen separaten M12-Stecker oder die Versorgung über ein USB3-Kabel mit USB-C-Anschluss.

Ein weiterer Vorteil ist, dass die Kamera bereits werkseitig kalibriert geliefert wird. Die Kalibrierungsdatei ist direkt in der Kamera gespeichert, bei Bedarf können anwendungsspezifische Kalibrierungsdateien hochgeladen werden. Nach der Installation von Spinnaker 4 von Teledyne oder einer vergleichbaren Software auf dem Host-System ist die Kamera in der Regel innerhalb von weniger als fünf Minuten betriebsbereit.

Die mechanische Montage erfolgt mit M3- oder M4-Schrauben. Das robuste Aluminiumgehäuse verfügt über einen integrierten Kühlkörper auf der Rückseite und erfüllt die Schutzklasse IP65, wodurch es für industrielle Anwendungen geeignet ist – im Gegensatz zu vielen kostengünstigen Stereo-Kameras, die oft für 3D-Datenerfassung genutzt werden. Eine Status-LED informiert über den aktuellen Betriebszustand. Außerdem unterstützt die Kamera den Trigger-Betrieb, sodass Aufnahmen mit bestimmten Ereignissen oder Beleuchtungsschemata synchronisiert werden können.

Was macht die 5D-Technologie einzigartig?

Die Besonderheit der 5D-Technologie liegt darin, dass sie nur einen einzigen CMOS-Bildsensor verwendet, um Rohdaten aufzunehmen, aus denen anschließend perfekt synchronisierte 2D-Bilder und separate 3D-Tiefendaten berechnet werden. Da nur ein Sensor erforderlich ist, treten keine Okklusionen im Nahbereich auf, wie sie bei allen stereoskopischen Kamerasystemen unvermeidlich sind, da sie durch den Abstand zwischen den beiden Bildsensoren entstehen, der einen Blindbereich verursacht. Objekte in sehr kurzer Distanz können deshalb nicht zuverlässig erfasst werden. Dank des Single-Sensor-Designs der 5D-Technologie lassen sich hingegen präzise Bilder bereits ab einem Abstand von etwa einem Zentimeter zum Objekt aufnehmen.

Da die 2D-Bilder und 3D-Tiefendaten zeitlich exakt synchronisiert sind, entfällt die aufwendige Nachsynchronisation über Zeitstempel. Die Fusion von 2D- und 3D-Daten ist dadurch besonders einfach: Die Zuordnung von Bildpixeln zu Tiefeninformationen erfolgt praktisch durch das direkte Überlagern beider Datensätze. Dadurch können bestehende Bildverarbeitungsalgorithmen oder KI- und Deep-Learning-Modelle auf den 2D-Bildern eingesetzt und durch die zusätzlichen 3D-Informationen erweitert werden.

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Die 5D-Technologie erkennt sämtliche Kontraste innerhalb einer Szene, weshalb eine ausreichende Beleuchtung erforderlich ist – im Dunkeln arbeitet das System nicht. Eine spezielle Beleuchtung ist jedoch nicht notwendig, solange das 2D-Bild korrekt belichtet ist. Die Kamera eignet sich somit sowohl für Innen- als auch Außenanwendungen. In bestimmten Fällen können zusätzliche Lichtmuster (z. B. ein Schachbrettmuster) eingesetzt werden, um den Kontrast und damit die Qualität der Tiefenmessung weiter zu verbessern.

Ein weiterer Vorteil besteht darin, dass die Kamera durch transparente Glasschichten hindurch messen oder über Spiegel einen veränderten Blickwinkel nutzen kann. Solche Anwendungen sind mit Time-of-Flight-Kameras (dToF/iToF) nicht möglich. Auch Unterwasseraufnahmen sind realisierbar, sofern der Brechungsindex der Flüssigkeit entsprechend berücksichtigt wird.

Zusätzlich verfügt die Kamera über eine integrierte Inertial Measurement Unit (IMU), die bei Bedarf aktiviert werden kann, um Beschleunigungen und Bewegungen der Kamera oder des Gesamtsystems zu erfassen.

Wie funktioniert die 5D-Technologie?

Herzstück der Kamera ist der CMOS-Bildsensor Topaz5D von Teledyne, der mit der einzigartigen Angular Sensitive Pixel-Technologie ausgestattet ist. Zusammen mit dem werkseitig kalibrierten Optimom 5D-CMOS-Bildmodul bildet er die Grundlage der 5D-Technologie.

Topaz5D ist ein monochromer Full-HD-Global-Shutter-Sensor mit einer Auflösung von 1.920 × 1.080 Pixeln. Er ist der erste industriell gefertigte Bildsensor, der sogenannte Angular Sensitive Pixels integriert. Diese ermöglichen eine echte 3D-Wahrnehmung mit nur einem einzigen Standard-Bildsensor. Möglich wird dies durch eine patentierte transmissive Beugungsmaske (Transmissive Diffraction Mask, TDM), die von einem Entwicklungspartner konzipiert und direkt über der Pixelmatrix und den Mikrolinsen integriert wurde. Diese TDM-Schicht kodiert die Winkelinformationen des einfallenden Lichts optisch in das Bild. Eine spezielles SDK analysiert diese kodierten Signale und erzeugt daraus präzise Tiefenkarten bzw. Punktwolken. Da dieses Ein-Sensor-Verfahren vollständig passiv arbeitet und ausschließlich das vorhandene Umgebungslicht nutzt, entfallen zusätzliche Kameras, aktive Musterprojektoren, VECSEL-Lichtquellen oder bewegliche Komponenten. Das Ergebnis ist eine energieeffiziente Echtzeit-3D-Lösung, deren Tiefendaten vollständig synchron und pixelgenau mit den 2D-Bildern übereinstimmen. Dadurch eignet sich die Technologie besonders für Anwendungen, bei denen kompakte Bauform, effiziente Datenfusion und Wirtschaftlichkeit entscheidend sind.

Zu beachten ist, dass die 5D-Technologie Tiefeninformationen nur dort berechnen kann, wo im Bild ausreichend Kontrast vorhanden ist. Vollständig homogene Flächen liefern keine ausreichenden Kontrastunterschiede, sodass dort keine fundierten Tiefendaten erzeugt werden können. Anwendungen, die auf gleichmäßigen Oberflächen eine höhere Dichte an 3D-Daten benötigen, sollten daher zusätzliche Kontraststrukturen durch geeignete Beleuchtung erzeugen. Grundsätzlich eignet sich jedes sichtbare Beleuchtungssystem, das den Bildkontrast erhöht.

Die typische Messgenauigkeit beträgt unter Laborbedingungen bei Verwendung eines Kalibrierungsobjekts drei Prozent über den gesamten Kalibrierbereich, der derzeit von 30 cm bis 140 cm spezifiziert ist. Die Kamera kann jedoch auch außerhalb dieses Bereichs eingesetzt werden und arbeitet in Entfernungen von 15 cm bis maximal etwa 200 cm.Für welche Anwendungen kann die 5D-Technologie eingesetzt werden?

Die Perciva-5D-Kamera hat bereits in vielen verschiedenen Branchen und Anwendungsbereichen Fuß gefasst.

In der Logistik und Robotik kann sie für folgende Aufgaben eingesetzt werden:

  • Identifizierung und Greifen von Waren
  • Überwachung des Füllstandes von Transportbehältern
  • Erkennung des höchsten Artikels in einem Umkarton
  • Prüfung der Kartonintegrität auf Förderbändern
  • Erkennung von Palettenöffnungen für automatisierte Gabelstapler
  • Umgebungserkennung und Kollisionsvermeidung
  • Erkennung von Löchern, Konturen oder Merkmalen von Bauteilen
  • Führungssysteme für humanoide Roboter und Greifer

Bild 1: 
Die Perciva 5D erfasst die Unterseite einer Palette und berechnet daraus 3D-Tiefeninformationen. So lassen sich beispielsweise Einfahröffnungen für autonome Gabelstapler erkennen.(Bild:  Teledyne e2v)
Bild 1: 
Die Perciva 5D erfasst die Unterseite einer Palette und berechnet daraus 3D-Tiefeninformationen. So lassen sich beispielsweise Einfahröffnungen für autonome Gabelstapler erkennen.
(Bild: Teledyne e2v)

Im Einzelhandel und an Selbstbedienungskassen:

  • 3D-Daten verbessern die Produktidentifizierung, da sie sowohl Form als auch Volumen erfassen
  • Die 3D-Überwachung liefert Einblicke in das Kundenverhalten während der Produktauswahl
  • Verhinderung von Betrug und Scan-Fehlern beim Kassieren am Regal durch die Kombination von 2D- und 3D-Daten
  • Käufer-Identifizierung an intelligenten Verkaufsautomaten

Bei der Sport-Analyse:

  • 3D-Ballverfolgung über kurze Entfernungen
  • Überwachung der Körperhaltung, z. B. zur Erkennung der Benutzeraktivität bei Fitness- und Trainingsgeräten (z. B. auf Laufbändern)

Bild 2: 
Die Perciva 5D kombiniert 2D-Aufnahmen eines Golfballs beim Abschlag mit räumlichen Tiefendaten. Die drei Darstellungen zeigen das Kamerabild sowie die daraus berechneten Tiefeninformationen.(Bild:  Teledyne e2v)
Bild 2: 
Die Perciva 5D kombiniert 2D-Aufnahmen eines Golfballs beim Abschlag mit räumlichen Tiefendaten. Die drei Darstellungen zeigen das Kamerabild sowie die daraus berechneten Tiefeninformationen.
(Bild: Teledyne e2v)

In der intelligenten Landwirtschaft:

  • Erkennung und Ernte von reifem Obst und Gemüse, Pilzen usw.
  • Steuerung von landwirtschaftsspezifischen Servicerobotern, Cobots und Humanoiden

Schließlich für 3D-Gesichtserkennung und Anti-Spoofing-Anwendungen wie beispielsweise:

  • Erkennung der Anwesenheit von Personen und ihrer Interaktionen (beispielsweise beim Bezahlen und beim Abheben von Bargeld an Geldautomaten)
  • Erkennung von Gesichtsmerkmalen
  • Verbesserte Zugangskontrolle und robuste Lösungen zum Schutz vor Manipulationen durch 3D-Daten

Nächste Entwicklungsschritte für Perciva 5D

Die erste Version der Perciva 5D konzentriert sich auf eine Schwarz-Weiß-Variante, die auf dem Topaz5D-Sensor basiert und in ein maßgeschneidertes Bildgebungsmodul (Optimom 5D) integriert ist. Eine Farbversion desselben Topaz5D-Sensors ist ebenfalls erhältlich; die ersten Muster eines Farbkameramodells werden für Ende 2026 erwartet.

Die derzeitige Kamera-Architektur lässt gewisse Anpassungen der optischen Baugruppe im Inneren zu, wodurch weitere Produktvarianten durch maßgeschneiderte Kalibrierungen und optische Optionen ermöglicht werden. Insbesondere die Anpassung des horizontalen Sichtfelds, der Arbeitsabstände und des Fokuspunkts könnte sich für bestimmte Anwendungen als notwendig erweisen, vor allem um kürzere Abstände zu erreichen oder die höchstmögliche Genauigkeit zu erzielen. Teledyne e2v kann spezifische Kundenanforderungen verwirklichen und Angebote für größere Stückzahlen maßgeschneiderter Kameraoptiken und Kalibrierungen unterbreiten.

Teledyne e2v begrüßt zudem die Zusammenarbeit bei kundenorientierten Konzepten, Projekten und anspruchsvollen Anwendungen aus der Praxis, die möglicherweise Hardware- und/oder Software-Anpassungen sowie eine individuelle Anpassung erfordern. Die Lösung komplexer 2D- und 3D-Bildverarbeitungsaufgaben ist ein zentraler Bestandteil unserer Produktpositionierung, und wir verfügen über umfangreiche Erfahrung in der Bereitstellung maßgeschneiderter Lösungen für unsere Kunden. (mc)

* Laurent Appercel ist Senior Marketing Manager bei Teledyne e2v.

(ID:50997556)