Sensorfusion KI vereint verschiedene Verkehrssensoren in einem Lagebild

Quelle: Pressemitteilung 2 min Lesedauer

Anbieter zum Thema

TUM und BMW Group verknüpfen Daten von Kameras, Radar und Lidar im Fahrzeug mit Messungen von Infrastruktur-Sensoren. Das Lagebild soll sich im Takt von 100 Millisekunden aktualisieren.

TUM-Forscher Erik Leo Haß prüft die Sensorik auf dem Fahrzeug an einer Kreuzung in Garching-Hochbrück. Aus den unterschiedlichen Echtzeit-Messungen von Kameras, Lidaren und Radaren wird ein permanent aktualisiertes Bild der Verkehrssituation erstellt.(Bild:  A.Schmitz / TUM)
TUM-Forscher Erik Leo Haß prüft die Sensorik auf dem Fahrzeug an einer Kreuzung in Garching-Hochbrück. Aus den unterschiedlichen Echtzeit-Messungen von Kameras, Lidaren und Radaren wird ein permanent aktualisiertes Bild der Verkehrssituation erstellt.
(Bild: A.Schmitz / TUM)

Fahrzeugsensoren erfassen ihre Umgebung aus einer begrenzten Perspektive. An Kreuzungen können andere Verkehrsteilnehmer durch Gebäude oder Fahrzeuge verdeckt sein. Forschende der Technischen Universität München (TUM) und der BMW Group untersuchen deshalb, wie sich Messdaten aus Fahrzeugen und Verkehrsinfrastruktur gemeinsam auswerten lassen.

In einem Testaufbau liefern Kameras sowie Radar- und Lidarsensoren auf dem Dach eines BMW-Testfahrzeugs Daten. Hinzu kommen Messungen von Sensoren an Schilderbrücken. Eine KI führt die unterschiedlichen Perspektiven zu einem digitalen Zwilling der Verkehrssituation zusammen. Das Modell soll Autos, Fahrräder und Fußgänger erfassen, die sich aus verschiedenen Richtungen einer Kreuzung nähern. Die TUM nennt eine Positionsgenauigkeit von bis zu zehn Zentimetern.

Bewegte Sensoren, feste Sensoren

Die Datenfusion muss unterschiedliche Blickwinkel und Abtastraten berücksichtigen. Außerdem bewegen sich die Fahrzeugsensoren mit dem Fahrzeug, während Infrastruktur-Sensoren an festen Positionen messen. Die KI sagt laut TUM auch Bewegungen voraus. TUM-Forscher Kuo-Yi Chao beschreibt das Ziel als Verbindung „(...) sämtliche Sensorinformationen miteinander zu verbinden und in ein ‚Gesamtmodell‘ zu übertragen, das sich im Takt von 100 Millisekunden ändert“.

Auch die Qualität der Messdaten spielt eine Rolle. Sensoren, die etwa verdeckt, verschmutzt oder dekalibriert sind, sollen laut den Forschenden nicht in das Gesamtmodell einfließen. „Wenn ein Sensor verdeckt, verdreckt, dekalibriert oder anderweitig in seiner Leistung gemindert ist, wird er im Gesamtsystem nicht berücksichtigt“, erläutert TUM-Professor Alois Knoll.

Gefahren in verdeckten Bereichen

Als möglichen Nutzen nennt Knoll, dass das System Bereiche sichtbar machen könnte, die für den Fahrer sonst verdeckt sind. „Der Autofahrer sieht nun auch in sonst verdeckte Bereiche und kann bei möglichen Gefahren schneller reagieren oder gewarnt werden“, sagt er. Die TUM beziffert die Verarbeitungszeit für das Lagebild und daraus abgeleitete Empfehlungen auf weniger als 100 ms.

Ein mögliches Einsatzfeld sind Baustellen. Dort kann sich die Verkehrsführung kurzfristig ändern, während digitale Karten im Fahrzeug nicht unbedingt aktuell sind. Eine Kamera an einer Ampel oder einem Mast könnte zusätzliche Informationen zur Situation vor Ort liefern. Die Forschenden haben nach Angaben der TUM Patente für die Neukartierung von Baustellen und einen Ansatz zur Datenfusion in verteilten Systemen eingereicht.

Für die praktische Bewertung reicht die Aktualisierungsrate allein nicht aus. Entscheidend wären auch die Ende-zu-Ende-Latenz, die Qualität und zeitliche Synchronisation der Eingangsdaten sowie das Verhalten des Systems bei Verbindungs- oder Sensorausfällen. (heh)

(ID:50985958)

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung