Mensch-Maschine-Interaktion im Fahrzeug Die Windschutzscheibe als Display: Systemarchitekturen für AR-HUDs

Anbieter zum Thema

Harmann Deutschland GmbH

FAULHABER Antriebssysteme

MicroConsult Academy GmbH

MES Electronic Connect GmbH & Co. KG

Augmented Reality Head Up Displays (AR-HUDs) sind ein essenzieller Bestandteil der automobilen Zukunft. Deren Umsetzung erfordert eine hochpräzise, latenzarme Systemarchitektur, die gleichzeitig verschiedene anspruchsvolle Technologien nahtlos integriert.

AR-HUDs projizieren digitale Inhalte kontextsensitiv direkt auf die Windschutzscheibe in das Sichtfeld der Fahrerinnen und Fahrer. Damit heben sie die Mensch-Maschine-Interaktion (HMI) im Fahrzeug auf ein völlig neues Niveau. Ideal konzipiert, deckt ein AR-HUD einen möglichst großen Teil des Sichtfelds ab. Nur so lassen sich virtuelle Hinweise, wie Spurführung, Gefahrenkonturen oder Verkehrszeichen, zur richtigen Zeit am exakt richtigen Ort in Relation zur realen Umgebung platzieren.

In der Praxis arbeiten die meisten aktuellen AR-HUD-Prototypen mit einem horizontalen Sichtfeld (Field of View, FoV) von 10 bis 15 Grad, kombiniert mit einem deutlich kleineren vertikalen Sichtfeld. Ein horizontales FoV von etwa 12 Grad gilt in der Entwicklung derzeit als pragmatischer Kompromiss zwischen Kundennutzen, optischer Bauraumkomplexität und wirtschaftlicher Umsetzbarkeit.

Die technische Umsetzung

Eine der größten Herausforderungen ist die korrekte Überlagerung der realen Umgebung mit HUD-Inhalten. Dazu ist eine hochpräzise Erfassung (Tracking) der Kopfhaltung und der Sitzposition der Fahrerinnen und Fahrer notwendig – ein Aspekt, der aufgrund der hohen Variabilität der jeweiligen Person hinter dem Lenkrad besonders kritisch ist. Darüber hinaus müssen sowohl die Neigung (Pitch) als auch die Gierbewegungen (Yaw) des Fahrzeugs zwingend in die Berechnungen der HUD-Inhalte mit einbezogen werden. Unebene Straßenoberflächen führen zusätzlich zu permanenten Vibrationen und stören so die stabile Positionierung und exakte Zuordnung von kontaktanalogen AR-Elementen.

Um helle Bilder mit exzellentem Kontrast und großen virtuellen Bildabständen zu erzeugen, müssen für AR-HUDs leistungsstarke DLP-/LCOS-Laserprojektoren oder TFT-Displayoptiken verwendet werden. Die Wahl der Bilderzeugungstechnologie beeinflusst dabei massiv die Größe des tatsächlich darstellbaren Sichtfelds sowie die Bildgleichmäßigkeit (Uniformität).

Die Windschutzscheibe oder alternativ spezielle Kombinatorlinsen, erzeugen das Bild in einem virtuellen Abstand von mehreren Metern vor dem Fahrzeug. Dies gewährleistet, dass die Augen der Fahrenden stets auf die Straße fokussiert bleiben können, während sie gleichzeitig die digitalen Überlagerungen wahrnehmen. Deutlich größere Sichtfelder erfordern jedoch unweigerlich auch größere, komplexere Kombinatoren oder gar mehrere Projektionskanäle.

Um sicherzustellen, dass das projizierte Bild von verschiedenen Sitzpositionen aus perfekt sichtbar ist, verwenden die Entwickler große Eyebox-Optiken und/oder aktives Eye-Tracking mit dynamischer Bildwiedergabe. Die Vergrößerung der Eyebox bei gleichbleibendem Sichtfeld und konstant hoher Auflösung führt beim Design zukünftiger HUD-Generationen jedoch zu einem wesentlichen Zielkonflikt zwischen technischer Machbarkeit und wirtschaftlichen Kosten. Dies gilt insbesondere für extrem große Sichtfelder, wie sie bei Panorama-Displays auf der gesamten Windschutzscheibe der Fall sind. Solche Displays bringen erhebliche optische und fertigungstechnische Herausforderungen mit sich.

Limitierungen und optische Problemstellungen

Bilderzeugungseinheiten benötigen für größere und hellere Bilder in höherer Auflösung mehr Leistung, was unweigerlich zu einer größeren Wärmeentwicklung führt. Dieses thermische Problem wird auf verschiedenen Wegen angegangen: LEDs und Laser mit höherer Effizienz sowie ein optimierter optischer Strahlengang reduzieren die prinzipielle Wärmeerzeugung, während eine adaptive Helligkeitssteuerung zusammen mit einem dynamischen Kontrast die grundsätzlich benötigte Helligkeit und damit die Hardwareleistung senkt. So hat die neueste Hardware-Generation von Harman die Helligkeit um 50 Prozent erhöht und die allgemeine Bildqualität verbessert, ohne dabei die Wärmeentwicklung zu steigern. Gleichzeitig wird die Helligkeit mittels intelligenter Software stets exakt an den gerade benötigten Bedarf angepasst.

Weitwinkeloptiken erhöhen naturgemäß die Verzerrung und erfordern leistungsstärkere Projektoren sowie weitaus größere Kombinatorflächen. Das treibt nicht nur die Kosten und das Gewicht in die Höhe, sondern macht darüber hinaus die optische Kalibrierung deutlich komplexer. Auch die Windschutzscheibe selbst ist ein limitierender Faktor: Ihre Krümmung, ihr Neigungswinkel und spezielle Beschichtungen schränken das praktische Sichtfeld massiv ein. Hinzu kommen durch direkte Sonneneinstrahlung, Laternen oder Scheinwerfer veränderte Lichtverhältnisse, die den Kontrast mindern und optische Verzerrungen oder sogenanntes Ghosting verursachen können.

Doppelbilder werden vermieden

Als Lösung für das Ghosting werden aktuell keilförmige Folien aus Polyvinylbutyral (PVB) in das Verbundglas der Scheibe laminiert. Diese sorgen dafür, dass die Reflexionen von der Innen- und der Außenseite der Scheibe nahezu kongruent dargestellt und damit Doppelbilder vermieden werden. Diese etablierte Lösung funktioniert jedoch nur innerhalb eines relativ begrenzten Höhenbereichs. Für größere Sichtfelder ist die Leistungsfähigkeit herkömmlicher PVB-Folien nicht mehr ausreichend, da die durch die Neigung und Krümmung der Windschutzscheibe verursachten schrägen Lichtstrahlen nicht mehr umfassend korrigiert werden können.

Soll das Sichtfeld bei Beibehaltung angemessener Eyebox-Abmessungen erweitert werden, erhöht sich die optische Komplexität erheblich, und die Lichtquelle muss zwangsläufig heller werden. Eine Verdopplung der Eyebox oder des Sichtfelds führt nahezu proportional zu einer Verdopplung der erforderlichen Lumenleistung. Ein AR-HUD mit doppelt so großem Sichtfeld (4-fache Fläche) und doppelter Eyebox erfordert entsprechend exorbitant leistungsstärkere Projektoren.

Unsere Erfahrungen in der Entwicklung zeigen daher deutlich, dass das gewünschte Sichtfeld möglichst früh im Entwicklungsprozess spezifiziert werden sollte. Als Grundlage dient hierbei stets der spezifische Anwendungsfall: Eine reine Spurführung erfordert beispielsweise wesentlich weniger Sichtfeld als eine vollflächige Panorama-Navigation. Erst auf Basis dieser Definition sollten die Optik und die Rechenleistung eingeplant sowie die unumgänglichen Kompromisse zwischen Sichtfeld, Auflösung, Helligkeit und Eyebox-Größe sorgfältig abgewogen werden.

Algorithmen und Datenverarbeitung in Echtzeit

Die Software eines AR-HUDs muss Daten verschiedenster Sensoren in harter Echtzeit zusammenführen und verarbeiten. Zu ihren Hauptaufgaben zählen die Berechnung einer stabilen Umweltgeometrie und das Rendern von Grafiken mit minimaler Latenz und exakter räumlicher Registrierung. Der gesamte Zeitaufwand von der Sensorerfassung bis zur tatsächlichen Projektion muss dabei so gering sein, dass die digitalen Überlagerungen mit der sich dynamisch bewegenden Umgebung und der menschlichen Wahrnehmung absolut synchron bleiben.

Leistungsstarke AR-Software, wie etwa Harmans Ready Vision, ermöglicht hierbei eine Gesamtlatenz (Motion-to-Photon-Latency) von unter 50 Millisekunden. Um derartige Werte zu erreichen, sind optimierte Sensortreiber, eine hocheffiziente Echtzeit-Middleware und performante GPU-/Beschleuniger-Pipelines zwingend erforderlich. Aktuell erfordert eine derart leistungsfähige AR-Software in etwa folgende Systemressourcen:

• GPU: 40 GFLOPS

• CPU: rund 5.000 DMIPS

• Arbeitsspeicher: 500 MByte RAM

• Speicher: 512 MByte ROM/Flash

• Bildwiederholrate: 60 FPS (Frames per Second)

Die präzise, raumkorrekte Platzierung der Informationen auf der Windschutzscheibe erfordert eine komplexe Sensorfusion. Hier werden Daten von GPS/RTK (Real-Time Kinematic), inertialen Messeinheiten (IMU), der Fahrzeugodometrie, Mono- und Stereokameras sowie Lidar zusammengeführt. Der zugrunde liegende Fusionsstack muss dabei problemlos verzögerte oder intermittierende Daten, extrem wechselnde Lichtverhältnisse und hochdynamische Verkehrsszenen verarbeiten können. Deterministische Middleware-Komponenten für diese Echtzeit-Datenfusion und die exakte Ausrichtung der Zeitstempel (Time-Stamping) sind hierbei essenziell.

Insbesondere sicherheitsrelevante Anzeigen des AR-HUDs benötigen eine Objekterkennung und -verfolgung in Echtzeit, eine kontinuierliche Spur- und Straßenmodellierung sowie eine zuverlässige Verkehrszeichenerkennung. Zudem müssen Verkehrssituationen dynamisch eingeschätzt und prädiktiv bewertet werden können (etwa: „Wird dieser Fußgänger gleich die Straße überqueren?“). Um die enormen Anforderungen an Datendurchsatz und Latenz im Fahrzeug zu erfüllen, kommen optimierte Deep-Learning-Modelle zum Einsatz. Diese werden quantifiziert und laufen idealerweise auf dedizierten Neural Processing Units (NPUs) oder GPUs. Wird vom System eine zu hohe Unsicherheit der Datenlage erkannt, greift eine Fail-Safe-Strategie: Die Anzeige wird graduell heruntergefahren – etwa durch die Reduzierung der komplexen Überlagerungen und das Umschalten auf rein symbolische Warnhinweise –, um die Fahrenden keinesfalls in die Irre zu führen.

Eigenbewegungen des Fahrzeugs ausgleichen

Das Grafik-Rendering selbst muss nicht nur die Eigenbewegung des Fahrzeugs ausgleichen, sondern auch Kopf- und Augenversätze der Person am Steuer sowie optische Eigenheiten des Displays (wie Linsenverzerrungen) berücksichtigen und korrigieren. Dies geschieht unter anderem durch bewegungskompensierte Vorhersagemodelle und zeitliche Filterung, um unruhiges Bildzittern (Jitter) und visuelle Diskrepanzen zu vermeiden. Gleichzeitig müssen durch Fahrbahnunebenheiten verursachte mechanische Vibrationen des Fahrzeugs bei der Projektion der Grafiken rein per Software (Image Stabilization) ausgeglichen werden.

Da AR-HUDs aktuell noch über einen begrenzten Sichtbereich (Eyebox) verfügen, muss die projizierte Anzeige mittels kontinuierlichem Eye- und Head-Tracking zudem stets exakt an die aktuelle Augenposition der Fahrenden angepasst werden. Nur so wird sichergestellt, dass das HUD-Bild für die Person am Steuer jederzeit perfekt sichtbar bleibt, selbst wenn diese ihre Sitzposition verändert.

Tiefenwahrnehmung und Informationsbereitstellung

Damit AR-Overlays für das menschliche Auge natürlich wirken, müssen sie komplexe Tiefenhinweisreize (Depth Cues) wie Okklusion, relative Objektgröße, Bewegungsparallaxe und Vergenz zwingend berücksichtigen. Herkömmliche HUDs mit festem Fokus platzieren ihre virtuellen Bilder stets in einer einzigen Brennweite. Dies hilft zwar bei der Vermeidung von Vergenzkonflikten, schränkt den Tiefenrealismus der Anzeige jedoch massiv ein.

Für realistische Overlays muss das HUD-System physische Überlappungen in Echtzeit erkennen und grafisch verarbeiten können. Ein anschauliches Beispiel: Tritt ein Fußgänger in das Sichtfeld vor einen virtuell eingeblendeten Navigationspfeil, so muss die reale Person diesen digitalen Pfeil optisch verdecken (Okklusion) und nicht umgekehrt. Dies erfordert eine hochpräzise, KI-gestützte Tiefenschätzung oder eine Lidar-Sensorfusion mit extrem geringer Latenz.

Viele serienmäßige AR-HUDs verwenden aktuell noch 2D-Overlays, die lediglich auf eine feste Entfernung projiziert, aber immerhin an realen Straßenobjekten ausgerichtet (konform) sind. Dieser pragmatische Ansatz ist einfach, ausfallsicher und eignet sich hervorragend für die Darstellung von Navigationspfeilen sowie für die optische Hervorhebung von Gefahrenquellen.

Aktuelle High-End-Lösungen, wie etwa volumetrische oder Lichtfeld-Ansätze, gehen einen Schritt weiter: Sie generieren echte dreidimensionale Bilder und berücksichtigen dabei mehrere Blickrichtungen gleichzeitig. Dadurch liefern sie dem Auge physikalisch korrekte Vergenz- und Akkommodationssignale, was die räumliche Entfernungswahrnehmung der Fahrenden drastisch verbessert. Derzeit sind diese innovativen Technologien jedoch noch zu komplex, bauraumintensiv und kostspielig für einen flächendeckenden Serieneinsatz in Automobilen.

Grundsätze des Informationsdesigns

Um eine kognitive Überlastung der Fahrerin oder des Fahrers zu vermeiden, sollten AR-HUDs ausschließlich Informationen anzeigen, die für die jeweils unmittelbare Fahrentscheidung hilfreich sind. Beispiele sind etwa die exakte Spurführung oder kritische Auslöseschwellen des Bremssystems. Fahrbahnränder oder potenzielle Gefahren auf der Straße sollten visuell nur in ihren Umrissen hervorgehoben werden, ohne dabei reale Objekte zu verdecken. Die Größe und der Kontrast der angezeigten Elemente müssen zudem dynamisch skalierbar sein und sich permanent an die Entfernung, das Umgebungslicht sowie an die Aufmerksamkeit der Person am Steuer anpassen.

Marktdynamik und Chancen für Entwickler

Große Automobilzulieferer investieren weltweit massiv in die Entwicklung von AR-HUDs. Besonders die Integration Künstlicher Intelligenz (KI) in AR-HUD-Systeme treibt den Markt rasant voran. KI-gestützte HUD-Systeme verwenden fortschrittliche Sensoren und Kameras, um Objekte sowie potenzielle Gefahren in Echtzeit zu identifizieren und entsprechende Informationen zielgerichtet auf die Windschutzscheibe zu projizieren. Diese völlig neue HUD-Generation wird den Bedienkomfort und die Sicherheit erheblich verbessern sowie die Zahl potenzieller Unfälle messbar reduzieren.

Aktuell gehen wir bei Harman davon aus, dass die Region Asien-Pazifik bis zum Jahr 2030 bei AR-HUDs mit etwa 50 Prozent den weltweit größten Marktanteil erzielen wird. Der Grund: Mehrere asiatische Automobilhersteller integrieren derzeit spezifische Sicherheitsmaßnahmen in ihre kommende Fahrzeuggeneration und nutzen dabei konsequent die neuesten Fortschritte in der Head-up-Display-Technologie. Auch der europäische Markt wird rasant wachsen – maßgeblich befeuert durch hochentwickelte Technologien wie moderne Leuchtdioden (LED) und Flüssigkristallanzeigen (LCD), die hochtransparente und lebendige Bilder auf Windschutzscheiben ermöglichen.

Dieses erwartete Marktwachstum eröffnet Entwicklern aus den Bereichen Automobilsoftware, computergestützte Visualisierung und Echtzeit-Grafikrendering enorme Chancen. Dabei helfen ihnen auch herstellerübergreifende Entwicklungsstrukturen, die eine schnelle Umsetzung neuer Funktionen erst ermöglichen. Hierzu gehören wiederverwendbare, von Hardware und Navigationssystemen völlig unabhängige Kernkomponenten sowie intuitive Visualisierungstools.

Als integralen Bestandteil seiner Ready-Vision-Produktfamilie stellt Harman eine fortschrittliche AR-HUD-Technologie bereit. Durch ihre innovative Systemarchitektur und präzise Sensorfusion steigert sie den Fahrkomfort sowie die Sicherheit signifikant. Mit dieser modularen Lösung lässt sich gemeinsam mit Automobilkunden innerhalb von nur zwölf Monaten eine vollumfängliche, serientaugliche Implementierung umsetzen. Damit treibt Harman die nächste Entwicklungsstufe der Mensch-Maschine-Interaktion (HMI) im Fahrzeug entscheidend voran. (heh)

Strategische Zusammenarbeit

Zeiss und LG Chem arbeiten an nächster Generation Holographic Windshield Displays

Displays im Auto

Wie OLED und MicroLED das Fahrerlebnis verändern werden

* Mike Sun (Senior Product Manager Ready Vision) und Yeshvanth Venkatasubramanya (System Software Architecture Engineer) sind im Geschäftsbereich Intelligent Cockpit bei Harman tätig.

(ID:50804449)