Hautberührungen als Eingabemethode EgoTouch: Intensität und Bewegungsrichtungen auf der Hautoberfläche erkennen

Anbieter zum Thema

Syslogic GmbH

IBR Leiterplatten GmbH & Co. KG

DMB Technics AG

Das Ziel von EgoTouch ist es, die Hautoberfläche als Eingabemethode für VR/AR-Anwendungen zu benutzen. Zusätzliche Hardware ist nicht notwendig. Einzig Kameras im Headset sowie maschinelles Lernen erkennen Intensität und Bewegungsrichtung der Berührungen auf der Haut.

Forscher der Carnegie Mellon University in den USA haben mit EgoTouch eine Technik entwickelt, die es ermöglicht, Hautberührungen als Eingabemethode zu nutzen – und das ohne zusätzliche Hardware. Zusammen mit künstlicher Intelligenz und den integrierten Kameras in handelsüblichen Headsets erkennt das System präzise Berührungen, deren Intensität und Bewegungsrichtung auf der Hautoberfläche.

Ein früheres Projekt namens OmniTouch, entwickelt von Chris Harrison, Professor und Leiter der Future Interfaces Group, nutzte zwar ähnliche Ansätze, benötigte jedoch eine spezielle Tiefenkamera, die nicht nur teuer, sondern auch unpraktisch war. Vimal Mollyn, Doktorand in Harrisons Team, hatte die Idee, maschinelles Lernen einzusetzen, um normale Kameras für die Erkennung von Berührungen zu trainieren.

Wenn maschinelles Lernen unterstützt

„Wenn man den Finger auf die Haut legt, sieht man Schatten und Verformungen der Haut, die nur bei Berührung entstehen“, erklärt Mollyn. „Diese Merkmale haben wir genutzt, um ein Modell zu trainieren, das Berührungen ebenso zuverlässig erkennt.“

Für die Datenerhebung entwickelte das Team einen speziellen Berührungssensor, der an der Innenseite des Zeigefingers und der Handfläche angebracht wurde. Dieser Sensor sammelte Daten über verschiedene Arten und Stärken von Berührungen, ohne für die Kamera sichtbar zu sein. Mit diesen Daten wurde das Modell darauf trainiert, visuelle Merkmale wie Schatten und Hautdeformationen mit der Berührungsintensität zu verknüpfen - ganz ohne manuelle Annotation.

Um das Modell zu optimieren, sammelte das Team Daten von 15 Benutzern mit unterschiedlichen Hauttönen und Haarstrukturen. Die Berührungsdaten wurden über mehrere Stunden in verschiedenen Situationen, bei unterschiedlichen Tätigkeiten und Lichtverhältnissen aufgezeichnet.

Video: So funktioniert EgoTouch

Präzision und praktische Anwendungen

Das Ergebnis: EgoTouch erkennt Berührungen mit einer Genauigkeit von über 96 Prozent und einer geringen Fehlerrate von etwa 5 Prozent. Zudem kann das System zwischen Berührungsarten wie Drücken, Loslassen und Wischen unterscheiden. Selbst die Intensität – ob leicht oder stark – wird mit einer Genauigkeit von 98 Prozent klassifiziert. „Das ermöglicht zum Beispiel Funktionen wie einen Rechtsklick direkt auf die Haut“, sagt Mollyn.

Die Genauigkeit bleibt konstant, unabhängig von Hautfarbe, Haarstruktur oder Berührungsfläche – ob Handfläche, Unterarm oder Handrücken. Lediglich an Stellen wie den Knöchel arbeitet das System weniger zuverlässig, da sich die Haut dort weniger verformt.

Ein Blick in die Zukunft

In Zukunft wollen die Forscher EgoTouch um Nachtsichtkameras erweitern, damit das System auch bei schlechten Lichtverhältnissen funktioniert. Außerdem wird daran gearbeitet, die Technologie auch auf anderen Oberflächen als der Haut anzuwenden.

„Zum ersten Mal haben wir ein System entwickelt, das mit den Standardkameras gängiger AR/VR-Headsets funktioniert – ohne Kalibrierung, sofort einsatzbereit“, betont Mollyn. „Jetzt können wir auf unseren bisherigen Arbeiten zu Hautschnittstellen aufbauen und diese Vision endlich realisieren.“

EgoTouch eröffnet Entwicklern neue Perspektiven: Die Kombination aus maschinellem Lernen und minimalistischer Hardware könnte AR/VR einen entscheidenden Innovationsschub verleihen – mit der Haut als intuitiver Eingabefläche. (heh)

Touch-Eingabe in Industrie und Medizin

Doppelter Schutz für eine sichere Bedienung

Alternative zur Toucheingabe

Drei Bedienkonzepte für die künftige Interaktion

(ID:50253665)