Assistenzroboter mit KI GARMI interagiert mit Ärzten und Patienten über ChatGPT

Anbieter zum Thema

iwb Institut für Werkzeugmasch. und Betriebswissenschaft der TU München

ET System electronic GmbH

MES Electronic Connect GmbH & Co. KG

IBR Leiterplatten GmbH & Co. KG

GARMI ist ein Assistenzroboter für die Pflege und Betreuung von Menschen, der Befehle über ChatGPT versteht. Auch Gegenstände kann er bereits greifen. Bis zum sicheren Einsatz in Pflegeheimen wird es aber noch dauern.

Der Assistenzroboter GARMI (GERiatric Assistent Munich) ist ein Assistenzroboter, der von der Technischen Universität München am Forschungszentrum für Geriatronik in Garmisch-Partenkirchen entwickelt wird. Wie die Forscher aus dem Munich Institute of Robotics and Machine Intelligence (MIRMI) der TUM auf der Robotikmesse ICRA 2024 in Yokohama in Japan zeigen, versteht der Roboter nicht nur diverse Kommandos per ChatGPT, sondern setzt unterschiedliche Aufgaben und Fertigkeiten wie das Greifen von Gegenständen, sicheres Manövrieren und die Kommunikation mit Patienten autonom um.

Außerdem kommuniziert er live mit Ärzten, die telemedizinische Untersuchungen durchführen. „GARMI ist nun in der Lage, verschiedene individuelle Fähigkeiten, die wir ihm in den letzten Jahren beigebracht haben, sicher und auf Zuruf über ChatGPT auszuführen“, erklärt der Leiter des Geriatronik-Projekts, Dr.-Ing. Abdeldjallil Naceri.

Mensch-Roboter-Interaktion

Ein digitaler Zwilling kommt zum Einsatz, um die Bewegungen des Roboters vor der realen Interaktion mit dem Menschen in einer Simulation durchzuprobieren und so Zusammenstöße zu vermeiden. Künstliche Intelligenz (KI) trägt dazu bei, dass GARMI Tassen und Gläser greifen und herüberreichen kann, ohne Flüssigkeit zu verschütten. Schließlich übernimmt ChatGPT als Bindeglied die Kommunikation zwischen Roboter,und Patienten, Physiotherapeuten sowie Ärzten.

Forscher Naceri vergleicht die in GARMI verbaute Technik mit Entwicklungen im autonomen Fahren: „Bis eine neue Funktion wie etwa die autonome Einparkhilfe in einem Fahrzeug zur Verfügung steht, sind viele Entwicklungsschritte nötig“, sagt der Forscher, „ähnlich wie in der Pflegerobotik muss die Technik absolut zuverlässig und sicher sein, da sie im Umfeld mit Menschen eingesetzt wird.“

Greifen und präzise aus der Ferne bewegen

Damit GARMI ähnlich wie Menschen greifen kann, haben die Forschenden eine Kamera, einen Roboterarm mit sieben Gelenken und künstlicher Hand sowie künstliche Intelligenz zusammengebracht. Zunächst macht die Kamera ein Bild von dem Objekt, das GARMI greifen soll und identifiziert es über den Einsatz von neuronalen Netzen als Tasse, Flasche oder Ball.

Da die Kamera nur von einer Seite das Objekt sieht, ergänzt das System nicht-sichtbare Bereiche etwa einer Tasse, indem es das Gesehene mit anderen Bildern vergleicht und rekonstruiert das vollständige 3D-Objekt. Die Wahrscheinlichkeiten, mit denen das Objekt so dargestellt wird, wie es in Wirklichkeit aussieht, stellen die Forschenden in einer farblich abgestuften Grafik dar, einer Heatmap. So lässt sich die ideale Position für die Hand ermitteln, die etwa eine Tasse greifen soll. In neun von zehn Fällen ist das komplexe System nun dazu in der Lage. „Wenn es mit einer Tasse klappt, kann unser System das auf alle anderen Tassenformen übertragen“, sagt Naceri.

Aus der Ferne interagieren

Um erforschen zu können, ob Ärzte per Teleoperation mit Patienten zusammenarbeiten können, dachten sich die Forscher einen besonderen Versuchsaufbau aus. Dafür zeichneten sie auf einem digitalen Grafik-Tablet einfache Formen. GARMI wurde ebenfalls mit einem Stift in einer Hand und mit einer Kamera in der anderen ausgestattet.

Einen Raum entfernt sollte GARMI auf eine Leinwand übertragen, was die Forschenden zuvor gezeichnet haben – also eine einfache Zeichnung in ein komplexes robotisches System projizieren. Es stellte sich heraus, dass die besten Kreise, Quadrate und Dreiecke dann entstanden, wenn GARMI die Kamera autonom einsetzte.

In einer neuen Forschungsarbeit zeigen die Forschenden, wie Werkzeuge an einem Gegenstand vorbeimanövriert werden können. Die Herausforderung besteht darin, einerseits die Abstände im Auge zu behalten und andererseits die Beweglichkeit des Roboterarms mit allen seinen Gelenken richtig einzuschätzen. Gelingt das, kann der Roboter sogar entgegenfliegenden Bällen ausweichen.

Roboter reagiert innerhalb von einer Millisekunde

GARMI verarbeitet Informationen mit einer Taktung von einer Millisekunde. Das betrifft die Wahrnehmung, Interaktion und Navigation gleichermaßen. Die Kraftsensoren der Roboterarme registrieren geringste Berührungen und reagieren sofort. Stößt ein Mensch versehentlich gegen den Arm des Roboters, bleibt er aus Sicherheitsgründen innerhalb von einer Millisekunde stehen.

Um Unfälle auszuschließen, treffen Mensch und Roboter zunächst als digitale Zwillinge in einem virtuellem Umfeld aufeinander. Das ist unerlässlich, denn der Assistenzroboter kann in der Wohnung eines Pflegeheims theoretisch bis zu 20 km/h schnell werden. In der Computersimulation registriert GARMI mit der Safety Motion Unit über seine Sensoren, wenn ihm eine Person zu nah kommt und bewegt sich langsamer. Entfernt sich die Person, bewegt er sich wieder schneller.

ChatGPT nutzt Liste an Kommandos

Das KI-Tool ChatGPT funktioniert als Übersetzer zwischen Technik und Mensch. Es hat diverse Kommandos wie „Starte die Reha“, „Zeig mir das Wetter von morgen“ oder „Ruf den Arzt an“ gelernt, und GARMI nutzt dieses Tool, um mit Patientinnen und Patienten zu kommunizieren. „Aktuell haben die Forschenden eine Liste von 15 bis 20 Kommandos, die bestimmte Aktionen triggern.

„Potenziell können wir sie beliebig erweitern“, sagt Robotik-Forscher Naceri, „wir gehören damit zu den ersten Instituten, in denen Roboter und Menschen mit ChatGPT miteinander interagieren.“

Roboterhände sollen feinere Aufgaben übernehmen

Der neue universelle GARMI wird nun in einer Musterwohnung in Garmisch-Partenkirchen aktiv. Das Hauptforschungsfeld wird die Weiterentwicklung von Händen sein, die immer feinere Aufgaben übernehmen können. Bis GARMI in Pflegeheimen zum Einsatz kommt, werden noch einige Jahre vergehen. (heh)

Dr. Robot, assistieren Sie: So helfen KIs und Roboter in der Post-Corona-Zeit

Humanoide Roboter

Boston Dynamics stellt den neuen, elektrischen Atlas-Roboter vor

(ID:50035589)