Vom Sensor zum System „Wir verschmelzen Hardware und Embedded AI zu einer Einheit“

Anbieter zum Thema

Bosch Sensortec GmbH

Data Modul AG

MicroConsult Academy GmbH

MES Electronic Connect GmbH & Co. KG

Bosch Sensortec wandelt sich zunehmend vom reinen Komponenten-Lieferanten zum Anbieter kompletter, intelligenter Sensoranwendungen. Auf der embedded world sprach ELEKTRONIKPRXIS mit Dr. Ralf Schellin über Referenzdesigns für Asset Tracking, die Bekämpfung von Cyber-Sickness in XR-Anwendungen und die Vorteile von On-Sensor-Processing für die Robotik.

Die Anforderungen an moderne Elektronikdesigns steigen rasant: Batteriebetriebene IoT-Knoten sollen jahrelang ohne Batteriewechsel funken, XR-Brillen müssen Latenzen auf ein Minimum reduzieren und in der Robotik müssen enorme Datenmengen präzise und zeitgleich verarbeitet werden. Ein reiner Rohdaten-Sensor reicht oft nicht mehr aus. Der Trend geht unaufhaltsam in Richtung Edge AI und Sensorfusion direkt auf dem Chip. Im Gespräch mit Hendrik Härter von der ELEKTRONIKPRAXIS erklärte Dr. Ralf Schellin, wie Entwickler davon profitieren, wie sich dadurch die Systemarchitektur verändert und damit auch der Stromverbrauch sinkt und welche Strategie Bosch Sensortec dabei verfolgt.

Herr Dr. Schellin, Sie bezeichnen das neue Referenzdesign für Asset Tracking als offen. Was genau bedeutet das für Elektronikentwickler? Bin ich an einen bestimmten Mikrocontroller oder ein bestimmtes Cloud-Backend gebunden? Oder kann ich die Sensor-Algorithmen nahtlos in meine bestehende RTOS-Umgebung (z. B. Zephyr oder FreeRTOS) portieren?

Hinsichtlich der Offenheit unseres Designs stellen wir den Kunden die vollständige Stückliste sowie Beispielcode zur Verfügung. Dies ermöglicht es ihnen, das Design genau auf ihre individuellen Anforderungen abzustimmen. Beispielsweise kann die Haupt-Host-CPU ausgetauscht oder es können verschiedene Konnektivitätsoptionen ausgewählt werden. Das reicht von Mobilfunk über WLAN bis hin zu LoRa. Darüber hinaus planen wir, Referenzcode für das Cloud-Backend zu veröffentlichen. Dadurch können Kunden die Anwendung einfach auf ihre eigene Cloud-Lösung portieren oder an ihre spezifischen Bedürfnisse anpassen. Unser Ziel ist es, maximale Flexibilität und Anpassungsfähigkeit zu bieten, damit jeder Entwickler das Referenzdesign für sein Projekt optimal nutzen kann.

Batteriebetriebene Logistik-Tracker müssen oft Monate oder Jahre ohne Ladung auskommen. Wie übernimmt die Bosch-Sensorik konkret das Power-Management? Weckt der Sensor (z.B. über Context Awareness) den Host-Prozessor und die stromfressenden Funkmodule (GNSS/Cellular) nur bei signifikanten Ereignissen wie Schocks oder Temperaturabweichungen auf?

Unsere Sensoren sind in der Lage, den aktuellen Kontext eigenständig zu verstehen. Das bedeutet, sie können Bewegungen oder Erschütterungen erkennen und das Gesamtsystem nur dann aktivieren, wenn ein relevantes Ereignis eintritt – eines, das zwingend an die Cloud gemeldet werden muss. Zusätzlich bieten wir die Möglichkeit, mehrere Ereignisse zu sammeln und gebündelt an die Cloud zu übertragen, was den Kommunikationsaufwand erheblich reduziert und eine beträchtliche Menge an Energie im Funkmodul einspart.

Um das an einem konkreten Beispiel zu verdeutlichen: Unser BMA400-Sensor kann im Low-Power-Modus mit weniger als 1 µA betrieben werden, während ein NB-IoT-Modul im aktiven Sendemodus weit über 100 mA benötigt. Mit dieser intelligenten Ereignisbehandlung verlängern wir die Batterielebensdauer erheblich, indem wir energieintensive drahtlose Übertragungen minimieren und nur bei Bedarf durchführen.

Darüber hinaus profitiert unser Ansatz davon, viele Sensoralgorithmen direkt auf den Sensoren selbst auszuführen. Dadurch sinkt der Gesamtstromverbrauch des Systems, da der Hauptprozessor und die Funkmodule länger im Schlafmodus bleiben können. Diese Strategie steigert die Effizienz und ermöglicht lange Batterielaufzeiten.

Latenzreduzierung in XR-Anwendungen

Bei XR-Anwendungen ist die Motion-to-Photon-Latenz entscheidend, um Simulatorübelkeit zu vermeiden. Sie sprechen von integrierter Sensorfusion und Edge-Verarbeitung zur Latenzreduzierung. Von welchen Latenzzeiten in Millisekunden sprechen wir bei Ihren neuen KI-fähigen IMUs im Vergleich zu herkömmlichen Lösungen, bei denen der Host-Prozessor die Fusion übernimmt?

Simulatorübelkeit ist ein gutes Stichwort. Man spricht hier auch von der sogenannten Cyber-Sickness. Sie entsteht durch widersprüchliche Signale an das Gehirn. Das Phänomen tritt zum Beispiel dann besonders stark auf, wenn die Motion-to-Photon-Latenz schlecht, das heißt zu langsam ist.

Bei den neuen IMUs (Inertial Measurement Units) der BMI5-Sensorplattform von Bosch Sensortec liegt einer der Schwerpunkte darauf, die Latenz oder auch die Gruppenlaufzeit bereits ganz am Anfang der Signalkette minimal zu halten. Das beginnt schon bei den noch nicht fusionierten Daten. Hier erreichen unsere IMUs Latenzen von unter 0,5 ms. Gemessen von der zu erfassenden Bewegung bis zu dem Zeitpunkt, an dem die Messdaten am Sensorausgang zur Verfügung stehen. Im Vergleich zu Vorgängerprodukten ist das zwei- bis dreimal so schnell. Die Latenz umfasst hier den kompletten Signalpfad, inklusive der Laufzeiten durch die Mikromechanik (MEMS), die Analog-Digital-Wandlung und die Nachbearbeitung der Daten inklusive Filterung im integrierten Mikrochip (ASIC).

Für spezielle Anwendungsfälle lässt sich die Latenz in den IMUs der BMI5-Familie sogar auf unter 0,3 ms reduzieren. Ein enormer Vorteil, um beispielsweise Cyber-Sickness zu vermeiden oder um besonders gute Resultate im Rahmen der optischen Bildstabilisierung (OIS) zu erzielen. Wenn die Datenfusion dann auch noch direkt im Sensor, also in der IMU, erfolgt, ergeben sich neben der extrem niedrigen Latenz weitere Vorteile: ein sehr geringer Stromverbrauch auf Systemebene, eine reduzierte Bus-Bandbreite, da weniger Daten übertragen werden müssen, und eine spürbare Entlastung des Host-Prozessors in der Endanwendung.

Daten-Offloading in der Robotik

In der Robotik fallen große Datenmengen an. Sie erwähnen, dass die „intelligente Datenverarbeitung direkt im Sensor“ den Host-Prozessor entlastet. Welche Berechnungen (z. B. Kalman-Filter, Quaternionen-Berechnung oder Vibrationskompensation) finden nativ auf dem Sensor statt?

Eine sehr interessante Frage. Zur Beantwortung muss ich etwas ausholen, da die IMU-Anwendungen in der Robotik sehr vielfältig sind: Sie reichen von der Navigation und Bildstabilisierung bis hin zur komplexen Regelung und Steuerung ganzer Bewegungsabläufe oder des Gleichgewichtssinns eines humanoiden Roboters. In der Regel findet das sogar alles gleichzeitig statt. Je nach Applikation werden damit auch unterschiedliche Anforderungen an die Sensordaten gestellt. Das ist beispielsweise der Fall bei Signalqualität und Stabilität, Datenrate, Latenz, Bandbreite, Messbereich und vieles mehr.

Bei der Entwicklung der BMI5-Serie liegt ein weiterer Schwerpunkt darauf, den Anforderungen und der Vielfalt von High-Performance-Applikationen wie der Robotik gerecht zu werden. Der BMI563, eine Use-Case-spezifische Variante für Robotik, bietet als Mitglied der BMI5-Serie mehrere Stufen der Signalverarbeitung. Um zu verstehen, welche Berechnungen auf dem Sensor stattfinden, müssen wir diese Ebenen im Detail betrachten:

• 1. Signalverarbeitung auf der Sensor-Ebene: Für High-Performance-Applikationen haben Signalqualität und -stabilität eine sehr hohe Bedeutung. Die BMI5-Serie hat mehrere Methoden zur Signalvorverarbeitung auf dem ASIC implementiert, um möglichst genaue, stabile Sensorsignale bereitzustellen. Insbesondere wurden Methoden zur Verbesserung der Temperaturstabilität, Vibrationsrobustheit und zur Kompensation anderer mechanischer Stresseinflüsse berücksichtigt. Alle IMUs der Serie beinhalten User-Features, die bei Aktivierung – wahlweise permanent während der Nutzung oder per One-Shot-Command – thermomechanische Drift-Effekte der IMU in Echtzeit kompensieren.

• 2. Datenvorverarbeitung für parallele Anwendungsfälle: Die BMI5-Serie bietet mehrere konfigurierbare Datenpfade. So erlaubt der BMI563 beispielsweise die Use-Case-spezifische Konfiguration von Filtereinstellungen, Datenrate und Messbereich für einzelne Datenpfade. Die vorverarbeiteten IMU-Datenströme können dann über die digitalen IMU-Schnittstellen, vom FIFO oder direkt über parallele Datenregister für HMI oder OIS ausgelesen werden. Auch das Auslesen von Daten durch mehrere Host-APs über zwei unterschiedliche Schnittstellen (primäres und sekundäres Interface) ist möglich. Dadurch können mehrere Applikationen gleichzeitig durch einen einzigen Sensor bedient werden: präzise Navigation mit mittleren Datenraten und hoher Driftstabilität, hochdynamische Regelung von Bewegungen mit extrem kleiner Latenz und hohen Datenraten oder die Sturz- und Schockerkennung im erweiterten Messbereich.

• 3. On-Chip-MCU für Algorithmen und Datenfusion: Im eigens entwickelten ASIC der BMI5-Serie ist eine proprietäre, hocheffiziente Low-Power-MCU implementiert, die Algorithmen und Sensordaten lokal verarbeitet. Die Sensorfamilie bietet daher eine große Vielfalt anwendungsspezifischer Software-Features, die direkt im Sensor prozessiert werden: zum Beispiel Sensorfusion zur Orientierung, Tracking, Tilt-Erkennung, Schock-Detektion, Kontext- und Aktivitätserkennung sowie die Erkennung ganzer Bewegungsmuster oder anwendungsspezifischer Gesten.

Der Host-AP kann beispielsweise anstelle der Rohsensordaten, die in der Regel mit Datenraten von weit über 1 kHz gestreamt werden, die aus sechs Freiheitsgraden berechnete Orientierung im Raum in Form von Quaternionen mit einer deutlich niedrigeren Datenrate (z. B. 100 Hz) auslesen. Diese werden ohne Signalverlust zur Regelung weiterverarbeitet. In der Robotik, speziell bei humanoiden Robotern, ist typischerweise nicht nur eine, sondern viele IMUs parallel im Einsatz. Das heißt: Der Effekt und die Vorteile dieses Offloadings von Datenbus und zentralem Applikationsprozessor skalieren enorm.

Der Wandel vom Komponenten- zum Lösungsanbieter

Sie betonen den Wandel vom reinen Sensorlieferanten hin zum Systempartner, der Hardware, Embedded-Software und KI bündelt. Bedeutet das, dass Bosch Sensortec sich mittelfristig aus dem Geschäft mit diskreten Einzelbausteinen (Commodity) zurückzieht? Wie stellen Sie sicher, dass Sie durch diesen Schritt nicht mit Ihren eigenen Kunden, den Systemintegratoren, in direkte Konkurrenz treten?

Bosch Sensortec gestaltet die Zukunft als ein führender Lösungsanbieter, indem wir hochmoderne Hardware und intelligente Software sowie die Algorithmen und Embedded AI zu einer Einheit verschmelzen.

Unsere Stärke liegt in der tiefen, synergetischen Integration von Hard- und Software. Wir folgen dem Leitspruch: „Jeder soll das machen, was er am besten kann.“ Unser Hardware-Know-how ermöglicht es uns, darauf abgestimmte, leistungsstarke Software zu entwickeln. Deshalb konzentrieren wir uns auf hardwarenahe Software-Layer wie Treiber, eingebettete Algorithmen und On-Chip-Machine-Learning. Diese Symbiose ist der Schlüssel zu maximaler Systemleistung. Gleichzeitig schaffen wir für unsere Kunden eine optimale Basis und ermöglichen ihnen, ihre Expertise voll auf die Anwendungs-Layer zu konzentrieren. Diese klare, partnerschaftliche Aufteilung führt zu einem Gesamtsystem, in dem jeder seine Stärken voll ausspielt.

Dieser flexible Ansatz liefert jedem Kunden maximalen Mehrwert. Wir bieten umfassende All-in-One-Lösungen für Kunden, die auf eine schnelle Markteinführung setzen. Gleichzeitig arbeiten wir eng mit Kunden zusammen, die über eigene, umfangreiche Entwicklungsressourcen verfügen, um gemeinsam durch unsere smarten Sensoren eine unübertroffene System-Performance zu erzielen. Unser Fokus liegt darauf, entscheidenden Mehrwert zu schaffen durch:

• Hohe Integration, die eine signifikante Reduzierung der Baugröße ermöglicht.

• On-Sensor-Processing und Edge AI, was zu niedrigem Energieverbrauch, Always-On-Funktionalität und minimaler Signalverzögerung führt.

• Optimierte System- und Verarbeitungs-Partitionierung, um Funktionalität, Leistung, Kosten und Entwicklungsaufwand des Gesamtsystems zu perfektionieren.

High-End-Komponenten bleiben der Kern unseres Produktportfolios. Durch die direkte Integration von Mikrocontrollern sowie Embedded-Software und AI verleihen wir selbst unseren Basiskomponenten einen entscheidenden Mehrwert und heben sie deutlich von einfachen Sensoren ab. (heh)

(ID:50818022)