Imtelligent Edge Vorbild Gehirn: Neuartige Lernmethode macht Edge-Geräte schlau

Anbieter zum Thema

Technische Universität Graz

Schneider Electric GmbH

Syslogic GmbH

congatec GmbH

Mit ihrer neuen Lernmethode „e-prop“ wollen Grazer Forscher den Spagat schaffen zwischen minimaler Stromaufnahme und maximalem Trainingserfolg ohne Cloud-Anbindung – und KI endlich auf mobile Endgeräte bringen. Kann das gelingen? Intel findet: ja.

Damit Neuronale Netze (NN) optimal funktionieren, müssen sie für ihren vorgesehenen Einsatzzweck angelernt werden. Und im Idealfall während ihrer Nutzung ständig dazulernen. Dieses Trainieren ist aufwendig, benötigt viel Energie – und ist eine große Hürde für den breiten Einsatz von Künstlicher Intelligenz (KI). Vor allem bei mobilen Anwendungen, etwa auf Smartphones.

Informatiker an der Universität Graz in Österreich wollen das Problem lösen, indem sie Erkenntnisse über das Funktionieren des menschlichen Gehirns nutzen. Denn das leistet Außergewöhnliches: Es hat die Rechenleistung eines Supercomputers, benötigt aber nur 20 W. Also lediglich rund ein Millionstel der Energieaufnahme des Silizium-basierten Boliden. Ganz abgesehen vom deutlich kleineren Volumen: Statt dutzender vollgepackter Serverschränke reicht dem Menschen ein gut handballgroßes Organ.

„e-prop“: Ereignisbasierte Informationsverarbeitung

Hauptgrund dafür ist die überaus effiziente Informationsweitergabe zwischen den Neuronen im Gehirn: Diese senden kurze, elektrische Impulse (Spikes) an andere Neuronen – um Energie zu sparen aber nur so oft, wie unbedingt notwendig.

Diese Funktionsweise hat sich eine Arbeitsgruppe rund um die beiden Informatiker Wolfgang Maass und Robert Legenstein, die an der Technischen Universität Graz (TU Graz) arbeiten – genau angeschaut. Entstanden ist e-prop (kurz für e-propagation), ein neuer Algorithmus für Maschinelles Lernen (ML). Mit ihren Arbeiten beteiligen sich die Wissenschaftler des Instituts für Grundlagen der Informationsverarbeitung am europäischen Leuchtturmprojekt Human Brain Project.

In ihrem Modell nutzen sie Spikes, also kurze Impulse, zur Kommunikation zwischen den Neuronen in einem künstlichen neuronalen Netz. Diese Spikes werden nur dann aktiv, wenn sie für die Informationsverarbeitung im Netzwerk gebraucht werden. Doch es gibt ein Problem: Lernen ist für solche wenig aktiven Netzwerke eine besondere Herausforderung, da längere Beobachtungen zum Ermitteln nötig sind, welche Neuronenverbindungen die Netzwerkleistung verbessern. Die Folge: Bisherige Methoden erzielten zu geringe Lernerfolge oder erforderten enormen Speicherplatz.

Ständig online statt einmalig offline Lernen

e-prop löst dieses Problem nach Angaben der Forscher mithilfe einer vom Gehirn abgeschauten dezentralen Methode, bei der jedes Neuron in einer sogenannten „e-trace“ (eligibility trace, zu deutsch: Ereignisspur) dokumentiert, wann seine Verbindungen benutzt wurden. Nach Angaben der Forscher ist diese Methode ähnlich leistungsfähig wie die besten und aufwändigsten bekannten anderen Lernmethoden. Details dazu wurden nun in einem ausführlichen Artikel im wissenschaftlichen Journal Nature Communications publiziert.

Bei vielen der derzeit eingesetzten Machine-Learning-(ML-)Techniken werden alle Netzwerkaktivitäten zentral und offline gespeichert. So lässt sich alle paar Schritte nachvollziehen, wie die Verbindungen während der Berechnungen benutzt wurden. Dies erfordert aber einen ständigen Datentransfer zwischen dem Speicher und den Prozessoren, eine der Hauptursachen für den zu großen Energie-Verbrauch gegenwärtiger KI-Implementationen.

e-prop hingegen funktioniere vollkommen online und erfordere auch im realen Betrieb keinen separaten Speicher – das Lernen werde dadurch viel energieeffizienter, erklären die Informatiker.

Triebfeder für neuromorphe Hardware

Maass und Legenstein hoffen, dass e-prop die Entwicklung einer neuen Generation von mobilen lernfähigen Rechensystemen vorantreibt, die nicht mehr programmiert werden müssen, sondern nach dem Vorbild des menschlichen Gehirns lernen und sich dadurch laufend an neue Anforderungen anpassen.

Ziel sei es, diese Rechensysteme nicht mehr energieintensiv ausschließlich über eine Cloud lernen zu lassen, sondern den größeren Teil der Lernfähigkeit effizient in mobile Hardware-Komponenten einzubauen und dadurch Energie zu sparen.

Wirklich innovativ – oder ein Ansatz unter vielen?

Das erinnert an „TinyML“-Entwicklungen, die versuchen, verhältnismäßig rechenschwache Mikrocontrollern in Endgeräten für die Verarbeitung von Neuronalen Netzen zu nutzen. Auch „NanoEdge AI“ von Cartesiam zielt in diese Richtung und soll nicht überwachtes Lernen (unattended learning) beispielsweise auf STM32G4-Controllern von STMicroelectronics (STM) ermöglichen.

In die gleiche Kerbe schlägt auch der Akida-Chip von BrainChip, ein speziell auf die Verarbeitung von Spiked Neural Networks (SNN) ausgelegtes System-on-Chip (SoC). Der Name ist hier Programm: Akida ist griechisch und bedeutet soviel wie Puls oder Spitze. Die Art und Weise, wie Akida gepulste NN verarbeitet, erinnert stark an die Herangehensweise der Grazer Forscher. Auch hier stehen eine möglichst geringe Stromaufnahme, kontinuierliches, inkrementelles Lernen und Inferenz im Vordergrund, die den Einsatz von KI in Endgeräten ermöglichen soll.

Auch das im belgischen Löwen ansässige Forschungszentrum imec (Interuniversity Microelectronics Centre) hat einen neuromorphen Chip entwickelt, der Neuronengruppen nachahmt und damit zeitliche Muster erkennen kann. Eingesetzt in ein Drohnenradar soll er Mikro-Dopplersignaturen klassifizieren können und blitzschnelle Reaktionen ermöglichen.

Einsatz im neuromorphen Spinnaker-System – und demnächst in Intels Loihi-Chip?

Erste Schritte, e-prop für reale Anwendungen einzusetzen, wurden bereits gemacht: So arbeitet das Team der TU Graz gemeinsam mit der Advanced Processor Technologies Research Group (APT) der Universität Manchester im Human Brain Projekt daran, e-prop in das dort entwickelte neuromorphe SpiNNaker-System einzubauen. Gleichzeitig arbeitet die TU Graz mit Halbleiterhersteller Intel daran, den Algorithmus in die nächste Version von Intels neuromorphen Chip Loihi zu integrieren.

Ein neuromorpher Computer mit dem Gehirn eines Hamsters

KI für jeden: Smarte IoT-Endgeräte 50 mal schneller ohne Vorwissen entwickeln

(ID:46734657)