KI-Chip Hailo 8: Cloud-AI-Performance an der Edge

Der neue AI-Chip des israelischen Start-ups Hailo ermöglicht Embedded-Produkten von Kontron eine Rechenpower am Edge, die so bisher nur in der Cloud möglich war.

Anbieter zum Thema

Syslogic GmbH

SECO Northern Europe

Kontron Europe GmbH

Anwendungen rund um Künstliche Intelligenz (Artificial Intelligence; AI) sind auf dem Vormarsch. Dazu führt auch der deutlich stärkere Fokus auf Nachhaltigkeit, der sich durch eine härtere Gangart in der Klimapolitik ergibt. AI trägt nicht nur zur Automatisierung bei, sondern auch zu besserer Planung, Wartung und Vorhersage. Die Technologie vermindert Ressourcenverschwendung oder Ausschuss und unterstützt neue Mobilitätskonzepte.

Selbstlernende Algorithmen haben Hochkonjunktur

Inferenz ist dabei ein wichtiges Stichwort: Es steht dafür, mit Hilfe trainierter neuronaler Netze aus Informationen zu lernen und neue Schlüsse abzuleiten. Allerdings benötigen Inferenz-Anwendungen rund um Artificial Intelligence eine erhebliche Rechenleistung. Das gilt vor allem in Echtzeitszenarien, etwa bei autonomen Fahrzeugen oder wenn es, wie in der Robotik, um das Thema Arbeitsschutz geht. Diese Voraussetzungen fehlen klassischen Standard-Prozessoren, denn sie verbrauchen zu viel Strom oder erreichen nicht die benötigte Geschwindigkeit. Am Edge, also im Device selbst, ist eine Rechenpower nötig, die bis dato High-Performance-Systeme in Rechenzentren geliefert haben, mit Nachteilen bezüglich der Latenz und Zuverlässigkeit der Cloud-Verbindung.

Neue Performance-Höhen mittels KI erklimmen

Als Embedded-Systems-Spezialist fokussiert sich Kontron daher auf neue Ansätze, um die nötige Performance auch am Edge zu ermöglichen. Mit der Integration des AI-Chips Hailo 8 des israelischen Chipherstellers Hailo setzt Kontron auf eine Technologie, die den Anforderungen im AI-Umfeld mit einer spezifisch für das Rechnen von neuronalen Netzen entwickelten Chip-Architektur begegnet. Mit Hailo entwickelt Kontron im Rahmen einer strategischen Technologiepartnerschaft AI-Edge-Inferenzlösungen der nächsten Generation. Grundlage dafür ist der „best-in-class“-AI-Co-Prozessor Hailo-8 mit einer Leistung von 26 Tera-Operationen pro Sekunde (TOPS) und einem typischen Stromverbrauch von nur 2,5 Watt. Dies ermöglicht Edge-Geräten eine Performance, die bisher nur in der Cloud möglich war.

Der Einsatz vor Ort, oft unter den restriktiven Bedingungen in Fertigung und Produktion oder im öffentlichen Raum, stellt hohe Anforderungen an die AI-Devices. Sie müssen nicht nur raue Umgebungen, sondern auch ein breites Temperaturspektrum meistern. Zugleich sollte die Hardware im Praxis- einsatz besonders klein und stromsparend konzipiert sein, um sich auf engem Raum in Geräte oder in Produktionsanlagen einzufügen: kleine, spezifische Formfaktoren erfordern etwa Assistenzsysteme in einem autonomen Fahrzeug, in einem Roboterkopf oder einem kleinen Kameragehäuse.

Vortrainierte neuronale Netze für AI-Anwendungen

Je genauer sich AI-Algorithmen und Hardware aufeinander abstimmen lassen, desto besser die Performance und desto niedriger der Stromverbrauch. Das israelische Startup Hailo stellt in seiner „Developer Zone“ viele vortrainierte neuronale Netze ("Model Zoo") bereit, auf deren Basis Unternehmen sehr viel schneller neue AI-Anwendungen entwickeln und so deren Time-to-Market verkürzen können. Grundlage ist Hailos High-Performance Application Toolkit TAPPAS (Template APPlications And Solutions).

Der Markt bietet bereits eine Reihe von Lösungen mit diesem Ansatz. Um die Rechenpower zu erhöhen, kommen dort meist Accelerator-Devices für die Beschleunigung zum Tragen, oft maßgeschneidert für bestimmte AI-Anwendungsszenarien. Bei der Hailo-Technologie hingegen, ist der Prozessor Domain-spezifisch gezielt für bestimmte Anwendungen optimierbar und in höherem Maß programmierbar. So lassen sich nicht nur wie üblich die Parameter der trainierten Netzwerke in den Chip programmieren, sondern die Hardware kann gezielt auf bestimmte gewünschte Eigenschaften hin optimiert werden. Mit einem bitgenauen Simulator und dem Performance-Tool Hailo Dataflow Compiler können Entwickler individuell festlegen, welche Leistungsaspekte sie für einen spezifischen Use Case bevorzugen. Aspekte, die sich austarieren lassen, sind etwa Stromverbrauch, Latenz oder Geschwindigkeit. Das Trade-off erfolgt dann analog zum jeweils wichtigsten Anwendungsziel.

Perfekt an das jeweilige neuronale Netz anpassbar

Neuronale Netzwerke sind Strukturen mit vielen Layern, in denen Neuronen auf unterschiedliche Arten miteinander verknüpft sind. Je nachdem, welcher Output angestrebt wird, kommen unterschiedliche Netzarchitekturen zum Einsatz. Beispiele dafür sind MobileNet, ResNet, SqueezeNet oder Tiny-YOLO. In den letzten Jahren kamen neue Architekturen hinzu, die sich vor allem für den Einsatz auf mobilen und Egde-Geräten eignen. Der Hailo-Chip ist besonders gut auf das jeweils zu rechnende Netzwerk zu optimieren, da die Kernels bestens auf das jeweilige Netzwerk anpassbar sind. Durch den bitgenauen Simulator des Chips kann die Applikation außerhalb der Zielhardware zum Beispiel auf einem PC optimiert werden. So lassen sich neue Levels von Geschwindigkeit, Latenz und Leistungseffizienz erzielen.

Dafür wurde die Chip-Architektur neu gedacht. So ist beispielsweise kein externer Memory-Speicher nötig. Er ist bereits im Chip integriert und sehr eng an die konfigurierbaren Rechenkernels angebunden. Der Prozessor wird am PCIe-Bus der Host-CPU der Edge Computer von Kontron betrieben. Mit der Lösung lassen sich selbst die strengen Sicherheitsvorgaben in der Automotive- und Industrial-Compliance einhalten. Nicht von ungefähr haben in der jüngeren Vergangenheit viele Automobilhersteller auf Kooperationen mit oder Übernahmen von israelischen Startups gesetzt, die beim Thema Artificial Intelligence international die Nase vorn haben.

Vision-Applikationen am Edge

In der Industrie sind Computer-Vision-Anwendungen das wohl häufigste Einsatzszenario, insbesondere in der Objekterkennung, im Qualitätsmanagement oder der vorausschauenden Wartung. Entscheidend ist dabei oft die Latenzzeit und Auflösung, die im Prozess benötigt wird, um auszurechnen, was auf einem Bild zu sehen ist. Je nachdem, wie schnell in einem Produktionsprozess Objekte wie Bauteile, Materialien oder Produkte dem Kamerasystem zum Beispiel auf einem Fließband präsentiert werden, oder wo Objekte in großer Entfernung schnell und exakt erkannt werden müssen, steigen die Erwartungen an die Performance.

Praxishürden überwinden

Der Hailo-Chip ist mit Latenzen im Millisekundenbereich auch für die anspruchsvolle, schnelle Bilderkennung mit extrem hoher Auflösung ausgelegt. So lässt sich die hohe Rechenleistung auch dazu verwenden, hochauflösende Bilder durch „Tiling“ in mehrere parallel gerechnete Video-Datenströme umzuwandeln, um kleinste Objekte korrekt zu erfassen. Viele kamerabasierende Bilderfassungssysteme hingegen arbeiten mit limitierter Auflösung oder liefern die Ergebnisse mit hoher zeitlicher Verzögerung, was die Einsatzmöglichkeiten einschränkt.

Dank seiner hohen Geschwindigkeit eignet sich der AI-Chip von Hailo auch für Szenarien, in denen schnell etwas gezählt oder sortiert werden soll; aber auch für autonome Transportsysteme, die ihre Umgebung erkennen können sowie in Cobots, die direkt mit Menschen zusammenarbeiten. Die Architektur mit der anpassbaren Struktur, die kurzen Latenzen und die hohe Performance beschleunigen den Hailo-Chip so, wie sie marktübliche Beschleuniger nicht erreichen.

Kontrons Ziel ist es, die Technologie gemeinsam mit dem Kunden und einem AI-Core-Support in die Praxis zu bringen. Größter Hemmschuh bei potenziellen Anwendern ist bisher gerade im Mittelstand der Fachkräfteengpass im Bereich Data Science. Damit die Potenziale der Künstlichen Intelligenz nicht weiter brachliegen, hat sich Kontron vom klassischen Hardware-Anbieter weiterentwickelt und setzt mit seinen Professional Services darauf, eigene AI-Expertise in den Projekten anzubieten. Geplant ist zudem eine enge Zusammenarbeit mit Hailo auch auf Board-Level: Künftig sollen die AI-Chips auf unterschiedliche Boards integriert werden, konkrete Pläne sind hier bereits in Diskussion. Zudem wird es möglich sein, mehrere der AI-Chips für besonders rechenintensive, unterschiedliche Anwendungszwecke zu kombinieren – je nach individueller Anforderung.

Letztlich sollten alle Unternehmen und Organisationen den Nutzen von AI-Technologie für ihre Prozesse und Produkte evaluieren und erproben. Denn die ‚Early Birds‘ können sich deutliche Vorsprünge vor ihren Wettbewerbern erarbeiten.

AI hat Zukunft

Zählalgorithmen sind etwa in der Logistik beim Erfassen von Paketen oder Paletten im Lager gefragt, kombiniert mit einer AI-Text- erkennung von Labels, die traditionelle OCR (Optical Character Recognition) weit übersteigt. In einer Smart City lassen sich Fahrzeuge auf einer Kreuzung oder Menschen zählen, um Verkehrsströme zu leiten. AI-Bildverarbeitungssysteme helfen, dass Menschen nicht versehentlich in Gefahrgutzonen im Lager laufen – Stichwort Worker Safety. Auch Störgeräusche oder Unwuchten in Maschinen und Anlagen lassen sich frühzeitig detektieren und so vermeiden.

Oft kann AI bestehende Verfahren ersetzen und die Fehleranfälligkeit von manuellen Prozessen minimieren. So lassen sich Vision-Systeme für die Defect Detection vergleichsweise leicht realisieren und auf weitere Produkte und Features ausdehnen. Um AI-Anwendungen jedoch breit aufzustellen, sind durchgängige, skalierbare Plattformen erforderlich. Kontrons aktuelle AI-Projekte sind erst der Anfang; aus Firmensicht bieten sich künftig noch ungeahnte Möglichkeiten, um die Nachhaltigkeit und Effizienz von Prozessen zu erhöhen oder etwa durch schnellere Analysen von Krankheitsbildern/Symptomen das Gesundheitswesen zu verbessern und Menschenleben zu retten.

* Christoph Neumann ist VP Technology der Kontron-Gruppe.

(ID:48111894)