Skalierbare Edge-KI-Verarbeitung Wie Edge-Computer KI-, Video- und CPU-Operationen an SBC-Cluster delegieren

Anbieter zum Thema

E.E.P.D. Electronic Equipment Produktion & Distribution GmbH

congatec GmbH

SECO Northern Europe

RS Components GmbH

Okdo hat die PipeRunner-Technologie von Ostream lizenziert, die Edge-KI-Operationen automatisch an die am besten optimierte Hardwarekomponente delegiert, die in einem SBC-Cluster verfügbar ist. Mit dem horizontalen PipeRunner-Design sollen sich NPU-, CPU- und VPU-Module in bisher unerreichter Größe stapeln lassen.

Okdo, der Singleboard-Computer- und IoT-Zweig der RS Group, und Ostream, Anbieter von Edge- AI-Medienverarbeitungsinfrastruktur, vereinbarten eine globale Partnerschaft für skalierbare Edge-KI-Medienverarbeitung. Die Technologiepartnerschaft soll Integratoren ermöglichen, Video- und Audioströme mit Kontext anzureichern, um in Echtzeit Maßnahmen am Edge zu ergreifen und gleichzeitig Bildsuchmaschinenfunktionen in ihren Anwendungen bereitzustellen.

Der modulare, geclusterte Ansatz ermöglicht eine bedarfsgerechte Skalierung von der Pilotphase (3 TOPs) bis zur Produktion (800 TOPs) in einer einzigen Hardwareeinheit. Die PipeRunner-Module basieren auf Nvidias Orin und RockChip-NPUs, Computer Vision spezifischen CPUs und Video-Encodern/Decodern. Die Lösung wird am Edge eingesetzt und bezieht Medienströme von bereits installierten Kameras in der Umgebung.

Ostream hat die PipeRunner-Technologie entwickelt, um Video- und Audiodaten von Kameras zu streamen, KI-Modelle auf die Medien anzuwenden und die daraus resultierenden Metadaten im Object-MP4-Format anzureichern. Das erweiterte Format ermöglicht es Kunden, in Echtzeit Maßnahmen am Edge zu ergreifen und einen Datensee mit durchsuchbaren Medien aufzubauen

Okdo hat die PipeRunner-Technologie von Ostream lizenziert, die Edge-KI-Operationen automatisch an die am besten optimierte Hardwarekomponente delegiert, die im Cluster verfügbar ist. KI-Operationen laufen auf NPUs, Video auf VPUs und Computer-Vision-Aufgaben auf CPUs. In der Vergangenheit waren Integratoren gezwungen, zwischen vertikal skalierten Servern zu wählen, die statische Mengen an KI und CPU, aber keine dedizierte Videoverarbeitung bieten. Mit dem horizontalen Design von PipeRunner können Kunden NPU-, CPU- und VPU-Module in bisher unerreichter Größe stapeln.

Die Partnerschaft wird eine zweite Schiene für die SBC-Roadmap von Okdo bilden. Okdos primäre SBC-Schiene konzentriert sich auf CPU-gebundene Anwendungen mit ihren Rock-Boards und Modulen. Okdo PipeRunner wird eine separate Schiene von Boards anbieten, die das Triple der Hardware-Beschleunigung von NPU, VPU und CPU in Verbindung mit der Software bieten, um einen reibungslosen Betrieb auf jeder Ebene der Expertise zu gewährleisten. Die Cluster-Software wird standardmäßig auf den OKdo-Boards in dieser Schiene enthalten sein und bietet eine leistungsstarke Schicht, die es Entwicklern ermöglicht, schneller Werte zu liefern.

Kerry Shih, CEO von PipeRunner, sagt: "Mit PipeRunner können Integratoren horizontale, medienverarbeitende Lösungen aufbauen, die bis zu 800 TOPs pro Gerät skalieren, indem sie SBCs clustern und mit Video-Hardwarebeschleunigung und Hochgeschwindigkeits-Backplane umgeben."

Richard Curtin, CTO von Okdo, fügt hinzu: "Während die Nachfrage nach KI-Anwendungen am Edge so hoch ist wie nie zuvor, verursachen die heute angebotenen SBC-Boards und Software-Stacks zu viel Arbeit für Integratoren. Wir wollen hoch skalierbare KI-Anwendungen ermöglichen, ohne dass Entwickler sich den Kopf darüber zerbrechen müssen, ob sie funktionieren werden."

Okdo wirbt damit, dass das horizontale Modell des Aufbaus von KI-Supercomputern aus SBCs weitaus kostengünstiger ist als das begrenztere und teurere vertikale Modell. Okdo bewirbt PipeRunner als nützlich für Hersteller und industrielle Integratoren gleichermaßen.(mk)

(ID:48987777)