Modulare Computer-on-Modules Wie Edge-KI Technologie-Upgrades in Embedded-Systemen vereinfacht

Anbieter zum Thema

MicroConsult Academy GmbH

Syslogic GmbH

congatec GmbH

Edge-KI in Embedded-Systeme zu integrieren, scheitert oft an Performance-, Energie- und Platzgrenzen. Abhilfe schaffen Computer-on-Modules, etwa mit Intels Prozessoren Core Ultra Series 3, denn sie ermöglichen KI am Edge ohne diskrete Beschleuniger.

Edge-KI wird in Embedded-Applikationen über alle Branchen hinweg immer bedeutender. Ob natürliche Sprachverarbeitung, Bildanalyse, autonome Steuerung, Entscheidungsunterstützung, natürliche Mensch-Maschine-Interaktion, prädiktive Analytik und Vieles mehr, KI kann zahlreiche Aufgaben übernehmen und Applikationen schneller, besser und vielseitiger machen. Dabei soll die KI-Ausführung nicht in der Cloud stattfinden. Zum einen aus Latenz- und Verfügbarkeitsrisiken bei der cloudbasierten Datenverarbeitung, zum anderen aus Sicherheitsbedenken für die Datensicherheit und den Datenabfluss. Für die lokale Ausführung wird allerdings massive Rechenleistung benötigt.

Bisher konnte diese nur von kombinierten Architekturen aus CPU und diskreten Beschleunigerkarten geliefert werden. Jüngste Prozessortechnologien, die mit CPU, Graphics Processing Unit (GPU) und Neural Processing Unit (NPU) die benötigte Rechenleistung auf einem Chip vereinen, bieten Entwicklern hier neue Möglichkeiten.

Bildergalerie

Intels neue Prozessoren Core Ultra Series 3, Codename Panther Lake, adressieren das Spannungsfeld aus Platzbedarf, Leistung und Kosten für dedizierte KI-Aufgaben am Edge. Idealerweise setzt man die Prozessoren mit einem modularen Plattformkonzept, beispielsweise Computer-on-Modules (COMs), ein. So lassen sich künftige Technologiegenerationen ohne aufwendige Re-Designs in bestehende Geräte integrieren.

Edge AI als Wachstumstreiber für Embedded-Applikationen

Edge-KI entwickelt sich zu einem wichtigen Wachstumstreiber für vernetzte Embedded-Systeme. Eine Marktanalyse von Fortune Business Insights prognostiziert für den globalen Edge-KI-Markt ein Umsatzwachstum von 47,6 Mrd. US-Dollar im Jahr 2026 auf knapp 386 Mrd. US-Dollar bis 2034, was einer jährlichen Wachstumsrate von nahezu 30 Prozent entspricht.

Zu den wichtigsten Einsatzfeldern von Edge KI zählen:

• Medical Imaging mit KI-gestützter Diagnose,

• visuelle Qualitätsprüfung in Produktionsanlagen,

• autonome und kollaborative Robotik,

• Predictive Maintenance,

• intelligente Logistiksysteme,

• KI-basierende Self-Checkout-Systeme,

• POI-Systeme mit natürlicher Spracheingabe und -ausgabe.

Aufgrund der großen Bandbreite an möglichen Einsatzbereichen unterscheiden sich die Anforderungen erheblich hinsichtlich Baugröße, Leistungsaufnahme, Robustheit und Schnittstellenvielfalt. Sind beispielsweise mobile Robotersysteme auf besonders energieeffiziente und kompakte Plattformen angewiesen, stehen bei industriellen Vision-Systemen maximale Rechenleistung, umfangreiche Kameraanbindung und hohe Datenbandbreite im Vordergrund.

Insbesondere in der industriellen Automation kommen weitere Anforderungen hinzu: Neben einer hohen Rechenleistung für KI-Inferenz müssen Edge-Systeme Daten deterministisch verarbeiten, in Echtzeit agieren sowie speicherprogrammierbare Steuerungen (SPS) betreiben und andere Systeme in Echtzeit anbinden können. Hierbei wird Time-Sensitive Networking (TSN) immer bedeutender, da es eine zeitlich deterministische Kommunikation zwischen Edge-Devices ermöglicht.

Klassische Architekturen auf Basis einer CPU in Kombination mit diskreten GPUs oder externen KI-Beschleunigern stoßen hierbei zunehmend an ihre Grenzen. Im rauen Umfeld stellt jede zusätzliche Komponente, wie diskrete Beschleunigerkarten, die häufig als PCI-Express-Steckkarten ausgeführt sind, ein zusätzliches Ausfallrisiko dar. Mitunter sind sie für den industriellen Temperaturbereich nicht erhältlich. Sie erhöhen auch die Stücklistenkosten. Und ihr zusätzlicher Energiebedarf stellt höhere Anforderungen an Kühlung und Integrationsaufwand. Dadurch werden Systeme komplexer, größer, anfälliger und teurer. Intel-Prozessoren Core Ultra Series 3 in Verbindung mit COMs ermöglichen hingegen flexible, energieeffiziente und skalierbare Plattformen, die sich schnell in unterschiedliche Applikationen integrieren lassen.

Panther Lake bringt KI-Beschleunigung direkt ans Edge

Mit den Prozessoren Core Ultra Series 3 stellt Intel eine Plattform bereit, die eine herausragende Rechenleistung von bis zu 180 Tera Operations per Second (TOPS) für Edge-KI-Applikationen bereitstellt. Dadurch können Entwickler vielfach auf diskrete GPUs oder KI-Beschleuniger verzichten.

Kern der Architektur ist ein heterogenes Compute-Konzept aus vier Performance-Cores (P-Cores), bis zu acht Efficient-Cores (E-Cores) und bis zu vier Low-Power-Efficient-Cores (LP-E-Cores) (Bild 1), die in der Summe bis zu zehn TOPS liefern. Während Intel die KI-Beschleunigung auf spezialisierte Recheneinheiten auslagert, übernimmt die CPU weiterhin zentrale Aufgaben innerhalb der Datenpipeline. Gerade in vernetzten Edge-Systemen mit mehreren Kameras, Sensoren und TSN-basierender Kommunikation ist eine leistungsfähige CPU entscheidend, um Engpässe beim Bereitstellen der Daten zu vermeiden.

Intel fertigt die Panther-Lake-CPUs im sogenannten 18A-Prozess, der eine höhere Transistordichte sowie eine verbesserte Energieeffizienz im Vergleich zu Vorgängerarchitekturen erlaubt. Für KI-Inferenzaufgaben integriert der Hersteller die NPU der fünften Generation (NPU 5) mit einer Rechenleistung von bis zu 50 TOPS. Sie ist speziell auf das effiziente Ausführen lokaler Inferenz optimiert.

Der Hersteller ergänzt die Architektur mit der integrierten Xe3-Grafikeinheit. Sie trägt bis zu 120 TOPS zur KI-Rechenleistung bei. Die GPU eignet sich insbesondere für das Verarbeiten paralleler Aufgaben wie Bildvorverarbeitung, Sensorfusion oder Vektoroperationen. Gleichzeitig unterstützt die Xe-Display-Engine bis zu drei unabhängige 6K-Displays und ermöglicht damit anspruchsvolle Vision- und HMI-Konzepte.

Ein weiterer Schlüsselfaktor für die Gesamtleistung von Edge-KI-Systemen ist die Speicherarchitektur. Ein schneller Arbeitsspeicher kann insbesondere in hoch-parallelen Workflows auf der GPU die Verarbeitungsleistung deutlich beschleunigen. Congatecs Panther-Lake-Module sind daher mit schnellem DDR5-RAM verfügbar. Je nach Formfaktor ausgeführt als DRAM oder gelöteter LPDDR5X-Speicher. Alle mit optionalem In-Band Error Correction Code (IBECC). Mit der hohen Speicherbandbreite beschleunigen die Prozessoren datenintensive KI-Workloads, während ECC in missionskritischen Applikationen die Datensicherheit erhöht.

Modulare Computer-on-Modules für schnelle KI-Integration

Die Vielfalt moderner Edge-KI-Applikationen stellt Entwickler vor die Aufgabe, einerseits möglichst schnell auf neue Prozessorgenerationen und KI-Beschleuniger zu wechseln und andererseits bestehende Hardwareplattformen langfristig nutzbar zu halten. COMs bieten hierfür einen besonders effizienten Ansatz, da sie die Rechenplattform vom applikationsspezifischen Carrierboard entkoppeln. Damit beschleunigen sie die Entwicklung neuer Systeme und bieten aufgrund der standardisierten Modul-Plattform eine hohe Designsicherheit. Neue Prozessorgenerationen lassen sich so einfach auch in bestehende Designs integrieren, womit sich der Entwicklungsaufwand, das Risiko sowie die Time-to-Market reduzieren.

Je nach Applikation stehen bei Congatec unterschiedliche Modulstandards zur Verfügung. Für das Modernisieren bestehender Systeme auf Basis von COM Express eignen sich beispielsweise die COM-Express-Compact-Module conga-TC1000 oder conga-TC1000r. Während das conga-TC1000 (Bild 2) insbesondere für leistungsfähige Embedded-Systeme in Medizintechnik, Bildverarbeitung oder Industrieautomation ausgelegt ist, adressiert das robust ausgeführte conga-TC1000r Applikationen in mobilen Arbeitsmaschinen, Nutzfahrzeugen oder anderen Einsatzbereichen mit hohen Anforderungen an Temperatur, Schock und Vibration. Für besonders kompakte Edge-Computer und sogenannte Mission-Computer bietet das Unternehmen mit dem conga-MC1000 zudem ein robustes COM-Express-Type-10-Modul, das eine hohe Rechenleistung auf kleinem Raum bereitstellt.

Neue Edge-AI-Plattformen profitieren hingegen zunehmend vom hochleistungsfähigen COM-HPC-Standard. Hier wurden beispielsweise die Formfaktoren COM-HPC Mini und COM-HPC Client speziell für leistungsstarke Embedded- und Edge-Systeme entwickelt und bieten deutlich mehr High-Speed-I/Os als klassische COM-Express-Module. Hierzu zählen PCIe-Gen5-Schnittstellen, Ethernet-Konnektivität einschließlich TSN-Support sowie ausreichend Bandbreite für das Einbinden hochauflösender Kameras, Sensoren oder zusätzlicher Beschleuniger.

Ein Beispiel hierfür ist das COM-HPC-Mini-Modul conga-HPC/mPTL (Bild 3). Es kombiniert die KI-Rechenleistung der Panther-Lake-Architektur mit High-Speed-Schnittstellen wie PCIe Gen5 und USB4. Mit seinem kompakten Formfaktor und der hohen Bandbreite eignet es sich insbesondere für industrielle Bildverarbeitung, Robotik oder autonome Systeme. Dank gelötetem Speicher und der Unterstützung des industriellen Temperaturbereichs von –40 bis 85 °C ist es bestens geeignet für den Einsatz im rauen Umfeld.

Wie CPU, GPU und NPU als Team zusammenarbeiten

Die Leistungsfähigkeit moderner Edge-AI-Systeme hängt dabei von einer ausgewogenen Balance unterschiedlicher Recheneinheiten für die verschiedensten Aufgabenstellungen ab. Für KI-Inferenzaufgaben mit geringer Latenz ist die integrierte NPU ideal, da sie KI-Tasks wie Spracherkennung, Objekterkennung und -identifizierung oder Bildverarbeitung mit deterministischen Latenzen und hoher Energieeffizienz ausführen kann.

Die integrierte GPU (iGPU) hingegen ist bestens geeignet für hoch-parallele und datenintensive Workloads wie Perzeption und Kartierung für Physical-AI in autonomen Fahrzeugen und kollaborativen Robotern. Auch für die lokale Ausführung von Large-Language-Modellen oder für Simulationen stellt sie die bevorzugte Verarbeitungsengine dar.

Die CPU ist für die Orchestrierung der Datenströme zu den einzelnen Recheneinheiten verantwortlich, um deren Auslastung zu optimieren. Sie ist auch erste Wahl für sequenzielle, entscheidungsorientierte Workloads mit geringer Latenz. Beispiele finden sich in Anwendungen wie der Echtzeitsteuerung, der Zusammenführung unterschiedlicher Datenströme bei der Sensor-Fusion sowie der Datenvor- und -nachverarbeitung.

Die Leistungsfähigkeit hängt aber nicht nur von der Hardware, sondern ebenso von einer effizienten Softwarearchitektur ab. Software-Frameworks wie OpenVINO vereinfachen das Portieren bestehender KI-Modelle. OpenVINO unterstützt gängige Frameworks wie PyTorch, TensorFlow und ONNX, optimiert die darin entwickelten Modelle für die Intel-Hardware und ermöglicht deren Ausführen über eine einheitliche Laufzeitumgebung. Gleichzeitig werden Workloads automatisch den jeweils am besten geeigneten Recheneinheiten – CPU, GPU oder NPU – zugewiesen.

Für den langfristigen Betrieb industrieller Systeme sollen sie zudem einfach zu aktualisieren sein. Sowohl hinsichtlich Firmware, Betriebssystem als auch Performance, um neue KI-Features oder Applikationssoftware auf dem aktuellen Stand der Technik zu halten. Standardisierte Module erleichtern dabei Updates und Upgrades im Feld und unterstützen damit Software- und Security-Lifecycle-Strategien über den gesamten Produktlebenszyklus hinweg.

Von der KI-Plattform zum marktreifen System

COMs vereinfachen das Entwickeln leistungsfähiger Edge-KI-Systeme, da Systemdesigner nicht die komplette Rechenplattform designen müssen. Statt eines komplexen CPU-Boards wird lediglich ein applikationsspezifisches Carrierboard entwickelt, während Hochgeschwindigkeitsschnittstellen, Speicheranbindung und Prozessorintegration bereits auf dem Modul realisiert sind.

Ein weiterer Vorteil ist, dass sich die Applikationen über Module sehr gut skalieren lassen. Je nach Applikation können Entwickler Module mit unterschiedlicher Rechenleistung oder Leistungsaufnahme auswählen, ohne das Carrierboard anpassen zu müssen. Aufgrund der standardisierten Formfaktoren lassen sich künftige Prozessorgenerationen häufig als Drop-in-Ersatz integrieren und damit neue KI-Modelle oder höhere Leistungsanforderungen unterstützen. Zusätzlich erhöht die lange Verfügbarkeit industrieller Module von bis zu zehn Jahren die Planungssicherheit und verlängert den Lebenszyklus bestehender Systeme.

Zusätzlich unterstützt Congatec Entwickler mit dem aReady.COM-Ökosystem (Bild 4). So erlaubt zum Beispiel aReady.VT vorkonfigurierte Virtualisierungs-Applikationen, aReady.IOT vereinfacht die Integration in Cloud- und IoT-Infrastrukturen und mit aReady.YOURS stehen kundenspezifische Designs von Hard- und Software bereit. Hiermit können OEMs Design-In-Prozesse beschleunigen und gleichzeitig maßgeschneiderte Applikationen realisieren.

Edge AI ohne Kompromisse bei Leistung und Integrationsaufwand

Panther-Lake-basierende COMs ermöglichen eine neue Generation von Edge-KI-Systemen, indem sie CPU, GPU und NPU auf einer integrierten Plattform vereinen. Modulare Standards wie COM-HPC und COM Express reduzieren den Entwicklungsaufwand, erleichtern Technologie-Upgrades und schützen Investitionen über lange Produktlebenszyklen hinweg. Mit leistungsfähigen Modulen und dem aReady.COM-Ökosystem unterstützt Congatec Entwickler zudem dabei, moderne KI-Applikationen schnell und risikoarm in marktreife Systeme zu überführen. (mk)

* Heiko Batzhuber ist Product Line Manager bei Congatec.

(ID:50925585)