Mobile-Menu

Software-Suite Data Center Builder emuliert realistische KI-Workloads

Von Dipl.-Ing. (FH) Hendrik Härter 2 min Lesedauer

Anbieter zum Thema

Keysight Technologies Deutschland GmbH
MicroConsult Academy GmbH
dataTec AG

Die Auswirkungen neuer Algorithmen, Komponenten und Protokolle auf die Leistung von KI-Trainingssystemen frühzeitig bewerten. Dazu bietet Keysight den Data Center Builder an. Dieser emuliert reale KI-Workloads von KI-Infrastruktur wie Netzwerke, Hostsysteme und Beschleuniger.

Keysight AI (KAI) Data Center Builder ist eine Software-Suite, die realistische Arbeitslasten emuliert. Damit lässt sich die Auswirkung neuer Algorithmen, Komponenten und Protokolle auf die Leistung von KI-Trainings testen.(Bild: Keysight Technologies)
Keysight AI (KAI) Data Center Builder ist eine Software-Suite, die realistische Arbeitslasten emuliert. Damit lässt sich die Auswirkung neuer Algorithmen, Komponenten und Protokolle auf die Leistung von KI-Trainings testen.
(Bild: Keysight Technologies)

Mit dem KAI Data Center Builder bringt Keysight Technologies eine Software-Suite auf den Markt, die reale KI-Workloads für die Analyse und Optimierung von KI-Infrastrukturkomponenten wie Netzwerken, Hostsystemen und Beschleunigern emuliert. Ziel ist es, durch realitätsnahe Simulationen die Auswirkungen neuer Algorithmen, Komponenten und Protokolle auf die Leistung von KI-Trainingssystemen frühzeitig zu bewerten.

Der KAI Data Center Builder nutzt Emulationen typischer KI-Trainingslasten, insbesondere von Large Language Models (LLM) wie GPT und Llama. Dabei unterstützt die Software verbreitete Strategien zur Modellpartitionierung wie Data Parallel (DP), Fully Sharded Data Parallel (FSDP) und 3D-Parallelität.

Die Lösung adressiert zentrale Fragen im Designprozess von KI-Clustern, die insbesondere auf die Optimierung der GPU-Kommunikation abzielen. Wesentliche technische Herausforderungen umfassen:

  • Skalierbarkeit von GPU-Verbindungen innerhalb eines KI-Hosts oder Racks.
  • Optimierung von Netzwerkdesigns, speziell bezüglich Bandbreite pro GPU und Netzwerktopologie.
  • Konfiguration von Lastverteilung und Engpasskontrolle.
  • Feineinstellung der Parameter des KI-Trainingssystems.

Durch realitätsnahe Emulation der Kommunikationsmuster ermöglicht der KAI Data Center Builder schnelle und tiefgehende Analysen von Leistungsengpässen, die im Realbetrieb schwer zu erkennen sind. Anwender erhalten Einblicke in:

  • Auswirkungen verschiedener Parallelisierungsstrategien auf die Job Completion Time (JCT).
  • Identifikation und Ursachenanalyse von Engpässen bei Sammeloperationen.
  • Netzwerkstatistiken wie Auslastung, Latenz und Datenstaus.

KI-Infrastrukturen realitätsnah testen und optimieren

Die Software bietet eine Laborumgebung, um KI-Infrastrukturen bereits im Entwicklungsstadium realitätsnah zu testen und zu optimieren. Entwickler und Betreiber können unterschiedliche Modellpartitionierungen, Algorithmen und Systemparameter experimentell bewerten und optimieren.

Ram Periakaruppan, Vice President und General Manager, Network Test & Security Solutions bei Keysight, erklärt dazu: „Mit zunehmender Komplexität von KI-Infrastrukturen steigt auch der Bedarf, Systeme frühzeitig und umfassend zu validieren. Durch die realistische Workload-Emulation des KAI Data Center Builders lassen sich bereits in der Designphase potenzielle Engpässe erkennen und korrigieren. So können kostspielige Nacharbeiten und Verzögerungen vermieden werden.“

Der KAI Data Center Builder bildet einen Teil der Keysight Artificial Intelligence (KAI)-Architektur, die End-to-End-Lösungen zur Validierung und Optimierung der KI-Verarbeitungskapazitäten in Rechenzentren anbietet. (heh)

(ID:50394835)

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte