MLPerf: Neue Benchmark misst KI-Performance

Google, Baidu sowie Forscher der Universitäten Harvard und Stanford haben eine Benchmark zum Messen der Leistung von maschinellem Lernen definiert. Ein erster Release der MLPerf genannten Suite ist für August vorgesehen.

Google und Baidu haben gemeinsam mit Forschern in Harvard und Stanford eine Reihe von Benchmarks für maschinelles Lernen definiert. Wie das Fachplatt EETimes meldet, haben bereits AMD, Intel, zwei KI-Startups und zwei weitere Universitäten ihre Unterstützung für MLPerf zum Ausdruck gebracht.

Die Leistung moderner Hardware, insbesondere dedizierten Hardware-Beschleunigern für KI, hat einen neuen Trend für so genannte neuronale Netzwerke ausgelöst. Eine Flut von neuen Beschleunigern auf unterschiedlichster Hardware-Basis - von FPGAs zu DSPs oder GPUs bis hin zu dedizierten Prozessoren - kommt auf den Markt. Allerdings der Industrie fehlen Möglichkeiten, deren Performance zu messen oder adäquat zu vergleichen.

Um die Lücke zu schließen, konzentriert sich das erste Release von MLPerf auf Trainingsjobs auf verschiedenen Systemen, von Workstations bis hin zu großen Rechenzentren, was für Web-Giganten wie Baidu und Google eine große Herausforderung darstellt. Spätere Versionen werden um Inferenzjobs erweitert, eventuell auch um solche, die auf eingebetteten Clientsystemen laufen.

"Ein Modell zu trainieren, das wir wirklich laufen lassen wollen, würde alle GPUs, die wir für zwei Jahre haben, benötigen", sagte Greg Diamos, ein leitender Forscher in Baidus Deep-Learning-Gruppe, und gab ein Beispiel für das Problem für Web-Giganten.

Erste Vorab-Version ab August einsatzbereit

"Wenn Systeme schneller werden, können wir das Potenzial des maschinellen Lernens viel schneller erschließen", sagte Peter Mattson, ein Mitarbeiter des Google Brain-Projekts, der MLPerf auf einer Veranstaltung am 2. Mai ankündigte.

Eine frühe Version der Suite, die auf einer Vielzahl von KI-Frameworks läuft, soll in etwa drei Monaten einsatzbereit sein. Damals wollten die Organisatoren eine Arbeitsgruppe einberufen, um eine vollständigere Fassung zu erarbeiten.

"Wir nennen es zunächst Version 0.5. Wir haben das mit einem kleinen Team gemacht, und jetzt wollen wir, dass die Community einer Version 1.0 ihren Stempel aufdrückt, um etwas zu sein, das jeder besitzt", sagte Mattson. "Wir ermutigen Feedback [...] um Workloads, Benchmark-Definitionen und Ergebnisse vorzuschlagen, damit wir den Benchmark schnell iterieren können".

Prüfmechanismen der KI-Benchmark MLPerf

Zunächst wird MLPerf die durchschnittliche Zeit messen, um ein Modell auf ein Minimum an Qualität zu trainieren, wahrscheinlich in Stunden. Da diese Jobs auf großen Serverbänken laufen, kann es sein, dass sie keine Leistung pro Watt melden. Sie berücksichtigt die Kosten von Aufträgen, solange der Preis nicht über die Tageszeit variiert.

Der P100 Volta Chip von Nvidia wird ein Referenzstandard sein, da er in vielen Rechenzentren für Schulungen eingesetzt wird. Die Gruppe beabsichtigt, die veröffentlichten Ergebnisse alle drei Monate zu aktualisieren.

MLPerf wird zwei Modi verwenden. Eine geschlossene Metrik für gewerbliche Anwender spezifiziert das zu verwendende Modell und den Datensatz und schränkt die Werte von Schlüsselparametern wie z.B. die Losgröße ein. Eine offene Metrik, die sich an Forscher richtet, wird weniger Restriktionen anwenden, so dass die Nutzer mit neuen Ansätzen experimentieren können.

Neuronale Netze auf Arm-Prozessoren

Maschinelles Lernen mit FPGAs

(ID:45285349)