Facebook entwickelt ASIC für maschinelles Lernen

17.09.2018

Anbieter zum Thema

MicroConsult Microelectronics Consulting & Training GmbH

Also doch: Facebook entwickelt einen eigenen applikationsspezifischen Prozessor. Darüber hinaus verwenden mittlerweile fünf Branchengrößen den Open-Source Deep-Learning-Compiler Glow, den der Social-Media-Riese maßgeblich stützt.

Social Media inside: Nach eigenen Aussagen arbeitet Facebook an einem ASIC für maschinelles Lernen.
(Bild: Clipdealer)

Stellenausschreibungen ließen bereits im April 2018 darauf schließen, dass der Social-Media-Riese Facebook eigene, auf seine speziellen Anforderungen zugeschnittene Prozessoren entwickeln wird.

Jetzt hat Jason Tyler, Facebooks Vice President of Infrastructure, die Katze aus dem Sack gelassen: Auf der Konferenz @Scale am 13. September 2108 bestätigte er entsprechende Fragen laut EE Times mit den Worten: „Facebook baut ein Team von Chip-Spezialisten auf, das sich auf die Zusammenarbeit mit Chip-Anbietern konzentriert. Und wir werden einen Chip entwickeln – auch wenn das nicht unser Hauptanliegen ist.“ Weitere Details oder Angaben zum Zeitrahmen gab er demnach nicht. Nur so viel: Der Facebook-Chip werde nicht vergleichbar sein mit Googles Maschine-Learning-(ML)-Prozessor, der „Tensor Processing Unit“. Google hatte im Mai die dritte Generation seiner TPU vorgestellt, kurz TPU 3.0.

Ein Schwerpunkt sieht Facebook in der Zusammenarbeit mit rund 50 Unternehmen, die sich mit der Beschleunigung von Künstlicher Intelligenz befassen. Taylor prognostiziert, dass in naher Zukunft viele verschiedene KI-Beschleuniger-Chips auf den Markt kommen werden. Diese seien für bestimmte Aufgabenstellungen entwickelt. Die große Frage sei, ob sich diese Aufgaben möglicherweise bereits geändert haben werden, wenn die Chips verfügbar sind.

Facebook unterstützt Entwicklung von ML-Compiler Glow

Ebenfalls auf der @Scale kündigte das Social-Media-Unternehmen an, dass mittlerweile fünf bedeutende Chip-Entwickler „Glow“ unterstützen wollen – einen von Facebook unterstützten Open-Source Deep-Learning-Compiler: Cadence, Esperanto Technologies, Intel, Marvell und Qualcomm. In seiner Keynote hat Taylor Glow als generischen Compiler beschrieben, mit dem Designer Inferenzbeschleuniger für ML entwickeln können, die sich in der Cloud oder am Edge von Netzwerken einsetzen lassen. Nicht im Fokus von Glow stünden hingegen Consumer-Produkte wie Smartphones.

Laut EE Times geht Facebook davon aus, dass es zu einer starken „Fragmentierung bei der Hardware für Inferenzbeschleunigern“ kommen werde. Das ist soweit erwartbar, da weltweit viele unterschiedliche Unternehmen, vom Start-up bis zum Großkonzern, an solchen Lösungen arbeiten. Glow könne ML-Experten dabei helfen, neuronale Netze zu entwerfen, ohne auch noch die Aufgabe übernehmen zu müssen, jeden einzelnen Chip anlernen zu müssen.

Große Vielfalt an Inferenzbeschleunigern entsteht

Derzeit sei noch völlig unklar, welche On-Chip-Speichertechniken und welche Rechen-Arrays letztlich das Rennen bei diesen Chips machen würden. Daher will Facebook den Entwicklern hardwarespezifische Programmierung ersparen. Glow soll den Entwicklungen die Möglichkeit bieten, sich mit hoher Abstraktion mithilfe von Grafiken dem Thema zu nähern.

In einem Blog erklärt Facebook, wie Glow arbeitet: Demnach verwendet der ML-Compiler KI-Diagramme, die von einem Framework wie TensorFlow oder Caffe2 erzeugt werden, und rendert diese in Byte-Code für Hardwarebeschleuniger, erklärt Taylor. Der Compiler beinhaltet demnach mehrere Tools, darunter einen Befehlsplaner, einen linearen Algebra-Optimierer, einen Speicher-Allokationsmechanismus zum Erzeugen von effizientem Code für die spezifische Speicherkonfiguration eines Chips und eine CPU-basierte Referenzimplementierung zum Testen der Genauigkeit der Hardware, so ein Facebook-Blog. Nach Angaben von EE Times gibt es ähnliche Software bereits von etablierten Chip-Herstellern. So entwickle beispielsweise Nvidias Tensor RT Cuda-Code für seine GPUs auf Basis eines Diagramm aus einem Framework.

Laut Talor ist Glow das jüngste Beispiel für den Versuch, die klaffende Lücke zwischen Soft- und Hardware in der schnelllebigen Welt des ML zu schließen. Nvidias Tensor RT beispielsweise liege bereits in seiner fünften Version vor, obwohl es erst vor einem Jahr veröffentlicht wurde. Facebook, Microsoft und andere unterstützen ONNX, eine Standardmethode, um ein Diagramm mit seinen Gewichten auszudrücken. Im Dezember veröffentlichte die Khronos-Gruppe NNEF, eine Hardware-Abstraktionsschicht für Deep-Learning-Beschleuniger.