Amazons Personal-KI diskriminierte Frauen

Anbieter zum Thema

MicroConsult Academy GmbH

IBR Leiterplatten GmbH & Co. KG

RECOM Power GmbH

Seit 2014 hatte Amazon ein KI-Projekt zum Anwerben neuer Mitarbeiter in der Entwicklung. Das Problem: Die Künstliche Intelligenz brachte sich selber bei, Frauen anhand von Schlüsselwörtern gegenüber Männern zu benachteiligen.

Dank der technologischen, hardwareseitigen Entwicklungen der letzten Jahre hat sich Künstliche Intelligenz wieder zu einem Trendthema in der IT-Elektronikbranche hochgearbeitet. Ob in der Elektronik, der Gesundheitsbranche, im öffentlichen Sektor oder in Personalabteilungen – in nahezu alle Geschäftsfelder soll KI einziehen. Bis zum Jahr 2022 soll jeder fünfte Arbeitnehmer in seinem Berufsalltag mit Künstlicher Intelligenz zu tun haben, sagt das Marktforschungsinstitut Gartner voraus.

Solche Einschätzungen sind technisch durchaus realistisch. Um den Weg dorthin zu meistern, muss eine KI allerdings erst gründlich mit Datensätzen trainiert werden, ehe es Menschen die Arbeit wirklich erleichtern oder abnehmen kann. Welche geheimen Fallstricke sich hierbei verstecken können, mussten Spezialisten bei Amazon während der Entwicklung einer KI feststellen, die für das Rekrutieren neuer Mitarbeiter zuständig sein sollte. Wie das Nachrichtenportal Reuters unter Bezug auf interne Quellen meldet, hatte sich die Headhunter-KI selbst beigebracht, Frauen gegenüber Männern benachteiligt zu behandeln.

Eine KI zur Bewertung von Lebensläufen

Demnach hatte ein internes Entwicklerteam bei Amazon seit 2014 Computerprogramme entwickelt, um die Lebensläufe der Bewerber zu überprüfen, mit dem Ziel, die Suche nach Top-Talenten zu mechanisieren. Reuters beruft sich bei seinen Angaben auf fünf Personen namentlich nicht genannte Personen, die mit den Bemühungen vertraut seien.

Amazon ist bereits seit Jahren ein Vorreiter im Gebiet der Automatisierung. Algorithmen haben in vielen Bereichen des Konzerns enorm zur Effizienzsteigerung beigetragen, sei es im E-Commerce, in Lagern oder bei Preisentscheidungen. Das experimentelle Recruitment-Tool des Unternehmens sollte künstliche Intelligenz nutzen, um Bewerbern Noten von einem bis fünf Sternen zu geben - ähnlich wie die Käufer Produkte bei Amazon bewerten.

"Jeder wollte diesen heiligen Gral", zitiert Reuters einen anonymen Mitarbeiter dieses Teams. "Sie wollten eine buchstäbliche Maschine, in die man 100 Lebensläufe füttert und aus denen sie dann die 5 besten herauspickt, und die werden wir einstellen."

Aber bis 2015 erkannte das Unternehmen, dass dieses neue System keine geschlechtsneutrale Bewertung von Kandidaten für Stellenangebote von Softwareentwicklern und anderen Fachkräften vorsieht. Das liegt daran, dass die Computermodelle von Amazon für die Prüfung von Bewerbern geschult wurden, indem Muster in Lebensläufen beobachtet wurden, die dem Unternehmen über einen Zeitraum von zehn Jahren übermittelt wurden. Die meisten kamen von Männern, was die männliche Dominanz in der gesamten Technologiebranche widerspiegelt.

KI zieht falsche Schlüsse aus einem männerdominierten Umfeld

In Deutschland kommt in den MINT-Fächern (Mathematik, Naturwissenschaften (hierunter fällt auch Informatik) und "Ingenieurwissenschaften") nur auf jeden zweiten oder dritten männlichen Studienanfänger eine Frau. Bei festen Beschäftigungsverhältnissen in technischen Berufen ist das Missverhältnis noch ausgeprägter. So arbeiten etwa bei Google 69% Männer und 31% Frauen; wenn man aber die reinen Angestellten in technischen Berufen betrachtet, beträgt das Verhältnis sogar 79 % Männer / 21 % Frauen. Nur knapp jede fünfte technische Stelle ist dort von einer Frau besetzt. Ähnlich sieht es bei Konzernen wie Apple oder Microsoft aus.

Aus diesem Missverhältnis erlernte der bei Amazon entwickelte KI-Algorithmus, dass weibliche Kandidaten weniger erwünscht sind als männliche. Das schlug sich in seinem internen Bewertungssystem nieder, wie Reuters ausführt: Die Künstliche Intelligenz bestrafte Lebensläufe, die das Wort "Frauen" (women) enthielten, wie in "Spielführer des Frauenschachclubs" ("women’s chess club captain"). Außerdem soll sie nach internen Angaben alle Absolventinnen zweier reinen Frauenhochschulen ebenfalls automatisch niedriger eingestuft haben. Die Namen der beiden Einrichtungen wurden bei Reuters nicht genannt.

Anfangs versuchte Amazon noch, die zur Kandidatenwahl eingesetzten Computerprogramme manuell zu korrigieren. Allerdings konnten die Entwickler nicht garantieren, dass die KI auch andere, weniger offensichtliche und doch gender-spezifische Schlüsselwörter für die Beurteilung einsetzt. Wie Reuters meldet löste Amazon daraufhin das Projekt 2017 auf, nachdem die Führungskräfte die Hoffnung verloren haben, diese falsch erlernte Diskriminierung wieder korrigieren zu können. Die namentlich nicht genannten Angestellten beteuern, dass die Personalabteilung sich die von der KI getroffene Kandidatenauswahl und deren Bewertungen zwar angesehen hätten, aber in dieser Zeit keine Rekrutierungs-Entscheidungen auf dieser Grundlage getroffen hätten.

Die Sorgfalt beim Trainieren von KIs wird immer wieder unterschätzt

Gerade für Personalabteilungen wird der Einsatz von KI nach Kräften beworben. So stellte beispielsweise eine Studie des KPMG großes Potential besonders für Bereiche wie Recruiting, Schulungen und Administration. Dabei identifizieren sie als zentrale Einsatzfelder für KI die Unterstützung bei der Auswahl von Bewerbern, das Erstellen von Trainingsunterlagen und Mitarbeiter-Apps. Laut einer Umfrage des Talent-Softwareunternehmens CareerBuilder aus dem Jahr 2017 gaben etwa 55 Prozent der US-Personalverantwortlichen an, dass künstliche Intelligenz oder KI innerhalb der nächsten fünf Jahre ein fester Bestandteil ihrer Arbeit sein würde.

Technisch sind die Voraussetzungen hierfür tatsächlich bereits vorhanden. Dennoch kommt es aktuell beim Einsatz von Künstlichen Intelligenzen immer wieder zu Pannen; meist, wenn beim Trainieren der Neuronalen Netze Faktoren übersehen wurden, die die Programmierer nicht auf dem Schirm hatten. So stellte beispielsweise im Februar 2018 ein Angestellter des MIT Media Labs fest, dass Gesichtserkennungsalgorithmen in der Regel zu 99% die Gesichter weißer Männer richtig erkannte. Bei schwarzen Frauen schätzten die Algorithmen zu 35% nicht einmal das Geschlecht richtig ein.

Dies hat sich inzwischen zwar gebessert. Aber die MIT-Forscher bekräftigen, dass immer noch in der Gesellschaft bestehende Vorurteile in das Training der KI einfließen - und von dieser dann verstärkt umgesetzt werden. Meist geschieht das vollkommen unbewusst; im Falle der Amazon-Programmierer hatte man nicht damit gerechnet, dass das bestehende Missverhältnis in der Berufswelt von der KI als "Frauen unerwünscht" interpretiert werden würde.

Informatiker wie Nihar Shah, der an der Carnegie Mellon University Machine Learning unterrichtet, sagen, dass es noch viel zu tun gibt. "Wie man sicherstellt, dass der Algorithmus fair ist, wie man sicherstellt, dass der Algorithmus wirklich interpretierbar und erklärbar ist - das ist noch ziemlich weit weg", sagte er.

Die Technologien sind bereits vorhanden. Worauf es allerdings ankommt sind Programmierer, die auch verstehen, wie diese Neuronalen Netze auch wirklich sorgfältig genug zu programmieren sind.

Künstliche Intelligenz: Mehr Schein als Sein?

Computer lernen, menschliche Emotionen natürlich zu interpretieren