Qualitätssicherung Warum KI-Systeme von Verifikation und Validierung profitieren

Anbieter zum Thema

The MathWorks GmbH

MicroConsult Academy GmbH

Heitec AG

MES Electronic Connect GmbH & Co. KG

Derzeit werden weltweit gesetzliche Vorschriften für künstliche Intelligenz (KI) formuliert und Ingenieure, die KI-fähige Systeme entwickeln, müssen diese neu eingeführten Spezifikationen und Standards einhalten.

Bereits im April 2021 legte die EU-Kommission den ersten Vorschlag für einen Rechtsrahmen zur Regulierung von KI vor. Dabei sollten KI-Systeme je nach ihrem Risiko für Nutzer bewertet und unterschiedlich reguliert werden. Im Mai 2024 verabschiedeten die EU-Mitgliedstaaten schließlich den AI Act – das erste umfassende Regelwerk für KI weltweit.

Diese Vorschriften und Regelungen haben insbesondere für sicherheitskritische Systeme mit KI-Komponenten erhebliche Auswirkungen. Um sicherzustellen, dass die Ausgaben eines KI-Modells Vorgaben und Spezifikationen erfüllen, kommen V&V-Techniken (Verifikation und Validierung) zum Einsatz. Bei der Verifikation wird überprüft, ob ein KI-Modell gemäß den angegebenen Anforderungen erstellt und entwickelt wurde, wohingegen bei der Validierung überprüft wird, ob das Produkt die Anforderungen und Erwartungen des Kunden erfüllt. V&V-Methoden ermöglichen darüber hinaus eine frühzeitige Erkennung von Bugs und Strategien zum Umgang mit verzerrten Daten (Data Bias). Christoph Stockhammer, Senior Application Engineer bei MathWorks, erläutert, wie Ingenieure solche V&V-Prozesse aufsetzen können und welchen Nutzen sie bei der Entwicklung von KI-Modellen in sicherheitskritischen Systemen bringen.

Verifizieren und Validieren: Warum KI-Systeme davon profitieren

Ein Vorteil des Einsatzes von KI in sicherheitskritischen Systemen besteht darin, dass KI-Modelle physikalische Systeme approximieren und den Entwurf validieren können. Ingenieure simulieren Systeme mit KI-Komponenten und testen anhand der Daten das Verhalten in unterschiedlichen Szenarien, darunter auch bei Ausreißer-Ereignissen. Mit der Durchführung von V&V wird sichergestellt, dass ein KI-gestütztes sicherheitskritisches System das geforderte Niveau für Leistung und Funktionen unter verschiedenen Bedingungen beibehalten kann. Die meisten Branchen, in denen Produkte mit KI-Komponenten entwickelt werden, verpflichten ihre Ingenieure zur Einhaltung von Sicherheitsstandards, bevor die Produkte auf dem Markt eingeführt werden. Hierzu gehören die Automobil- und Fahrzeugindustrie sowie die Luftfahrt-, Raumfahrt- und Rüstungsindustrie. Mit Zertifizierungsprozessen wird die Integration bestimmter Elemente in diese Produkte sichergestellt. Ingenieure testen mithilfe von V&V die Funktionalität dieser Elemente, was es ihnen erleichtert bzw. überhaupt erst ermöglicht, Zertifizierungen zu erhalten.

Von der Planung zur Praxis: Die Bausteine von V&V-Prozessen

Bei der Durchführung von V&V müssen Ingenieure sicherstellen, dass die KI-Komponente die angegebenen Anforderungen erfüllt, unter allen Betriebsbedingungen zuverlässig bleibt sowie sicher und somit bereit für den Einsatz ist. Der V&V-Prozess für KI umfasst die Durchführung von Software-Assurance-Aktivitäten. Diese bestehen aus einer Kombination aus statischen und dynamischen Analysen, Tests, formalen Methoden und Betriebsüberwachung im realen Einsatz. V&V-Prozesse können sich je nach Branche geringfügig unterscheiden, umfassen jedoch immer die gleichen allgemeinen Schritte:

• Analyse des Entscheidungsfindungsprozesses, um das Black-Box-Problem zu lösen: Das Black-Box-Problem entsteht, wenn Ingenieure nicht nachvollziehen können, wie ein KI-Modell Entscheidungen trifft. Die Analyse der Merkmalsbedeutung bewertet, welche Eingabevariablen (z. B. Umgebungsfaktoren in sicherheitskritischen Systemen) die Ausgabewerte des KI-Modells am stärksten beeinflussen. Erklärbarkeitstechniken helfen, die Entscheidungslogik eines Modells zu verstehen, z.B. indem sie Bereiche in Bildern identifizieren, die am meisten zur Modellausgabe beitragen. Beide Ansätze fördern die Transparenz und das Vertrauen von Ingenieuren und Wissenschaftlern in KI-Systeme.

• Testen des Modells anhand repräsentativer Datensätze: Ingenieure testen KI-Modelle mit repräsentativen Datensätzen, um Einschränkungen zu identifizieren und die Zuverlässigkeit des Modells zu steigern. Die Daten werden bereinigt und Testfälle entwickelt, um Aspekte wie Genauigkeit und Reproduzierbarkeit zu bewerten. Schließlich wird das Modell auf die Datensätze angewendet, die Ergebnisse erfasst und mit der erwarteten Ausgabe verglichen. Der Modellentwurf wird anhand des Ergebnisses der Datentests verbessert.

• Durchführung von Simulationen des KI-Systems: Simulationen ermöglichen Ingenieuren, die Leistung eines KI-Systems in einer kontrollierten virtuellen Umgebung zu bewerten. Tools wie Simulink® helfen, das Systemverhalten unter verschiedenen Szenarien, Parametern und Umgebungsfaktoren zu analysieren. Wie schon bei den Datentests werden die Simulationsergebnisse mit erwarteten oder bekannten Resultaten verglichen und das Modell iterativ verbessert.

• Gewährleistung des Modellbetriebs innerhalb akzeptabler Grenzen: Um KI-Modelle sicher und zuverlässig zu betreiben, müssen Grenzwerte definiert und das Verhalten überwacht werden. Eines der häufigsten Probleme mit Grenzen tritt auf, wenn ein Modell mit einem bestimmten Datensatz trainiert wurde und zur Laufzeit Daten außerhalb der Verteilung dieses Datensatzes als Eingabe erhält. Modelle werden mit Data-Augmentation (z. B. Variabilität durch unterschiedliche Perspektiven bei Bildern) und Data-Balancing (gleichmäßige Verteilung von Datenklassen) trainiert, um Verzerrungen zu reduzieren und die Generalisierungsfähigkeit zu erhöhen. Um neuronale Netze robuster und weniger anfällig für Fehlklassifizierungen zu machen, können rigorose mathematische Modelle in den Entwicklungs- und Validierungsprozess integriert werden, die dem Nachweis bestimmter wünschenswerter Eigenschaften neuronaler Netze dienen.

Diese Schritte des V&V-Prozesses sind iterativ und ermöglichen eine kontinuierliche Verfeinerung und Verbesserung des KI-Systems, wenn Ingenieure neue Daten erfassen, neue Einblicke gewinnen und Feedback aus dem Betrieb integrieren.

Fazit: V&V als Schlüssel für einen verantwortungsvollen KI-Einsatz

Im Zeitalter KI-gestützter sicherheitskritischer Systeme spielen V&V-Verfahren eine entscheidende Rolle, um Branchenzertifizierungen zu erhalten und rechtliche Vorschriften einzuhalten. Der Aufbau und die Wartung vertrauenswürdiger Systeme erfordert den Einsatz von Verifikationstechniken, die Erklärbarkeit und Transparenz für die KI-Modelle liefern, auf deren Basis diese Systeme laufen. Damit wird bei sicherheitskritischen Systemen der transparente und verantwortungsvolle Einsatz von KI sichergestellt. (mk)

* Christoph Stockhammer ist Senior Application Engineer bei MathWorks.

(ID:50271059)