SAFE AI – Einsatz sicherer Künstlicher Intelligenz

• Was versteht man unter SAFE AI und Engineering verlässlicher KI-Systeme?
• Was sind die Chancen für Unternehmen durch den Einsatz von SAFE AI?
• Welche Herausforderungen müssen beim Einsatz von Safe AI beachtet werden?
• Wie können verlässliche KI-Systeme entwickelt werden?
• Wie unterstützen wir bei Safe AI konkret?
• Warum sollte mein Unternehmen für Safe AI mit uns zusammenarbeiten?

Verlässlichkeit eines Systems beschreibt die Fähigkeit, nicht akzeptable Fehler bei der Erbringung eines Dienstes oder einer Funktionalität zu vermeiden (Jean-Claude Laprie). Dependability beinhaltet dabei z.B. die Verfügbarkeit oder Zuverlässigkeit eines Dienstes, aber insbesondere auch die funktionale Sicherheit (Safety), um katastrophale Folgen für die Benutzer und die Umgebung zu vermeiden (also schwerwiegende oder gar tödliche Unfälle als Folge von Fehlern). Aber auch die Integrität und Zugriffssicherheit (Security) eines Systems oder dessen Wartbarkeit sind Qualitätseigenschaften, die im Kontext von Dependability genannt werden. 

Beim Engineering sicherer KI-Systeme geht es entsprechend darum, mittels Prinzipien aus dem Systems- und Software-Engineering bei der Konstruktion, der Verifikation/Validation und dem Betrieb des KI-Systems die Sicherheit systematisch zu gewährleisten und insbesondere auch gesetzliche und normative Vorgaben bzgl. der Verlässlichkeit von Beginn an zu berücksichtigen.

Dazu ist es wichtig zu verstehen, dass KI-Systeme fundamental anders entwickelt werden als klassische softwarebasierte Systeme. Häufig können die Anforderungen an das KI-System nicht vollständig beschrieben werden, und das System muss in einem schier unendlichen Anwendungsraum verlässlich funktionieren. Hier kommen etablierte Methoden und Techniken des klassischen Systems- und Software-Engineerings an ihre Grenzen und es bedarf neuer innovativer Ansätze. Die Funktionalität wird bei einer KI-Komponente nicht klassisch programmiert, sondern durch Anwenden von Algorithmen auf Daten erstellt. Es entsteht ein Modell, das von der Software zur Laufzeit lediglich ausgeführt wird. Ein diesbezüglicher Ansatz ist z.B. das Maschinelle Lernen (ML) oder spezieller auch das Deep Learning (DL). Das resultierende Modell (z.B. ein künstliches neuronales Netz) ist aufgrund seiner Struktur und seiner inhärenten Komplexität im Allgemeinen für den Menschen nicht verständlich und damit sind die Entscheidungen eines KI-Systems oft nicht nachvollziehbar.

Typische Anwendungsfelder sind Systeme, bei denen es um die Verlässlichkeit des KI-Systems – also die Beherrschung des Risikos von Fehlern oder Fehlverhalten – geht.

Smart Mobility

Hochautomatisierte und autonome Fahrzeuge werden die Bereiche Mobilität und Logistik (Warentransport) vollständig verändern und neue digitale Dienste entstehen lassen. Aber die Risiken eines solchen Fahrzeugs müssen für Benutzer und mit dem Fahrzeug interagierende Personen (wie Passanten) akzeptabel sein. Was genau ein akzeptables Risiko ist, wird aktuell noch diskutiert, z.B. auch von Ethikkommissionen. Grundlegende Elemente, die bereits weithin akzeptiert werden, sind die positive Risikobilanz (Positive Risk Balance) und das Prinzip ALARP (As Low as Reasonably Practicable). Bei der positiven Risikobilanz wird sichergestellt, dass die Gefahren für Leib und Leben geringer sind, als wenn eine Person das System manuell bedienen würde. Bei ALARP muss nachgewiesen werden, dass alles zur Risikominderung getan wird, was vernünftigerweise – je nach Machbarkeit und Aufwand – getan werden kann.

Industrie 4.0

KI ist einer der Stützpfeiler der vierten industriellen Revolution hin zu einer intelligenten Fabrik, die hochflexibel individualisierte Produkte entstehen lässt. Neben Szenarien wie Production-as-a-Service oder Predictive Maintenance werden auch neue intelligente Maschinen eingesetzt. Fahrerlose Transportsysteme planen ihre Fahrten eigenständig und passen sich an die Nachfrage an. Cobots unterstützen Fabrikarbeiter und können effizient für verschiedenste Arbeiten angelernt werden. Heutzutage werden Mechanismen wie Lichtschranken und Sicherheitskäfige benutzt, die das System völlig deaktivieren, sollte ein Mensch in die Schutzzone gelangen. Somit kann allerdings der gewünschte Grad der engen Interaktion mit dem Menschen nicht erreicht werden. Zukünftig bedarf es auch intelligenterer Schutzfunktionen bei der Benutzung von und der Interaktion mit solchen Systemen, damit ein Mensch keinem erhöhten Risiko ausgesetzt wird.

Digital Health

Schon heute werden Mediziner bei der Prävention, Diagnose und Therapie von Krankheiten durch KI-Systeme unterstützt. Die KI ist dabei oft für fortgeschrittene Bild- und Datenauswertung (z.B. bei der Interpretation eines CT-Bildes) zuständig. Sie erlaubt Analysen in Bezug auf Qualität und Quantität, die auf herkömmlichem Wege nicht zu erreichen sind. Selbst bei Operationen werden heute schon erste Robotersysteme eingesetzt, die jedoch vom Menschen kontrolliert werden. Doch je mehr sich ein Mediziner auf solche Systeme stützt und je höher zukünftig der Autonomiegrad eines KI-Systems wird, desto wichtiger wird die Beherrschung des Risikos eines Fehlers und eines Fehlverhaltens der KI.

Vertrauenswürdigkeit ist eine Voraussetzung für Menschen und Gesellschaften, um KI-Systeme zu entwickeln, einzusetzen und zu nutzen (Ethics Guidelines for Trustworthy AI der Europäischen Kommission). Ähnlich wie bei der Luftfahrt oder der Kernenergie sind es nicht nur die Komponenten des KI-Systems, die vertrauenswürdig sein müssen, sondern das sozio-technische System in seinem Gesamtkontext. Ein ganzheitlicher und systematischer Ansatz ist erforderlich, um die Vertrauenswürdigkeit sicherzustellen. Nach den Leitlinien der Europäischen Kommission besteht vertrauenswürdige KI aus drei Aspekten, die während des gesamten Lebenszyklus erfüllt sein sollten:

1. Einhaltung der geltenden Gesetze und Vorschriften
2. Einhaltung ethischer Grundsätze und Werte
3. Robustheit aus technischer wie auch aus sozialer Sicht

Die Absicherung des KI-Systems bezieht sich insbesondere auf den Aspekt der Robustheit des KI-Systems aus technischer Sicht unter Einhaltung der bestehenden Gesetze und Normen.

Zurück zur Übersicht

Abbildung 1 zeigt unsere Sicht auf grundlegende Prozessbereiche in einem W-Modell. Dabei unterscheiden wir verschiedene Aktivitäten im Lebenszyklus eines KI-Systems (X-Achse) und verschiedene Stakeholder, die in den unterschiedlichen Phasen beteiligt sind: von der Managementebene bis hin zur operativen/technischen Ebene. Die Darstellung der Aktivitäten und Ebenen orientiert sich an der VDE-AR-E 2842-61, welche ein Referenzmodell für vertrauenswürdige KI definiert (entwickelt von der DKE, der in VDE und DIN zuständigen Organisation für die Erarbeitung von Normen). Grundsätzlich orientiert sich der Prozess an einem ganzheitlichen Systems-Engineering-Ansatz. Dabei ist es je nach Anwendungsfeld üblich, dass einzelne Systemkomponenten, die von Zulieferern als Blackbox geliefert werden, in das Gesamtsystem integriert werden müssen.

Kompetenzaufbau

Dem Entwicklungsprozess vorgeschaltet ist typischerweise eine Ramp-up-Phase, in welcher die im Unternehmen notwendigen Kompetenzen bestimmt und entwickelt werden. Für die Managementebene ist dabei wichtig, sowohl die konkreten Möglichkeiten von KI-Systemen für das eigene Geschäft zu verstehen als auch die Stolperfallen bei der Umsetzung. Für die operative/technische Ebene hingegen spielt das Wissen über konkrete Techniken/Methoden/Werkzeugen zur Realisierung eine wichtige Rolle.

Konstruktion und V&V

Der Gesamtprozess beginnt mit der Erstellung der Geschäftsstrategie und dem Herausarbeiten der konkreten Potenziale/Mehrwerte, die von einem KI-System erwartet werden. Daraus werden technische Anforderungen auf Systemebene und ein konkretes Lösungskonzept abgeleitet. In Abhängigkeit von der Kritikalität des Systems werden auf Systemebene weitere Analysen (z.B. bzgl. funktionaler Sicherheit) durchgeführt, um die regulatorischen und gesetzlichen Vorgaben bei der Entwicklung zu berücksichtigen. Das System wird im Rahmen klassischer Ansätze des Systems Engineerings (wie ISO/IEC 15288 oder 12207) in Teilsysteme zerlegt, die aus Software und Hardware bestehen können. Die Software-Teilsysteme wiederum bestehen aus klassischen Softwarekomponenten und solchen, die KI beinhalten und eine Normal- oder Sicherheitsfunktion des Systems abbilden. Softwarekomponenten werden heutzutage in einem agilen Entwicklungsprozess erstellt (wie z.B. Scrum), der parallel zur Entwicklung der Hardware erfolgt. Auch KI-Komponenten werden üblicherweise in einem hoch iterativen Prozess entwickelt, der sich aber eher an gängigen Vorgehen aus dem Bereich Data Science orientiert (wie CRISP-DM). Das bedeutet, dass das Modell inkrementell/iterativ solange verbessert wird, bis es die vorgegebenen Qualitätskriterien einhält. Man spricht hierbei von der Evaluation bzw. Härtung des KI-Modells. Anschließend werden die Einzelkomponenten des Systems zum Gesamtsystem integriert und als Ganzes verifiziert bzw. validiert, bevor das System nach Durchlauf definierter Akzeptanz- und Release-Kriterien nach außen gegeben werden kann (z.B. nach geforderten Testing- und Auditing-Prozessen). In der Praxis wird der Gesamtprozess zur Konstruktion und Verifikation/Validation je nach Größe und Komplexität des Systems und des Entwicklungsprojekts auch mehrfach in Iterationen durchlaufen.

Betrieb

Der Lebenszyklus eines KI-Systems endet nicht mit der Bereitstellung des Systems. In der Betriebs-/Operation-Phase geht es darum, die Performanz des Systems zu überwachen und aus dem tatsächlichen Verhalten zu lernen, wie das KI-System bzw. KI-Modell verbessert werden kann. Bei KI-Systemen, die zur Laufzeit weiterlernen, also ihr Verhalten auf Basis der gemachten Erfahrungen verändern, sind zudem weitere Verfahren des dynamischen Risikomanagements notwendig.

Zurück zur Übersicht

Grundsätzlich beraten und unterstützen wir Unternehmen ganzheitlich beim Engineering verlässlicher KI-Systeme und begleiten sie über den gesamten Lebenszyklus: von der KI-Strategie über die KI-Entwicklung bis zur KI-Absicherung bzw. zum KI-Testing/Auditing und zur Erfüllung der gesetzlichen und normativen Vorgaben. Wir sind dabei multidisziplinär aufgestellt, d.h., wir verfügen über Kompetenzen sowohl im Bereich Software- und Systems-Engineering als auch in Data Science und Innovationsstrategie.

Aus unserer Forschung im Kontext Safe AI haben wir konkrete Lösungsbausteine für wesentliche Herausforderungen entwickelt, die wir in die Praxis übertragen. Abbildung 2 zeigt eine Einordnung von Lösungsbausteinen in die dargestellten Prozessbereiche des W-Modells.

KI-Potenzialanalyse

Im Rahmen von Potenzialanalysen wird der Mehrwert von KI für ein Unternehmen herausgearbeitet. Mit etablierten Vorlagen (wie Value Proposition oder BMC) werden die Auswirkungen von KI auf das Geschäftsmodell ausgearbeitet. Wir stellen für einen Anwendungskontext relevante Normen, Standards und Qualitätsrichtlinien zusammen und zeigen auf, welche KI-Systeme heute schon möglich sind und welche Vorgaben man in Zukunft in Abhängigkeit von der Kritikalität einhalten muss. Dabei wird auch die Lücke zwischen der aktuellen Aufstellung des Unternehmens und der zukünftigen Ausrichtung ermittelt und eine Strategie erarbeitet. Im Rahmen von Prototypen werden vielversprechende Anwendungsszenarien in Bezug auf Profitabilität, Nachfrage und technische Umsetzbarkeit evaluiert (z.B. im Hinblick auf die Verfügbarkeit von Daten und die Güte der Vorhersage).

Multi-Aspect Safety Engineering

Insbesondere für die Entwicklung von hochautomatisierten und Autonomen Systemen spielt nicht nur die funktionale Sicherheit (ISO 26262), sondern auch die Sicherheit der beabsichtigten Funktionalität (SOTIF, ISO/PAS 21448) und die systematische Entwicklung eines sicheren Nennverhaltens eine wichtige Rolle. In einem modellbasierten Ansatz nutzen wir moderne Methoden und Techniken des Safety Engineerings, um das System ganzheitlich zu modellieren, zu analysieren und die gefundenen Risiken zu beherrschen. Die Argumentation, dass das System verlässlich ist, erfolgt dabei über Assurance- oder Safety-Case-Analysen. Über Evidenzen wird argumentiert, dass sich das System bzgl. des Assurance bzw. Safety Cases entsprechend so verhält, dass die Risikoakzeptanzschwelle nicht überschritten wird.

Safety-Supervisor-Architektur

Ein weiteres zentrales Element für die Verlässlichkeit des Systems stellt die Systemarchitektur dar. Hier gibt es z.B. Architekturen, die eine Art Sicherheitscontainer um die KI legen. Safety-Supervisor- oder Simplex-Architekturen überschreiben die KI-Entscheidung, falls diese zu einem gefährlichen Verhalten des KI-Systems führen würde. Dazu ist es wichtig, z.B. die Unsicherheit der KI-Empfehlung unter bestimmten Nutzungsbedingungen zu kennen und darauf basierend das Risiko einer fehlerhaften Entscheidung zu ermitteln. Solche Ansätze sind für Machine-Learning-Komponenten im Allgemeinen interessant und besonders wichtig, wenn es sich um KI-Systeme handelt, die über ihre Lebenszeit hinweg weiter lernen und daher ihr Verhalten anpassen können. Da es potenziell unmöglich ist, zum Entwurfszeitpunkt eines KI-Systems zu wissen, welche Daten die KI als Grundlage für weiteres Lernen verwendet, müssen entsprechende Leitplanken für das Verhalten definiert und in das System eingebaut werden.

Digital Dependability Identities (DDI)

Eine Digital Dependability Identity (DDI) ist ein Instrument, um zentral alle Spezifikationen, die für die Systemverlässlichkeit relevant sind, einheitlich und austauschbar zu dokumentieren und die Spezifikation mit einem System bzw. Systemteil auszuliefern. Dies ist insbesondere dann wichtig, wenn Systemteile unterschiedlicher Hersteller/Zulieferer entlang der Lieferkette integriert werden müssen bzw. falls eine dynamische Integration verschiedener Systemteile zur Laufzeit erfolgt (wie beim kollaborativen Fahren). Das Rückgrat der DDI ist ein Assurance Case, der alle Spezifikationen strukturiert und miteinander verknüpft und so argumentiert, unter welchen Bedingungen das System verlässlich arbeitet. Die Art der Evidenzen in der Argumentationskette ist ganz unterschiedlich. Sie können die Sicherheitsarchitektur betreffen oder das Management von Unsicherheiten der KI-Komponente, beispielsweise den Nachweis, dass man Daten verwendet, welche den intendierten Verwendungskontext ausreichend abdecken.

Dynamic Risk Management (DRM)

DRM ist ein Ansatz zur kontinuierlichen Überwachung des Risikos eines Systems und seines geplanten Verhaltens sowie seiner sicherheitsrelevanten Fähigkeiten. DRM überwacht das Risiko, optimiert die Leistung und gewährleistet die funktionale Sicherheit durch ein kontinuierliches Management, das sich auf Laufzeitmodelle stützt. Ein Bestandteil des DRM von KI-basierten Systemen kann auch die Ausgabe eines Uncertainty Wrappers sein.

Uncertainty Management

Unsicherheit ist bei datenbasierten Lösungen ein inhärentes Problem und kann nicht ignoriert werden. Der Uncertainty Wrapper ist ein ganzheitlicher, modellunabhängiger Ansatz zur Identifizierung situativ zuverlässiger Prognosen von Unsicherheiten in KI-Komponenten. Unsicherheiten können neben dem KI-Modell selbst auch aus den Eingabedaten und dem Verwendungskontext kommen. Der Uncertainty Wrapper kann einerseits bei der Entwicklung des KI-Modells eingesetzt werden, um die identifizierten Unsicherheiten durch entsprechende Maßnahmen zu beherrschen und das Modell sicherer zu gestalten. Andererseits ermöglicht der Wrapper zur Laufzeit des KI-Systems eine ganzheitliche Betrachtung der aktuellen Unsicherheit der KI-Komponente. Die Einschätzung kann wiederum von einem Sicherheitscontainer verwendet werden, um die KI zu übersteuern und das System in einen risikoärmeren Zustand zu überführen.

Trainings

Nicht zuletzt sind wir auch in der Qualifizierung entsprechender Kompetenzen im Unternehmen aktiv: von Enlightening Talks für das Management über Weiterbildungsprogramme zum Data Scientist bis hin zu Spezialschulungen für verlässliche KI-Systeme (z.B. Safe-AI-Schulung).

Zurück zur Übersicht

Künstliche Intelligenz (KI) und Maschinelles Lernen (ML) haben großes Potenzial, bestehende Produkte und Dienste zu verbessern – oder gar völlig neue Produkte und Dienste zu ermöglichen. Allerdings stellt die Gewährleistung und Überprüfung wesentlicher Qualitätseigenschaften von KI-Systemen, und dabei insbesondere von Eigenschaften der Verlässlichkeit, eine große Herausforderung dar. Wer hier adäquate Lösungen findet und umsetzt, hat klare Wettbewerbsvorteile! Wir sind überzeugt: Mit unseren Methoden und Lösungsbausteinen können wir Sie auf Ihrem Weg tatkräftig und effektiv unterstützen!

Ende-zu-Ende: Wir begleiten Unternehmen über den gesamten Lebenszyklus: von der KI-Strategie über die KI-Entwicklung bis zur KI-Absicherung bzw. zum KI-Testing/Auditing und zur Erfüllung der gesetzlichen und normativen Vorgaben.

Multidisziplinär: Wir sind multidisziplinär aufgestellt, d.h., wir verfügen über Kompetenzen sowohl im Bereich Software- und Systems-Engineering als auch in Data Science und Innovationsstrategie. Entsprechend bieten wir eine zentrale Anlaufstelle, in der alle relevanten Kompetenzen rund um Safe AI vorhanden sind.

Innovativ: Als Fraunhofer-Institut sind wir in innovativen Forschungsprojekten für Safe AI auf Bundes- und EU-Ebene vertreten, sodass wir den aktuellen Stand der Forschung und Praxis in Bezug Prozesse, Technologien und Werkzeuge für Safe AI kennen.

Informiert: Wir sind über Verbände und Normungsgremien in Roadmap- und Normungsaktivitäten zu Safe AI involviert, sodass wir Zugriff auf aktuelle Diskussionen haben und zukünftige Änderungen der gesetzlichen und normativen Vorgaben kennen.

Aus einer Hand: Als Mitglied der Fraunhofer-Allianz Big Data und Künstliche Intelligenz (KI) haben wir Zugriff auf umfängliche Ressourcen (Data Scientists, Softwarepakete und Recheninfrastruktur). Dadurch können wir auch komplexere Projekte im Kontext Safe AI aus einer Hand anbieten.