Welche Gesetze, Normen und Forschungsinitiativen gibt es, um künstliche Intelligenz und autonome Systeme sicher zu machen?

Posted in Autonomes Fahren, Künstliche Intelligenz, Sicherheit Published on Authors

Mit dieser Frage sind wir, Dr.-Ing. Rasmus Adler als »Programm-Manager für Autonome Systeme« am Fraunhofer IESE und Dr. Patrik Feth als Mitglied der Gruppe »Advanced Safety Functions & Standards« bei der SICK AG, immer wieder konfrontiert. Deswegen widmen wir uns in diesem Beitrag der Frage nach Normen für autonome Systeme und geben eine Übersicht über Bestrebungen, den Einsatz von Künstlicher Intelligenz in sicherheitskritischen Systemen zu regeln. Wir hatten diese Übersicht ursprünglich für uns erstellt, da wir ganz bewusst auswählen wollten, in welchen Forschungsgruppen und Normierungsgremien wir uns mit unserer Expertise einbringen. Mit diesem Beitrag wollen wir den Austausch der Forschungs- und Normierungsgemeinde im Bereich der Safety-Absicherung von KI stärken und Synergien schaffen. Wir freuen uns auf Feedback und werden diesbezüglich den Artikel auch regelmäßig anpassen.

Grundsätzlich herrscht Einigkeit darüber, dass Künstliche Intelligenz Leitplanken braucht. Die Vorstellungen darüber, was »Künstliche Intelligenz (KI)« ist, gehen aber aktuell noch auseinander. Es gibt auch noch keine Einigkeit darüber, wie die Leitplanken in Form von Gesetzen und Normen umgesetzt werden sollen. Allerdings gibt es weltweit viele Bestrebungen, einen Konsens herzustellen, und erste Arbeitsergebnisse liegen ebenfalls bereits vor.

Gibt es schon Normen für autonome Systeme?

Mit der Definition von KI beschäftigt sich beispielsweise aktuell das Komitee ISO/IEC JTC 1/SC 42. Erste Leitplanken für eine KI wurden auf europäischer Ebene von einer hochrangigen Expertengruppe entworfen. Die »Ethik-Leitlinien für eine vertrauenswürdige KI« wurden 2018 veröffentlicht. Diese Leitlinien basieren auf der Annahme, dass alle gesetzlichen Rechte und Pflichten, die für die Prozesse und Aktivitäten zur Entwicklung, Einführung und Nutzung von KI-Systemen gelten, auch weiterhin verbindlich sein werden und entsprechend zu beachten sind (Seite 8). Zu diesen Gesetzen zählt das Produktsicherheitsgesetz mit der dazugehörigen Maschinenrichtlinie, die für die Safety-Thematik von besonderer Bedeutung sind.

Die aktuellen Gesetze machen aber keine konkreten Vorgaben bezüglich der Entwicklung safety-kritischer Systeme. Es wird nur über verschiedene Wege gefordert, sich an den Stand der Wissenschaft und Technik zu halten. An dieser Stelle kommen Normen ins Spiel, denn Normen sollen diesen Stand bestmöglich widerspiegeln. Dazu müssen sie regelmäßig bezüglich neuer technologischer Entwicklungen angepasst werden. Traditionell erfolgen diese Anpassungen eher reaktiv. Vertreter aus der Industrie einigen sich auf ein Mindestmaß, das als aktueller Standard angesehen werden kann. In Bezug auf die Verwendung von KI in sicherheitskritischen autonomen Systemen wird allerdings verstärkt ein proaktiver Ansatz verfolgt. Safety-Experten aus Forschung und Anwendung erarbeiten gemeinsam Handlungsempfehlungen und Anwendungsregeln. Im Folgenden fokussieren wir uns auf Arbeiten und Arbeitsgruppen bezüglich dieses proaktiven Ansatzes.

Bereits veröffentlichte Normen für autonome Systeme (einschließlich Technical Reports, DIN SPECs, DKE Anwendungsregeln usw.)

In dieser Liste führen wir bereits veröffentlichte Dokumente aus Normierungsgremien auf, die KI und autonome Systeme betreffen. Zum aktuellen Zeitpunkt befinden sich viele weitere Dokumente in der Vorbereitung und werden demnächst publiziert werden. Siehe hierzu die Liste unten zu den laufenden Initiativen. Gerne ergänzen wir diese Liste um weitere Elemente. Nutzen Sie hierzu einfach die Kommentarfunktion unten.

  • DIN SPEC 92001-1
    Das Ziel der DIN SPEC 92001 ist es, einen qualitätssichernden und transparenten Lebenszyklus für KI-Module zu etablieren. Im ersten Teil der geplanten 92001-Serie wird hierfür das Rahmenwerk aufgesetzt.
    https://www.din.de/de/wdc-beuth:din21:288723757
  • UL4600
    Bislang in einer Draft-Version veröffentlicht, setzt UL4600 den Fokus auf das Aufstellen eines Safety Cases für autonome Systeme und gibt hierfür einen Rahmen vor. Das Fraunhofer IESE ist im Review-Komitee, um mit seinen Industrieerfahrungen und seiner Forschungsexpertise zu unterstützen.
    https://edge-case-research.com/ul4600/
  • ISO/PAS 21448
    Für den Automotive-Sektor entstanden, beschäftigt sich diese Norm mit den Grenzen der sinnvollen Verwendbarkeit von Algorithmen und Sensorsystemen und betrachtet die neue Fehlerklasse der funktionalen Unzulänglichkeiten.
    https://www.iso.org/standard/70939.html
  • ISO/IEC 20546
    Diese Norm legt grundlegende Begriffe für Big Data fest. Die Begriffe Künstliche Intelligenz oder Maschinelles Lernen werden in diesem Dokument jedoch nicht erwähnt.
    https://www.iso.org/standard/68305.html
  • ISO/IEC TR 20547-2
    Die 20547 Reihe soll eine Referenzarchitektur für Big Data aufstellen. In diesem zweiten Teil werden Use Cases aufgeführt.
    https://www.iso.org/standard/71276.html
  • ISO/IEC TR 20547-5
    Der fünfte Teil der 20547 Reihe gibt einen Überblick über Standards, die relevant für Big Data sind, und zwar sowohl existierende als auch in Entwicklung befindliche.
    https://www.iso.org/standard/72826.html

Whitepaper, Reports und ähnliche Dokumente

Die nachfolgende Liste enthält keine Normen, doch die enthaltenen Dokumente spiegeln unserer Meinung nach gut den allgemein akzeptierten Stand der Forschung wieder. Gerne ergänzen wir diese Liste um weitere Elemente. Nutzen Sie hierzu einfach die Kommentarfunktion unten.

  • Hochrangige Expertengruppe für KI (Europäische Kommission): Ethik-Leitlinien für eine vertrauenswürdige KI
    Diese Leitlinien geben einen Rahmen für die Verwirklichung einer vertrauenswürdigen KI vor. Hierbei werden drei elementare Komponenten identifiziert: Die KI sollte rechtmäßig, ethisch und robust sein. Unter dem Aspekt der Robustheit wird hier auch explizit Safety genannt. Das Dokument enthält eine Bewertungsliste für vertrauenswürdige KI.
    https://ec.europa.eu/digital-single-market/en/high-level-expert-group-artificial-intelligence
  • Gutachten der Datenethikkommission
    Die Datenethikkommission erhielt von der Bundesregierung Deutschland die Aufgabe, ethische Maßstäbe, Leitlinien und konkrete Handlungsempfehlungen für den Schutz des Einzelnen, die Wahrung des gesellschaftlichen Zusammenlebens und die Sicherung und Förderung des Wohlstandes im Informationszeitalter zu entwickeln. Dieses Dokument fasst die Ergebnisse zusammen.
    http://s.fhg.de/mcz
  • IEEE: Ethically Aligned Design
    In diesem Dokument fasst die IEEE ihre Empfehlungen zusammen, um die Entwicklung von Standards, Zertifizierungen, Regularien und Gesetzgebungen für die Entwicklung von autonomen und intelligenten Systemen so zu gestalten, dass dies dem gesamten sozialen Wohlbefinden zugutekommt.
    https://ethicsinaction.ieee.org/
  • SASWG: Safety Assurance Objectives for Autonomous Systems
    Aus einer Arbeitsgruppe des Safety-Critical System Clubs entstanden, listet dieses Dokument Ziele für die Absicherung von autonomen Systemen auf unterschiedlichen Abstraktionsstufen auf.
    https://scsc.uk/ga
  • Safety First for Automated Driving
    In diesem industrieübergreifenden Whitepaper beleuchtet Daimler gemeinsam mit Aptiv, Audi, Baidu, BMW, Continental, Fiat Chrysler Automobiles, HERE, Infineon, Intel und Volkswagen das Thema Sicherheit für das automatisierte Fahren nach SAE Level 3 und Level 4. Es adressiert auch die für das automatisierte Fahren notwendige Nutzung von KI-Methoden (Maschinelles Lernen).
    https://newsroom.intel.com/wp-content/uploads/sites/11/2019/07/Intel-Safety-First-for-Automated-Driving.pdf
  • Mind the gaps: Assuring the safety of autonomous systems from an engineering, ethical, and legal perspective
    Diese Veröffentlichung haben wir mit aufgenommen, da sie eine gute Übersicht über technische, ethische und rechtliche Safety-Fragestellungen mit ihren Schnittstellen bietet.
    https://www.sciencedirect.com/science/article/abs/pii/S0004370219301109?dgcid=rss_sd_all
  • Considerations in Assuring Safety of Increasingly Autonomous Systems
    Diesen technischen Report der NASA haben wir mit aufgenommen, da er zusammenfasst, was zu beachten ist, wenn technische Systeme sicherheitskritische Aufgaben übernehmen, die zuvor Menschen mit ihrer »Intelligenz« gelöst haben.
    https://ntrs.nasa.gov/archive/nasa/casi.ntrs.nasa.gov/20180006312.pdf

Laufende Initiativen in der Forschung und Normierung

Viele Organisationen unternehmen Aktivitäten zur Weiterentwicklung des Standes der Wissenschaft und Technik oder zur Dokumentation dieses Standes in Normungsprojekten. Gerne ergänzen wir diese Liste um weitere Elemente. Nutzen Sie hierzu einfach die Kommentarfunktion unten.

Initiativen der Normung

Initiativen der Forschung

  • Assuring Autonomy International Program
    Diese von der University of York geleitete Initiative beschäftigt sich explizit mit der Zusicherung und Regulierung von Robotik und autonomen Systemen. Hier wird aktuell ein frei zugänglicher Body of Knowledge aufgebaut, der zukünftig die Referenzquelle zu dieser Thematik werden soll. Das Programm »Assuring Autonomy« liegt thematisch sehr nah an dem Programm »Autonome Systeme« des Fraunhofer IESE. Um Synergien zu schaffen, wird aktuell an einer strategischen Kooperation gearbeitet.
    https://www.york.ac.uk/assuring-autonomy/
  • Partnership on AI
    Eine aus den USA geleitete Initiative, welche die Verwendung von KI in sicherheitskritischen Anwendungen als die erste ihrer thematischen Säulen nennt. Zu den Partnern gehören über 90 Organisationen, unter anderem Amazon, Apple, Facebook, Google und Microsoft. Unternehmen aus klassischen sicherheitskritischen Domänen sind hier bislang nicht vertreten.
    https://www.partnershiponai.org/

Patrik Feth (SICK AG)Co-Autor
Dr. Patrik Feth
Corporate Unit Functional Safety
SICK AG
Patrik.Feth@sick.de

Weitere Referenzen

  1. https://www.daimler.com/innovation/case/autonomous/safety-first-for-automated-driving.html
  2. https://din.one/display/etki/Kapitel+4%3A+Normungs-+und+Standardisierungsbedarf#Kapitel4:Normungs-undStandardisierungsbedarf-Sicherheit

Lesen Sie auch den Fraunhofer-IESE-Blog-Artikel über die Definition autonomer Systeme:
Autonom oder vielleicht doch nur hochautomatisiert, was ist eigentlich der Unterschied?

Tagged ,