Verlässliche und effiziente Qualitätssicherung mit FERAL

Leistungsfähige Verifikation und Validierung sicherheitskritischer Systeme mittels Simulation und KI-gestützter Testfallgenerierung in virtuellen Prüfständen basierend auf VCIP/FERAL und der Konnektor-Erweiterung Req2Test, die eine automatisierte Ableitung von Testfällen aus Produktanforderungen und deren Überführung in ausführbare Testfallspezifikationen anhand Industriestandards wie ASAM OpenTestSpecification und OMG ReqIF ermöglicht.

Die zentrale Herausforderung bei der Entwicklung komplexer sicherheitskritischer Systeme ist die verlässliche und effiziente Absicherung deren funktionaler und qualitativer Eigenschaften. Vor allem der Nachweis der Sicherheit bei der Entwicklung moderner Kraftfahrzeuge setzt dabei ein robustes und in den Entwicklungsprozess eingebettetes Verifikations- und Validierungskonzept mit Nachverfolgbarkeit (Traceability) voraus.

Wichtiger Bestandteil der Sicherheitsargumentation sind verlässliche und nachverfolgbare Evidenzen aus Testaktivitäten, die auf der Implementierung und Ausführung einer Vielzahl von i.d.R. anforderungsbasierten Testfällen auf unterschiedlichen Abstraktionsebenen beruhen. Für jede Systemanforderung wird dabei die Ableitung samt Entwurf und Umsetzung typischerweise ein oder mehrerer Testfälle inklusive Stimuli, Sequenzen und Szenarien sowie deren Verknüpfung mit Architektur- und Testergebnisartefakten benötigt.

Diese Artefakte stellen eine elementare Voraussetzung für die effektive Anwendung der virtuellen kontinuierlichen Testens im Kontext moderner Produktentwicklung dar (siehe Blog-Beitrag:  https://www.iese.fraunhofer.de/blog/virtual-continuous-testing/).

Wiederholtes Anpassen der Testfallimplementierung sowie der Verknüpfung der Entwicklungsartefakte aufgrund geänderter Anforderungen und Identifikation von Fehlern jedoch sind in fast jeder Iteration des Produktentwicklungszyklus gang und gäbe. Zudem werden diese Aktivitäten zur Bereitstellung benötigter Entwicklungsartefakte heutzutage trotz weitreichend angestrebter Prozessautomatisierung aufgrund der benötigten Fachexpertise von Testingenieuren immer noch manuell durchgeführt, was sehr hohe Aufwände und Kosten verursacht (vgl. Abbildung 1).

Ziele ist es deshalb die Effizienz bei der Durchführung dieser notwendigen Aktivitäten mittels KI-Unterstützung unter dem vielversprechenden Einsatz großer Sprachmodelle (Large Language Models – LLMs) zu steigern.

Unser Lösungskonzept definiert 4 Schritte zur Steigerung der Effizienz bei der virtuellen Systemevaluierung auf Basis von VCIP/FERAL und dem Einsatz von KI-Technologie (siehe Abbildung 2):
 

1.    LLM-gestützte Ableitung von Testfällen aus Anforderungen

Ein vortrainiertes großes Sprachmodel, das auf diese Aufgabe feinabgestimmt wurde (fine-tuned LLM) wird genutzt, um Testfallbeschreibungen auf der Grundlage textueller Anforderungen, die im standardisierten OMG ReqIF-Format vorliegen, automatisiert zu erzeugen. Diese Beschreibungen werden in strukturierter Form mittels DDIs (Digital Dependability Identity) zum Zwecke der formalen Nachverfolgbarkeit gespeichert.
 

2.    LLM-basierte Konvertierung abgeleiteter Testfälle in ausführbare Testspezifikation

Abgeleitete Testfallbeschreibungen werden mittels eines weiteren fine-tuned LLM automatisiert in Standardformate der ASAM OpenTestSpecification (XOSC/OTX) überführt, deren Integration in den virtuellen Prüfstand durch eine VCIP/FERAL Konnektor-Erweiterung unterstützt wird. Dadurch wird der Aufwand für den Entwurf und die Implementierung von ausführbaren Testfällen drastisch reduziert und der virtuelle Prüfstand für den Einsatz von ASAM-konformen Werkzeugketten qualifiziert.
 

3.    Experten-basierte Überprüfung der LLM-konvertierten Testspezifikation

Testingenieure prüfen die konvertierte Testspezifikation, passen diese nach Bedarf an und geben diese für die Ausführung auf dem virtuellen Prüfstand frei. Dieser Schritt stellt sicher, dass Eignung und Korrektheit der Testspezifikation nicht durch den Einsatz von KI beeinträchtigt wird, weil letztlich Fachexperten die Inhalte nochmals auf Plausibilität und Ausführbarkeit überprüfen, was jedoch ohne den in jeder Entwicklungsiteration wiederkehrenden Initialaufwand erfolgt.
 

4.    VCIP/FERAL-basierte Testfallausführung

Die freigegebene Testspezifikation samt beinhalteter Testfallinstanzen wird mithilfe der VCIP/FERAL Konnektor-Erweiterung im virtuellen Prüfstand für das aktuelle Produktinkrement ausgeführt und die entsprechenden Testergebnisse generiert. Diese Evidenzen werden wiederum mittels DDIs mit den dazugehörigen Entwicklungsartefakten wie Anforderungen und Architekturbeschreibungen automatisch verknüpft und dienen fortan der Entscheidungsfindung für die nächste Entwicklungsiteration.

Die Einbettung dieser Erweiterung für das Verifikations- und Validierungskonzept in den Produktentwicklungsprozess ermöglicht eine drastische Reduktion entsprechend manueller Aufwände, weil der Großteil an Testfällen bereits innerhalb kürzester Zeit ausführbar zur Verfügung steht und Testingenieure dadurch den Fokus Ihrer Expertise auf Plausibilitätsprüfung und Spezialfälle anstatt auf wiederkehrend zeitaufwendige Vorbereitung von Testartefakten richten können.

Für die Umsetzung des KI-gestützten Lösungskonzepts werden virtuelle Prüfstände basierend auf VCIP/FERAL durch zwei Konnektor-Komponenten ergänzt. Zum einen dient der „Req2Test“-Konnektor der Konvertierung von ReqIF-formatierten Anforderungen in ASAM-Standard-konforme Testspezifikations-Formate (XOSC/OTX). Zum anderen wird der skript-basierte „Configuration“-Konnektor verwendet, um eine solche Testspezifikation wiederum zum Zwecke der Konfiguration inklusive Parametrierung und Parametrisierung der Testumgebung als Vorbereitung für die anschließende Testausführung zu importieren.