LLM-basierte Qualifizierung von Software

Bei der Softwarequalifizierung geht es darum, zu validieren und zu verifizieren, dass ein Softwaresystem die festgelegten Anforderungen und Spezifikationen erfüllt, und damit sicherzustellen, dass es unter bestimmten Bedingungen die erwartete Leistung erbringt. Sie ist ein Teil des Softwaretestens, bei dem der Fokus auf der Bewertung der Fähigkeiten und Eigenschaften eines Programms liegt, um sicherzustellen, dass es den vorgesehenen Zweck erfüllt.

Der Einfluss von Gesetzen und rechtlichen Aspekten auf die Softwarequalifizierung ist erheblich, besonders in stark regulierten Branchen. Gesetzliche Anforderungen können die Standards und Verfahren vorgeben, die während der Softwareentwicklungs- und Softwarequalifizierungsprozesse befolgt werden müssen. Bestimmte Branchen wie das Gesundheitswesen, das Finanzwesen und die Luftfahrtindustrie haben strenge Auflagen für Software. Deren Nichteinhaltung kann strafrechtliche Konsequenzen haben, einschließlich Geldstrafen und Sanktionen. Gesetzliche Rahmenbedingungen definieren die Haftung von Softwareherstellern und -entwicklern in Fällen, in denen Softwarefehler zu finanziellen Verlusten, Verletzungen oder Tod führen. Indem sichergestellt wird, dass die Software vollständig qualifiziert ist, wird dieses rechtliche Risiko gemindert.

Der Qualifizierungsprozess für Software ist sehr komplex und arbeitsintensiv. Die Anforderungen können sich während des Entwicklungsprozesses ändern, sodass die Test- und Qualifizierungspläne laufend angepasst werden müssen. Außerdem muss die Software in verschiedenen Umgebungen getestet werden, um sicherzustellen, dass sie unter unterschiedlichen Bedingungen funktioniert, was sehr ressourcenintensiv sein kann.

Die Herausforderungen bei der Softwarequalifizierung für autonome Fahrfunktionen sind enorm. Die Software und das System selbst sind sehr komplex. Darüber hinaus stellen selbstfahrende Autos ein potenzielles Risiko für Menschen in anderen Autos oder auf der Straße dar. Die gesetzlichen Anforderungen an solche Software sind daher sehr hoch. Bislang kann die Qualifizierung einer Software erst am Ende des Produktentwicklungsprozesses beginnen. Ein echtes Fahrzeug wird verwendet, um in einem definierten Gebiet herumzufahren, und alle möglichen Situationen, die beim Fahren in einer realen Umgebung auftreten können, müssen simuliert werden. Dies erfordert eine riesige Anzahl an Testkilometern. Der Prozess ist sehr zeit- und ressourcenintensiv. So muss das Fahrzeug beispielsweise Straßenschilder für Geschwindigkeitsbegrenzungen »lesen« und seine Geschwindigkeit entsprechend anpassen. Ändert sich die Gesetzeslage – etwa, wenn das Tempolimit in einer Stadt von 50 km/h auf 30 km/h gesenkt wird – müsste der gesamte Qualifizierungsprozess wiederholt werden. Um manuelles Testen zu reduzieren, schlägt die Abteilung Virtual Engineering des Fraunhofer IESE vor, solche Software mithilfe von Simulationen zu testen und zu qualifizieren.

Anstatt ein echtes Fahrzeug auf der Straße zu fahren, schlagen wir vor, die Situationen zu simulieren, die notwendig sind, um die rechtlichen und technischen Anforderungen zu erfüllen. Hier kommt unsere Simulationsplattform FERAL ins Spiel. Die Plattform ist in der Lage, alle Arten von Simulationsszenarien zu erstellen und Simulationsmodelle, Werkzeuge und Software miteinander zu verbinden. Darüber hinaus ist FERAL in der Lage, Fehler in die Simulation zu injizieren, um alle Arten von Softwarefehlern und Systemverhalten zu testen.

Um die Entwicklung dieser Szenarien zu beschleunigen, schlagen wir in in diesem Kontext ferner den Einsatz großer Sprachmodelle (englisch: Large Language Models, LLM) vor. Die KI würde die Szenarien und Testergebnisse analysieren und dann dem Tester Feedback geben, z. B. in Bezug darauf, wie verschiedene Testergebnisse zu interpretieren sind oder was während der Simulation Probleme verursacht hat, oder sogar Änderungen an der Software vorschlagen, um die Anforderungen zu erfüllen.