DIN SPEC 92005 – Unsicherheit im Maschinellen Lernen standardisieren?

Die DIN SPEC 92005 ist seit Januar 2024 öffentlich verfügbar. Sie beschäftigt sich mit der Quantifizierung von Unsicherheiten im Maschinellen Lernen (ML) und entstand unter Mitwirkung des Fraunhofer IESE, das auch den stellvertretenden Obmann stellte.

This article is also available in English: DIN SPEC 92005 – Standardizing uncertainty in machine learning?

DIN SPEC 92005: Ein wichtiger Schritt zum bewussten Umgang mit Unsicherheit bei KI-Anwendungen

Die DIN SPEC 92005 als solide Basis für die Praxis

Da ML-Modelle auf Daten trainiert werden, lässt sich eine Restunsicherheit in ihren Ausgaben gewöhnlich nicht verhindern. Umso wichtiger ist es, insbesondere bei sicherheitskritischen KI-Anwendungen, die Unsicherheit der entsprechenden Ausgabe verlässlich zu bestimmen.

Die DIN SPEC 92005 bietet hierzu unter anderem:

• eine konsolidierte Terminologie, inklusive Unsicherheitsontologie (vgl. [5])
• eine praxisnahe Klassifikation von Unsicherheitsquellen (vgl. [2])
• eine systematische Einordung unterschiedlicher Ansätze (vgl. [1])
• eine Zusammenstellung von Anforderungen an die Unsicherheitsquantifizierung
• Beispiele zur Umsetzung der Anforderungen mit Ansätzen wie Uncertainty Wrappern

Sie wollen mehr Überblick oder mehr Details?

Wenn Sie einen generellen Überblick zum Thema Qualitätssicherung für ML-Modelle benötigen, insbesondere im Kontext sicherheitskritischer KI-Systeme, werden Sie doch Certified Data Scientist Specialized in Assuring Safety. Aktuelle Schulungstermine finden Sie auf der Seminarseite der Fraunhofer-Allianz Big Data und Künstliche Intelligenz oder mit direkter Buchungsoption beim Fraunhofer IESE.

Bei tiefergehendem Interesse am Thema Unsicherheitsmanagement für KI – beispielsweise wenn Sie sich die Frage stellen, wie Sie die Anforderungen an die Unsicherheitsquantifizierung aus der DIN SPEC 92005 in der Praxis umsetzen können – können Sie gerne auf uns zukommen. Unser Team im Bereich Verlässliche KI arbeitet schon seit Jahren intensiv an innovativen Ansätzen, um Unsicherheit in KI-Modellen zur Laufzeit verlässlich zu bestimmen und zum Treffen besserer Entscheidungen einzusetzen.

Sie interessiert der wissenschaftliche Hintergrund?

Hier zum Schmökern eine Auswahl aktueller IESE-Publikationen zum Thema Unsicherheit bei Einsatz von KI-Modellen (2018 bis 2023):

1. Kläs, M., “Towards Identifying and Managing Sources of Uncertainty in AI and Machine Learning Models – An Overview,” arxiv.org/abs/1811.11669, 2018.
2. Kläs, M., Vollmer, A. M., “Uncertainty in Machine Learning Applications: A Practice-Driven Classification of Uncertainty,” WAISE 2018 at Computer Safety, Reliability, and Security (SAFECOMP 2018), Västerås, Sweden, 2018.
3. Kläs, M., Sembach, L., “Uncertainty Wrappers for Data-driven Models – Increase the Transparency of AI/ML-based Models through Enrichment with Dependable Situation-aware Uncertainty Estimates,” WAISE 2019 at Computer Safety, Reliability, and Security (SAFECOMP 2019), Turku, Finland, 2019.
4. Kläs, M., Jöckel, L., „A Framework for Building Uncertainty Wrappers for AI/ML-based Data-Driven Components,” WAISE 2020 at Computer Safety, Reliability, and Security (SAFECOMP 2020), Lisbon, Portuga, 2020.
5. Bandyszak, T., Jöckel, L., Kläs, M., Törsleff, S., Weyer, T., Wirtz, B., “Handling Uncertainty in Collaborative Embedded Systems Engineering,” in: Böhm W., Broy M., Klein C., Pohl K., Rumpe B., Schröck S. (eds) Model-Based Engineering of Collaborative Embedded Systems. Springer, Cham., 2021. ISBN 978-3-030-62135-3.
6. Kläs, M., Adler, R., Sorokos, I., Jöckel, L., Reich, J., “Handling Uncertainties of Data-Driven Models in Compliance with Safety Constraints for Autonomous Behaviour,” Proceedings of European Dependable Computing Conference (EDCC 2021), Munich, Germany, 2021.
7. Jöckel, L., Kläs, M., “Could We Relieve AI/ML Models of the Responsibility of Providing Dependable Uncertainty Estimates? A Study on Outside-Model Uncertainty Estimates,” Proceedings of International Conference on Computer Safety, Reliability and Security (SAFECOMP 2021), York, UK, 2021.
8. Groß, J., Adler, R., Kläs, M., Reich, J., Jöckel, L., Gansch, R., „Architectural patterns for handling runtime uncertainty of data-driven models in safety-critical perception,” Proceedings of International Conference on Computer Safety, Reliability and Security (SAFECOMP 2022), Munich, Germany, 2022.
9. Gerber, P., Jöckel, L., Kläs, M., “A Study on Mitigating Hard Boundaries of Decision-Tree-based Uncertainty Estimates for AI Models,” Proceedings of Artificial Intelligence Safety (SafeAI 2022), 2022.
10. Groß, J., Kläs, M., Jöckel, L., Gerber, P., “Timeseries-aware Uncertainty Wrappers for Uncertainty Quantification of Information-Fusion-Enhanced AI Models based on Machine Learning,” Proceedings of International Conference on Dependable Systems and Networks Workshops (DSN-W), Porto, Portugal, 2023. 10.1109/DSN-W58399.2023.00061.
11. Jöckel, L., Kläs, M., Groß, J., Gerber, P., “Conformal Prediction and Uncertainty Wrapper: What Statistical Guarantees Can You Get for Uncertainty Quantification in Machine Learning?” Proceedings of WAISE 2023 at International Conference on Computer Safety, Reliability and Security (SAFECOMP 2023), York, UK, 2023.
12. Jöckel, L., Kläs, M., Popp, G., Hilger, N., Fricke, S., “Uncertainty Wrapper in the medical domain: Establishing transparent uncertainty quantification for opaque machine learning models in practice,” Submitted to European Dependable Computing Conference (EDCC 2024), Leuven, Belgium, 2024. (arxiv.org/abs/2311.05245).