»Soft-Sensor as a Service« – Effektivierung und Automatisierung kognitiver Sensorsysteme

Sensorsysteme, deren Kalibrationsmodell nicht auf physikalischen Gleichungen, sondern auf maschinell – »kognitiv« – gelernten Parametersätzen basiert, sog. Softsensoren, sind eine Schlüsseltechnologie für die Erfassung des komplexen biologischen Systems »Pflanze« mittels Feldsensorik vor dem Hintergrund komplexer biotischer und abiotischer Stressfaktoren. Für die effektive und robuste Nutzung dieser Technologie müssen ingenieurtechnische Herausforderungen bewältigt werden.

Ansatz Soft-Sensorik

Vereinfacht gesagt besteht ein Sensorsystem aus zwei Komponenten. Die erste Komponente ist ein Hardwareelement, welches eine bestimmte Eigenschaft eines Objektes durch einen physikalischen Effekt am Detektor in ein systematisch abhängiges Signal oder Verhalten umsetzt. Die zweite Komponente ist ein Kalibrationsmodell, welches dieses Signal oder Verhalten auf die zu bestimmende Eigenschaft eines Objektes abbildet. Ein einfaches Beispiel ist ein klassisches Thermometer, welches aus den Komponenten der Ausdehnung einer Flüssigkeit (Verhalten am Detektor) und einer 2-Punkt-Kalibrierung (Gefrier- und Siedepunkt von Wasser) einen Sensor für die Messgröße Temperatur aufbaut. Die Sensorkalibrierung basiert hier also auf sehr gut untersuchten physikalischen Gesetzmäßigkeiten.
Bei der Messung von Eigenschaften im Pflanzenmaterial, noch dazu nicht-invasiv im Feldbestand, sind diese physikalischen Gesetzmäßigkeiten schwieriger zu greifen. Hier sind in der Regel komplexe metabolische Reaktionen involviert, deren Zusammenhang mit den zu messenden Pflanzeneigenschaften nicht trivial und häufig nicht ausreichend bekannt ist. Für die nicht-invasive Messung bietet sich vor allem optische Messtechnik an. In der Feldsensorik setzt man hier auf multi- oder hyperspektrale Sensorik, die neben dem visuellen Bereich auch den Infrarotbereich des Lichtes (elektromagnetisches Spektrum) erfasst. Der gemessene Reflexionsgrad des Pflanzenmaterials steht im systematischen Zusammenhang mit Eigenschaften wie Nährstoffversorgung oder Krankheitsbefall durch Veränderung des Stoffwechsels in der Pflanze. Diese systematische Abhängigkeit ist aber sehr schwierig physikalisch-chemisch zu formulieren.

Der Ansatz eines Softsensors besteht darin, statt eines physikalisch formulierten Kalibrationsmodells ein datengetriebenes Kalibrationsmodell mithilfe von Methoden des maschinellen Lernens zu erstellen. Dabei wird ein mathematisches Modell in seinen Parametern anhand von Beispieldaten, die durch systematische Feldmessungen erhoben wurden, optimiert. Das »Lernen« in »maschinellem Lernen« ist technisch gesprochen eine Parameteroptimierung. Sprachassistenten wie Amazons »Alexa« oder Fahrassistenzsysteme wie Teslas »Autopilot« sind bekannte Realisierungsformen dieses Ansatzes.

Herausforderungen des industriellen maschinelles Lernens

Der ingenieurtechnische Einsatz von maschinellem Lernen (ML) und daraus erzeugten Modellen in technischen Geräten ist, obwohl die Konzepte neuronaler Netze schon lange in der Wissenschaft Verwendung finden, ein sehr junges, aber aufstrebendes Technologiefeld. Dementsprechend gibt es immer noch weitestgehend ungelöste Herausforderungen:

• Es fehlen Template-Lösungen für wiederkehrende Problemstellungen.
• Es fehlen Vorgehensmodelle für die Erstellung von ML-integrierenden technischen Systemen.
• Es fehlen Vorgehensmodelle für das Lifecycle-Management von Modellen.
• Es herrscht eine geringe Standardisierung in der Beschreibung von ML-Modellen.
• Es herrscht eine geringe Standardisierung beim Einsatz von ML-Modellen.

Kurz gesagt, bei der Erstellung von Systemen mit ML-Komponenten herrscht weitestgehend das Vorgehensmodell der klassischen Manufaktur vor – wenig Standardisierung, viel Einzelanfertigung.

Unsere Hypothese ist daher: Um industriell in der Softsensorik einsetzbar zu sein, muss maschinelles Lernen selbst zum Industrieprodukt werden. Diesen Ansatz verfolgen wir in zahlreichen Anwendungen.

Automatisiertes maschinelles Lernen (AutoML)

Ein Schritt in Richtung Lösung der skizzierten Herausforderungen beginnt bei der Kerntechnologie maschinelles Lernen selbst. Automatisiertes maschinelles Lernen (AutoML) ist der Überbegriff für aktuelle Bestrebungen, die Erstellung und Validierung von Modellen weitestgehend zu automatisieren. AutoML ist quasi die nächste Stufe des maschinellen »Lernens«, in der nicht nur die numerischen Parameter des Modells, sondern alle Aspekte des Modells automatisch optimiert werden, von der Netzwerkstruktur über mögliche Merkmalsextraktionen bis hin zur Anzahl der Optimierungsparameter. Generische AutoML-Dienste für weitverbreitete Problemstellungen wie Farbbilderkennung und Sprachdatenauswertung werden inzwischen von großen IT-Firmen angeboten und massiv vorangetrieben.

Das Fraunhofer IFF setzt bereits seit vielen Jahren auf den Einsatz automatisiert gelernter Softsensorsysteme, welche auf das spezielle Anwendungsgebiet der hyperspektralen Bildauswertung im Bereich »Smart Farming« und Züchtung optimiert sind. Dazu wurde durch die Abteilung Biosystems Engineering die HawkSpex® Flow Plattform entwickelt, die bisher als internes Werkzeug zur Abwicklung von F&E-Projekten eingesetzt wurde und nun vermehrt für die Erstellung von ML-Diensten Verwendung findet.

Automatisierter Softsensor-Workflow

Ein automatisiertes ML-Grundsystem ist aber nur der Anfang. Die nächste Stufe ist die Konfiguration eines automatisierten Workflows mittels der HawkSpex® Flow Plattform, der einen klar umrissenen Softsensor Use Case abbildet. Dieser Workflow konkretisiert das Softsensorsystem weiter, z.B. ob der Sensor als Anomaliedetektor, als Klassifikator oder als quantitatives Prognosemodell arbeiten soll. ML-Methoden und Verarbeitungselemente des Workflows werden passend zu den Eigenschaften der Inputdaten konfiguriert, z.B. ob das System Zeitreihen oder Snapshotdaten, vektorielle oder funktionelle Daten oder Daten mit einer spezifischen Kodierung / Semantik verarbeiten soll. Durch den modularen Aufbau lassen sich hier wiederverwendbare Template-Lösungen für ähnliche Problemstellungen erzeugen und systematisieren.

Nachfolgend kann dieses Workflowsystem durch Virtualisierung (z.B. als Docker Container) zu einem Webdienst verpackt werden und in einer beliebigen Cloud-Infrastruktur gehostet werden. Das Fraunhofer IFF ist damit in der Lage, automatisierte, problemspezifische Softsensordienste für den Einsatz beim Kunden anzubieten, entweder gehostet durch das IFF oder für den Einsatz in der IT-Infrastruktur des Kunden oder bei kommerziellen Drittanbietern.

Bereitstellung Kalibrationsmodell

Die Entwicklung der Software-Frameworks für das maschinelle Lernen geht beständig hin zu Hoch- und Interpretersprachen auf immer abstrakteren Komplexitätsleveln. Gleichzeit muss das Softsensormodell bei der Liveauswertung der Daten möglichst hardwarenah eingesetzt werden. Weiterhin ist das Feld der ML-Frameworks einem beständigen und rasanten Wandel unterlegen. Frameworks wie Tensorflow (Google LLC) haben es innerhalb weniger Jahren geschafft, das komplette Technologiefeld zu durchdringen und auf den Kopf zu stellen. Daraus folgt, dass ein entwickeltes ML-Modell unabhängig vom Lern-Framework beschrieben werden muss und dass eine Trennung zwischen High-Level ML bei der Modellerstellung und Low-Level ML bei der Modellausführung notwendig ist. Dieser Prozess, aktuell als »Model Serving« bezeichnet, wird vom Fraunhofer IFF seit Jahren systematisch verfolgt und vorangetrieben. Dazu wurde vom Fraunhofer IFF eine Bibliothek namens HawkSpex® Embedded entwickelt, welche ein in Parameter und Funktion beschriebenes ML-Modell laden und hardwarenah am Sensor einsetzen kann. Diese Komponente findet in klassischen Desktoprechnern, in Embedded Systemen wie Smartphones oder Haushaltsgeräten sowie auf industrieller Edge Hardware Verwendung und ist unser singulärer Bereitstellungpunkt für ML-Modelle.

Zusammenfassung

Die F&E-Arbeiten des Fraunhofer IFF in den letzten Jahren haben die Validität des Einsatzes von Softsensorik für die landwirtschaftliche und züchterische Feldsensorik gezeigt. Die verwendete Kerntechnologie des maschinellen Lernens wird jetzt zunehmend ingenieurtechnisch eingesetzt und unterliegt noch großen Herausforderungen, welche typisch für die Überführung von wissenschaftlicher Methodik in die technische Praxis sind. Die Fraunhofer-Gesellschaft sieht sich, ihrem Leitbild entsprechend, in der Verantwortung, diese Umsetzung zu gestalten und voranzutreiben.

Zu diesem Zweck entwickelt das Fraunhofer IFF die Methoden und Werkzeuge, die für die Lösung der skizzierten Herausforderungen notwendig sind. Das Fraunhofer-Leitprojekt COGNAC bietet hier die idealen Rahmenbedingungen, um diese Entwicklungen zu vertiefen und innerhalb des Konsortiums nutzbar zu machen.

Weitere Informationen:

• Website des Fraunhofer IFF
• Website des Centrums für Industrielle Intelligenz

Lesen Sie weitere Artikel aus dem Bereich Smart Farming und dem Fraunhofer Leitprojekt »COGNAC«