Deep Learning (DL) und große Sprachmodelle (LLM)

Deep Learning, Natural Language Processing (NLP) und Large Language Models (LLMs) treiben die aktuelle IT-Innovation voran und prägen die Art und Weise, wie wir mit Technologie interagieren und von ihr profitieren, neu. Diese bahnbrechenden Technologien sind zu einem zentralen Bestandteil moderner Anwendungen geworden, von der Verbesserung der Benutzererfahrung bis hin zur Automatisierung komplexer Aufgaben.

Am Fraunhofer IESE beschäftigen wir uns mit dem Design und der Entwicklung verlässlicher Lösungen unter Anwendung von Deep Learning, NLP und LLMs. Unser Ziel ist es, diese Technologien so in maßgeschneiderten Systemen zu verwenden, dass Sicherheit und Zuverlässigkeit gewährleistet sind und Ihre digitalen Lösungen davon profitieren.

Deep Learning, ein Unterfeld der Künstlichen Intelligenz (KI), bezieht sich auf Algorithmen, die auf künstlichen neuronalen Netzwerken basieren. Diese Netzwerke sind inspiriert von der Struktur und Funktion des menschlichen Gehirns und bestehen aus Schichten von Knoten oder »Neuronen«. Jede Schicht in einem solchen Netzwerk kann komplexe Muster in Daten erkennen und verarbeiten, was Deep Learning besonders effektiv für Aufgaben wie Bild- und Spracherkennung macht.

Vergleich: Deep Learning vs. Machine Learning

Wie funktioniert Deep Learning?

Deep Learning ist ein Teilgebiet des »Maschinellen Lernens«, bei dem ein Modell durch Exposition gegenüber großen Mengen an Daten trainiert wird. Dies kann als »unüberwachtes Lernen« (engl. Unsupervised Learning) auch ohne gelabelte Daten erfolgen. Dafür benötigen Deep-Learning-Verfahren allerdings sehr große Datenmengen (20-50 Mal mehr als für einfaches Machine Learning). Deep Learning ohne gelabelte Daten benötigt Tausende von Daten pro Merkmal (zum Vergleich: Machine Learning mit gelabelten Daten benötigt etwa 50-100). Während des Trainingsprozesses werden die internen Parameter des Modells angepasst, um Muster und Merkmale in den Daten zu identifizieren. Die »Tiefe« in Deep Learning bezieht sich auf die Anzahl der Schichten im neuronalen Netzwerk. Mehr Schichten ermöglichen es dem Netzwerk, komplexere Muster zu erkennen.

Deep Learning im Unternehmen

Deep Learning zeigt sein volles Potenzial bei der Analyse und Interpretation von umfangreichen Datensätzen, die in Bereichen wie Bildanalyse, Videoverarbeitung, Textverständnis, Musik, Spracherkennung sowie Finanz- und Energieanalysen anfallen. Der initiale Schritt ist die Erkennung von Einsatzmöglichkeiten, bei denen Deep Learning Prozesse automatisieren, Kundeninteraktionen verfeinern, Betriebsabläufe optimieren oder innovative Services und Produkte hervorbringen kann.

Ein praktisches Beispiel ist die Bilderkennung durch Deep Neural Networks, die Objekte oder Gesichter in Bildern erkennen oder Bilder klassifizieren. Mit ausgedehnten Datensätzen können diese Netzwerke komplexe Inhalte erfassen und sich »Wissen« aneignen. Dies zeigt sich bei großen Sprachmodellen wie GPT-4 von OpenAI (genutzt von ChatGPT), Gemini von Google (genutzt von Bard) oder Llama 2 von Meta (genutzt von Meta AI), die mit Milliarden von Datenpunkten trainiert und mit erheblichen Investitionen entwickelt wurden, um eigenständig neue Inhalte zu generieren. Es gibt bereits vorgefertigte Modelle, die als Basis für Finetuning dienen können. Dieses Finetuning ermöglicht eine signifikante Qualitätssteigerung der Use-Case-spezifischen Ergebnisse mit relativ geringem Aufwand und wenig Trainingsdaten, wobei Technologien wie LoRA zum Einsatz kommen.

NLP ist ein Bereich der Künstlichen Intelligenz, der sich auf das Verstehen, Interpretieren und Generieren menschlicher (natürlicher) Sprache fokussiert. NLP-Anwendungen reichen von Textanalyse (wie Sentiment-Analyse und Keyword-Erkennung) über Spracherkennung bis hin zu Sprachgenerierung und -übersetzung. Dabei werden verschiedene Techniken aus der Linguistik und der Informatik, wie z.B. Grammatik- und Syntaxanalyse, semantische Analyse und Maschinelles Lernen genutzt. LLMs bilden eine spezifische Anwendung innerhalb von NLP. Sie sind große, hochkomplexe Modelle, die ein tiefes Verständnis von Sprache und Kontext bieten.

Stellen Sie sich ein System vor, das nicht nur Ihre Sprache versteht, sondern auch in der Lage ist, komplexe Aufgaben wie z.B. die Erstellung zusammenhängender und sinnvoller Textabschnitte, die Beantwortung von Fragen, die Zusammenfassung von Texten, die Erstellung von Inhalten und sogar Softwareentwicklung zu übernehmen. Dies ist keine Szene aus einem Science-Fiction-Film, sondern die Realität, die durch Große Sprachmodelle (engl. Large Language Models, LLMs) ermöglicht wird. Große Sprachmodelle sind neuronale Netzwerke, die darauf trainiert sind, menschliche Sprache zu verstehen und zu generieren. Diese Modelle, darunter prominente Beispiele wie GPT-4 von OpenAI (mit dem KI-Chatbot ChatGPT), PaLM 2 von Google (mit dem AI-Chatbot Bard) oder Chatbot Claude von Anthropic, können komplexe Aufgaben bewältigen, etwa die Erstellung passgenauer Texte, die Analyse und Kategorisierung von Bildern, automatische Übersetzung oder Analyse großer Datenmengen.

• Automatisierte Dokumentation: Ähnlich unermüdlichen Bibliothekar*innen, die Informationen ordnen und katalogisieren, können LLMs dabei helfen, riesige Mengen an technischen Daten und Dokumenten zu organisieren und zugänglich zu machen, was die Effizienz steigert und Fehler reduziert.
  
  
• Semantische Suche: Durch Natürlichsprachliche Verarbeitung (NLP) wird es möglich, die Absicht und den Kontext hinter der Suchanfrage einer Benutzerin oder eines Benutzers zu verstehen – ob die Person beispielsweise Informationen sucht, einen Kauf tätigen möchte oder nach einer bestimmten Website sucht – und dadurch intelligentere und relevantere Ergebnisse zu liefern.
  
  
• Kundensupport: Wie ein stets verfügbarer Kundendienstmitarbeitender können KI-gestützte Chatbots rund um die Uhr effizienten und präzisen Kundenservice bieten, wodurch Ressourcen für komplexere Aufgaben freigesetzt werden.
  
  
• Forschung und Entwicklung: Ähnlich wie innovative Forschende sind LLM-basierte Lösungen in der Lage, blitzschnell durch wissenschaftliche Literatur zu navigieren und wertvolle Erkenntnisse zu gewinnen.
  
  
• Qualitätssicherung: Ähnlich einem akribischen Qualitätsprüfenden können LLMs dabei helfen, Softwarecodes zu analysieren und Fehler zu identifizieren, bevor sie Probleme verursachen.

LLM Innovation Labs

Am Puls der Zeit durch gezielten Einsatz von Large Language Models (LLMs)

Sie planen, von den aktuellen Innovationen im Bereich generativer KI und großer Sprachmodelle zu profitieren? Ihr Einstieg soll jedoch auf einer soliden Basis stehen, die Chancen und Risiken im Blick behält? Unser Data-Science-Team unterstützt Sie mit unserem:

Workshop-Paket »LLM Innovation Labs«

Open-Source LLMs erfolgreich einsetzen

Jetzt Termin vereinbaren

Weitere Informationen:

Blogbeitrag: KI-Sprachmodelle und Tipps zur Nutzung

Blogbeitrag: Open Source Large Language Models selbst betreiben

Blogbeitrag: ChatGPT zur automatisierten Auswertung von Daten

Referenzprojekt: KI-basierte Verdachtsdiagnose in der Medizin

Referenzprojekt: KI-Modell zur Vorhersage von Softwarequalität