Mitfahrbänke auf der Überholspur: ChatGPT als High-Speed-Analyst für Umfrageergebnisse

Die fortschreitende Digitalisierung hat erhebliche Auswirkungen auf verschiedene Bereiche des täglichen Lebens, einschließlich der Mobilität. Mitfahrbänke werden in vielen Kommunen Deutschlands aufgestellt, um eine nachhaltige und kostengünstige Lösung abseits des motorisierten Individualverkehrs anzubieten. Leider werden sie in der Praxis oft nicht oder nur gering genutzt. Im Projekt »Smarte.Land.Regionen« erproben wir, das Fraunhofer IESE, ob eine digitale Lösung die Nutzung von Mitfahrbänken steigern kann. Um die tatsächlichen Bedürfnisse und Anforderungen der künftigen Nutzer*innen zu ermitteln, haben wir einen Fragebogen erstellt und dessen offene Fragen mithilfe von ChatGPT ausgewertet. In diesem Blogbeitrag stellen wir die Vorteile und Grenzen dieser Methode vor und geben ein Ausblick auf zukünftige Entwicklungen.

Hintergrund

In ländlichen Regionen, in denen der öffentliche Nahverkehr unzureichend ist, erweisen sich Mitfahrbänke als beliebte Option, um Personen ohne eigenen PKW mobil zu machen. Sie sind kostengünstig einzurichten und sollen Bürger*innen motivieren, auf den Bänken wartende Personen mitzunehmen. Über Erhebungen wurde auch ermittelt, dass die Bevölkerung in ländlichen Regionen eine große Offenheit dafür mitbringt, Personen ihrer Nachbarschaft mitzunehmen. Trotzdem werden die Bänke nach ihrer Errichtung selten genutzt. Innerhalb des Projekts »Smarte.Land.Regionen« beschäftigen wir uns damit, inwieweit eine digitale Lösung die Bänke besser nutzbar machen kann.

Um die Gründe für die geringe Nutzung und die Bedürfnisse und Anforderungen an eine digitale Mitfahrbanklösung zu ermitteln, haben wir neben Workshops vor Ort und einer ausführlichen Recherche auch eine Umfrage durchgeführt. Dabei war es uns wichtig, neben quantitativen Angaben auch Raum für offene Fragen zu lassen. Ziel war es, den 221 Teilnehmenden die Möglichkeit zu geben, ihre Antworten frei zu formulieren, was zu tieferen Einsichten und vielfältigeren Informationen führt.

Das Auswerten von Freifeldtexten bedarf allerdings einer ausführlichen und damit zeitaufwändigen Analyse. Wir entschieden uns dazu, die Antworten versuchsweise mithilfe von ChatGPT – einer Applikation, die Large-Language Models (LLM) benutzt – auszuwerten. Um adäquate Ergebnisse sicherzustellen, wurden die Daten zusätzlich manuell ausgewertet.

Auswertung von Umfrageergebnissen mittels ChatGPT

ChatGPT 3.5

Um die Hindernisse und Bedarfe hinsichtlich einer Mitfahrbanklösung zu ermitteln, enthielt der Fragebogen eine Reihe offener Fragen, wie beispielsweise »Gibt es spezifische Gründe, weshalb Sie bisher noch nicht mitgefahren sind, obwohl Sie sich das vorstellen können?« oder »Wie könnte eine digitale Mitfahrbanklösung aussehen, die Sie nutzen würden?«. Die Antworttexte zu diesen Fragen wurden extrahiert und durchnummeriert. Dies geschah, um zu überprüfen, ob die Anzahl der von ChatGPT ausgegebenen Antworten korrekt war.

Anschließend wurden die nummerierten Antworten an ChatGPT übermittelt, mit der Bitte, die Antworten in vier bis sieben Cluster zu gruppieren.

Abbildung 1: Screenshot der Frage an ChatGPT

Das Ergebnis sah beispielsweise bei der Frage »Was hindert Sie daran, die Mitfahrbänke zu nutzen?« folgendermaßen aus:

Abbildung 2: Screenshot der Antwort von ChatGPT (im Mai 2023 mit ChatGPT 3.5)

Bei diesem Beispiel wurden die Gruppierungen im Nachhinein manuell angepasst, und Cluster 1, 2 und 4 wurden zusammengefasst, da sie alle das Thema Sicherheit betreffen. Unsere initiale Vermutung, dass Sicherheitsbedenken neben mangelnder Verlässlichkeit einen zentralen Hinderungsgrund bei der Nutzung darstellen, wurde bestätigt.

ChatGPT 4

Wir wiederholten die Frage einige Monate später mit ChatGPT 4. Hierbei war ein nachträgliches Zusammenfassen der Cluster nicht mehr nötig und die Nummern der entsprechenden Antworten wurden mit ausgegeben, was deren Nachvollziehbarkeit erhöht.

Abbildung 3: Screenshot der Antwort von ChatGPT (im Oktober 2023 mit ChatGPT 4)

ChatGPT bietet auch die Möglichkeit, neben den Problemen Lösungsansätze basierend auf den Antworten der Umfrage-Teilnehmenden zu formulieren. Die Gegenüberstellung von Problemen und Lösungsansätzen kann die Lösungsidee inspirieren.

Abbildung 4: Screenshot der Antwort von ChatGPT (im Oktober 2023 mit ChatGPT 4). Nicht nur Analysen, sondern auch Ideen können basierend auf den ermittelten Daten generiert werden.

Insgesamt hat uns das Analysieren mit ChatGPT geholfen, die Gründe der Nicht-Nutzung zu verstehen und diese in unserer Lösung zu adressieren. So gibt es in unserer Lösung die Möglichkeit, sich offiziell zu authentifizieren und Fahrer*innen zu bewerten, sowie die Option, nur Mitfahrten bei Frauen anzufragen.

Einschätzung: ChatGPT als Unterstützung bei der Ermittlung von Umfrageergebnissen?

Vorteile

ChatGPT ermöglichte eine effiziente Analyse und Auswertung von Umfragen und besonders von Freitextfeldern. ChatGPT erkannte die Inhalte der offenen Fragen und erleichterte die Gruppierung, Zusammenfassung und Quantifizierung ähnlicher Aussagen. Die Qualität der Cluster war vergleichbar mit menschlicher Einschätzung. Lediglich bei der Aggregation der Antworten zu einzelnen Clustern gab es teilweise Unterschiede.

Insgesamt vereinfacht der Prozess die Identifikation von Kernanliegen der Nutzergruppen und erleichtert das Priorisieren von Features hinsichtlich der künftigen Lösung. Zudem kann diese Auswertung in Kombination mit demografischen Daten zur Verbesserung oder auch zur initialen Erstellung von Personas (Stellvertreter*innen der künftigen Nutzergruppen) genutzt werden.

Die Vorteile der Auswertung mit ChatGPT liegen in der schnellen und automatisierten Analyse großer Mengen von Textdaten. Wir konnten keine subjektiven Einflüsse feststellen und halten die Auswertung für objektiv. Darüber hinaus ist die Methode skalierbar und kann leicht auf eine Vielzahl von Fragebögen und Nutzergruppen angewendet werden, wodurch umfassendes Feedback schnell erfasst werden kann.

Grenzen

Allerdings gibt es auch Grenzen bei der Auswertung mit ChatGPT. Zum einen kann schwer nachgeprüft werden, ob ChatGPT Schwierigkeiten hat, komplexe oder spezifische Anforderungen vollständig zu verstehen. Dies kann zu einer begrenzten Genauigkeit bei der Auswertung führen. Selbst bei geringfügigen Änderungen in der Wortwahl erzeugt das Modell teilweise unterschiedliche Ergebnisse in Bezug auf Anzahl und Inhalt der Cluster. Ein Beispiel hierfür liegt in der Frage nach Bedenken bezüglich der Nutzung von Mitfahrbänken vor, bei der das Wort »Sicherheit« teilweise in zwei Cluster aufgeteilt wurde (Cluster 1: Sicherheitsbedenken und Misstrauen, Cluster 2: Mangelndes Vertrauen in fremde Fahrer und Unsicherheit), während es teilweise in einem einzigen Cluster einsortiert wurde. Gründe dafür sind das komplexe Zusammenspiel von Sprachverarbeitung und Wahrscheinlichkeiten bei der Textgenerierung sowie die Herausforderung, konsistente Interpretationen in vielfältigen und nuancierten Texten zu gewährleisten.

Fazit

Gemäß den oben dargestellten Erkenntnissen sollte trotz des Einsatzes von ChatGPT eine menschliche Nachbearbeitung und kritische Hinterfragung erfolgen. Zusätzlich ist zu beachten, dass bei wiederholten Fragen, selbst mit gleichem Inhalt, unterschiedliche Ergebnisse erzielt werden. Ein weiteres Problem ist die Rechenschwäche von ChatGPT, weshalb die Anzahl der Antworten pro Cluster nur als Richtwert zu verstehen ist. Wenn es allerdings nicht um absolute Genauigkeit geht, sondern um Trendanalysen, ist ChatGPT ein nützliches Hilfsmittel.

Ausblick

In Zukunft werden sich durch die Verwendung von LLMs zur Erstellung und Auswertung von Fragebögen vielversprechende Möglichkeiten für die Anforderungsermittlung von digitalen Lösungen anbieten. Durch kontinuierliche Verbesserungen der KI-Modelle wird die Effektivität dieses Vorgehens zunehmen und dessen Einschränkungen werden wahrscheinlich überwunden werden. Unser Ziel ist es, die Anwendung von LLMs zur Verbesserung der Anforderungserhebung für digitale Lösungen weiter intensiv zu erforschen. Wir möchten herausfinden, ob sie in Zukunft auch für interaktivere Formen der Anforderungserhebung und -spezifizierung genutzt werden können, sei es zur Priorisierung von Anforderungen oder zur direkten Integration in Live-Workshops mit Abfragen.