Desinformationen in LLMs – HPI-Student forscht am MIT

Von Künstlicher Intelligenz, genauer von Large Language Models (LLMs) generierte Texte sind mittlerweile überall. Menschen nutzen LLMs, um sich bei der Textproduktion helfen zu lassen. Viele benutzen sie aber auch als eine Art Suchmaschine oder eignen sich mit ihnen Wissen an. Deshalb ist es wichtig, dass die in LLMs kursierenden und von ihren generierten Informationen korrekt sind.  

Dass das nicht immer der Fall ist, und was man dagegen tun kann, damit beschäftigt sich HPI-Masterstudent Nick Lechtenbörger gerade während eines dreimonatigen Forschungsaufenthalts am Massachusetts Institute of Technology in den USA.   

Die Möglichkeit zu diesem Aufenthalt bekam er durch die Forschungskooperation zwischen dem HPI und der MIT Morningside Academy for Design (MAD). Teil der Kooperation sind außerdem gemeinsame Forschungsprojekte zwischen den beiden Instituten, sowie regelmäßige gemeinsame Workshops.   

Im Forschungsprojekt mit dem Titel “LLM Harmfulness Benchmark for Climate Change" bearbeitet der 24-jährige in Zusammenarbeit mit Pat Pataranutaporn (Postdoktorand am MIT) unter der Leitung von Pattie Maes (Germeshausen Professor of Media Arts and Sciences am MIT Media Lab).  

Im Interview berichtet er uns mehr von seinem Projekt und davon, wie es ist, in den Forschungskosmos am MIT eintauchen zu dürfen.   

Hasso-Plattner-Institut (HPI): Worum geht es in deinem Projekt?  

Nick Lechtenbörger: In meinem Projekt geht es darum, ein Benchmark (also einen Test zur Leistungsbewertung) zu erstellen, das LLM-Content über den Klimawandel auf "harmfulness", also Schädlichkeit testet. Zum Beispiel soll damit ermittelt werden, ob der Chatbot falsche Fakten eines Users bestätigt, oder ob er absichtlich Desinformationen erfindet, wenn der User danach fragt. Unsere Forschungsfragen sind: Welche Rolle spielen LLMs bei der Verbreitung und dem Verstärken von Klimawandel Misinformationen? Können kommerzielle LLMs dazu benutzt werden in Propagandakampagnen zielgerichtet Social-Media Nutzer zu beeinflussen?  

HPI: Wie kam es zu dem Thema, was interessiert dich daran?  

Nick: Bei ersten Untersuchungen der öffentlichen Meinung zum Klimawandel auf Twitter ist uns aufgefallen, dass ein sehr großer Teil der User den menschengemachten Klimawandel leugnet. Von diesen Tweets waren viele von LLMs generiert. Dass LLMs trotz angeblicher Sicherheitsvorkehrungen und überwältigender wissenschaftlicher Beweise Informationen erfinden, die den Klimawandel leugnen, fanden wir sehr bedenklich. Deshalb haben wir uns entschieden, in dieser Richtung weiterzuforschen und ein Benchmark zu erstellen, mit dem Ziel, gefährliche Antworten zu erkennen und LLM Sicherheitsteams eine Anleitung zu geben, diese problematischen Antworten in Zukunft zu vermeiden.  

HPI: Was ist deine Aufgabe im Projekt?  

Nick: Selbstständiges Erstellen des Benchmarks. Bei Fragen kann ich mich jederzeit an Pat wenden, aber ich darf eigentlich das Thema so erforschen und erarbeiten, wie ich es am sinnvollsten finde. Wenn es nicht gerade 40° mit hoher Luftfeuchtigkeit sind, arbeite ich auch sehr gerne in meiner Hängematte im Garten ;).  

HPI: Wie ist die Forschungskultur am MIT?  

Nick: Der durchschnittliche MIT Student/PhD/Postdoc arbeitet in der Regel deutlich länger als wir in Deutschland. Man spürt, wie wichtig denen ihre Forschung ist. Das Büro ist deren Zuhause, Arbeitsort aber auch social Space. Die Researcher in meinem Büro haben alle ihre eigenen Zeitpläne, aber der erste kommt morgens um 4 und der letzte verlässt abends das Büro um 2 Uhr nachts. Außerdem gibt es viele Projekte, an denen der halbe Lehrstuhl arbeitet.  

HPI: Was ist dein MIT-Highlight abseits deines Forschungsprojekts?  

Nick: Ein Trip nach New York City mit den anderen HPI-Studierenden, die Strände, Wanderungen in New Hampshire, MIT Vista (die Visiting Student Association am MIT), Essen, der American Way Of Life. 

HPI: Was war deine Vorstellung, als du dich für einen Forschungsaufenthalt beworben hast?  

Nick: Ich wollte die Forschung und das Leben an einer der besten Forschungseinrichtungen der Welt erleben. Außerdem wollte ich für meine Zukunftsplanung Forschungserfahrungen sammeln und mich für oder gegen einen PhD entscheiden.  

HPI: Inwiefern haben sich deine Vorstellungen bestätigt oder wurden widerlegt? Womit hast du nicht gerechnet? 

Nick: Ich bin sehr zufrieden mit meinem MIT Aufenthalt und den Freiheiten, an meinem Thema selbstständig zu forschen. Die Betreuung von Katherine, unserer MIT Koordinatorin, möchte ich hier auch nochmal erwähnen, die weit über das, was ich erwartet hätte, hinausgeht. Etwas schade ist es schon, dass ich nicht während der Semesterzeiten hier bin, da sehr viele Studenten über die Ferien nicht in Boston sind und ich dann nicht den normalen Alltag am MIT erleben kann. Leider ist die politische Situation auch gerade etwas unangenehm. Als J1-visa-holder muss ich gerade sehr viel vorsichtiger sein, als ich es sonst wäre.  

Vielen Dank für das Interview, wir wünschen eine weitere schöne Zeit am MIT!