Erklärbare KI: Er bringt Licht ins Dunkel der Blackbox

22.10.2025

KI ist eine Blackbox. Das hört man häufig, wenn von komplexen Anwendungen der künstlichen Intelligenz die Rede ist. Denn je herausfordernder die Aufgabe ist, die eine KI erfüllen soll, desto schwerer wird es, nachzuvollziehen, wie genau die KI zu ihrem Ergebnis kommt. Der Forschungsbereich der Erklärbaren KI befasst sich deshalb damit, die inneren Vorgänge der KI besser zu verstehen, um Vertrauen zu erhöhen.  

Der HPI-Masterstudent Marius Dörbandt verbrachte die drei Sommermonate am Massachusetts Institute of Technology und untersuchte, was in einem KI-Modell während der Trainingsphase passiert. Das Projekt ist Teil der Forschungskooperation zwischen dem HPI und der MIT Morningside Academy for Design (MAD). Teil von Marius Teams auf MIT-Seite sind PhD-Student Rem Yang und Postdoktorand Charles Jin. Geleitet wird ihre Forschung von Prof. Martin Rinard am MIT und Prof. Robert Hirschfeld am HPI.  

Während seiner Zeit am MIT bekam Marius neben seiner Forschung auch den Semesterstart und die Willkommensangebote für neue Studierende mit. Im Interview berichtet er von seinem Projekt – und auch seinen persönlichen Erfahrungen, fernab der Forschung. 

Hasso-Plattner-Institut (HPI): Worum geht es in deinem Projekt, einfach erklärt? 

Marius Dörbandt: Moderne KI-Modelle wie ChatGPT durchlaufen meistens mehrere Trainingsphasen. Die größte ist das Pre-training, in der das meiste Wissen angereichert wird. Danach folgen aber noch kleinere, sogenannte Fine-Tuning Phasen. In diesen wird den Modellen z. B. beigebracht, wie sie gewisse Aufgaben lösen sollen. Ich forsche daran, was innerhalb der Modelle passiert, während die Modelle Fine-Tuning Phasen durchlaufen. Dazu nutze ich sogenannte Probes. 

HPI: Was sind Probes, wie funktionieren sie? 

Marius: Probes sind vergleichsweise winzige KI-Modelle. Als Eingabe erhalten sie die "Nerven-Impulse", die innerhalb eines großen Modells fließen. Daraus sollen sie dann gewisse Informationen extrahieren. In meinem Fall programmiert das Modell einen kleinen Roboter, um ihn durch eine virtuelle Welt voller Wände zu einem Zielpunkt zu navigieren. Eine Probe soll z. B. herausfinden, ob der Roboter gerade vor einer Wand steht. Wenn die Probe es schafft, diese Information aus den Impulsen zu extrahieren, dann ist das ein Indiz dafür, dass das Modell ein internes Verständnis der virtuellen Welt hat und tatsächlich weiß, was es tut, wenn es den Roboter programmiert. 

HPI: Welche Frage wollt ihr in eurem Projekt beantworten? 

Marius: Was passiert mit Probes, während das zugehörige KI-Modell eine Fine-Tuning Phase durchläuft? 

HPI: In welchen Kontexten könnte das, woran ihr arbeitet, eingesetzt werden? Bei welchen Herausforderungen könnte es helfen? 

Marius: Ich hoffe, meinen kleinen Teil zum besseren Verständnis der Interna von großen KI-Modellen beizutragen. KI wird häufig als Black Box beschrieben und Forschung an Interpretability / Explainable AI hilft dabei, KI mehr zu einer White Box zu machen. 

HPI: Du durftest den Semesterstart am MIT miterleben. Wie ist das, wenn ein neues Semester losgeht und sich der Campus mit neuen und wiederkehrenden Studierenden füllt?  

Marius: Zunächst einmal gibt es viele Willkommensevents, z. B. von meinem Wohnheim oder den verschiedenen Studierendenklubs. Wir waren auch auf zwei Fraternity-Partys. Da ist wahrscheinlich auch das skurrilste passiert: Wir standen etwas abseits vor dem Eingang der Fraternity, wo lauter (vermutlich) Studienanfänger versucht haben, auf die Party zu kommen. Wie aus dem Nichts kam ein Fraternity-Mitglied auf uns zu und fragte uns, ob wir MIT-Studierende seien. Daraufhin hat er uns an der langen Schlange vorbei durch den Hintereingang hineingelotst. Dadurch haben wir ein bisschen mitbekommen, wie die Fraternities so drauf sind, waren dann aber nicht sehr lange auf der Party. 

Außerdem haben natürlich die Vorlesungen angefangen, wovon ich mir auch ein paar angehört habe. Schließlich sieht man auch einfach wesentlich mehr Leute, wenn man über den Campus spaziert oder in einem der vielen öffentlichen Räume sitzt. Ein toller Nebeneffekt von einem volleren Campus ist, dass man spontan mit anderen Studierenden etwas machen kann, z. B. war ich auf dem Weg nach Hause, als mir eine Gruppe Studierender aufgefallen ist, die quasi vor meinem Büro Volleyball gespielt haben. Daraufhin habe ich gefragt, ob ich dazukommen kann und habe dann eine ganze Weile mit ihnen gespielt. 

HPI: Was hast du in deiner Freizeit am MIT gemacht? 

Marius: Ich habe versucht, meine kurze Zeit dort gut zu nutzen und so viele Aktivitäten wie möglich mitzunehmen. Ich lernte gerne verschiedene Teile von Boston kennen, anfangs über den Freedom Trail, aber ich habe auch schon verschiedene Viertel besucht, wie das italienische North End oder China Town. Mit den drei anderen Studierenden vom HPI habe ich auch einen Wochenendtrip nach New York City gemacht. Dort haben wir uns neben den klassischen Sightseeing-Aktivitäten auch ein Football-Spiel angesehen. In Boston habe ich mir auch ein Baseball-Spiel angesehen. Sowohl in NYC als auch in Boston sehe ich mir gerne Kunst- und Wissenschafts- bzw. Natur-Museen an - ein Highlight war hier auch die Whale Watching Tour vom New England Aquarium. Auf der sozialen Seite besuchte ich gerne Events von Vista, der Visiting Student Association des MITs, darunter ein zweiwöchentliches Treffen in einem MIT-Pub und wöchentliches Mittagsessen. Ich habe auch gerne die vielen Sport-Angebote vom MIT und meinem Wohnheim genutzt.  

HPI: Was war dein absolutes Highlight abseits deiner Arbeit? 

Marius: Der NYC-Trip, dicht gefolgt von der Whale Watching Tour und dem Ausflug nach Provincetown. 

HPI: Was würdest du dir wünschen, dass das MIT vom HPI übernimmt? 

Marius: Friday Beers! 

HPI: Und andersherum? 

Marius: Ich glaube das MIT und das HPI sind sich recht ähnlich, nur ist am MIT alles größer. Es gibt dort zum Beispiel ein großes Sportzentrum für viele verschiedenen Sportarten. Was mir auch aufgefallen ist - vielleicht auch, weil ich dazu gehörte - ist die Größe der internationalen Community am MIT. Am HPI ist die internationale Community einfach noch kleiner.  

HPI: Wie geht es nach deinem Aufenthalt mit dem Projekt weiter? 

Marius: Wir haben auf ein Paper hin gearbeitet. Der Plan war, dass ich vor Ort die Experimente fertigstelle und wir gegen Ende meines Aufenthalts anfangen, am Paper zu schreiben. Jetzt wo ich zurück bin, werden wir dann das Paper fertigstellen. 

HPI: Was ist dein Top Learning des Aufenthalts? 

Marius: KI-Training dauert richtig lange, selbst wenn man auf 12 GPUs gleichzeitig arbeitet.  

Vielen Dank für das Interview, Marius! 

Mehr Informationen zu den Forschungskooperationen vom HPI gibt es hier.