Pedro Lopes - Alumni-Portrait

03.07.2019

Prof. Pedro Lopes: Vom HPI an die University of Chicago

Dr. Pedro Lopes promovierte 2018 am Hasso-Plattner-Institut und forschte in seiner Doktorarbeit über interaktive Systeme auf der Grundlage der elektrischen Muskelstimulation. Er wurde von Prof. Patrick Baudisch, Leiter der Forschungsgruppe Human Computer Interaction am HPI, betreut. Kurz nach seiner Promotion wurde Lopes zum Assistenzprofessor an der University of Chicago ernannt, wo er das Human Computer Integration Lab leitet.

Für Sie hat sich viel verändert, und wir würden gerne mehr über Ihre neue Umgebung, die Entwicklung Ihrer Arbeit und Ihre aktuellen Aktivitäten erfahren.

F: Können Sie uns etwas über ihre Arbeit der letzten Monaten berichten?

Das mache ich gerne. Welcher Aspekt meiner Arbeit ist für Sie am interessantesten? 

F: Wie gefällt Ihnen Ihre Arbeit an der University of Chicago? Können Sie Ihre IMS-Forschung fortsetzen und mit Ihrer Studentengruppe an der Weiterentwicklung Ihrer Forschung arbeiten?

Ich bin wirklich glücklich an der University of Chicago. Dort habe ich ein Lab (https://lab.plopes.org) gegründet, das sich mit der Entwicklung interaktiver Geräte befasst, die auf einer sehr physischen Ebene mit den Sensoren und Aktoren unseres Körpers verbunden sind. Das Ergebnis dieser direkten Verbindung ist, dass diese interaktiven Geräte anders sind als die, die wir heute haben (Smartphones, Smartwatches usw.), da unser Körper ein integraler Bestandteil des Geräts ist. Mit diesen Geräten können wir Berechnungen auf neue Weise erleben, beispielsweise über den Tastsinn oder den Sinn für die Position unseres Körpers (auch als Propriozeption bekannt), anstatt nur die Reaktionen des Computers zu sehen oder zu hören, was die traditionelle Art und Weise ist, wie wir Informationen von Computern erhalten. Durch die Nutzung neuer Sinne für die Interaktion mit Computern können wir neue Vorteile für die Computernutzung schaffen. Ein Vorteil, den wir intensiv erforschen, ist, dass wir durch die Nutzung der Propriozeption anstelle unserer Augen Geräte entwickeln können, die gut mit Menschen in Bewegung harmonieren, da wir Displays erstellen können, die nicht visuell sind.

F: Werden Menschen zukünfitg neue Möglichkeiten erhalten, ihre Umgebung zu erleben, abgesehen von Berührung, Geruch, Sicht und Klang?

Fantastische Frage! Lassen Sie mich mit dem physischen Ursprung unserer Erfahrungen beginnen: Im Kern ermöglichen es uns unsere sensorischen Neuronen, auf die Welt zuzugreifen, indem sie uns einige der Eigenschaften der Welt spüren lassen. Beispiele hierfür sind, wie Neuronen in unseren Augen es uns ermöglichen, einige der eintreffenden Photonen wahrzunehmen, die von Objekten in unserer Umgebung reflektiert werden, oder wie Neuronen in unserer Haut es uns ermöglichen, einige Kontakte mit physischen Materie wahrzunehmen. Ich verwende hier das Wort „einige“, weil wir, wie wahrscheinlich die meisten Lebewesen, nicht das gesamte Spektrum unserer Umgebung wahrnehmen, sondern nur das, was unsere Sinne erfassen können. Nun, eine Möglichkeit, Ihre Frage zu beantworten, ist zu sagen, dass wir bereits über unsere physischen sensorischen Grenzen hinaus Erfahrungen machen, da wir Werkzeuge erfunden haben, die uns einen Zugang über unsere sensorischen Schwellenwerte hinaus ermöglichen. Ein klassisches Beispiel ist ein hochauflösendes Mikroskop, das eine sehr geringe Menge an Photonen abbildet, die von Kontakten mit sehr kleinen Materiestücken zurückprallen. Die hier verwendeten Adjektive „klein“ beziehen sich auf unsere menschliche Skala und unsere sensorischen Grenzen. Diese Werkzeuge sind wirklich bahnbrechend. In meiner jüngsten Veröffentlichung, die ich gerade mit Kollegen von der UCL, der FU Berlin und dem HPI herausgegeben habe, haben wir ein solches Werkzeug (die Magnetresonanztomographie) verwendet, um neuronale Prozesse in einem funktionierenden menschlichen Gehirn zu untersuchen, die unsere bloßen Sinne sonst nicht untersuchen könnten. Man kann jedoch auch argumentieren, dass diese Geräte Übersetzungsgeräte und keine neuen Sinnesorgane sind. Das Mikroskop verstärkt die Welt unterhalb unserer visuellen Schwelle zu einem Bild, das unsere Augen verarbeiten können – daher ist es eine sensorische Verstärkung und kein neuer Sinn, den wir gewonnen haben. Daher könnte es eine viel schwierigere Herausforderung sein, einen neuen Sinn von Grund auf neu zu entwickeln, da dies die Schaffung spezialisierter neuronaler Bahnen zur Verarbeitung der eingehenden Informationen erfordert. Dennoch halte ich dies nicht für eine unerreichbare Herausforderung. Diejenigen, die sich mit der Evolution von Lebewesen beschäftigen, haben schon lange nachgewiesen, dass sich Sinne weiterentwickeln. Die natürliche Auslese sorgt also ständig für die Entstehung und Umgestaltung unseres sensorischen Systems. Was die weitaus schwierigere Aufgabe betrifft, mithilfe von Augmentations-Technologie tatsächlich einen neuen Sinn zu schaffen, so wird diese Aufgabe leichter, wenn man den Menschen als eine Einheit aus Körper und Werkzeugen betrachtet. Aus diesem Grund heißt mein Labor auch Human Computer Integration Lab.

F: Wie wichtig können diese „neuen Sinne“ sein? Z. B. für Fernoperationen oder die Erforschung weit entfernter Planeten?

Schauen wir uns einige Beispiele für „neue Sinne“ an, die ich gerade erwähnt habe. Ob man Werkzeuge nun als Erweiterung unseres Körperapparats betrachtet oder nicht, sie sind wirklich transformativ, wenn sie uns Zugang zu der Welt jenseits/unterhalb unserer sensorischen Schwellenwerte verschaffen. Bildgebende Verfahren wie die Magnetresonanztomographie, die Elektroenzephalographie und Mikroskope haben unser Wissen geprägt, und selbst ein HCI-Labor wie das, das ich an der UChicago leite, verwendet diese Werkzeuge! Die meisten dieser Geräte sind stationär und bewegen sich nicht ständig mit uns mit, sodass sie zu Spezialgeräten werden, auf die man nur zugreifen kann, wenn man sich am richtigen Ort (im Labor, im Krankenhaus usw.) befindet. Aber stellen wir uns einmal vor, wir könnten jedes dieser Geräte jederzeit und überall verwenden. Wie wertvoll wären sie dann für uns? Meine Intuition sagt mir, dass sie sehr wertvoll wären. Geräte zur sensorischen Erweiterung, die vielleicht unsere beste Annäherung an einen „neuen Sinn“ sind, können die Art und Weise, wie wir die Welt erleben, wirklich verändern. Ein eindrucksvolles Beispiel ist die Art und Weise, wie Geräte zur sensorischen Erweiterung die Erfahrung von Menschen verändern, die weniger Glück haben und nicht über alle ihre Sinne verfügen, wie z. B. Menschen mit Sehbehinderungen (Blinde, Sehbehinderte usw.). Forscher haben sensorische Ersatzgeräte entwickelt, die beispielsweise ein Bild, das von einer Kamera aufgenommen wird, die eine blinde Person auf dem Kopf trägt, in Vibrationsmuster umwandeln können, die auf der Stirn der Person abgespielt werden, ähnlich wie bei einem „taktilen Bild“. Die Anpassung an diesen neuen Sinn erfolgt nicht sofort, aber mit viel Übung beginnt der Träger, seine neuronalen Bahnen so umzuprogrammieren, dass er die Vibrationsmuster besser nutzen kann, um auf die Welt einzuwirken.

F: Werden wir VR bald fühlen können?

Das ist eine komplexe Frage, die auf viele verschiedene Arten beantwortet werden kann. Aus einer pragmatischen Perspektive könnte man argumentieren, dass Virtual Reality (VR) noch nie so realistisch war und dass wir viele Schritte in die richtige Richtung unternehmen, um noch realistischer zu werden. Wenn man sich den Bereich der Mensch-Computer-Interaktion ansieht (z. B. anhand von zwei der wichtigsten Konferenzen, ACM CHI und ACM UIST), stellt man fest, dass Dutzende von Laboren weltweit ihre gesamte Zeit damit verbringen, neue Wege zu finden, um Berührungen und Kräfte in der virtuellen Realität zu simulieren. Andererseits kann man auch argumentieren, dass dies nur ein kleiner Schritt nach vorne ist, da die Emulation von Berührungen (und wir sind noch weit von einer naturgetreuen Emulation entfernt) nur einer der vielen Sinne ist, die man digitalisieren müsste, um eine „perfekte” virtuelle Realität zu erhalten. Dies ist ein Widerspruch in sich, da eine virtuelle Erfahrung, die sich nicht von der Realität unterscheidet, einfach nur Realität wäre. Kurz gesagt: Wir können uns bereits zu Hause als Teil der VR fühlen (visuelle Eindrücke), andere Teile sind nur einen Schritt von der Forschung entfernt (Kräfte und Berührung), und wieder andere sind noch viele Jahre entfernt (Geruch, Geschmack usw.). Am anderen Ende dieser Skala könnte man argumentieren, dass es nie möglich sein wird, eine perfekte digitale/virtuelle Erfahrung vollständig zu rendern, da dies wahrscheinlich ein umfassendes Verständnis des Menschen voraussetzen würde (z. B. wie unser Gehirn unsere Sinne kodiert). Eine andere, völlig andere Herangehensweise an diese Frage, die einige meiner Studenten bevorzugen, ist, dass VR sowohl für realistische Darstellungen der Realität, die für Schulungen nützlich sind, als auch für Darstellungen „neuer Realitäten“ verwendet werden kann, in denen wir nicht vollständig an die Prinzipien unserer Alltagsrealität gebunden sind.

F: Arbeiten Sie an einem Produktdesign oder ist Ihr Ansatz rein theoretisch?

Mein Ansatz ist weder theoretisch noch bauen wir Produkte. Genau zwischen diesen beiden Polen finden viele unserer Erfindungen und Entwicklungen statt. In meinem Labor bauen wir hauptsächlich funktionale Prototypen, um unsere Ideen zu testen. Durch die Erstellung physischer Prototypen können wir Studien mit Teilnehmern durchführen, um die Wirksamkeit dieser Prototypen besser zu verstehen. Obwohl es sich hierbei um voll funktionsfähige Prototypen handelt, die den üblichen Konstruktionsprozess durchlaufen, betrachten wir sie nicht als Produkte, da wir kein Interesse daran haben, ein Produkt herzustellen, das in den Regalen eines Supermarkts landet (und höchstwahrscheinlich auch nicht über die entsprechende Expertise verfügen).

F: Woran arbeiten Sie derzeit?

Derzeit versuchen wir, die unserer Meinung nach wichtigsten Fragen im Bereich HCI zu beantworten. So haben wir uns beispielsweise mit der Frage der Handlungsfähigkeit beschäftigt. Wir waren neugierig auf viele der haptischen Geräte, die es gibt und die stark genug sind, um den Körper zu bewegen, einschließlich meiner eigenen haptischen Geräte, die ich während meiner Zeit am HPI hergestellt habe, und wir haben uns gefragt, wie es sich anfühlt, von einer externen Kraft bewegt zu werden. In unserem CHI'19-Paper (Video hier) haben wir kürzlich gezeigt, dass diese Geräte zwar die Reaktionszeit unseres Körpers beschleunigen können, was für körperliche Aktivitäten wie Sport nützlich ist, dass sie sich aber auch befremdlich anfühlen können, weil man das Gefühl hat, sich nicht selbst zu bewegen, sondern bewegt zu werden. In diesem Paper haben wir einen Weg gefunden, dieses Paradoxon zu umgehen. Es hat sich herausgestellt, dass das Timing der externen Betätigung für unser Gefühl der Handlungsfähigkeit eine große Rolle spielt. Wir haben herausgefunden, dass eine 80 ms schnellere Aktivierung der Muskeln des Probanden als seine eigene Reaktionszeit zu einer schnelleren als der menschlichen Reaktionszeit führt, aber dennoch einen Großteil seiner eigenen Handlungsfähigkeit bewahrt.

Abgesehen von diesem speziellen Projekt beschäftigen wir uns im Labor mit vielen verschiedenen Aktivitäten. Den Großteil unserer Zeit verwenden wir auf die Entwicklung und den Bau neuer haptischer Geräte. Kurz bevor ich hierher gereist bin, um den Dissertationspreis entgegenzunehmen, haben wir beispielsweise die meiste Zeit damit verbracht, einen neuen Typ von Nervenstimulator zu entwickeln. Ich bin sehr gespannt auf dieses Gerät. Den Rest unserer Zeit verbringen wir mit verschiedenen Aktivitäten, wie z. B. dem gegenseitigen Erlernen neuer Fähigkeiten (z. B. haben wir von unserem letzten Gaststudenten, einem Materialwissenschaftler, viel über Silizium gelernt), dem Studium der Haptikwahrnehmung des menschlichen Körpers (wir führen viele Benutzerstudien durch, die sich kaum von denen unterscheiden, die in einem kognitiven ), Lehrtätigkeit (wir haben an der University of Chicago einen neuen Lehrplan mit drei Kursen zur Mensch-Computer-Interaktion eingeführt) und Erkundung der Stadt. Da sowohl ich als auch die meisten meiner Studenten neu in Chicago sind, verbringen wir einen Teil unserer Zeit damit, die Stadt zu erkunden, z. B. mit Restaurantbesuchen, Messebesuchen, Besuchen von Indoor-Farmen und japanischen Supermärkten!

F: Welche Vision haben Sie für Ihre Arbeit an der University of Chicago?

Meine Vision ist, dass die Zukunft der Mensch-Computer-Interaktion darin besteht, dass Geräte direkter mit dem Körper verbunden werden. Deshalb heißt mein Labor auch „Human Computer Integration”. Ein Beispiel hierfür sind die interaktiven Muskelstimulationsgeräte, die ich während meiner Promotion am HPI entwickelt habe. In meinem Labor an der University of Chicago untersuchen wir gemeinsam mit meinen Studenten, mit welchen anderen Teilen des menschlichen Körpers unsere Geräte verbunden werden könnten. Wir sind beispielsweise der Meinung, dass Virtual Reality mehr sein könnte als nur visuelle, akustische und taktile Reize. Daher untersuchen wir, wie wir auch einige unserer anderen Sinne digital stimulieren können.
Vielen Dank für Ihre Zeit. Es war mir ein Vergnügen, mit Ihnen zu sprechen. Jetzt sind wir noch neugieriger, Ihre zukünftige Arbeit und die Entdeckungen, die Sie in Ihrem Fachgebiet machen werden, zu verfolgen.