Hasso-Plattner-Institut
Prof. Dr. Felix Naumann
 

Deep Learning für Text Mining

Dozent: Dr. Ralf Krestel

Sprache: Deutsch

Lehrform: Geplant ist Präsenzlehre (pro Einheit Vorlesungs- und Übungsanteile) unter Berücksichtigung der Abstandsregeln und zusätzliches Streamen der Einheiten. Wir werden jedoch die Pandemieentwicklung beobachten und gegebenenfalls die Veranstaltung komplett virtuell durchführen.

Leistungserfassung: Klausur

Organisation: Infos und Materialien über Moodle (Link: https://moodle2.uni-potsdam.de/course/view.php?id=26540 Einschreibeschlüssel: DL4TM)

Ort und Zeit:

  • Montags 11:00 Uhr bis 12:30 Uhr in F E.06 und online via Zoom (Link in Moodle)
  • Dienstags 15:15 Uhr bis 16:45 Uhr in F E.06 und online via Zoom (Link in Moodle)

Beschreibung

Methoden des Deep Learnings haben in den letzten Jahren klassische Verfahren des maschinellen Lernens in vielen Bereichen überflügelt. Neben Computer-Vision ist das auch in den Bereichen Natural Language Processing und Textmining mehr und mehr der Fall. Wir möchten in dieser Veranstaltung eine Einführung in grundlegende Konzepte des Deep Learnings im Bereich Text Mining geben. Anhand praktischer Beispiele werden Word Embeddings und Recurrent Neural Networks als zentrale Methoden vorgestellt. Des weiteren befassen wir uns mit fortgeschrittenen Themen, wie beispielsweise Attention-based Networks oder generativem Deep Learning.

Wir haben den Kurs so gestaltet, dass wir wärend der Vorlesung immer wieder praktische Übungen machen werden. Das Mitbringen eines eigenen Laptops wird daher empfohlen.

Um das theoretische Wissen der Vorlesung zu verfestigen und auf die Klausur vorzubereiten wird es insgesamt 3 Übungsblätter geben. Jedes Übungsblatt wird auch eine praktische Programmieraufgabe beinhalten, welche die Anwendung von Deep Learning für Text Mining in den Mittelpunkt stellt.

Voraussetzungen

Ein Grundlagenwissen in Wahrscheinlichkeitstheorie wird vorausgesetzt, ebenso in linearer Algebra und insbesondere Differentialrechnung. Eine selbständige Auffrischung dieses Wissens wird von den Studierenden, falls nötig, erwartet. Da wir neben der praktischen Anwendung auch die theoretischen Grundlagen verstehen wollen, ist ein Vertiefung mathematischer Kenntnisse unumgänglich.

Lernziele: Studierende können ...

  • Unterschiedliche Netztypen für Textmining erklären
  • Anwendungsgebiete im Bereich Textmining identifizieren
  • Geeignete Netzwerkarchitekturen auswählen
  • Komponenten von neuronalen Netzen erklären
  • Deep Learning in Python anwenden
  • Eigene Text-Anwendungen entwerfen, implementieren und evaluieren
  • Die theoretischen Grundlagen verstehen, insbesondere den Backpropagation-Algorithmus von Hand anwenden
  • Grenzen von Deep Learning erkennen und haben einen Überblick über die aktuelle Forschung
  • Gesellschaftliche Folgen des DL abschätzen und diskutieren

Zeitplan

Woche   Thema 
1. Einführung
1   1.1 Einführung 
2   1.2 Grundlagen ML + NLP 
3   1.3 Neuronale Netze 1 + 2 
4   1.4 Q&A 1 + Grundlagen TM 
5   1.5 Praxis 1 + Übungsblatt 1 
2. Grundlagen
6   2.1 Word Embeddings 1 + 2 
7   2.2 Recurrent Neural Networks 1 + 2 
    Akademische Weihnachtsferien 
    Akademische Weihnachtsferien 
8   2.3 Convolutional Neural Networks + Q&A 2 
9   2.4 Praxis 2 + Übungsblatt 2 
3. Fortgeschrittene Themen
10   3.1 Seqence-to-Sequence Modelle 
11   3.2 Generatives Deep Learning 
12   3.3 Transformer Modelle + Q&A 3 
13   3.4. Praxis 3 + Übungsblatt 3 

Literatur

Einführende, vorlesungsbegleitende Literatur

  • Deep Lerning with Python von Francois Chollet [Amazon]

Fortgeschrittene Literatur

  • Deep Learning von Ian Goodfellow, Yoshua Bengio, und Aaron Courville [Amazon]

Materialien zur Vorlesung und Übung finden Sie in Moodle