Hasso-Plattner-Institut
Prof. Dr. Felix Naumann
 

Deep Learning für Text Mining

Dozent: Dr. Ralf Krestel

Tutoren: Tim Repke, Julian Risch

Sprache: Deutsch

Ort und Zeit: Vorlesung jeweils Donnerstags um 9:15 in Raum F-E 06 (Raumänderungen möglich, siehe Zeitplan)

Beschreibung

Methoden des Deep Learnings haben in den letzten Jahren klassische Verfahren des maschinellen Lernens in vielen Bereichen überflügelt. Neben Computer-Vision ist das auch in den Bereichen Natural Language Processing und Textmining mehr und mehr der Fall. Wir möchten in dieser Veranstaltung eine Einführung in grundlegende Konzepte des Deep Learnings im Bereich Text Mining geben. Anhand praktischer Beispiele werden Word Embeddings und Recurrent Neural Networks als zentrale Methoden vorgestellt. Des weiteren befassen wir uns mit fortgeschrittenen Themen, wie beispielsweise Attention-based Networks oder generativem Deep Learning.

Wir haben den Kurs so gestaltet, dass wir wärend der Vorlesung immer wieder praktische Übungen machen werden. Das Mitbringen eines eigenen Laptops wird daher empfohlen.

Um das theoretische Wissen der Vorlesung zu verfestigen und auf die Klausur vorzubereiten müssen insgesamt 3 Übungsblätter bearbeitet werden. Ein selbstgewähltes praktisches Projekt stellt die Anwendung von Deep Learning für Text Mining in den Mittelpunkt.

Voraussetzungen

Ein Grundlagenwissen in Wahrscheinlichkeitstheorie wird vorausgesetzt, ebenso in linearer Algebra und insbesondere Differentialrechnung. Eine selbständige Auffrischung dieses Wissens wird von den Studierenden, falls nötig, erwartet. Da wir neben der praktischen Anwendung auch die theoretischen Grundlagen verstehen wollen, ist ein Vertiefung mathematischer Kenntnisse unumgänglich.

Lernziele: Studierende können ...

  • Unterschiedliche Netztypen für Textmining erklären
  • Anwendungsgebiete im Bereich Textmining identifizieren
  • Geeignete Netzwerkarchitekturen auswählen
  • Komponenten von neuronalen Netzen erklären
  • Deep Learning in Python anwenden
  • Eigene Text-Anwendungen entwerfen, implementieren und evaluieren
  • Die theoretischen Grundlagen verstehen, insbesondere den Backpropagation-Algorithmus von Hand anwenden
  • Grenzen von Deep Learning erkennen und haben einen Überblick über die aktuelle Forschung
  • Gesellschaftliche Folgen des DL abschätzen und diskutieren

Zeitplan

   DatumThemaLiteratur
1. Einführung
1  18.10.181.1 Einführung 
2  25.10.181.2 Neuronale Netze 1 
3  01.11.18 DE.9/101.3 Grundlagen Maschinellen Lernens 
4  08.11.181.4 Neuronale Netze 2 
5  15.11.18 HS 31.5 Praxis I: Neuronale Netze 
2. Grundlagen
6  22.11.182.1 Word Embeddings I 
7  29.11.182.2 Word Embeddings II 
8  06.12.182.3 Recurrent Neural Networks I 
9  13.12.182.4 Recurrent Neural Networks II 
10  20.12.182.5 Convolutional Neural Networks 
3. Klausur
   27.12.18Akademische Weihnachstferien 
   03.01.18Akademische Weihnachstferien 
   10.01.19Klausur 
4. Fortgeschrittene Themen
11  17.01.184.1 Praxis II: Deep Learning 
12  24.01.194.2 Seqence-to-Sequence Modelle 
13  31.01.194.4 Generatives Deep Learning 
14  07.02.194.5 Praxis III: Projekte 

Literatur

Einführende, vorlesungsbegleitende Literatur

  • Deep Lerning with Python von Francois Chollet [Amazon]

Fortgeschrittene Literatur

  • Deep Learning von Ian Goodfellow, Yoshua Bengio, und Aaron Courville [Amazon]

Materialien zur Vorlesung und Übung finden Sie in Moodle