Information Systems
Data Exploration with Profiling Results
With data profiling, we can efficiently detect numerous statistics and dependencies within a given dataset. Such profiling results help to explore the data, its content and inner logic. The amount of discovered metadata is, however, often so overwhelmingly large that interesting patterns and relevant statements are impossible to see. For this reason, this master thesis aims to investigate visual and analytical methods that bring these insights to light. One core task for these methods is to separate random results from semantically meaningful ones - a classification task that could be well suited for machine learning algorithms. Another aspect of data exploration is to find patterns in the metadata, such as cliques, chains, hubs and authorities that help to assess the relevance and the connection of schema attributes. The overall goal of data exploration is to extract possibly many insights about the data from its matadata.
For more information please contact Prof. Felix Naumann or Thorsten Papenbrock.
Progressive Data Profiling
Data profiling is often a very time consuming task. Especially the discovery of complex dependencies, such as functional dependencies (FDs) and inclusion dependencies (INDs), can take many hours or even days. Inspired by the Pareto principle, which says that you can usually get 80% of your tasks done in 20% of your time, this master thesis is about developing a progressive solution for the discovery of FDs/INDs. More specifically, the algorithm should discover as many dependencies as possible in a given amount of time. Such a progressive algorithm would help data scientists to explore their data before expensive exhaustive profiling is conducted. It should also be able to deliver some results for such datasets that cannot be fully profiled due to time or budget restrictions.
For more information please contact Prof. Felix Naumann or Thorsten Papenbrock.
Relationship Extraction for Lazy Data Scientists
Machine learning and deep learning are increasingly seen as silver bullets for many difficult knowledge mining tasks. Stanford’s InfoLab has proposed and provides the novel Snorkel platform (http://hazyresearch.github.io/snorkel/), which alleviates many of the difficult preparatory tasks involved in applying learning methods to real-world problems. In particular, it significantly reduces the painful work of creating training data by reducing the task to the creation of a few simple tagging functions in lieu of manually tagging actual data.
We propose to apply this technique to the notoriously difficult problems of named entity recognition (NER) and relationship extraction (RE). One particular goal is to find out with how few and how simple tagging functions one can get away with.
For more information please contact Prof. Felix Naumann or Michael Loster.
Automatische Textsegmentierung für Geschäftsberichte
Geschäftsberichte sind eine wichtige Informationsquelle für die Risikoabschätzung von Banken. Nach wie vor verbringen viele Mitarbeiter von Banken, Versicherungen und Dienstleistern ihre wertvolle Zeit damit, diese Berichte zu lesen. Ein digitales Verständnis der Dokumente kann dabei helfen, dem Nutzer direkt die für ihn relevanten Passagen zu präsentieren. Alle Geschäftsberichte müssen folgende Bestandteile enthalten: Bilanz (Aktiva und Passiva), Gewinn- und Verlustrechnung, Eigenkapitalveränderungsrechnung, Kapitalflussrechnung, Anhang (Notes) und bei Kapitalmarktorientierung die Segmentberichterstattung.
Die Herausforderung liegt in der Heterogenität der Daten. Diese können sowohl als PDF, als auch in Papierform, bzw. einem hieraus erstellten digitalen Format vorliegen. Bei letzterer Variante spielen OCR-Fehler eine nicht zu vernachlässigende Rolle. Auch können die Dokumente in verschiedenen Sprachen vorliegen. Das Hauptaugenmerk liegt jedoch auf deutschen Dokumenten.
Das Ziel der Masterarbeit ist es, Geschäftsberichte automatisch zu segmentieren und ein Inhaltsverzeichnis zu extrahieren:
- Segmentierung: Auffinden der festen Bestandteile: Lagebericht, Bilanz, GuV, Eigenkapitalveränderungsrechnung, Kapitalflussrechnung und Anhang (Notes).
- Strukturierung: Auf Basis von Schriftgrößen, Fettdruck, Position und anderen Metainformationen soll für das Dokument ein Inhaltsverzeichnis erstellt werden.
Die Wahl der Techniken ist frei und kann zum Beispiel Screen-Scraping zum Erkennen des Seitenlayouts, Similarity Measures um OCR-Fehler zu erkennen, oder Machine Learning zum Erlernen wiederholter Teilstrukturen einschließen. Beispieldaten können sowohl in PDF Form, als auch in vorstrukturierten XML Dateien bereitgestellt werden.
Die Masterarbeit wird in Kooperation mit PPA angeboten: Seit dem Jahr 2000 hat sich die PPA als Dienstleister in der Erfassung von Bilanzdaten fest etabliert. Zu den Kunden zählen die größten und erfolgreichsten Finanzdienstleister aus Deutschland und der Schweiz. Diese profitieren von zuverlässig erfassten Daten für ein Finanzrating nach aktuellen regulatorischen Anforderungen. Über 100 qualifizierte PPA-Mitarbeiter erfassen dafür an den Standorten in Darmstadt und Zürich pro Jahr rund 150.000 Abschlüsse. Die PPA ist inhabergeführt, unabhängig und arbeitet nach den höchsten Quali-tätsmaßstäben.
Bei Interesse wenden Sie sich bitte an felix.naumann@hpi.de
