Advanced Map/ Reduce Algorithms on Hadoop (Wintersemester 2009/2010)

Dozent: Prof. Dr. Felix Naumann (Information Systems) , Dr. Alexander Albrecht (Information Systems)

Allgemeine Information

• Semesterwochenstunden: 2
• ECTS: 3
• Benotet: Ja
• Einschreibefrist: 06.11.2009
• Lehrform:
• Belegungsart: Wahlpflichtmodul

Studiengänge

• IT-Systems Engineering MA

Beschreibung

In diesem Seminar werden aktuelle Web Mining Techniken diskutiert, implementiert und evaluiert. Dabei entwickeln die Teilnehmer ihre Lösung mit dem MapReduce-Framework Apache Hadoop, einer Java-basierte Software-Plattform für das verteilte Verarbeiten großer Datenmengen. Die folgenden Themen werden im Rahmen dieses Seminars angeboten:

• Detecting Near Duplicates for Web Crawling, Manku et al., WWW 2007
• Brute force and indexed approaches to pairwise document similarity  
  comparisons with MapReduce, Jimmy Lin, SIGIR 2009
• Efficient search ranking in social networks, Vieira et al., CIKIM 2007
• The PageRank Citation Ranking: Bringing Order to the Web, Page, Lawrence and Brin, Sergey and Motwani, Rajeev and Winograd, Terry, Technical Report, Stanford InfoLab, 1999
• Scalable Distributed Reasoning using Map Reduce,  Urbani et al., ISWC 2009
• Distributed Algorithm for Computing Formal Concepts Using Map-Reduce Framework, Petr Krajca and Vilem Vychodil, IDA 2009
• Graph Twiddling in a MapReduce World, Cohen and Jonathan, Computing in Science and Engineering, 2009
• DisCo: Distributed Co-clustering with Map-Reduce, Spiros Papadimitriou and Jimeng Sun, ICDM 2008

Voraussetzungen

Literatur

labs.google.com/papers/mapreduce.html
hadoop.apache.org

Lern- und Lehrformen

Projektseminar im Umfang von 2 SWS

Leistungserfassung

• Teilnahme an allen Seminarterminen
• Anwesenheit bei Konsultationen
• Implementierung einer Map/Reduce Lösung in Java
• Präsentation der implementierten Lösung, inkl. Demo, als Vortrag am Ende des Semesters. Dauer: 30 Minuten Vortrag + 15 Minuten Diskussion
• Ausarbeitung (4 - 5 Seiten)
• Abschlussnote berücksichtigt die folgenden Punkte
  • Implementierte Lösung
  • Präsentation / Vortrag
  • Ausarbeitung
  • Mündliche Beteiligung 

Termine

• Dienstag 15:15 – 16:45
• Erste Session: 20.10.2009

Zurück