Advanced Map/ Reduce Algorithms on Hadoop (Wintersemester 2009/2010)

Lecturer: Prof. Dr. Felix Naumann (Information Systems) , Dr. Alexander Albrecht (Information Systems)

General Information

• Weekly Hours: 2
• Credits: 3
• Graded: yes
• Enrolment Deadline: 06.11.2009
• Teaching Form:
• Enrolment Type: Compulsory Elective Module

Programs

• IT-Systems Engineering MA

Description

In diesem Seminar werden aktuelle Web Mining Techniken diskutiert, implementiert und evaluiert. Dabei entwickeln die Teilnehmer ihre Lösung mit dem MapReduce-Framework Apache Hadoop, einer Java-basierte Software-Plattform für das verteilte Verarbeiten großer Datenmengen. Die folgenden Themen werden im Rahmen dieses Seminars angeboten:

• Detecting Near Duplicates for Web Crawling, Manku et al., WWW 2007
• Brute force and indexed approaches to pairwise document similarity  
  comparisons with MapReduce, Jimmy Lin, SIGIR 2009
• Efficient search ranking in social networks, Vieira et al., CIKIM 2007
• The PageRank Citation Ranking: Bringing Order to the Web, Page, Lawrence and Brin, Sergey and Motwani, Rajeev and Winograd, Terry, Technical Report, Stanford InfoLab, 1999
• Scalable Distributed Reasoning using Map Reduce,  Urbani et al., ISWC 2009
• Distributed Algorithm for Computing Formal Concepts Using Map-Reduce Framework, Petr Krajca and Vilem Vychodil, IDA 2009
• Graph Twiddling in a MapReduce World, Cohen and Jonathan, Computing in Science and Engineering, 2009
• DisCo: Distributed Co-clustering with Map-Reduce, Spiros Papadimitriou and Jimeng Sun, ICDM 2008

Requirements

Literature

labs.google.com/papers/mapreduce.html
hadoop.apache.org

Learning

Projektseminar im Umfang von 2 SWS

Examination

• Teilnahme an allen Seminarterminen
• Anwesenheit bei Konsultationen
• Implementierung einer Map/Reduce Lösung in Java
• Präsentation der implementierten Lösung, inkl. Demo, als Vortrag am Ende des Semesters. Dauer: 30 Minuten Vortrag + 15 Minuten Diskussion
• Ausarbeitung (4 - 5 Seiten)
• Abschlussnote berücksichtigt die folgenden Punkte
  • Implementierte Lösung
  • Präsentation / Vortrag
  • Ausarbeitung
  • Mündliche Beteiligung 

Dates

• Dienstag 15:15 – 16:45
• Erste Session: 20.10.2009

Zurück