Der letzte Schritt in einem Datenintegrationsprozess, nachdem Schemamatching und Duplikaterkennung durchgeführt worden sind, ist das Zusammenführen unterschiedlicher, sich u.U. widersprechender, Repräsentationen ein und desselben Objektes in eine einzige konsistente Repräsentation. Diesen Schritt bezeichnet man als Datenfusion. Er zielt darauf ab, die in den Attributwerten vorhandenen Unsicherheiten und Widersprüche zu entfernen.

Im Rahmen des HumMer Systems wurde eine Datenfusionskomponente implementiert. Diese erlaubt es, spaltenweise Konfliktlösungsfunktionen auf Daten anzuwenden. Die Funktionen werden auf Gruppen von Tupeln angewendet, die jeweils ein Objekt repräsentieren. Am Ende wird dem Nutzer eine einzige, fusionierte, Repräsentation pro Objekt präsentiert. Die Fusionskomponente erlaubt es weiterhin durch Ausnutzung von Lineage-Information Konflikte in den Daten farblich hervorzuheben, wie auf dem Bild rechts zu sehen ist.

Weitere Informationen liefert die Webseite zum HumMer-Projekt.

Data fusion is the final step of a typical data integration process, after schematic conflicts have been overcome and after duplicates have been correctly identified.  During this step, multiple, possibly contradicting representations of one and the same real world object are combined into one single consistent representation. Data fusion aims at removing uncertainties and contradictions that are present among attribute values.

We implemented a data fusion component as part of the HumMer system. This component allows to specify and apply conflict resolution functions per column. The functions are apply to groups of tuples which each represent an object. At the end, the system shows the user only one single, fused, representation per object. The fusion component also allows to mark conflicts in the data by different colors, using lineage information. This could be seen on the image to the right.

Please find more information on the HumMer project page.

Neben der von uns entwickelten "FUSE BY"-Anweisung gibt es in der Literatur noch eine Reihe weiterer Vorschläge Daten zu fusionieren, die alle über ihre eigenen Vor- und Nachteile verfügen. Mit dem FuSem-Sytem (abkürzend für FusionsSemantiken) geben wir dem Nutzer die Möglichkeit mehrere dieser unterschiedlichen Arten Daten zu fusionieren auszuprobieren. Zu den momentan zur Verfügung stehenden Techniken stehen neben "FUSE BY" rein SQL basierte Techniken (wie z.B. outer union, outer join), der MERGE Operator, der MatchJoin, sowie der ConQuer-Ansatz aus dem Bereich des consistent query answering.

Neben der - falls möglich auch optimierten - Ausführung dieser Fusionstechniken bildet der Vergleich unterschiedlicher Fusionsergebnisse einen weiteren Schwerpunkt dieses Systems. Dies geschieht zum einen durch den tabellarischen Vergleich zweier oder mehrerer Fusionsergebnisse, zum anderen aber auch durch eine graphisch Ansicht. Mit Hilfe von Venndiagrammen werden gleiche und unterschiedliche Fusionsergebnisse dargestellt. Die graphische Darstellung vereinfacht es einem Nutzer unterschiedliche Fusionssemantiken zu testen, zu vergleichen und schlußendlich die für die aktuelle Aufgabe geeignetste Art der Fusion zu finden.

Weitere Informationen liefert die Webseite zum FuSem-Projekt.

Besides the "FUSE BY" statement developed within our research group, a couple of other approaches to fuse data can be found in the literature, each one with their respective advantages and disadvantages. With the FuSem (abbreviatory for fusion semantics) we allow the user to test several of these different ways of fusing data. Currently, we support - in addition to purely SQL based techniques (such as outer union, outer join) - the MERGE operator, MatchJoin and the ConQuer approach from the field of consistent query answering.

Besides the - if possible, optimized - execution of these data fusion techniques, a second focus of the system is the comparison of different fusion results that have been produced using the techniques. This is done by comparing two or more results directly (comparing the tables), but also graphically. Same and different fusion results are illustrated using Venn diagram. This graphical view simplifies testing and comparing multiple and finally choosing one way of fusing the data, the most appropriate way for the task at hand.

Please find more information on the FuSem project page.