Eine der Hauptaufgaben von IT-Ingenieuren befasst sich mit dem Problem, Daten automatisch sinnvoll zu organisieren, so dass Datensätze für eine Vielzahl von Anwendungen in der "intelligenten Welt", der künstlichen Intelligenz und der Analytik aller Art nützlich werden. Ein Schlüsselaspekt des Daten-Profiling sind Unique Column Combinations (UCC). Sie identifizieren einzigartige Zeichenketten in Datensätzen und unterstützen verschiedene Aktivitäten zur Datenorganisation. Bis vor kurzem war es nur mit recht großem Laufzeitaufwand möglich, UCCs für mittelgroße Datensätze zu entdecken. Bei großen Datensätzen waren UCCs aufgrund von Laufzeit- und Speicherbeschränkungen nicht auffindbar. Forscher am HPI haben einen neuartigen UCC-Entdeckungsalgorithmus ("HPIValid") entwickelt, der die Laufzeit der UCC-Entdeckung drastisch um mehrere Größenordnungen reduziert und gleichzeitig den Speicherbedarf im Vergleich zu alternativen Algorithmen verringert. Über verschiedene mittelgroße Datensätze hinweg war HPIValid 5-100 Mal schneller, indem es im Durchschnitt nur 5-20 % Speicherplatz beanspruchte. Weitere Informationen...

Experimente am HPI haben gezeigt, dass die Anwendung von heuristischen Algorithmen zur Optimierung submodularer Funktionen, die zur Optimierung des Verkehrs, zur Nutzung von Rohstoffen in der Produktion oder zur Allokation von Gütern auf Märkten eingesetzt werden können, die Laufzeit im Vergleich zu traditionellen Algorithmen um den Faktor 288 reduzieren. Während herkömmliche Software zwei Tage benötigt, um die Lösung für dieses Problem zu berechnen, benötigte der heuristische Algorithmus nur zehn Minuten und reduzierte damit den Energieverbrauch der Rechner auf nur 0,35 % des ursprünglichen Werts.

Rechenzentren der nächsten Generation umfassen eine immer vielfältigere Landschaft von Beschleunigern und Hardware-Architekturen, die jeweils Vorteile für bestimmte Algorithmenklassen oder Anwendungsbereiche bieten. Leider ignoriert die heutige Software diesen Grad der Heterogenität weitestgehend. Durch die Ausführung von Arbeitslasten auf der Hardware, die am besten geeignet ist, kann die Energieeffizienz erheblich verbessert werden; z. B. um den Faktor 10 für Wettersimulationsmodelle, die FPGA-Beschleuniger anstelle von Allzweckprozessoren nutzen.