Beim Federated Learning (FL) wird ein Modell auf mehreren Geräten oder Servern trainiert, ohne dass die Daten das ursprüngliche Gerät verlassen. Dies verbessert den Datenschutz und die Datensicherheit. Die Modelle werden durch Aktualisierungen verbessert, die an einen zentralen Server gesendet werden, anstatt die Daten selbst zu senden. Dieses Verfahren ist effizient und trägt zur Einhaltung von Datenschutzbestimmungen bei.
In diesem Vortrag wird auf das Problem eingegangen, dass FL auf ressourcenbeschränkten Edge-Geräten ausgeführt wird, die oft nur über begrenzten Speicher für Berechnungen verfügen. Wenn der zum Trainieren eines Modells benötigte Speicherplatz diese Grenze überschreitet, wird das Gerät vom Training ausgeschlossen, was die Genauigkeit verringert. Um dieses Problem zu lösen, werden die Parameter des FL-Modells auf den Geräten schrittweise eingefroren, wodurch der Ressourcenbedarf für das Training auf den Geräten reduziert wird und gleichzeitig eine ausreichende Koadaption zwischen den Parametern ermöglicht wird.
Der Vortrag ist öffentlich zugänglich und findet vor Ort am HPI, Campus II, Gebäude L, Raum L-1.06 statt. Wenn Sie teilnehmen möchten, können Sie sich hier anmelden. Die Aufzeichnung wird über die KISZ Guest Talk Serie auf tele-TASK veröffentlicht.
Hintergrund:
Geräte, die am Federated Learning (FL) teilnehmen, verfügen in der Regel über heterogene Kommunikations-, Rechen- und Speicherressourcen. Beim synchronen FL müssen jedoch alle Geräte das Training innerhalb der gleichen, vom Server vorgegebenen Zeit abschließen. Die Ergebnisse zeigen, dass das Training einer kleineren Untermenge des neuronalen Netzes (NN) auf eingeschränkten Geräten, d.h. das Weglassen von Neuronen/Filtern, wie es der Stand der Technik vorschlägt, ineffizient ist und diese Geräte daran hindert, einen effektiven Beitrag zum Modell zu leisten. Dies führt zu Ungerechtigkeiten in der erreichbaren Genauigkeit der eingeschränkten Geräte, insbesondere in Fällen mit unregelmäßiger Verteilung der Klassenetiketten über die Geräte. Khalili stellt eine neue FL-Technik, CoCoFL, vor, die die vollständige NN-Struktur auf allen Geräten beibehält. Um sich an die heterogenen Ressourcen der Geräte anzupassen, friert CoCoFL ausgewählte Schichten ein und quantisiert sie, wodurch die Kommunikations-, Rechen- und Speicheranforderungen reduziert werden, während andere Schichten weiterhin mit voller Präzision trainiert werden, wodurch eine hohe Genauigkeit erreicht wird. Auf diese Weise nutzt CoCoFL die auf den Geräten verfügbaren Ressourcen effizient und ermöglicht es begrenzten Geräten, einen signifikanten Beitrag zum FL-System zu leisten, während die Fairness zwischen den Teilnehmern (Genauigkeitsparität) gewahrt bleibt und die Gesamtgenauigkeit erheblich verbessert wird.
