Mit dem Paper "Feed-Forward Optimization With Delayed Feedback for Neural Network Training" hat ein Team von Wissenschaftlerinnen und Wissenschaftlern des SCC unter der Leitung von Prof. Dr. Achim Streit den Best Paper Award auf der International Conference on Neural Information Processing im Dezember 2024 gewonnen.
Das Paper stellt eine neue Methode vor, um künstliche neuronale Netze mit approximativen Gradienten energieeffizienter und mit größerer Übereinstimmung mit realen, biologischen neuronalen Netze zu trainieren. Üblicherweise werden neuronale Netze mit einem iterativen Gradientenverfahren trainiert, indem die Netzwerkparameter wiederholt in Richtung des negativen Gradienten aktualisiert werden. Die dazu notwendigen Gradienten werden meist mit dem Backpropagation-Algorithmus berechnet, doch dieser basiert auf Rückwärtsschritten und ist biologisch nicht plausibel, rechenintensiv und limitiert die Parallelisierbarkeit.
Inspiriert von der Funktion biologischer Nervensysteme hat das Team des SCC eine neue Methode entwickelt, diese Gradienten mithilfe von zusätzlichen randomisierten Feedback-Verbindungen und verzögerten Fehlersignalen nur mit Vorwärtsschritten zu approximieren. Dieser Ansatz bietet eine Alternative zum rechen- und energieintensiven Backpropagation-Algorithmus und hat das Potenzial, die benötigte Energie pro Epoche um bis zu 25% zu reduzieren. Durch das Verzichten auf den Rückwärtsschritt löst er außerdem zwei Kernpunkte der biologischen Unplausibilität und ermöglicht neue Parallelisierungsansätze.
Diese Arbeit wurde durch den Impuls- und Vernetzungsfonds der Helmholtz Gemeinschaft im Rahmen der Helmholtz AI Plattform und HAICORE∂KIT gefördert.
Kontakt: Dr. Markus Götz
Preprint: https://arxiv.org/abs/2304.13372
Katharina Flügel (SCC)