Die Methoden der künstlichen Intelligenz (KI) haben in der letzten Dekade zu erstaunlichen Durchbrüchen in Wissenschaft und Technik geführt. Dabei zeichnet sich zunehmend ein Trend zur Verarbeitung von immer größeren Datenmengen und dem Einsatz von paralleler und verteilten Rechenressourcen ab [1]. Ein prominentes Beispiel ist das Maschinenübersetzungsalgorithmus Generative Pre-trained Transformer 3 (GPT-3) [2] welches mit 175 Milliarden trainierbaren Parametern auf 285.000 Prozessorkernen und 10.000 Grafikkarten die Grenzen herkömmlicher KI-Hardware sprengt. In der Vorlesung werden den Studierenden die Parallelisierung und Skalierbarkeit verschiedener KI Algorithmen nähergebracht. Hierbei liegt der Fokus auf den Vorteilen und Ansätzen des parallelen Rechnens für KI Methoden, verschiedene verfügbaren Softwarepaketen zur Implementierung sowie den algorithmenspezifischen Herausforderungen. Diese werden anhand verschiedener Beispiele und Algorithmenklassen dargestellt, um die vielfältigen Anwendungsmöglichkeiten für skalierbare künstliche Intelligenz zu illustrieren:

• Skalierbares unüberwachte Lernen
• Skalierbaresüberwachtes Lernen
• Skalierbare Neuronale Netze
• Skalierbare Ensemblemethoden

• Skalierbare Suchverfahren

Darüber hinaus werden auf die Eigenheiten Datenformaten und -management, gängiger Maschinenmodelle sowie auf den Einsatz neuartiger Hardware, z.B. Quantencomputer oder neuromorphe Geräte, diskutiert werden.

[1] Ben-Nun, Tal, and Torsten Hoefler. "Demystifying parallel and distributed deep learning: An in-depth concurrency analysis." ACM Computing Surveys (CSUR) 52.4 (2019): 1-43.

[2] Brown, Tom B., et al. "Language models are few-shot learners." arXiv preprint arXiv:2005.14165 (2020).