09.11.2020

Interaktives Supercomputing mit JupyterLab

Mit JupyterLab können Forschende des KIT nun sehr einfach mit einem Webbrowser von jedem Arbeitsplatzrechner aus direkt mit den Hochleistungsrechnern des SCC interagieren. Damit bieten sich auch neue Möglichkeiten für Lehrveranstaltungen.

Ein JupyterLab Notebook, das auf dem HPC-Cluster des SCC läuft.

Das Projekt Jupyter [1] begann vor einigen Jahren. Es entwickelte sich zu einem Projekt, das heute ein vollständiges Open-Source-Ökosystem für Programmierung, Datenexploration und Codeausführung darstellt. Am wichtigsten ist jedoch, dass Jupyter eine neue Art des Supercomputings bietet, die ein interaktives Arbeiten mit Kernels, Texteditoren und Datenvisualisierungen auf HPC-Systemen ermöglicht.

Seit Ende Oktober  bietet das SCC Jupyter als Service an [2]. Neben dem klassischen Zugang via SSH, ist nun auch der Zugriff via Webbrowser auf alle HPC-Systeme des SCC interaktiv möglich. Für das Tier-3 System, bwUniCluster2.0 + GFB-HPC, die neuen KI/ML-GPUs der HAICORE-Partition und das Tier-2 Bestandssystem ForHLR II sind dedizierte Warteschlangen für Jupyter reserviert. 

Dies minimiert Wartezeiten und ermöglicht gerade neuen Nutzerinnen und Nutzern unserer HPC-Systeme eine niedrige Einstiegsschwelle.

Zur Nutzung von Jupyter auf den HPC-Ressourcen des SCC gelten die jeweiligen Zugriffsvoraussetzungen. Die Registrierung der Zugangs über bwidm.scc.kit.edu/ wird vorausgesetzt. Der Jupyter-Service ist nur innerhalb des KIT-Netzes erreichbar. Soll der Dienst von außerhalb verwendet werden, muss zunächst eine VPN-Verbindung ins KIT-Netz hergestellt werden. 

Referenzen:

[1] Eine ausführliche Dokumentation des Jupyter Projekts findet sich unter jupyter.readthedocs.io.

[2] Weitere Informationen zum Jupyter-Service in der Servicebeschreibung

 

Kontakt am SCC: Jennifer Buchmüller, Samuel Braun
 

Achim Grindler