ADA-FS - Advanced Data Placement via Ad-hoc File Systems at Extreme Scales

Beschreibung

Ein wichtiger Faktor für zukünftige exascale HPC-Systeme ist das Datenmanagement. Lokalität und effizienter Zugriff auf die Daten während einer Simulation sind von großer Bedeutung und tragen entscheidend zur Leistungssteigerung bei.

Auf Prozessor-Ebene gibt es bereits effiziente Methoden zum Vorhalten von Daten, dagegen ist der Zugriff auf globale parallele Dateisysteme immer noch ein einschränkender Faktor. Heutige HPC-Systeme haben teilweise in ihren Rechenknoten lokale Speicher, diese sind jedoch nicht immer aufgrund ihrer Kapazität geeignet und erfordern daher das Nachladen von Daten aus dem globalen HPC Dateisystem.

Üblicherweise werden HPC-Dateisysteme als „shared“ Medium genutzt, d.h. die Leistung wird auf alle aktiven Jobs und Prozesse aufgeteilt. Somit ist es für eine Anwendung kaum möglich die zukünftige I/O-Last des HPC-Dateisystems vorherzusehen. Da die Performance zusätzlich durch die Schnittstelle des globalen parallelen Dateisystems und der Rechenknoten begrenzt ist, würde die Verlagerung der Daten hin zu den Rechenknoten, die Leistung enorm steigern.

Ziele

Durch den Einsatz eines Ad-hoc Overlay Dateisystem soll die I/O-Leistung für hoch parallele Anwendungen verbessert werden. Dazu wird erforscht, wie temporäre Dateisysteme effizient für HPC-Umgebungen bereitgestellt werden können. Diese Dateisysteme sollen dabei exklusiv für einen Job erstellt werden und nur während der Simulation auf den allokierten Rechenknoten, existieren. Die benötigten Daten sollen hierbei schon vor Beginn des Jobs durch eine Integration in das Scheduling-System des HPC-Systems, gefüllt werden. Anschließend sollen die Daten wieder in globale Dateisysteme migriert werden.

Der Forschungsansatz umfasst sowohl den Entwurf des Dateisystems selbst als auch die Fragen nach der richtigen Scheduling-Strategie zur Planung des notwendigen I/O-Transfers.

Partner und Förderung

• Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) an der Technischen Universität Dresden
• Zentrum für Datenverarbeitung (ZDV) an der Johannes Gutenberg-Universität Mainz.
• Scientific Computing Center (SCC) am Karlsruher Institut für Technologie

Das von 02/2016 - 01/2019 laufende Projekt wird durch die Deutsche Forschungsgemeinschaft (DFG) unter dem Schwerpunktprogramm Software for Exascale Computing (SPPEXA) gefördert.