Large Scale Data Facility (LSDF)
Wissenschaftliche Experimente und Simulationen werden zukünftig immer mehr Daten liefern. Die Verwertung dieser Daten und Informationen benötigt neben modernen Rechenclustern zur Analyse und Interpretation immer auch Speichersysteme, die die steigenden Anforderungen erfüllen können.
Seit 2010 steht Forscherinnen und Forschern des Karlsruher Instituts für Technologie (KIT), ihren Partnern im Land Baden-Württemberg sowie Forschenden in der Helmholtz Gemeinschaft hierfür die Large Scale Data Facility (LSDF) als Multi-Petabyte-Speichersystem zur Verfügung. Die LSDF ist eine zentrale und zuverlässige Speicherressource für große Forschungsdaten aus unterschiedlichen datenintensiven Wissenschaftsdisziplinen.
Die LSDF wird durch das Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg (MWK), durch die Deutsche Forschungsgemeinschaft (DFG) und die Helmholtz-Gemeinschaft gefördert und finanziert und vom Scientific Computing Center (SCC) am KIT betrieben.
Durch die auf der LSDF angebotenen Dienste wird eine bedarfsgerechte Speicherung von Forschungsdaten ermöglicht. Dabei spielen insbesondere eine hohe Kapazität, schnelle Zugriffsmöglichkeiten und Übertragung der Daten, unkomplizierte Zugriffs- und Datenmanagementoptionen sowie die Anbindung an moderne Prozessierungsinfrastrukturen wie die vom SCC betriebenen Hochleistungsrechencluster bwUniCluster und ForHLR eine zentrale Rolle.
Der Zugriff auf die Daten wird über Standardprotokolle gewährleistet. Zugriffsberechtigungen können von den Eigentümern der Daten über Gruppenzugehörigkeiten und Access Control Lists (ACLs) gesteuert werden. Die LSDF bietet momentan (Stand 8/2018) 10 Petabyte Speicher bei einer kombinierten maximalen Lese-Schreib-Geschwindigkeit von 25 Gigabyte/s und wird aktuell von etwa 350 Wissenschaftlerinnen und Wissenschaftlern genutzt.
Die Infrastruktur der LSDF bildet die Basis für verschiedene Dienste und Projekte wie die Helmholtz-Datenföderation (HDF), den B2SAFE-Dienst im Rahmen von EUDAT und den Dienst LSDF Online Storage.
Mit der HDF hat die Helmholtz-Gemeinschaft, koordiniert durch das KIT, mit der Entwicklung einer föderierten Forschungsdateninfrastruktur begonnen. In der ersten Phase werden sechs Partnerzentren aus den fünf Forschungsbereichen Erde und Umwelt, Materie, Gesundheit, Schlüsseltechnologien und Energie zusammengeschlossen. Ein Teil dieser Infrastruktur wird das LSDF-Speichersystem sein.
Der Dienst B2SAFE erlaubt die policy-basierte, standortübergreifende Nutzung großer Forschungsdatenrepositories. In der LSDF wird zum Management und zur Replikation der Daten die Management-Software iRODS verwendet, die als Abstraktionsschicht über dem eigentlichen LSDF-Speicher fungiert.
Der Dienst LSDF Online Storage ermöglicht Nutzern des KIT und deren Partnern im Land Zugriff auf die Speicherressourcen der LSDF. Der Dienst wird von Instituten des Großforschungsbereichs sowie des universitären Bereichs des KIT aus unterschiedlichsten Wissenschaftsdisziplinen genutzt. Unter anderem wird der Dienst durch die KIT-Institute für Angewandte Materialien (IAM), Hydromechanik (IFH), Kolbenmaschinen (IFKM), Astroteilchenphysik (IAP), Meteorologie und Klimaforschung (IMK), Photonenforschung und Synchrotronstrahlung (IPS) und Toxikologie und Genetik (ITG) sowie im Rahmen des SFB/TRR 150 "Turbulente, chemisch reagierende Mehrphasenströmungen in Wandnähe" genutzt. Teile des Dienstes werden in Kooperation mit dem Rechenzentrum der Universität Heidelberg angeboten. Informationen zur Nutzung befinden sich in der Dienstbeschreibung.
Kontakt: Dr. Serge Sushkov
