bwDataArchiv - Archivierung von Forschungs- und Bibliotheksdaten

Beschreibung

Heute gibt es keine Wissenschaft ohne digitale Daten. Daten von wissenschaftlichen Experimenten, von Messungen, Analysen und Simulationen, sollen am KIT langfristig aufbewahrt werden. Die Aufbewahrung dieser digitalen Daten ist nicht nur aus rechtlichen Gründen wichtig, sondern verpflichtet auch schon aufgrund der historischen Werte der Daten. Am Scientific Computing Center (SCC) des KIT wird die Menge dieser Daten in der nächsten Zeit stark ansteigen, unter anderem aufgrund der Rolle des KIT als Archivstandort für Baden-Württemberg. Innerhalb des vom Ministerium für Wissenschaft Forschung und Kunst (MWK) in Baden-Württemberg geförderten Landesprojekts „bwDataArchiv“ wird das SCC seine technische Infrastruktur für die langfristige Archivierung von wissenschaftlichen Daten aus Forschungseinrichtungen und Bibliotheken, sowie von Daten der Großrechner des Höchstleistungsrechenzentrums Stuttgart (HLRS) weiter ausbauen. Im Rahmen des Projekts bwDataArchiv sollen Technologien entwickelt und eingesetzt werden, die eine strukturierte, verlässliche und sichere Langzeitspeicherung von mehr als einem Exabyte bis 2020 ermöglichen.

Unter anderem sind die folgenden Fragestellungen von Interesse:

• Wie vereinfacht man den Prozess der Datenarchivierung auch für IT-ferne Wissenschaftsgemeinden?
• Welche sicherheitsrelevanten Aspekte spielen bei Langzeitspeicherung eine Rolle?
• Wie kann die Datenintegrität effizient in Archiven von hunderten Petabytes sichergestellt werden? 

Ziele

Im Projekt sind etablierte und zuverlässige Techniken zur digitalen Langzeitspeicherung ausgewählt und in den Betrieb überführt. Ziel ist der Aufbau einer technischen Infrastruktur zur Langzeitspeicherung und die Etablierung eines Dienstes als Basis für verlässliche Langzeitarchivierung von wissenschaftlichen und kulturrelevanten Daten.

Der neuen Dienst ist am Januar 2017 in Betrieb gegegangen. Im ersten Schritt wird der initiale Dienst für das KIT bereitgestellt. Anhand erster Erfahrungen soll der Dienst für weitere Nutzer etabliert werden und im Hinblick auf Integrität, Nutzbarkeit und Verfügbarkeit weiterentwickelt werden. Weitere Informationen zum Dienst "bwDataArchiv"

Förderung und Kooperationen

Das bwDataArchiv-Projekt wird vom Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg gefördert und arbeitet eng mit den DFG-Projekten RADAR, dem Landesprojekt bwDataDiss, im Rahmen des Helmholtz-Projekts LSDMA mit verschiedenen wissenschaftlichen Communities sowie den internationalen Projekten EUDAT, Human Brain Project (HBP) und dem World Wide LHC Computing Grid (WLCG) zusammen.