-
Lustre
-
Lustre ist ein paralleles, verteiltes Dateisystem, welches in großen Cluster-Computing-Umgebungen Einsatz findet. Der Name Lustre leitet sich aus Linux und Cluster ab.
- Ansprechpartner:
Dateisystem Lustre
Das parallele Dateisystem Lustre zeichnet sich durch eine sehr hohe Durchsatzleistung und eine sehr gute Skalierbarkeit aus. Es wird vom SCC seit Anfang des Jahres 2005 produktiv auf verschiedenen HPC-Systemen eingesetzt. Ein vom SCC betriebenes und Lustre nutzendes HPC-System ist derzeit vor allem der Landesrechner bwUniCluster 2.0. Derzeit gibt es auf den HPC-Systemen ingesamt 3 Lustre Dateisysteme mit einer Speicherkapazität von 5,5 PiB, 17 Servern und mit mehr als 1700 Clients.
Weitere Informationen findet man in den User Guides der verschiedenen HPC-Systeme.
Artikel zu Lustre
Eine sehr gute Einführung zu Lustre in deutscher Sprache wurde am KIT im Rahmen einer Studienarbeit erstellt. Sie findet sich hier.
Weitere allgemeine Informationen zu Lustre finden Sie auch in diesem Artikel, der auch im September 2005 in den RZ-News veröffentlicht wurde.
Vorträge zu Lustre
Informationen zu Erfahrungen mit der Administration sowie zur Nutzung von Lustre finden Sie in folgenden Vorträgen:
- Einführungsveranstaltung im Rechenzentrum (2005): Filesystems on SSCK's HP XC6000 (14 Seiten pdf, 210 KB)
- HP-CAST 4 in Krakau (10.5.2005): Experiences & Performance of SFS/Lustre Cluster File System in Production (17 Seiten pdf, 150 KB)
- ISC 2005 in Heidelberg (24.6.2005): Experiences with HP SFS / Lustre in HPC Production (16 Seiten pdf, 190 KB)
- HP-CAST 5 in Seattle (11.11.2005): Experiences with 10 Months HP SFS / Lustre in HPC Production (16 Seiten pdf, 140 KB)
- HP-CCN in Seattle (12.11.2005): Performance Monitoring in an HP SFS Environment (12 Seiten pdf, 220 KB)
- SGPFS 5 in Stuttgart (4.4.2006): Experiences with HP SFS / Lustre at SSCK (20 Seiten pdf, 210 KB)
- ISC2006 in Dresden (27.6.2006): Parallel File Systems and Impact of Blade Systems (15 Seiten pdf, 290 KB)
- HP-CCN in Tampa (11.11.2006): Latest Production Experiences with HP SFS (15 Seiten pdf, 176 KB)
- RZ Chalk and Talk in Karlsruhe (30.11.2006): Parallel File Systems Compared (21 Seiten pdf, 230 KB)
- xc2 Introduction Workshop in Karlsruhe (12.1.2007): The Parallel File System HP SFS/Lustre on xc2 (19 Seiten pdf, 210 KB)
- HP-CAST 8 in Karlsruhe (8.5.2007): SFS Troubleshooting and Monitoring Tools (7 Seiten pdf, 60 KB)
- HP-CCN in Karlsruhe (9.5.2007): Latest Experiences with HP SFS (12 Seiten pdf, 200 KB)
- ISC2007 in Dresden (27.6.2007): Experiences with SFS/Lustre in Multi-user Production Environments (12 Seiten pdf, 180 KB)
- HP-CAST 12 in Madrid (12.5.2009): Experiences with different HP SFS/Lustre systems at KIT/SCC (19 Seiten pdf, 631 KB)
- SIMLAB@KIT in Karlsruhe (29.11.2010): Using file systems at HC3 (13 Seiten pdf, 1040 KB)
- bwGRiD Face-to-face Treffen in Karlsruhe (1.3.2011): Assistance in Lustre administration (15 Seiten pdf, 1200 KB)
- European Lustre Workshop 2011 in Paris (26.9.2011): Lessons learned from Lustre file system operation (17 Seiten pdf, 1500 KB)
- SCC-Seminar in Karlsruhe (5.10.2011): Lessons learned from parallel file system operation (24 Seiten pdf, 2100 KB)
- OpenSFS booth at SC'13 (18.11.2013): Lustre at KIT (3 Seiten pdf, 98 KB)
- Internal SCC Storage Workshop at KIT (16.4.2014): The parallel file system Lustre (10 Seiten pdf, 234 KB)
- Lustre Administrators and Developers Workshop 2014 in Reims (22.9.2014): Challenges in making Lustre systems reliable (15 Seiten pdf, 399 KB)
- Lustre Administrators and Developers Workshop 2015 in Paris (22.9.2015): Lustre tools for ldiskfs investigation and lightweight I/O statistics (14 Seiten pdf, 578 KB)
- Lustre Administrators and Developers Workshop 2016 in Paris (21.9.2016): Performance of and experiences with Lustre over a long distance InfiniBand connection (24 Seiten pdf, 809 KB)
- HPC I/O in the Data Center Workshop (HPC-IODC) im Rahmen der ISC 2017 in Frankfurt (22.6.2017): Extraordinary HPC file system solutions at KIT (20 Seiten pdf, 667 KB)
- Lustre Workshop am DKRZ Hamburg (6.10.2022): Using Experiences with Lustre, Spectrum Scale and BeeOND at KIT (10 Seiten pdf, 309 KB)
- EOFS Workshop an der TU Dresden (22.2.2024): Using Lustre jobstats for automatic user alerts about high I/O usage (10 Seiten pdf, 362 KB)
- Monthly Storage Talks bei der GWDG (6.6.2024): Experiences with Lustre, Storage Scale and BeeOND at KIT (5 Seiten pdf, 277 KB)