bwGRiD

Das Scientific Computing Center (SCC) des Karlsruher Institut für Technologie (KIT) bot im Rahmen der vom BMBF geförderten D-Grid-Initiative virtuellen Organisationen die Möglichkeit, Rechenzeit auf verschiedenen Clustersystemen und Speicherplatz zu nutzen. Speziell für bwGRiD betrieb das SCC einen Cluster und das zentrale Storagesystem.

Die Rechner-Cluster im bwGRiD bestanden aus insgesamt 101 IBM Blade Center, die an sieben der neun Universitäten untergebracht waren, davon 10 in Karlsruhe. Auch die anderen Standorte Freiburg, Mannheim/Heidelberg, Stuttgart, Tübingen, Ulm/Konstanz liessen sich in gleicher Weise nutzen. In jedem Blade Center waren 14 HS21 XM Blades eingesteckt, von denen jedes mit

  • 2 Quad-Core Intel Xeons mit 2,8GHz,

  • 16GB Hauptspeicher

  • Gigabit Ethernet

  • Infiniband-Adapter

bestückt war. Der Standort Esslingen verfügte über weitere 180 Rechenknoten mit je 8 Cores. Die Infiniband-Vernetzung an den einzelnen Standorten erfolgte mit Switchfabrics von Voltaire vom Typ Grid Director ISR 2012. Beim Infiniband handelte es sich um 4-fach DDR.

Folgende Verzeichnisse standen zur Datenspeicherung zur Verfügung:

  • Das Home-Verzeichnis waren auf allen Knoten sichtbar und dienten zur permanenten Datenhaltung. Die Daten wurden mittels Tivoli Storage Manager (TSM) auf Band gesichert.

  • Scratch-Verzeichnisse konnten wie an den anderen Standorten mit dem ws_allocate-Mechanismus angelegt werden und waren auf allen Knoten sichtbar.

  • Jeder Rechenknoten besaß auf der internen Festplatte sein eigenes /tmp-Verzeichnis mit 120 GB Speicherplatz, der für temporäre Daten während der Job-Laufzeit verwendet werden konnte.

Die Home- und Scratch-Verzeichnisse lagen in einem von HP gelieferten Lustre-Filesystem. Die Speicherplatzgröße betrug 32 Tbyte bei einem maximalen Durchsatz von 1,5 GB/s.

Als Betriebssystem wurde Scientific Linux 5.5 eingesetzt. Neben der Basis-Linuxdistribution waren eine Vielzahl von weiteren Softwarepaketen auf den Systemen vorinstalliert.

Der Zugriff auf den Karlsruher Cluster war mit den folgenden Middleware-Systemen möglich:

  • Globus Toolkit 4.0.x: bwgrid-cluster.scc.kit.edu

  • Unicore 5: bwgrid-unicore.scc.kit.edu (VSite: KIT-bwGRiD-Cluster)

  • GSISSH Interactive Node: bwgrid-cluster.scc.kit.edu (Port 2222)

 

Um mit Grid-Middleware auf die Ressourcen zugreifen zu können, war ein Grid-Zertifikat und eine Mitgliedschaft in der Virtuellen Organisation (VO) bwGRiD oder einer anderen D-Grid-VO erforderlich. 

 

Neben den Computing Resourcen verfügte das bwGRiD über ein zentrales Storage System. Als Software wurde ebenfalls Lustre eingesetzt. Die Hardware bestand aus folgenden Komponenten:

  • Festplatten: 768 1TB SATA und 48 146 GB SAS

  • Speichersysteme: 18 HP MSA2212fc und 50 MSA2000 JBODs

  • Speichernetzwerke: 8 16-Port FibreChannel Switche

  • Serversysteme: 12 HP DL380G5 mit FibreChannel und InfiniBand Adaptern

  • Kommunikationsnetzwerk: 1 24-Port Infiniband DDR Switch

  • Middleware- oder Client-Systeme: 6 HP DL380G5 mit InfiniBand und 10 GE Adaptern

Diese Ressource stand ausschließlich Benutzern der VO bwgrid zur Verfügung. Der Speicher verteilte sich auf zwei Dateisysteme:

  • Backup (/bwfs/backup), 128 TByte (mit Backup)

  • Work (/bwfs/work), 256 TByte (kein Backup)


Der Zugriff war mit den folgenden Middleware-Systemen möglich:

  • GridFTP: bwgrid-se.scc.kit.edu

  • GSI-SSH: bwgrid-se.scc.kit.edu