Ehemaliger Landeshöchstleistungsrechner HP XC4000

Das SCC betrieb in den Jahren 2007 - 2013 ein HP XC4000 System als Landeshöchstleistungsrechner für Baden-Württemberg. Der auf AMD Opteron Prozessoren basierende massiv parallele Rechner (MPP System) stand einerseits für Projekte aus den Hochschulen des Landes zur Verfügung, die Rechenleistungen benötigten, die durch lokale Ressourcen nicht mehr befriedigt werden konnten, andererseits konnte er auch von der Wirtschaft und der Industrie genutzt werden.

Konfiguration des HP XC4000 Systems

Knoten auf dem HP XC System konnten verschiedene Rollen annehmen. In Karlsruhe gab es

2 Login-Knoten mit jeweils 8 Cores, wobei jeder Knoten eine theoretische Spitzenleistung von 41,6 GFLOPS bereitstellte,
750 Rechenknoten mit jeweils 4 Cores, wobei jeder Knoten eine theoretische Spitzenleistung von 20,8 GFLOPS bereitstellte,
2 Rechenknoten mit jeweils 8 Cores, wobei jeder Knoten eine theoretische Spitzenleistung von 41,6 GFLOPS bereitstellte,
8 Service-Knoten zur Ressourcenverwaltung etc. mit jeweils 4 Cores,
10 Fileserver-Knoten mit netto 56 TB Plattenkapazität und

als Verbindungsnetzwerk ein InfiniBand 4X DDR Interconnect.

Das HP XC4000 System war ein massiv paralleler "distributed memory" Parallelrechner mit insgesamt 772 Knoten, Alle Knoten (bis auf die Fileserver-Knoten) hatten eine Taktfrequenz von 2,6 GHz. Alle Knoten besassen lokalen Speicher, lokale Platten und Netzwerkadapter. Ein einzelner Rechenknoten hatte eine theoretische Spitzenleistung von 20,8 GFLOPS bzw. 41,6 GFLOPS, so dass sich eine theoretische Spitzenleistung von 15,77 TFLOPS für das gesamte System ergab. Der Hauptspeicher über alle Rechenknoten hinweg betrug etwas mehr als 12 TB. Alle Knoten waren durch ein InfiniBand 4X Interconnect miteinander verbunden.

Das Basisbetriebssystem auf jedem Knoten war HP XC Linux für "High Performance Computing"; dies war eine zu RedHat AS 5.1 kompatible Linux Implementierung. Darüber befand sich die parallele Softwareumgebung XC, die dem Anwender die effiziente Nutzung des Parallelrechners erlaubte.

Als globales Dateisystem wurde innerhalb des XC Systems das skalierbare, parallele Dateisystem Lustre eingesetzt. Durch die Nutzung mehrerer Lustre Object Storage Target (OST) Server und Meta Data Server (MDS) wurde sowohl eine hohe Skalierbarkeit als auch eine Redundanz beim Ausfall einzelner Server erreicht. Es wurden 56 TB für Lustre zur Verfügung gestellt. Daneben war jeder Knoten des Clusters mit lokalen Platten für temporäre Daten ausgestattet.

Detaillierte Kurzbeschreibung der Knoten:

2 acht-Wege (Login-)Knoten mit jeweils 4 AMD Opteron Dual Cores (HP ProLiant DL585) mit einer Taktfrequenz von 2,6 GHz, 32 GB Hauptspeicher (DDR-400) und 288 GB lokalem Plattenplatz,
750 vier-Wege (Rechen-)Knoten mit jeweils 2 AMD Opteron Dual Cores (HP ProLiant DL145 G2) mit einer Taktfrequenz von 2,6 GHz, 16 GB Hauptspeicher (DDR-400) und 144 GB lokalem Plattenplatz,
2 acht-Wege (Rechen-)Knoten mit jeweils 4 AMD Opteron Dual Cores (HP ProLiant DL585) mit einer Taktfrequenz von 2,6 GHz, 128 GB Hauptspeicher (DDR-400) und 8*144 GB lokalem Plattenplatz,
8 vier-Wege Service-Knoten mit jeweils 2 AMD Opteron Dual Cores (6 HP ProLiant DL385 und 2 HP ProLiant DL585 Knoten) mit einer Taktfrequenz von 2,6 GHz, 8 GB Hauptspeicher (DDR-400) und 144 GB lokalem Plattenplatz,
10 zwei-Wege (Fileserver-)Knoten mit jeweils 2 Xeon Cores (HP ProLiant DL380 G4) mit 36 angeschlossenen SFS20 "Enclosures", die netto 56 TB Plattenspeicher zur Verfügung stellten.