InstitutsCluster II

Das SCC betrieb ein von der DFG (http://www.dfg.de) gefördertes und mit mehreren Instituten des KIT gemeinsam beschafftes Computersystem mit dem Namen InstitutsCluster II.
Er stand den an dem Förderantrag beteiligten Instituten gemäß ihrer dort genannten Anteile zur Verfügung.
Durch zusätzliche Eigenmittel weiterer Institute konnte das System auf die unten dargestellte Konfiguration erweitert werden. Diese Institute konnten den Cluster im Umfang ihrer finanziellen Beteiligung nutzen.

Photo: Holger Obermaier

Konfiguration des InstitutsCluster II (IC2)

Der InstitutsCluster II beinhaltete

2 Login-Knoten mit jeweils 16 Cores mit einer theoretische Spitzenleistung von 332,8 GFLOPS und 64 GB Hauptspeicher pro Knoten,
480 "dünne" Rechenknoten mit jeweils 16 Cores mit einer theoretische Spitzenleistung von 332,8 GFLOPS und 64 GB Hauptspeicher pro Knoten,
5 "fette" Knoten mit jeweils 32 Cores mit einer theoretischen Spitzenleistung von 340,4 GFLOPS und 512 GB Hauptspeicher pro Knoten
und als Verbindungsnetzwerk ein InfiniBand 4X QDR Interconnect..

Der InstitutsCluster II war ein massiv paralleler Parallelrechner mit insgesamt 487 Knoten (ohne Service-Knoten). 482 Knoten und die 10 Service-Knoten haben eine Taktfrequenz von 2,6 GHz. 5 sogenannte fette Knoten hatten eine Taktfrequenz von 2,67 GHz. Alle Knoten besassen lokalen Speicher, lokale Platten und Netzwerkadapter. Ein einzelner Rechenknoten hatte eine theoretische Spitzenleistung von 332,8 bzw 340,5 GFLOPS, so dass sich eine theoretische Spitzenleistung von ca. 162 TFLOPS für das gesamte System ergab. Der Hauptspeicher über alle Rechenknoten hinweg betrug 32,6 TB. Alle Knoten waren durch ein InfiniBand QDR Interconnect miteinander verbunden.

Das Basisbetriebssystem auf jedem Knoten war ein Suse Linux Enterprise (SLES) 11. Als Managementsoftware für den Cluster diente KITE; KITE ist eine offene Umgebung für den Betrieb heterogener Rechencluster.

Als globales Dateisystem wurde das skalierbare, parallele Dateisystem Lustre über ein InfiniBand Netzwerk angebunden. Durch Lustre wird sowohl eine hohe Skalierbarkeit als auch eine Redundanz beim Ausfall einzelner Server erreicht. Es standen ca. 469 TB an Plattenplatz zur Verfügung, auf die allerdings auch weitere Hochleistungsrechner weiterhin zugreifen. Daneben war jeder Knoten des Clusters mit mindestens 2 lokalen Platten für temporäre Daten ausgestattet.

Detaillierte Kurzbeschreibung der Knoten und des Verbindungsnetzwerks:
2 16-Wege (Login-)Knoten mit jeweils 2 Octa-Core Intel Xeon E5-2670 Prozessoren mit einer Taktfrequenz von 2,6 GHz, 64 GB Hauptspeicher und 5x1 TB lokalem Plattenplatz; 480 16-Wege (Rechen-)Knoten mit jeweils 2 Octa-Core Intel Xeon E5-2670 Prozessoren (Sandy Bridge) mit einer Taktfrequenz von 2,6 GHz, 64 GB Hauptspeicher und 2x1 TB lokalem Plattenplatz, 5 32-Wege (Rechen-)Knoten mit jeweils 4 Octa-Core Intel Xeon E7-8837 Prozessoren (Westmere) mit einer Taktfrequenz von 2,67 GHz, 512 GB Hauptspeicher und 4x1 TB lokalem Plattenplatz und 10 16-Wege Service-Knoten mit jeweils 2 Octa-Core Intel Xeon E5-2670 Prozessoren mit einer Taktfrequenz von 2,6 GHz und 64 GB Hauptspeicher. Ein einzelner Octa-Core Prozessor (Sandy Bridge) hat 20 MB L3-Cache und betreibt den System Bus mit 1600 MHz, wobei jeder einzelne Core des Sandy Bridge Prozessors 64 KB L1-Cache und 256 KB L2-Cache hat.
Als Verbindungsnetzwerk dienten 42 InfiniBand 4x QDR Switches mit jeweils 36 Ports.