Forschung mit Supercomputern trägt zu einer modernen und nachhaltigen Gesellschaft bei“, erklärte Professor Holger Hanselka, der Präsident des KIT. „Mit der Hilfe von Hochleistungsrechnern kommt die Forschung zu Energie, Umwelt, Mobilität und Medizin schneller zu neuen Lösungen. Damit fügt sich der HoreKa perfekt in die Strategie des KIT ein, Beiträge zu gesellschaftlichen Herausforderungen zu liefern.“
„Das Thema Höchstleistungsrechnen steht für rasante Entwicklungen. So schnell, wie sich die Spitzenleistungen der Supercomputer erhöhen, so entscheidend sind sie sowohl für Spitzenforschung als auch für innovative Produkte und Prozesse in den Schlüsselbereichen der Wirtschaft. Baden-Württemberg ist auch dank des KIT in Sachen Supercomputing europaweit führend und international konkurrenzfähig. Dabei ist es nicht nur die beeindruckende Rechenleistung der Rechner, sondern auch das geballte Methodenwissen vor Ort, das unserer computergestützten Spitzenforschung zu atemberaubenden Forschungsergebnissen verhilft“, sagte die baden-württembergische Wissenschaftsministerin Theresia Bauer.
Der neue „Hochleistungsrechner Karlsruhe“ (kurz HoreKa) wird 2021 voraussichtlich zu den zehn leistungsfähigsten Rechnern Europas gehören und eine Rechenleistung von ca. 17 PetaFLOPS erbringen – also etwa 17 Billiarden Rechenoperationen in der Sekunde, was der Leistung von mehr als 150.000 Laptops entspricht.
Das System wird Wissenschaftlerinnen und Wissenschaftlern aus ganz Deutschland zur Verfügung stehen. Vor allem in den Materialwissenschaften, den Erdsystemwissenschaften, der Energie- und Mobilitätsforschung im Ingenieurwesen, den Lebenswissenschaften, sowie der Teilchen- und Astroteilchenphysik werden Forschende dank des neuen Supercomputers ein detaillierteres Verständnis hochkomplexer natürlicher und technischer Vorgänge erlangen können. Selbstverständlich kann HoreKa bei Bedarf auch von Wissenschaftlern genutzt werden, die zum Verständnis des Virus SARS-CoV-2 forschen und damit zur Bekämpfung der Krankheit COVID-19 beitragen.
Rechnen und Speichern gehen Hand in Hand
Mit HoreKa können Forschende mehr Details in größeren Systemen betrachten, normale Simulationen also zu sogenannten Multiskalen-Simulationen ausweiten. „Klimasimulationen und Erdsystemmodelle etwa werden immer feinere Auflösungen und damit einen höheren Detailgrad erreichen“, erklärt Professor Martin Frank, Direktor des Scientific Computing Center (SCC) des KIT. „Doch neben der reinen Rechenleistung steigen auch die Anforderungen an die Dateisysteme immer weiter, sowohl was Kapazität als auch Latenz angeht. Mit einem datenhungrigen System wie HoreKa setzen wir konsequent die strategische Ausrichtung des SCC auf datenintensives Rechnen fort.“
„Es gibt derzeit sehr diverse technische Entwicklungen auf dem Hardware-Markt“, so Dr. Jennifer Schröter, die Leiterin des Bereichs High Performance Computing am SCC. „Unsere technischen Anforderunen waren anspruchsvoll, aber das Ausschreibungsverfahren war bewusst technologieoffen gehalten, um das Knowhow der Bieter einzufordern und das leistungsfähigste Gesamtsystem zu erhalten.“
Zwei innovative Chiptechnologien – ein Hochleistungssystem
Herausgekommen ist ein innovatives Hybrid-System mit fast 60.000 Intel Xeon Scalable Prozessorkernen der nächsten Generation und mehr als 220 Terabyte Hauptspeicher sowie 740 NVDIA A100 Tensor Core GPUs der nächsten Generation. Als Kommunikationsnetzwerk kommt ein non-blocking NVIDIA Mellanox InfiniBand-HDR-Netzwerk mit 200 GBit/s pro Port zum Einsatz, als Datenablage dienen zwei parallele Spectrum-Scale-Dateisysteme mit einer Gesamtkapazität von mehr als 15 Petabyte. Die Rechnersysteme stammen von Lenovo, das Unternehmen pro-com Datensysteme GmbH aus Eislingen bei Stuttgart übernimmt als Generalunternehmer die Projektkoordination, Systemintegration, Lieferung und Kundenbetreuung.
„Wir freuen uns sehr darauf, dieses System gemeinsam mit unseren Partnern Lenovo und KIT in Betrieb nehmen und an die Benutzer übergeben zu können“, so Oliver Kill, Geschäftsführer des Unternehmens pro-com. Mit HoreKa feiert pro-com im Jahr 2020 nicht nur das 30-jährige Bestehen, sondern auch den größten Auftrag in der Firmengeschichte.
Maschinelles Lernen unterstützt menschliche Forscher
„Künstliche Intelligenz und Maschinelles Lernen können die Forschung in allen Anwendungsfeldern, also dort wo die drängenden Probleme der Menschheit gelöst werden, auf die Überholspur setzen“, so Marc Hamilton, Vice President Solutions Architecture and Engineering bei NVIDIA. „NVIDIA A100 Tensor Core GPUs unterstützen diese Forschung, und gemeinsam mit der NVIDIA Mellanox InfiniBand-Technologie wird der neue Supercomputer des KIT die Forschung in einem breiten Spektrum von Anwendungen deutlich beschleunigen“.
Ein zentraler Gesichtspunkt bei der Auslegung des Systems waren auch die enormen Datenmengen, welche bei wissenschaftlichen Forschungsprojekten anfallen. Je nach Anwendung können von einer einzigen Simulation mehrere Hundert Terabyte an Daten erzeugt werden. Um mit den wachsenden Datenmengen Schritt zu halten, liefern die Rechenknoten, das InfiniBand-Netzwerk und die parallelen Dateisysteme von HoreKa im Vergleich zum Vorgängersystem ForHLR jeweils einen bis zu vier Mal höheren Speicherdurchsatz.
Eine mehrstufige Datenhaltung soll zusätzlich die Weiterverarbeitung auf externen Speichersystemen mit hohem Durchsatz garantieren. HoreKa ist auch mit bis zu 45 GByte/s Datenrate an die „Large Scale Data Facility“ (LSDF) des SCC angebunden, die seit 2010 eine moderne Infrastruktur für die Speicherung, Verwaltung, Archivierung und Analyse von Forschungsdaten bietet.
Preisgekrönte Energieeffizienz
HoreKa wird vollständig im 2015 für den Vorgänger ForHLR neu errichteten Rechnergebäude auf dem Campus Nord des KIT untergebracht. Das preisgekrönte, energieeffiziente Heißwasser-Kühlkonzept basierend auf der Lenovo Neptune Direct Water Cooling (DWC) Technologie wird mit dem neuen System fortgeführt.
Den Name HoreKa wählten die Mitarbeiterinnen und Mitarbeiter des SCC in Anlehnung an „GridKa“, dem „Grid Computing Centre Karlsruhe“. Dieses befindet sich ebenfalls am SCC und stellt seit mehr als 15 Jahren erfolgreich Datenspeicher und Analysekapazitäten für Großexperimente auf der ganzen Welt bereit, darunter auch den Large Hadron Collider (LHC) am CERN in der Schweiz. Zu den größten Erfolgen von GridKa gehört die Beteiligung bei der Entdeckung des Higgs-Teilchens im Juli 2012. GridKa ist das größte und leistungsfähigste Zentrum seiner Art.
Mehr Information zu HoreKa:
https://www.scc.kit.edu/dienste/horeka.php
Mehr Information zu COVID-19-Forschung am KIT:
https://www.kit.edu/kit/corona-pandemie-forschung-und-hilfsaktivitaeten-am-kit.php
https://www.scc.kit.edu/ueberuns/13531.php
Mit dem bwUniCluster 2.0 betreibt das KIT einen zweiten Supercomputer im Landesdienst:
https://www.scc.kit.edu/dienste/bwUniCluster_2.0.php
Zur KIT-Presseinformation: www.kit.edu/kit/pi_2020_035_neuer-supercomputer-fur-das-kit.php