GridKa Technischer Überblick
High-Throughput-Rechenfarm
Die GridKa-Rechenfarm besteht aus etwa 250 Rechenknoten (2024). Der Aufbau ist für unabhängige Hochdurchsatzaufgaben optimiert, die in der Hochenergie- und Astroteilchenphysik üblich sind und keine Verbindungen mit geringer Latenz zwischen den Rechenknoten erfordern. GPUs sind für F&E- und Produktionsaufgaben verfügbar. Die HTCondor-Batch-Systeme verwalten ~48000 logische CPU-Kerne (inklusive 3840 ARM CPU-Kerne) und 56 GPUs (2024).
Online-Speicher
Um als Datendrehscheibe für das weltweite LHC Computing Grid zu dienen, betreibt GridKa eine große softwaredefinierte Online-Speicherinstallation. Basierend auf IBM Spectrum Scale™ mit einem internen Infiniband-Netzwerk ist der GridKa-Online-Speicher in Bezug auf Kapazität und Leistung hoch skalierbar. Der Zugriff erfolgt über die Middlewares dCache und xrootd. Im Jahr 2024 stehen den Nutzenden ~68PB mit einem Gesamtdurchsatz von mehr als 200GB/s zur Verfügung.
Offline-Speicher
Das GridKa Offline Storage System bietet die Kapazität für eine effiziente Langzeitspeicherung der Rohdaten der Experimente. In 2024 werden mehr als 140 PB Kapazität für die vier LHC-Experimente und Belle II bereitgestellt. Seit Mitte 2024 sind alle Daten in einer Spectra Logic TFinity®-Bibliothek mit IBM TS1160-Laufwerken gespeicher, die von der High Performance Storage System (HPSS) Software verwaltet wird.
Netzwerk
Wide-Area-Network-Verbindungen mit hoher Bandbreite sind unerlässlich, um Daten direkt vom CERN zu empfangen und Daten von und zu anderen WLCG-Zentren auf der ganzen Welt zu übertragen. Zwei 100-Gbit/s-Verbindungen zum CERN und zwei 100-Gbit/s-Verbindungen zum Internet ermöglichen es GridKa, die erwarteten Datenraten während des LHC-Run 3 zu bewältigen. Somit ist GridKa mit insgesamt 400Gbit/s an die Außenwelt angebunden (2024).
Das interne Netzwerk-Backbone verbindet das Online-Speichersystem, die Verwaltungsserver und die Rechenknoten.