VSC – Ausbaustufen außer Betrieb
Die nachfolgenden Ausbaustufen des Vienna Scientific Cluster (VSC) sind nicht mehr in Betrieb.
VSC-3
Die dritte Ausbaustufe des Vienna Scientific Cluster – VSC-3 – befand sich im Wiener Arsenal und war von 2014 bis 2022 in Betrieb. Der VSC-3 belegte
- Platz 85 in der TOP500-Liste der weltweit schnellsten Supercomputer und
- Platz 86 in der Green500-Liste der weltweit energieeffizientesten Supercomputer (Stand November 2014).
Bei der Wahl des VSC-3 wurde großer Wert auf Green IT gelegt. Das spiegelte sich in energiesparenden Prozessoren und einem effizienten Kühlsystem wider. Dieses verwendete synthetisches Öl, das die Wärme abtransportiert.
Hard- und Software
Der VSC-3 verfügte über insgesamt 2.020 Rechenknoten, die aus folgenden Komponenten bestanden:
Insgesamt 2.020 Dual-Socket-Rechenknoten mit 32.768 Rechenkernen mit zusammen 130 TB Arbeitsspeicher und InfiniBand-Vernetzung bestehend je aus
- 2 × Intel Xeon E5-2650v2 CPUs (2,6 GHz, 8-Kerne, Codename Ivy-Bridge)
- 64 GB–256 GB Hauptspeicher (DDR3, ECC, 1.866 MHz)
- 2 × Intel QLE7340 Single-Port QDR-InfiniBand HCA (QDR80) Netzwerk
5 Zugangsknoten wie Rechenknoten und zusätzlich:
- 2 × 10 GbE Ethernet Ports
- 2 × GbE Ethernet Ports
- redundante Netzteile
2 × Bootserver als HA-Cluster wie Rechenknoten jedoch 128 GB RAM
- 8 × 480 GB Enterprise SSD im RAID
- performante IPoIB Implementierung (ConnectX3 Adapter)
2 × Masterknoten zum Clustermanagement und Monitoring
- Queuing-System und Cluster Management ist der Workload Manager SLURM
Paralleles Filesystem, BeeGFS Filesystem basierend
- 500 TB Nettokapazität
- 9 Storage-Server und 8 Storage-Erweiterungseinheiten
- mindestens 20 GB/s Bandbreite
NFS-Server, Anbindung über QDR-InfiniBand-Netzwerk
- zusammen 1 PB Nettokapazität
- 10 identische NFS-Server
- performante IPoIB Implementierung (ConnectX3 Adapter)
QDR-InfiniBand-Netzwerk, realisiert als QDR-80
- Insel-Implementierung mit maximal 288 Nodes pro Insel
- Blocking-Faktor innerhalb einer Insel 1:2
Kühlsystem: Liquid Submersion Cooling
- 23 Kühlcontainer für die Aufnahme der Rechenknoten und InfiniBand-Leaf- und Spine-Switches
- 6 redundante Pumpenmodule inkl. Wärmetauscher
Das System hatte eine Höchstperformance von 584 TFlops.
VSC-3 Plus
Der VSC-3 wurde mit weiteren 864 Dual-Socket-Rechenknoten mit 17.280 Rechenkernen und zusammen 55 TB Arbeitsspeicher zum VSC-3 Plus ausgebaut:
- 816 Knoten mit 64 GB RAM
- 48 Knoten mit 256 GB RAM
- 2 × Intel Xeon CPU E5-2660 v2 (2.20 GHz, 10 Kerne)
- IB Mellanox 56 Gbit/s (4X FDR)
VSC-2
Die zweite Ausbaustufe des Vienna Scientific Cluster, der VSC-2, befand sich im Wiener Arsenal. Bei seiner Einführung schaffte er es auf Platz 56 der TOP500-Liste der weltweit schnellsten Supercomputer. Er war von 2011 bis 2018 in Betrieb.
Hard- und Software
- Die 1314 Rechenknoten hatten je zwei AMD Opteron Prozessoren (Magny Cours 6132HE) mit 2,2 GHz Taktfrequenz und 8 Kernen. Jeder Rechenknoten verfügte über 32 GB Arbeitsspeicher und eine 16 GB SSD Festplatte.
- 12 Storageserver und 2 NFS-Server wurden mit 2 Intel Xeon Westmere E5620 (Quadcore) Prozessoren und 48 GB Arbeitsspeicher betrieben. Als Speicherplatz standen 24 TB SAS für Nutzdaten (FHGFS) und 48 TB NFS zur Verfügung.
- Das High Performance InfiniBand Netzwerk umfasste 80 Switches Voltaire Grid Director 4036.
- Als Betriebssystem für den VSC-2 diente Scientific Linux 6.0 mit Intel MPI und Open MPI, als Batchsystem die Oracle Grid Engine und ClustWare-Appliance. Verfügbare Compiler waren unter anderem Intel Fortran und C Compilers sowie GNU Fortran Compiler.
VSC-1
Der VSC-1 wurde 2009 an der TU Wien installiert. Bei seiner Inbetriebnahme erreichte der VSC-1 den 156. Platz der TOP500-Liste der weltweit schnellsten Supercomputer (Stand November 2009). Er wurde 2015 außer Betrieb genommen.
Hard- und Software
- Die 436 Rechenknoten (Compute Nodes) hatten je zwei Quadcore-Prozessoren (Intel X5550 Nehalem) mit einer Taktfrequenz von 2,66 GHz (insgesamt: 3488 CPU-Cores). Jeder Rechenknoten hatte 24 GB Hauptspeicher (1,333 GHz DDR3) (insgesamt: 11,2 TB) und eine Festplatte (S-ATA) mit 500 GB.
- Leistung: (R_max) 35,5 TFlops
- Alle Knoten waren mit InfiniBand vernetzt. In der Konfiguration des VSC betrug die Bandbreite 40 Gbit/s, die Latenzzeit für eine Verbindung zwischen beliebigen Knoten lag bei ca. 1,5 Mikrosekunden. Alle InfiniBand-Komponenten stammten von QLogic.
- Als Betriebssystem wurde CentOS eingesetzt, eine für den Server- und High-Performance-Computing-Betrieb optimierte Linux-Variante.
- Als Batchsystem kam die Sun Grid Engine zum Einsatz, parallelisiert wurde mit MPI. Compiler (Fortran, C/C++) und numerische Bibliotheken stammten von Intel.
