VSC-Ausbaustufen außer Betrieb

VSC-3

VSC-3

Die dritte Ausbaustufe des Vienna Scientific Cluster – VSC-3 – befand sich im Wiener Arsenal und war von 2014 bis 2022 in Betrieb. Der VSC-3 belegte

• Platz 85 in der TOP500-Liste der weltweit schnellsten Supercomputer und
• Platz 86 in der Green500-Liste der weltweit energieeffizientesten Supercomputer (Stand November 2014).

Bei der Wahl des VSC-3 wurde großer Wert auf Green IT gelegt. Das spiegelte sich in energiesparenden Prozessoren und einem effizienten Kühlsystem wider. Dieses verwendete synthetisches Öl, das die Wärme abtransportiert.

Hard- und Software

Der VSC-3 verfügte über insgesamt 2.020 Rechenknoten, die aus folgenden Komponenten bestanden:

• Insgesamt 2.020 Dual-Socket-Rechenknoten mit 32.768 Rechenkernen mit zusammen 130 TB Arbeitsspeicher und InfiniBand-Vernetzung bestehend je aus
  • 2 × Intel Xeon E5-2650v2 CPUs (2,6 GHz, 8-Kerne, Codename Ivy-Bridge)
  • 64 GB–256 GB Hauptspeicher (DDR3, ECC, 1.866 MHz)
  • 2 × Intel QLE7340 Single-Port QDR-InfiniBand HCA (QDR80) Netzwerk

• 5 Zugangsknoten wie Rechenknoten und zusätzlich:
  • 2 × 10 GbE Ethernet Ports
  • 2 × GbE Ethernet Ports
  • redundante Netzteile

• 2 × Bootserver als HA-Cluster wie Rechenknoten jedoch 128 GB RAM
  • 8 × 480 GB Enterprise SSD im RAID
  • performante IPoIB Implementierung (ConnectX3 Adapter)

• 2 × Masterknoten zum Clustermanagement und Monitoring
  • Queuing-System und Cluster Management ist der Workload Manager SLURM

• Paralleles Filesystem, BeeGFS Filesystem basierend
  • 500 TB Nettokapazität
  • 9 Storage-Server und 8 Storage-Erweiterungseinheiten
  • mindestens 20 GB/s Bandbreite

• NFS-Server, Anbindung über QDR-InfiniBand-Netzwerk
  • zusammen 1 PB Nettokapazität
  • 10 identische NFS-Server
  • performante IPoIB Implementierung (ConnectX3 Adapter)

• QDR-InfiniBand-Netzwerk, realisiert als QDR-80
  • Insel-Implementierung mit maximal 288 Nodes pro Insel
  • Blocking-Faktor innerhalb einer Insel 1:2

• Kühlsystem: Liquid Submersion Cooling
  • 23 Kühlcontainer für die Aufnahme der Rechenknoten und InfiniBand-Leaf- und Spine-Switches
  • 6 redundante Pumpenmodule inkl. Wärmetauscher

Das System hatte eine Höchstperformance von 584 TFlops.

VSC-3 Plus

Der VSC-3 wurde mit weiteren 864 Dual-Socket-Rechenknoten mit 17.280 Rechenkernen und zusammen 55 TB Arbeitsspeicher zum VSC-3 Plus ausgebaut:

• 816 Knoten mit 64 GB RAM
• 48 Knoten mit 256 GB RAM
• 2 × Intel Xeon CPU E5-2660 v2 (2.20 GHz, 10 Kerne)
• IB Mellanox 56 Gbit/s (4X FDR)

VSC-2

VSC-2

Die zweite Ausbaustufe des Vienna Scientific Cluster, der VSC-2, befand sich im Wiener Arsenal. Bei seiner Einführung schaffte er es auf Platz 56 der TOP500-Liste der weltweit schnellsten Supercomputer. Er war von 2011 bis 2018 in Betrieb.

Hard- und Software

• Die 1314 Rechenknoten hatten je zwei AMD Opteron Prozessoren (Magny Cours 6132HE) mit 2,2 GHz Taktfrequenz und 8 Kernen. Jeder Rechenknoten verfügte über 32 GB Arbeitsspeicher und eine 16 GB SSD Festplatte.
• 12 Storageserver und 2 NFS-Server wurden mit 2 Intel Xeon Westmere E5620 (Quadcore) Prozessoren und 48 GB Arbeitsspeicher betrieben. Als Speicherplatz standen 24 TB SAS für Nutzdaten (FHGFS) und 48 TB NFS zur Verfügung.
• Das High Performance InfiniBand Netzwerk umfasste 80 Switches Voltaire Grid Director 4036.
• Als Betriebssystem für den VSC-2 diente Scientific Linux 6.0 mit Intel MPI und Open MPI, als Batchsystem die Oracle Grid Engine und ClustWare-Appliance. Verfügbare Compiler waren unter anderem Intel Fortran und C Compilers sowie GNU Fortran Compiler.

VSC-1

VSC-1

Der VSC-1 wurde 2009 an der TU Wien installiert. Bei seiner Inbetriebnahme erreichte der VSC-1 den 156. Platz der TOP500-Liste der weltweit schnellsten Supercomputer (Stand November 2009). Er wurde 2015 außer Betrieb genommen.
 

Hard- und Software

• Die 436 Rechenknoten (Compute Nodes) hatten je zwei Quadcore-Prozessoren (Intel X5550 Nehalem) mit einer Taktfrequenz von 2,66 GHz (insgesamt: 3488 CPU-Cores). Jeder Rechenknoten hatte 24 GB Hauptspeicher (1,333 GHz DDR3) (insgesamt: 11,2 TB) und eine Festplatte (S-ATA) mit 500 GB.
• Leistung: (R_max) 35,5 TFlops
• Alle Knoten waren mit InfiniBand vernetzt. In der Konfiguration des VSC betrug die Band­breite 40 Gbit/s, die Latenzzeit für eine Verbindung zwischen beliebigen Knoten lag bei ca. 1,5 Mikro­sekunden. Alle InfiniBand-Komponenten stammten von QLogic.
• Als Betriebssystem wurde CentOS eingesetzt, eine für den Server- und High-Performance-Computing-Betrieb optimierte Linux-Variante.
• Als Batchsystem kam die Sun Grid Engine zum Einsatz, parallelisiert wurde mit MPI. Compiler (Fortran, C/C++) und numerische Bibliotheken stammten von Intel.