Supercomputer – VSC

Der Vienna Scientific Cluster (VSC) ist ein Supercomputer für ausgewählte wissenschaftliche Projekte mit einem Bedarf an extrem hoher Rechenleistung. Die aktuelle Ausbaustufe ist der VSC-3.

Der VSC wird in einer Kooperation zwischen der Technischen Universität Wien, der Universität Wien, der Universität für Bodenkultur Wien, der Technischen Universität Graz und der Universität Innsbruck betrieben.

VSC nutzen

Der Zugang zum Vienna Scientific Cluster erfolgt grundsätzlich auf Basis von Projekten, die

  • einen Peer-Review-Prozess erfolgreich durchlaufen haben und
  • neben wissenschaftlicher Exzellenz
  • den Bedarf an extrem hoher Rechenleistung nachweisen.

Sofern es sich um Projekte handelt, die bereits vom FWF, der EU usw. positiv begutachtet wurden, ist kein weiterer Review-Prozess erforderlich. Zum Einreichen von Projekten und Beantragen von Ressourcen steht das VSC-Formular der TU Wien zur Verfügung.

Zusätzlich werden rasch und unbürokratisch Test­accounts vergeben (befristet und mit begrenzten Ressour­cen).


NutzerInnen der Universität Wien

  • Es stehen Zugangsknoten zur Verfügung, die über vsc2.vsc.ac.at und vsc3.vsc.ac.at zu erreichen sind. Diese befinden sich logisch im Datennetz der Universität Wien.
  • Physikalisch wurde die Verbindung zwischen Universität Wien und TU Wien auf 10 Gbit/s aufgestockt, sodass auch der Transfer großer Datenmengen zwischen dem VSC und Servern an Instituten der Universität Wien problemlos möglich ist.

Fragen zum VSC an service@vsc.ac.at.

VSC-4 (in Ausschreibung)

Die nächste Ausbaustufe, der VSC-4, ist gerade ausgeschrieben. Er soll mit 2019 den Betrieb aufnehmen.

VSC-3

VSC-3 (Vienna Scientific Cluster) © VSC / Claudia Blaas-Schenner

VSC-3 (Vienna Scientific Cluster) © VSC / Claudia Blaas-Schenner

Die dritte Ausbaustufe des Vienna Scientific Cluster – VSC-3 – befindet sich im Wiener Arsenal und ist seit 2014 in Betrieb. Der VSC-3 belegte

  • Platz 85 in der TOP500-Liste der weltweit schnellsten Supercomputer und
  • Platz 86 in der Green500-Liste der weltweit energieeffizientesten Supercomputer (Stand November 2014).

Bei der Wahl des VSC-3 wurde großer Wert auf Green IT gelegt. Das spiegelt sich in energiesparenden Prozessoren und einem effizienten Kühlsystem wider. Dieses verwendet synthetisches Öl, das die Wärme abtransportiert.


Hard- und Software

Der VSC-3 verfügt über insgesamt 2.020 Rechenknoten, die aus folgenden Komponenten bestehen:

  • Insgesamt 2.020 Dual-Socket-Rechenknoten mit 32.768 Rechenkernen mit zusammen 130 TB Arbeitsspeicher und Infiniband-Vernetzung bestehend je aus
    • 2 × Intel Xeon E5-2650v2 CPUs (2,6 GHz, 8-Kerne, Codename Ivy-Bridge)
    • 64 GB–256 GB Hauptspeicher (DDR3, ECC, 1.866 MHz)
    • 2 × Intel QLE7340 Single-Port QDR-InfiniBand HCA (QDR80) Netzwerk
  • 5 Zugangsknoten wie Rechenknoten und zusätzlich:
    • 2 × 10 GbE Ethernet Ports
    • 2 × GbE Ethernet Ports
    • redundante Netzteile
  • 2 × Bootserver als HA-Cluster wie Rechenknoten jedoch 128 GB RAM
    • 8 × 480 GB Enterprise SSD im RAID
    • performante IPoIB Implementierung (ConnectX3 Adapter)
  • 2 × Masterknoten zum Clustermanagement und Monitoring
    • Queuing-System und Cluster Management ist der Workload Manager SLURM
  • Paralleles Filesystem, BeeGFS Filesystem basierend
    • 500 TB Nettokapazität
    • 9 Storage-Server und 8 Storage-Erweiterungseinheiten
    • mindestens 20 GB/s Bandbreite
  • NFS-Server, Anbindung über QDR-InfiniBand-Netzwerk
    • zusammen 1 PB Nettokapazität
    • 10 identische NFS-Server
    • performante IPoIB Implementierung (ConnectX3 Adapter)
  • QDR-InfiniBand-Netzwerk, realisiert als QDR-80
    • Insel-Implementierung mit maximal 288 Nodes pro Insel
    • Blocking-Faktor innerhalb einer Insel 1:2
  • Kühlsystem: Liquid Submersion Cooling
    • 23 Kühlcontainer für die Aufnahme der Rechenknoten und InfiniBand-Leaf- und Spine-Switches
    • 6 redundante Pumpenmodule inkl. Wärmetauscher

Das System hat eine Höchstperformance von 584 TFlops.


VSC-3 Plus

Der VSC-3 wurde mit weiteren 864 Dual-Socket-Rechenknoten mit 17.280 Rechenkernen und zusammen 55 TB Arbeitsspeicher zum VSC-3 Plus ausgebaut:

  • 816 Knoten mit 64 GB RAM
  • 48 Knoten mit 256 GB RAM
  • 2 × Intel Xeon CPU E5-2660 v2 (2.20 GHz, 10 Kerne)
  • IB Mellanox 56 Gbit/s (4X FDR)

VSC-2

VSC-2 (Vienna Scientific Cluster)

VSC-2 (Vienna Scientific Cluster)

Auch die zweite Ausbaustufe des Vienna Scientific Cluster, der VSC-2, befindet sich im Wiener Arsenal. Bei seiner Einführung schaffte er es auf Platz 56 der TOP500-Liste der weltweit schnellsten Supercomputer. Der Green IT wurde mit energiesparenden Prozessoren und einem effizienten Kühlsystem Rechnung getragen.


Hard- und Software

  • Die 1314 Rechenknoten befinden sich in einem Gehäuse vom Typ SlashFive von Megware. Pro Knoten werden verwendet:
    • 2 × AMD Opteron (Magny Cours 6132HE je 8 Kerne und 2,2 GHz Taktfrequenz)
    • 8 × 4 GB ECC DDR3 RAM Arbeitsspeicher
    • 16 GB SSD Festplatte
    • 2 × Gigabit Ethernet LAN
    • 1 × Infiniband-QDR
  • Es werden 3 Zugangsknoten und 2 Masterknoten des Typs Megware Saxonide 6100 Dual Opteron verwendet. Diese werden betrieben mit:
    • je 2 × AMD Opteron (Magny Cours 6132HE je 8 Kerne, 2,2 GHz Taktfrequenz)
    • 8 × 4 GB ECC DDR3 Arbeitsspeicher
    • RAID 1 Verbund mit 300 GB Festplatte
    • 2 × Gigabit Ethernet LAN nd 1 × Infiniband-QDR
    • redundantem Netzteil
  • Es gibt 12 Storageserver mit temporären Dateisystem (FHGFS) und 2 NFS-Server. Diese werden betrieben mit:
    • 2 × 64 Bit Intel Xeon Westmere E5620 (Quadcore)
    • 6 × 8 GB ECC DDR3 RAM
    • 5 × 300 GB SAS für Betriebssystem
    • 12 × 2 TB SAS für Nutzdaten (FHGFS)
    • 24 × 2 TB (NFS)
    • 2 × Gigabit Ethernet LAN
    • 1 × Infiniband-QDR
    • redundantem Netzteil
  • Das High Performance Infiniband Netzwerk umfasst 80 Switches Voltaire Grid Director 4036 mit 36 Ports pro Switch. Es wurde mit einer Fat-Tree-Topologie mit zwei Teilnetzwerken realisiert. Es gibt 8 Root Switches, pro Teilnetzwerk sind 12 Spine Switches mit 672 Ports vorzufinden. Es gibt die Möglichkeit zur Erweiterung um ein drittes Teilnetzwerk mit 672 Ports.
  • Als Betriebssystem wird Scientific Linux 6.0 mit Intel MPI und Open MPI benutzt. Als Batch System steht die Oracle Grid Engine und ClustWare-Appliance zur Verfügung. Als Compiler werden u. a. Intel Fortran und C Compilers (Composer XE 2011) sowie GNU Fortran Compiler verwendet. Das Managementsystem Megware ClustWare-Appliance bietet viele Managementtools und Funktionen, um das Clustersystem zu steuern und zu überwachen.
  • Die Kühlung erfolgt mit Knürr CoolTherm – das sind wassergekühlte Rücktüren (CoolDoor), die die 30 Serverschränke mit jeweils 17 kW Leistung kühlen.

Der VSC-2 ist nur noch zur Hälfte physisch im Arsenal vorhanden und in Betrieb, da er teilweise durch den VSC-3 Plus ersetzt wurde.

VSC-1 (außer Betrieb)

VSC-1 (Vienna Scientific Cluster)

VSC-1 (Vienna Scientific Cluster)

Der VSC-1 wurde 2009 an der TU Wien installiert. Bei seiner Inbetriebnahme erreichte der VSC-1 den 156. Platz der TOP500-Liste der weltweit schnellsten Supercomputer (Stand November 2009). Er wurde 2015 außer Betrieb genommen.

Hard- und Software

  • Die 436 Rechenknoten (Compute Nodes) hatten je zwei Quadcore-Prozessoren (Intel X5550 Nehalem) mit einer Taktfrequenz von 2,66 GHz (insgesamt: 3488 CPU-Cores). Jeder Rechenknoten hatte 24 GB Hauptspeicher (1,333 GHz DDR3) (insgesamt: 11,2 TB) und eine Festplatte (S-ATA) mit 500 GB.
  • Leistung: (R_max) 35,5 TFlops
  • Alle Knoten waren mit InfiniBand vernetzt. In der Konfiguration des VSC betrug die Band­breite 40 Gbit/s, die Latenzzeit für eine Verbindung zwischen beliebigen Knoten lag bei ca. 1,5 Mikro­sekunden. Alle InfiniBand-Komponenten stammten von QLogic.
  • Als Betriebssystem wurde CentOS eingesetzt, eine für den Server- und High-Performance-Computing-Betrieb optimierte Linux-Variante.
  • Als Batchsystem kam die Sun Grid Engine zum Einsatz, parallelisiert wurde mit MPI. Compiler (Fortran, C/C++) und numerische Bibliotheken stammten von Intel.

Special Purpose Hardware

Special Purpose Hardware ist eigenständige Hardware, die für spezielle Anwendungszwecke genutzt werden kann. NutzerInnen stehen beispielsweise Grafikbeschleuniger und Many-Integrated-Core-Architekturen zur Verfügung. Mehr Informationen erhalten Sie im VSC-Wiki oder direkt via service@vsc.ac.at.

GPUs

  • 50 GPU Knoten mit den NVIDIA GTX 1080 Karten
  • 2 Knoten mit 8 × NVIDIA GTX 1080 Karten
  • 2 Knoten mit 10 × NVIDIA GTX 1080 Karten

AMD Epyc

  • epyc1: 2 × 7551 Prozessor, 64 Kerne, 256 GB Speicher
  • epyc2: 7351P Prozessor, 16 Kerne, 128 GB Speicher
  • epyc3: 7551P Prozessor, 32 Kerne, 128 GB Speicher

Many Integrated Cores (MIC)

  • 4 × Xeon Phis – Knights Landing CPUs

17 Bioinformatik-Knoten und -Storage

  • 10 Server für $HOME
  • 8 Server für $GLOBAL
  • 16 Server für $BINFS / $BINFL
  • 3 Server für Testing
  • ~ 800 HDDs
  • ~ 100 SSDs

Anbindung an das GPFS Storage des EODC (Earth Observation Data Centre for Water Resources Monitoring)

VSC Research Center

Das VSC Research Center wurde im Rahmen eines Hochschulraum-Strukturmittel-Projektes gestartet. Es bietet ein Ausbildungsprogramm, das auf die Nutzung von Supercomputern zugeschnitten ist, und unterstützt zum Beispiel NutzerInnen beim Optimieren von Programmen. Die Kurse des VSC Research Centers können von Angehörigen der Partneruniversitäten sowie – bei verfügbaren freien Plätzen – auch von Externen besucht werden.

Im Zuge desselben Projektes wurden auch DissertantInnen und Postdocs gefördert, um wissenschaftlich hochrelevante Programme zu optimieren, zu dokumentieren und als Open-Source-Software zur Verfügung zu stellen.

Mehr Informationen zu Kursen und zum VSC Research Center