Vienna Scientific Cluster (VSC)

Der Vienna Scientific Cluster ist eine Kooperation zwischen der Technischen Universität Wien, der Universität Wien und der Universität für Bodenkultur Wien.

Es handelt sich um einen High Performance Computing (HPC) Cluster für ausgewählte wissenschaftliche Projekte.

Die erste Stufe der Rechenanlage – VSC-1 – steht an der TU Wien. Bei seiner Inbetriebnahme erreichte der VSC-1 den 156. Platz der TOP500 (Stand November 2009) – Liste der weltweit schnellsten Hochleistungsrechner.

Die zweite Ausbaustufe – VSC-2 – befindet sich am Wiener Arsenal, wo auch die weiteren Ausbaustufen zu finden sein werden. Bei seiner Einführung schaffte es der VSC-2 auf Platz 56 der TOP500 (Stand Juni 2011) – Liste der weltweit schnellsten Hochleistungscomputer. Großen Wert bei der Wahl des VSC-2 wurde auf Green IT gelegt, welcher sich in energiesparenden CPUs und einem effizienten Kühlsystem wiederspiegelt.

Die dritte Ausbaustufe – VSC-3 – ist in Vorbereitung.

Das Projekt wird von den drei Universitäten gemeinsam betrieben.

Vienna Scientific Cluster (VSC)

Hardware & Software VSC-1

  • Die 436 Rechenknoten (Compute Nodes) haben je zwei Quadcore-Prozessoren (Intel X5550 "Nehalem") mit einer Taktfrequenz von 2,66 GHz (insgesamt: 3488 CPU-Cores). Jeder Rechenknoten hat 24 GB Hauptspeicher (1,333 GHz DDR3) (insgesamt: 11.2 TB) und eine Festplatte (S-ATA) mit 500 GB.
  • Leistung: (R_max) 35.5 TFlops
  • Alle Knoten sind mit InfiniBand vernetzt. In der Konfiguration des VSC beträgt die Band­breite 40 Gbit/s, die Latenzzeit für eine Verbindung zwischen beliebigen Knoten liegt bei ca. eineinhalb Mikro­sekunden. Alle InfiniBand-Komponenten stammen von QLogic.
  • Als Betriebssystem wird CentOS eingesetzt, eine für den Server- und HPC-Betrieb optimierte Linux-Variante.
  • Als Batchsystem kommt die Sun Grid Engine zum Einsatz, parallelisiert wird mit MPI, Compiler (Fortran, C/C++) und numerische Bibliotheken stammen von Intel.

Hardware & Software VSC-2

  • Die 1314 Rechenknoten befinden sich in einem Gehäuse vom Typ SlashFive von Megware. Pro Knoten werden 2 x AMD Opteron („Magny Cours 6132HE“ je 8 Kerne und  2,2 GHz Taktfrequenz), 8 x 4 GB ECC DDR3 RAM Arbeitsspeicher, 16 GB SSD Festplatte, 2 x Gigabit Ethernet LAN und 1 x Infiniband-QDR verwendet.
  • Es werden 3 Zugangsknoten und 2 Masterknoten des Typs Megware Saxonide 6100 Dual Opteron verwendet. Diese werden mit je 2 x AMD Opteron („Magny Cours 6132HE“ je 8 Kerne, 2,2 GHz Taktfrequenz), 8 x 4 GB ECC DDR3 Arbeitsspeicher, RAID 1 Verbund mit 300 GB Festplatte, 2 x Gigabit Ethernet LAN nd 1 x Infiniband-QDR und einem redundanten Netzteil betrieben.
  • Es gibt 12 Storageserver mit temporären Dateisystem (FHGFS) und 2 NFS-Server. Diese werden mit 2x 64 Bit Intel Xeon Westmere E5620 (Quadcore), 6x8 GB ECC DDR3 RAM, 5x300 GB SAS für Betriebssystem, 12x2 TB SAS für Nutzdaten (FHGFS), 24x2 TB (NFS), 2 x Gigabit Ethernet LAN, 1 x Infiniband-QDR und einem redundanten Netzteil betrieben.
  • Das High Performance Infiniband Netzwerk umfasst 80 Switches Voltaire Grid Director 4036, welches 36 ports pro Switch hat und mit einer Fat-Tree Topologie mit zwei Teilnetzwerken realisiert wurde. Es gibt 8 Root switches, wo pro Teilnetzwerk 12 Spine Switches mit 672 Portsvorzufinden sind. Die Möglichkeit zur Erweiterung um ein drittes Teilnetzwerk mit 672 Ports ist gegeben.
  • Als Betriebssystem wird Scientific Linux 6.0 mit Intel MPI und Open MPI benutzt. Als Batch-System steht die „Oracle Grid Engine“ und ClustWare-Appliance zur Verfügung. Als Compiler werden u.a. Intel Fortran & C Compilers (Composer XE 2011), GNU Fortran Compiler verwendet. Das Managementsystem MEGWARE ClustWare-Appliance bietet eine große Anzahl von Managementtools und Funktionen, welche zur Steuerung und Überwachung des ganzen Clustersystems eingesetzt werden können.
  • Die Kühlung erfolgt mit Knürr CoolTherm® – wassergekühlte Rücktüren (CoolDoor), welche die 30 Serverschränke mit jeweils 17 kW Leistung kühlen.

Hardware VSC-3

Der VSC-3 wird über insgesamt 1756 Rechenknoten verfügen, welche aus folgenden Komponenten bestehen:

  • insgesamt 1756 Dual-Socket Rechenknoten bestehend je aus
    • 2x Intel Xeon E5-2650v2 CPUs (2.6 GHz, 8-Kerne, Codename: "Ivy-Bridge")
    • 64 GB Hauptspeicher (DDR3, ECC, 1866 MHz)
    • 2x Intel QLE7340 Single-Port QDR-InfiniBand HCA (QDR80) Netzwerk
  • 5 Zugangsknoten wie Rechenknoten und zusätzlich:
    • 2x 10 GbE Ethernet Ports
    • 2x GbE Ethernet Ports
    • redundante Netzteile
  • 2x Bootserver als HA-Cluster wie Rechenknoten jedoch 128 GB RAM
    • 8x 480 GB Enterprise SSD im RAID
    • performante IPoIB Implementierung (ConnectX3 Adapter)
  • 2x Masterknoten zum Clustermanagement und Monitoring
    • Queuing-System und Cluster Management ist der Workload Manager SLURM
  • Paralleles Filesystem, Fraunhofer Filesystem basieren
    • 300 TB Nettokapazität
    • 9 Storage-Server und 8 Storage-Erweiterungseinheiten
    • mindestens 20 GB/s Bandbreite
  • NFS-Server, Anbindung über QDR-InfiniBand Netzwerk
    • zusammen 200 TB Nettokapazität
    • 6 identische NFS-Server
    • performante IPoIB Implementierung (ConnectX3 Adapter)
  • QDR InfiniBand Netzwerk, realisiert als QDR-80
    • Insel-Implementierung mit maximal 288 bis 300 Nodes pro Insel
    • Blocking-Faktor innerhalb einer Insel 1:2
  • "Liquid Submersion Cooling" Kühlsystem
    • 21 Kühlcontainer für die Aufnahme der Rechenknoten und InfiniBand Leaf- und Spine Switches
    • 6 redundante Pumpenmodule inkl. Wärmetauscher
  • 5 Wassergekühlte Wärmepumpen zur Kühlung von Storagekomponenten.

Das System wird eine Höchstperformance von 584 TFLOPs und insgesamt 113.66 TB RAM haben.

Benutzungsberechtigung

Der Zugang zum Vienna Scientific Cluster erfolgt grundsätzlich auf Basis von Projekten, welche einen Peer-Review-Prozess erfolgreich durchlaufen haben und neben wissenschaftlicher Exzellenz den Bedarf an extrem hoher Rechenleistung nachweisen. Sofern es sich um Projekte handelt, die bereits vom FWF, der EU usw. positiv begutachtet wurden, ist kein weiterer Review-Prozess erforderlich. Zum Einreichen von Projekten und Beantragen von Ressourcen steht die VSC-Webmaske der TU Wien zur Verfügung. Zusätzlich werden rasch und unbürokratisch Test­accounts vergeben (befristet und mit begrenzten Ressour­cen).

Für BenutzerInnen der Universität Wien gibt es einen eigenen Zugangsknoten vsc.univie.ac.at, der sich logisch im Datennetz der Universität Wien befindet. Physikalisch wurde die Verbindung zwischen Universität Wien und TU Wien auf 10 Gbit/s aufgestockt, sodass auch der Transfer großer Datenmengen zwischen dem VSC und Servern an Instituten der Universität Wien problemlos möglich ist. Die Home-Verzeichnisse werden auf den Backup-Servern der Universität Wien gesichert.

Fragen zum VSC stellen Sie bitte an vsc@zid.tuwien.ac.at.

KontaktFeedback