HPC – High Performance Computing

Der Vienna Scientific Cluster wird in einer Kooperation zwischen der Technischen Universität Wien, der Universität Wien, der Universität für Bodenkultur Wien, der Technischen Universität Graz, der Universität Innsbruck und der Johannes Kepler Universität Linz betrieben. Die aktuelle Ausbaustufe des Supercomputers ist der VSC-5.

Der Zugang zum Vienna Scientific Cluster erfolgt grundsätzlich auf Basis von Projekten, die

• einen Peer-Review-Prozess erfolgreich durchlaufen haben und
• neben wissenschaftlicher Exzellenz
• den Bedarf an extrem hoher Rechenleistung nachweisen.

Sofern es sich um Projekte handelt, die bereits vom FWF, der EU usw. positiv begutachtet wurden, ist kein weiterer Review-Prozess erforderlich. Zum Einreichen von Projekten und Beantragen von Ressourcen steht die ASC-Access-Seite zur Verfügung.

Zusätzlich werden rasch und unbürokratisch Test­accounts vergeben (befristet und mit begrenzten Ressour­cen).

Mehr Informationen über die Nutzung von ASC finden Sie in der User Documentation.

• Es stehen Zugangsknoten zur Verfügung, die über vsc4.vsc.ac.at und vsc5.vsc.ac.at zu erreichen sind. Diese befinden sich logisch im Datennetz der Universität Wien.
• Physikalisch wurde die Verbindung zwischen Universität Wien und TU Wien auf 10 Gbit/s aufgestockt, sodass auch der Transfer großer Datenmengen zwischen dem VSC und Servern an Instituten der Universität Wien problemlos möglich ist.

Fragen zu ASC richten Sie an: support(at)asc.ac.at

• Insgesamt enthält das System 98.560 Kerne und 120 GPUs.
• 770 Rechenknoten mit je 2 AMD EPYC 7713 Prozessoren mit je 64 Kernen.
• Jeder Knoten hat in der Grundausstattung 512 GB Hauptspeicher und eine 1,92 TB SSD.

• Von diesen Knoten sind:

  • 6 Reserveknoten
  • 120 Knoten mit erweitertem Hauptspeicher 1 TB/Knoten
  • 20 Knoten mit erweitertem Hauptspeicher 2 TB/Knoten
  • 60 GPU Knoten mit je 2 Stück NVIDIA A100 GPU

   

• 10 Loginknoten mit je 1 EPYC 7713 CPU mit 128 GB.
• 3 Serviceknoten (ähnlich ausgestattet wie Loginknoten).
• Alle Knoten (Rechen-, Login- und Serviceknoten) haben je eine 1,92 TB SSD-Device über PCI-E 3,0 × 4.
• Die Serviceknoten haben je 4 Stück und bilden ein privates CEPH-Storage.
• Das interne Netzwerk ist 200 Gbit Infiniband mit 4:1 Überbuchung.
• Die Loginknoten haben zusätzlich je 25 Gbit Ethernet nach außen.
• Die Verbindung zum Storage erfolgt über 6 × 200 Gbit Infiniband.
• Das Storage wird mit dem VSC-4 geteilt, der mit 12 × 100 Gbit Omnipath angeschlossen ist.
• Das System ist großteils wassergekühlt.

• Basierend auf Lenovo-DWC-System
• Direkt-Wasserkühlung mit bis zu 50 Grad Celsius im Vorlauf
• 90 % der Abwärme in Wasserkühlung
• insgesamt 790 Knoten bestehend aus

  • 700 Knoten mit je

    • 2 × Intel Platinum 8174 (24 cores, 3,1 GHz)
    • 96 GB Hauptspeicher
    • Omnipath Fabric
    • Omnipath (100 Gbit) Adapter

     

  • 78 fat nodes mit je

    • 2 × Intel Platinum 8174 (24 cores, 3,1 GHz)
    • 384 GB Hauptspeicher
    • Omnipath Fabric
    • Omnipath (100 Gbit) Adapter

     

  • 12 very fat nodes mit je

    • 2 × Intel Platinum 8174 (24 cores, 3,1 GHz)
    • 768 GB Hauptspeicher
    • Omnipath Fabric
    • Omnipath (100 Gbit) Adapter

     

Pro Rechenknoten

• 2 × Intel Xeon 8174 24 Core 3.1 GHz CPU 240 W
• 12 × 8/32/64 GB TruDDR4 RDIMMS 2666MHz
• 1 × Intel OPA1O0 HFA
• 1 × Intel 480 GB SSD S4510 SATA
• 1 × 1GbE Intel X722

Login-Knoten

• Lenovo ThinkSystem SR630 Server (1 HE)
• 10 Knoten des Typs Lenovo SR630 lHE (luftgekühlt)
• 2 × Intel Xeon 4108 8 Core 1.8 GHz CPU 85 W
• 12 × 16 GB TruDDR4 RDIMMS 2666 MHz
• 1 × Intel OPA1O0 HFA
• 2 × 10 GbE
• 1 × Intel 480 GB SSD 54510 SATA
• 2 × 550W Platinum Hot-Swap Netzteile

Serviceknoten

• 2 Knoten des Typs Lenovo SR630 lHE (luftgekühlt)
• 2 × Intel Xeon 4108 8 Core 1.8 GHz CPU 85W
• 12 × 16 GB TruDDR4 RDIMMS 2400MHz
• 1 × Intel OPA1O0 HFA
• 4 × 10 GbE
• 1 × RAID 530 8i Adapter
• 6 × 600 GB SAS 10k HDD
• 2 × 550W Platinum Hot-Swap Netzteile

Omnipath (Infiniband) Setup

• 27 Edge Intel OPA 100 Series 48 port TOR Switch dual power supply
• 16 Core Intel OPA 100 Series 48 port TOR Switch dual power supply

Ethernet Setup

• 27 Edge Intel OPA 100 Series 48 port TOR Switch dual power supply
• 16 Core Intel OPA 100 Series 48 port TOR Switch dual power supply

Vergangene Ausbaustufen des VSC finden Sie unter VSC-Ausbaustufen außer Betrieb.

MUSICA (Multi-Site Computer Austria) ist Österreichs nächster Supercomputer mit vernetzten HPC-Systemen an Standorten in Innsbruck, Linz und Wien.

Die VSC-Supercomputer werden durch mehrere Universitäten gemeinsam betrieben, jedoch bisher an einem zentralen Standort und mit Online-Zugang für alle beteiligten Institutionen. Die MUSICA-Computerhardware ist wiederum auf mehrere Standorte verteilt – die so entstehende Verbindung von High Performance Computing mit Cloud-Computing ist eine Innovation des MUSICA-Projekts. 

Mit MUSICA bekommen Nutzer*innen zudem deutlich mehr Rechenleistung: Die bisher schnellsten Supercomputer in Österreich, VSC-4 und VSC-5, erbringen gemeinsam eine Leistung von 5.01 Petaflops (Rechenoperationen pro Sekunde). Der neue HPC-Cluster wird eine Rechenleistung von etwa 40 Petaflops bereitstellen, was ihn unter die leistungsstärksten Systeme weltweit einreihen wird.

Das System wird derzeit einem Akzeptanztest unterzogen.

• Die Standorte in Innsbruck und Linz haben jeweils 48 CPU-Knoten und 80 GPU-Knoten.
• Der Standort in Wien hat 72 CPU-Knoten und 112 GPU-Knoten.

Gilt für alle Systeme (Wien, Linz und Innsbruck):

• GPU Knoten: 4 x Nvidia H100 94 GB, verbunden via NVLINK, 2 x AMD Epyc 9654, 96 Rechenkerne und 768 GB RAM, 4 x NDR 200. Energiebedarf: max 4kW
• CPU Knoten: 2 x AMD Epyc 9654, 96 Rechenkerne und 768 GB RAM, 1 x NDR 200
• WEKA Storage Server von MEGWARE: 12 NVMe Disk mit je 15, 36 TB, 2 x NDR400 Infiniband Hochgeschwindigkeitsnetzwerk
• WEKA® Data Platform: 4 PB All-Flash Speicherlösung mit bis zu 1800 GB/s Lese- und 750 GB/s Schreibperformance

Kühlung: 

• Großteils Direkt-Wasserkühlung
• Eine hohe Kühlwassertemperatur (circa 40 °C) ermöglicht es, die Abwärme wiederzuverwerten. In Wien wird sie beispielsweise genutzt, um benachbarte Gebäude zu heizen. 

Der EuroHPC LEONARDO ist einer der weltweit leistungsstärksten Supercomputer. Der Leonardo-Cluster bietet eine Rechenleistung von fast 250 Petaflops sowie eine Speicherkapazität von über 100 Petabyte. Ein Teil der Rechenressourcen ist dabei für Nutzer*innen aus Österreich reserviert, die über die AURELEO-Ausschreibungen (auf Englisch) Rechenzeit für ihre Projekte beantragen können.

Weiterführende Informationen finden Sie auf der LEONARDO-Webseite (auf Englisch). 

Das ASC Research Center wurde im Rahmen eines Hochschulraum-Strukturmittel-Projektes gestartet. Es bietet ein Ausbildungsprogramm, das auf die Nutzung von Supercomputern zugeschnitten ist, und unterstützt zum Beispiel Nutzer*innen beim Optimieren von Programmen. Die Kurse des ASC Research Centers können von Angehörigen der Partneruniversitäten sowie – bei verfügbaren freien Plätzen – auch von Externen besucht werden.

Im Zuge desselben Projektes wurden auch Dissertant*innen und Postdocs gefördert, um wissenschaftlich hochrelevante Programme zu optimieren, zu dokumentieren und als Open-Source-Software zur Verfügung zu stellen.

Mehr Informationen zu Kursen und zum ASC Research Center