High Performance Computing – HPC
High-Performance-Computing-Systeme (HPC) bieten eine technische Infrastruktur, um besonders komplexe und rechenintensive Aufgaben zu bearbeiten.
Für wissenschaftliche Projekte mit extrem hohem Rechenleistungsbedarf stehen Nutzer*innen an der Universität Wien Supercomputer wie der Vienna Scientific Cluster (VSC), MUSICA (derzeit im Akzeptanztest) und der EuroHPC LEONARDO zur Verfügung.
Vienna Scientific Cluster (VSC)
Der Vienna Scientific Cluster wird in einer Kooperation zwischen der Technischen Universität Wien, der Universität Wien, der Universität für Bodenkultur Wien, der Technischen Universität Graz, der Universität Innsbruck und der Johannes Kepler Universität Linz betrieben.
Die aktuelle Ausbaustufe des Supercomputers ist der VSC-5.
VSC nutzen
Der Zugang zum Vienna Scientific Cluster erfolgt grundsätzlich auf Basis von Projekten, die
- einen Peer-Review-Prozess erfolgreich durchlaufen haben und
- neben wissenschaftlicher Exzellenz
- den Bedarf an extrem hoher Rechenleistung nachweisen.
Sofern es sich um Projekte handelt, die bereits vom FWF, der EU usw. positiv begutachtet wurden, ist kein weiterer Review-Prozess erforderlich. Zum Einreichen von Projekten und Beantragen von Ressourcen steht das VSC-Formular der TU Wien zur Verfügung.
Zusätzlich werden rasch und unbürokratisch Testaccounts vergeben (befristet und mit begrenzten Ressourcen).
Mehr Informationen über die Nutzung des VSC finden Sie im VSC Wiki.
Nutzer*innen der Universität Wien
- Es stehen Zugangsknoten zur Verfügung, die über
vsc4.vsc.ac.atundvsc5.vsc.ac.atzu erreichen sind. Diese befinden sich logisch im Datennetz der Universität Wien. - Physikalisch wurde die Verbindung zwischen Universität Wien und TU Wien auf 10 Gbit/s aufgestockt, sodass auch der Transfer großer Datenmengen zwischen dem VSC und Servern an Instituten der Universität Wien problemlos möglich ist.
Fragen zum VSC an service@vsc.ac.at.
VSC-5
VSC-5 (Vienna Scientific Cluster) © VSC-Team
VSC-5
Die fünfte und aktuelle Ausbaustufe des Vienna Scientific Cluster – VSC-5 – befindet sich im Wiener Arsenal und ist seit 2022 in Betrieb. Der VSC-5 belegt
- Platz 301 in der TOP500-Liste der weltweit schnellsten Supercomputer (Stand Juni 2022).
Hard- und Software
- Insgesamt enthält das System 98.560 Kerne und 120 GPUs.
- 770 Rechenknoten mit je 2 AMD EPYC 7713 Prozessoren mit je 64 Kernen.
- Jeder Knoten hat in der Grundausstattung 512 GB Hauptspeicher und eine 1,92 TB SSD.
- Von diesen Knoten sind:
- 6 Reserveknoten
- 120 Knoten mit erweitertem Hauptspeicher 1 TB/Knoten
- 20 Knoten mit erweitertem Hauptspeicher 2 TB/Knoten
- 60 GPU Knoten mit je 2 Stück NVIDIA A100 GPU
- 10 Loginknoten mit je 1 EPYC 7713 CPU mit 128 GB.
- 3 Serviceknoten (ähnlich ausgestattet wie Loginknoten).
- Alle Knoten (Rechen-, Login- und Serviceknoten) haben je eine 1,92 TB SSD-Device über PCI-E 3,0 × 4.
- Die Serviceknoten haben je 4 Stück und bilden ein privates CEPH-Storage.
- Das interne Netzwerk ist 200 Gbit Infiniband mit 4:1 Überbuchung.
- Die Loginknoten haben zusätzlich je 25 Gbit Ethernet nach außen.
- Die Verbindung zum Storage erfolgt über 6 × 200 Gbit Infiniband.
- Das Storage wird mit dem VSC-4 geteilt, der mit 12 × 100 Gbit Omnipath angeschlossen ist.
- Das System ist großteils wassergekühlt.
VSC-4
VSC-4 (Vienna Scientific Cluster) © ZID / Katharina Lüthke
VSC-4
Die vierte Ausbaustufe des Vienna Scientific Cluster – VSC-4 – befindet sich im Wiener Arsenal und ist seit 2019 in Betrieb. Der VSC-4 belegte
- Platz 82 in der TOP500-Liste der weltweit schnellsten Supercomputer.
Hard- und Software
- Basierend auf Lenovo-DWC-System
- Direkt-Wasserkühlung mit bis zu 50 Grad Celsius im Vorlauf
- 90 % der Abwärme in Wasserkühlung
- insgesamt 790 Knoten bestehend aus
- 700 Knoten mit je
- 2 × Intel Platinum 8174 (24 cores, 3,1 GHz)
- 96 GB Hauptspeicher
- Omnipath Fabric
- Omnipath (100 Gbit) Adapter
- 78 fat nodes mit je
- 2 × Intel Platinum 8174 (24 cores, 3,1 GHz)
- 384 GB Hauptspeicher
- Omnipath Fabric
- Omnipath (100 Gbit) Adapter
- 12 very fat nodes mit je
- 2 × Intel Platinum 8174 (24 cores, 3,1 GHz)
- 768 GB Hauptspeicher
- Omnipath Fabric
- Omnipath (100 Gbit) Adapter
- 700 Knoten mit je
Pro Rechenknoten
- 2 × Intel Xeon 8174 24 Core 3.1 GHz CPU 240 W
- 12 × 8/32/64 GB TruDDR4 RDIMMS 2666MHz
- 1 × Intel OPA1O0 HFA
- 1 × Intel 480 GB SSD S4510 SATA
- 1 × 1GbE Intel X722
Login-Knoten
- Lenovo ThinkSystem SR630 Server (1 HE)
- 10 Knoten des Typs Lenovo SR630 lHE (luftgekühlt)
- 2 × Intel Xeon 4108 8 Core 1.8 GHz CPU 85 W
- 12 × 16 GB TruDDR4 RDIMMS 2666 MHz
- 1 × Intel OPA1O0 HFA
- 2 × 10 GbE
- 1 × Intel 480 GB SSD 54510 SATA
- 2 × 550W Platinum Hot-Swap Netzteile
Serviceknoten
- 2 Knoten des Typs Lenovo SR630 lHE (luftgekühlt)
- 2 × Intel Xeon 4108 8 Core 1.8 GHz CPU 85W
- 12 × 16 GB TruDDR4 RDIMMS 2400MHz
- 1 × Intel OPA1O0 HFA
- 4 × 10 GbE
- 1 × RAID 530 8i Adapter
- 6 × 600 GB SAS 10k HDD
- 2 × 550W Platinum Hot-Swap Netzteile
Omnipath (Infiniband) Setup
- 27 Edge Intel OPA 100 Series 48 port TOR Switch dual power supply
- 16 Core Intel OPA 100 Series 48 port TOR Switch dual power supply
Ethernet Setup
- 27 Edge Intel OPA 100 Series 48 port TOR Switch dual power supply
- 16 Core Intel OPA 100 Series 48 port TOR Switch dual power supply
VSC-Ausbaustufen außer Betrieb
Vergangene Ausbaustufen des VSC finden Sie unter VSC-Ausbaustufen außer Betrieb.
MUSICA
MUSICA (Multi-Site Computer Austria) ist Österreichs nächster Supercomputer mit vernetzten HPC-Systemen an Standorten in Innsbruck, Linz und Wien.
Die VSC-Supercomputer werden durch mehrere Universitäten gemeinsam betrieben, jedoch bisher an einem zentralen Standort und mit Online-Zugang für alle beteiligten Institutionen. Die MUSICA-Computerhardware ist wiederum auf mehrere Standorte verteilt – Die so entstehende Verbindung von High Performance Computing mit Cloud-Computing ist eine Innovation des MUSICA-Projekts.
Mit MUSICA bekommen Nutzer*innen zudem deutlich mehr Rechenleistung: Die bisher schnellsten Supercomputer in Österreich, VSC-4 und VSC-5, erbringen gemeinsam eine Leistung von 5.01 Petaflops (Rechenoperationen pro Sekunde). Der neue HPC-Cluster wird eine Rechenleistung von etwa 40 Petaflops bereitstellen, was ihn unter die leistungsstärksten Systeme weltweit einreihen wird.
Das System wird derzeit einem Akzeptanztest unterzogen.
Hardware
- Die Standorte in Innsbruck und Linz haben jeweils 48 CPU-Knoten und 80 GPU-Knoten.
- Der Standort in Wien hat 72 CPU-Knoten und 112 GPU-Knoten.
Gilt für alle Systeme (Wien, Linz und Innsbruck):
- GPU Knoten: 4 x Nvidia H100 94 GB, verbunden via NVLINK, 2 x AMD Epyc 9654, 96 Rechenkerne und 768 GB RAM, 4 x NDR 200. Energiebedarf: max 4kW
- CPU Knoten: 2 x AMD Epyc 9654, 96 Rechenkerne und 768 GB RAM, 1 x NDR 200
- WEKA Storage Server von MEGWARE: 12 NVMe Disk mit je 15, 36 TB, 2 x NDR400 Infiniband Hochgeschwindigkeitsnetzwerk
- WEKA® Data Platform: 4 PB All-Flash Speicherlösung mit bis zu 1800 GB/s Lese- und 750 GB/s Schreibperformance
Kühlung:
- Großteils Direkt-Wasserkühlung
- Eine hohe Kühlwassertemperatur (circa 40 °C) ermöglicht es, die Abwärme wiederzuverwerten. In Wien wird sie beispielsweise genutzt, um benachbarte Gebäude zu heizen.
LEONARDO
Der EuroHPC LEONARDO ist einer der weltweit leistungsstärksten Supercomputer. Der Leonardo-Cluster bietet eine Rechenleistung von fast 250 Petaflops sowie eine Speicherkapazität von über 100 Petabyte. Ein Teil der Rechenressourcen ist dabei für Nutzer*innen aus Österreich reserviert, die über die AURELEO-Ausschreibungen (auf Englisch) Rechenzeit für ihre Projekte beantragen können.
Weiterführende Informationen finden Sie auf der LEONARDO-Webseite (auf Englisch).
VSC Research Center
Das VSC Research Center wurde im Rahmen eines Hochschulraum-Strukturmittel-Projektes gestartet. Es bietet ein Ausbildungsprogramm, das auf die Nutzung von Supercomputern zugeschnitten ist, und unterstützt zum Beispiel Nutzer*innen beim Optimieren von Programmen. Die Kurse des VSC Research Centers können von Angehörigen der Partneruniversitäten sowie – bei verfügbaren freien Plätzen – auch von Externen besucht werden.
Im Zuge desselben Projektes wurden auch Dissertant*innen und Postdocs gefördert, um wissenschaftlich hochrelevante Programme zu optimieren, zu dokumentieren und als Open-Source-Software zur Verfügung zu stellen.