(HPC) DLA FIRM – Juliusz Pukacki, PCSS

(HPC) DLA FIRM – Juliusz Pukacki, PCSS

USŁUGI HIGH PERFORMANCE COMPUTING (HPC)
DLA FIRM
Juliusz Pukacki,PCSS
Co to jest HPC (High Preformance Computing) ?
•
•
Agregowanie dużych zasobów obliczeniowych w sposób umożliwiający
wykonywanie obliczeń w znacznie większej skali niż przy użyciu innego
rodzaju komputerów
Superkomputer - podstawowe komponenty
– Sprzęt: procesory, pamięć, sieć szybkich połączeń między komponentami
– Oprogramowanie: systemy operacyjne (Linux), systemy kolejkowe,
specjalizowane aplikacje obliczeniowe (rozpraszanie, zrównoleglanie)
•
Przykład: eagle.man.poznan.pl
– 1032 węzły (Intel Xeon E5-2697 2 procesory po 14 rdzeni (łącznie 28896)
rdzeni)
– 64, 128, 265 GB RAM/węzeł
– Moc obliczniowa 1,4 PFLOPS
– Połączenia wewnętrzne: Infiniband RFD, 1 Gbit Ethernet
– System kolejkowy: SLURM
Lista Top 500
Infrastruktura HPC w PCSS
Obliczenia:
• Infrastruktura HPC (1.4 PFLOPS, 90-ta pozycja na liście TOP500)
• 2 centra danych
• Systemy HPC/HTC
• Prototypowe instalacje wspomagające
Przestrzeń przechowywania danych:
• Infrastruktura hierarchiczna (łącznie 47 PB)
• Część infrastruktury europejskiej
Środowisko:
•300+ m2 w centrum danych #1
•1600 m2 w centrum danych #2
•Chłodzenie powietrzne i cieczowe
•Monitoring wideo, zabezpieczenia przed
pożarami
•Monitoring 24h
PCSS jest częścią:
•Europejskiej infrastruktury HPC (PRACE)
•Europejskiej i krajowej infrastruktkury
gridowej (EGI, PL-GRID)
•Krajowej (Platon, NDS) i europejskiej
infrastruktury przechowywania danych(EUDAT)
PCSS – opertor optycznej sieci naukowej PIONIER
Udział PCSS w międzynarodowych projektach B&R
60(4)
22(3)
19(2)
8(1)
2002
1998
5FP
2006
6FP
2015
7FP
Horizon2020
2022
Metody wykorzystywania mocy obliczeniowej
Stacja robocza
Lokalny serwer
obliczeniowy
Infrastruktura superkomputerowa (HPC/Cloud)
Specyfika metod dostępu do mocy obliczeniowej
Stacja robocza
Lokalny serwer
•
Stacja robocza:
–
–
–
–
•
Infrastruktura HPC/Cloud
Lokalny serwer
–
–
–
–
–
•
Obsługuje stosunkowo niewielkie zapotrzebowanie na moc obliczeniową
Praca z aplikacjami interaktywnymi – projektowanie w środowiskach graficznych,
wizualizacja
Wynik działania aplikacji widoczyny „natychmiast”
Dane przechowywane lokalnie
Możliwośc obsługi większego zapotrzebowania na moc obliczeniową
Możliwość wykonywania obliczeń w trybie wsadowym w trybie wieloużytkownikowym
Dedykowane zasoby
Pełna kontrola nad danymi
Konieczność utrzymywania/obsługi infrastruktury przez firmę
Infrastruktura HPC
–
–
–
–
–
–
Duże zapotrzebowanie na moc obliczeniową
Duże zadania obliczniowe wykonywane w trybie wsadowym (skala dni, tygodni)
Mozliwość uruchamiania zadań które „nie mieszczą” się na lokalnych zasobach (pamięć
operacyjna)
Brak konieczności obsługi warstwy sprzętowej przez firmę
Współdzielenie zasobów z innymi użytkownikami (kolejkowanie zadań, maszyny wirtualne)
Konieczność przesyłania danych do obliczeń poza firmę
Obszary zastosowań HPC
• Wyzwania naukowe
• Fizyka kwantowa – odziaływania pomiędzy cząstkami elementarnymi
• Obliczenia astrofizyczne
• Symulacje biochemiczne
• Aerodynamika
• Problemy teorii liczb i algebry liniowej
• Symulacje meteorologiczne
• Przemysł
• Badanie wytrzymałości materiałów i konstrukcji
• Symulowanie oporu powietrza na elementach
• Redndering zaawansowanych scen
Podstawowy dostęp do HPC
•
•
•
Węzeł dostępowy
Węzły obliczeniowe
Konsola użytkownika
–
Dostęp do systemu kolejkowego
Cel – łatwo dostępna usługa obliczeniowe
Przetwarzanie chmurowe
• Metoda dostępu do zasobów służących do przetwarzania danych (procesorów,
magazynów danych, aplikacji), w postaci usługi oferowanej dla zewnętrznych
klientów
• Metoda organizacji i udostępniania zasobów komputerowych przez centra
obliczniowe i danych (wirtualizacja)
• Rodzaje chmur: publiczne, prywatne, hybrydowe
• Modele udostępniania zadobów
• IaaS - Infrastructure as a Service
• PaaS – Platform as a Service
• SaaS – Software as a Service
• Najważniejsza korzyść użytkowania chmury: brak konieczności utrzymywania
własnej infrastruktury przy zachowaniu wygodnego dostępu do zasobów IT
HPC a Cloud Computing
HPC
Dostęp
tradycyjny
•
•
•
Duża wydajność
Dostęp do systemów
kolejkowych przez węzeł
dostępowy
Współdzielenie zasobów na
zasadzie dostępu do kolejek
Dostęp
chmurowy
•
•
•
Duża skalowalność
Uniwersalne, wygodne metody
dostępu przez interfejsy WWW i
sewisy sieciowe
Współdzielenie zasobów na
zasadzie maszyn wirtualnych
uruchamianych na tym samym
sprzęcie
Potencjalne korzyści z wykorzystania HPC
• Tworzenie nowych produktów dzięki możliwości wirtualnego
prototypowania komponentów
• Przyspieszenie czasu wykonywania symulacji
• Możliwość zwiększenia wielkości obliczanego modelu (dokładność
modelu)
• Brak konieczności utrzymywania własnej infrastruktury
obliczneniowej
• Elastyczne modele opłat za wykorzystane zasoby (pay-as-you-go)
Wyzwania i obszary współpracy
•
Dostosowanie aplikacji do uruchomienia w środowisku HPC
– Adaptacja do architektury
– Optymalizacja
– Zrównoleglanie
•
•
•
•
•
•
•
•
Dostosowanie interfejsu dostępowego do obliczeń do istniejącego w
przedsiębiorstwie systemu
Zapewnienie poufności danych
Transfer dużych ilości danych na infrastrukturę HPC
Modele licencyjne aplikacji
Dostępność zasobów (SLA)
Stworzenie modeli biznesowych na wykorzystanie tradycyjnych zasobów
HPC przez firmy
Monitorowanie kosztu obliczeń – limity, alarmy (w przypadku gdy czas
obliczeń zwiększa się w nieprzewidziany sposób)
Obsługa klienta