Hozzáférés a HPC-hez, kezdő lépések (előadás és demó)

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Hozzáférés a HPC-hez, kezdő lépések (előadás és demó)"

Ágnes Pap
6 évvel ezelőtt
Látták:

1 Hozzáférés a HPC-hez, kezdő lépések (előadás és demó) Rőczei Gábor roczei@niif.hu

2 Főbb témák Hozzáférés a HPC-hez (Linux/Windows) Programok elindítása a különböző HPC gépeken Vizualizáció (kapcsolódás a grafikus kártyához) 2. oldal

3 Hozzáférés a HPC-hez Ezeket lehet használni: SSH ARC köztesréteg HPC-s login gépek: login.budapest.hpc.niif.hu login.szeged.hpc.niif.hu login.debrecen.hpc.niif.hu login.pecs.hpc.niif.hu 3. oldal

4 SSH hozzáférés (Linux).ssh/ id_rsa authorized_keys ssh l felhasználónév login.budapest.hpc.niif.hu Hasznos parancs: ssh-add -L 4. oldal

5 SSH hozzáférés (Windows), 6/1 Ajánlott program: Putty Innen lehet letölteni: download.html 5. oldal

6 SSH hozzáférés (Windows), 6/2 Konverzióra van szükség: id_rsa à id_rsa.ppk Megoldás: Puttygen 6. oldal

7 SSH hozzáférés (Windows), 6/3 7. oldal

8 SSH hozzáférés (Windows), 6/4 8. oldal

9 SSH hozzáférés (Windows), 6/5 9. oldal

10 SSH hozzáférés (Windows), 6/6 10. oldal

11 Hozzáférés Nemzeti ARC Információs köztesrétegen Infrastruktúra keresztül Fejlesztési Intézet (8/1) 11. oldal

12 Hozzáférés Nemzeti ARC Információs köztesrétegen Infrastruktúra keresztül Fejlesztési Intézet (8/2) 12. oldal

13 Hozzáférés Nemzeti ARC Információs köztesrétegen Infrastruktúra keresztül Fejlesztési Intézet (8/3) oldal

14 Hozzáférés Nemzeti ARC Információs köztesrétegen Infrastruktúra keresztül Fejlesztési Intézet (8/4) 14. oldal

15 Hozzáférés Nemzeti ARC Információs köztesrétegen Infrastruktúra keresztül Fejlesztési Intézet (8/5) 15. oldal

16 Hozzáférés Nemzeti ARC Információs köztesrétegen Infrastruktúra keresztül Fejlesztési Intézet (8/6) 16. oldal

17 Hozzáférés Nemzeti ARC Információs köztesrétegen Infrastruktúra keresztül Fejlesztési Intézet (8/7) 17. oldal

18 Hozzáférés Nemzeti ARC Információs köztesrétegen Infrastruktúra keresztül Fejlesztési Intézet (8/8) oldal

19 Feladatok típusai 1 db CPU core-t használ (serial) 2 vagy több CPU core-t használ (parallel) Párhuzamos feladatok Egy gépen fut (SMP, OpenMP) Kettő vagy több gépen fut (MPI, PVM) 19. oldal

20 Használható erőforrások Pécs: 1 db UltraViolet ccnuma ( =1140 db CPU core) Szeged: 48 db számítást végző gép (48*48=2304 CPU core) 2 db GPU gép (2*24=48 CPU core, 12*448=5376 db GPU/CUDA core) Debrecen: 128 db számítást végző gép (128*12=1536 db CPU core) Budapest 32 db számítást végző gép (32*24=768 db CPU core) 20. oldal

21 Feladatok ütemezése: Open Grid Scheduler Támogatást nyújt PVM, OpenMP, MPI alkalmazásokhoz Terhelés elosztás Elfogyó erőforrások kezelése (memória, licensz, GPU kártya, stb.) 21. oldal

22 Várakozó sorok 22. oldal

23 Műveletek feladatokkal Feladat létrehozása (vim) Feladat beküldés (qsub) Feladat monitorozása (qstat, qacct) Eredmények kiértékelése, vizualizálás, publikálás 23. oldal

24 Feladat (job) létrehozása 24. oldal

25 Feladat (job) beküldése 25. oldal

26 Feladat monitorozása 26. oldal

27 MPI feladat 27. oldal

28 OpenMP feladat 28. oldal

29 Matlab feladat futtatása (4/1) 29. oldal

30 Matlab feladat futtatása (4/2) Generic scheduler objektum készítése: >> job_path='/home/felhasznalo_nev/test'; >> >> sched = findresource('scheduler', 'type', 'generic'); >> set(sched, 'ClusterMatlabRoot', '/usr/local/matlab/r2011b'); >> set(sched, 'ClusterOsType', 'unix'); >> set(sched, 'DataLocation', job_path); >> set(sched, 'HasSharedFilesystem', true); >> set(sched, >> set(sched, >> set(sched, >> set(sched, 30. oldal

31 Matlab feladat futtatása (4/3) Feladat elkészítése: >> j = createjob(sched); >> 1, {[1 1]}); >> 1, {[2 2]}); >> 1, {[3 3]}); >> submit(j); 31. oldal

32 Matlab feladat futtatása (4/3) Feladat státusz lekérdezése: >> waitforstate(j) >> results = getalloutputarguments(j); >> results results = [2] [4] [6] 32. oldal

33 GPU feladat 33. oldal

34 Vizualizációs szerver elérése (7/1) Vizualizációs gépek: vserver.pecs.hpc.niif.hu vserver.szeged.hpc.niif.hu vserver.debrecen.hpc.niif.hu Elérés: TurboVNC/VirtualGL: oldal

35 Vizualizációs szerver elérése (7/2) 35. oldal

36 Vizualizációs szerver elérése (7/3) 36. oldal

37 Vizualizációs szerver elérése (7/4) 37. oldal

38 Vizualizációs szerver elérése (7/5) 38. oldal

39 Vizualizációs szerver elérése (7/6) 39. oldal

40 Vizualizációs szerver elérése (7/7) 40. oldal

41 Hasznos linkek Magyar: Angol: oldal

42 Köszönöm a figyelmet! Rőczei Gábor roczei@niif.hu

Hasonló dokumentumok

Az NIIF új szuperszámítógép infrastruktúrája Új lehetőségek a kutatói hálózatban 2012.02.23.

Az NIIF új szuperszámítógép infrastruktúrája Új lehetőségek a kutatói hálózatban 2012.02.23. Dr. Máray Tamás NIIF Intézet NIIF szuperszámítógép szolgáltatás a kezdetek 2001 Sun E10k 60 Gflops SMP architektúra