Bevezetés a Grid rendszerekbe

Átírás

1 Bevezetés a Grid rendszerekbe Prof Kacsuk Péter MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium kacsuk@sztaki.hu

2 Tartalom Mi a grid, miért és mire használják? Általános lá grid architektúra Szolgáltatás Gridek Hozzáférés szolgálatás gridhez Desktop Gridek Hozzáférés desktop gridhez A tanfolyam célja Konklúziók

3 Mi az a Grid? AGridszámítógépek számítógépek, tárolóegységek, speciális berendezések és szolgáltatások együttese, amik dinamikusan csatlakozhatnak és hagyhatják el a Gridet Ezek az erőforrások heterogének Földrajzilag elosztottak és tipikusan Internettel vannak összekötve Igény szerint (on- demand) érhetők el Internet

4 Miért használnak Gridet? A felhasználónak olyan komplex problémát kell megoldani, ami sok szolgáltatás és erőforrás együttes alkalmazását igényli azért, hogy Csökkentse a feldolgozási időt Elérjen nagy adatbázisokat és speciális készülékeket k Együttműködjön másokkal Internet t

5 Tipikus Grid alkalmazási területek Nagy számítási kapacitást igénylő alkalmazások Nagy teljesítményű számítás (High Performance Computing) Egyetlen párhuzamos program végrehajtásának idejét lerövidíteni Nagy áteresztőképességű számítások (High Throughtput Computing) Minél több hasonló méretű, egymástól független jobot lefuttatni egységnyi idő alatt Nagy adatmennyiségekel dolgozó alkalmazások l k Általában több adatbázis, tudásbázis együttes bevonásával Kollaboratív munka Több felhasználó együttes bevonásával összetett tudást igénylő problémák megoldása

6 Példa: Large Hidron Collider, CERN, Genf ATLAS CMS ~10-15 PetaBytes /year ~10 8 events/year ~10 3 batch and interactive users LHCb

7 Példa: Rolls Royce repülőgép motorok 1Gb data per engine per flight Real-time adatletöltés tölté a bázis repülőtérre Historikus összehasonlítás Adatintegráció repterek között Elemzés, analizálás Számítás elosztott architektúrán Kiszolgáló személyzet felkészítése

8 Példa: Orvosi képfeldolgozás ~ 1 millió kép / paciens 1024 x 1024 felbontás / kép ~ 1 gbyte / paciens 5 paciens / nap... Push images in the workflow Image + metadata Metadata Server LFN Other medical metadata

9 További példák In silico gyógyszerkutatás molekula szimulációk, alkalmatlan vegyületek kiszűrése ű Földtudományok, űrkutatás szatellit és távcső képek megosztása, elemzése Archeologia digitális archivumok létrehozása és megosztása, szimulációk futtatása Időjárás előrejelzés adatbegyűjtés, modellválasztás, szimulációk, összegzés Mérnöki tudományok épületek, e közlekedési eszközök szimulációja

10 Miért célszerű erre Grid rendszert használni? Az ilyen tipusú problémákra 5-10 éve még szuperszámítógépeket használtak Ma nagy részükre Grid rendszert használnak Az okok: A Grid képes egyesíteni és kihasználni az intézetek szabad számítógép kapacitását mindenféle extra beruházás nélkül Virtuálisan és igény szerint megnöveli minden csatlakozó intézmény gépparkjának kapacitását Elosztott erőforrásokat integrál Rugalmas hozzáférést tesz lehetővé

11 Grid vízió Mobile Access Workstation G R I D M I D D L E W A R E Supercomputer, PC-Cluster Data-storage, Sensors, Experiments Visualising Internet, networks

12 Megoldandó problémák Erőforrások standard elérése Számítógépek Tárolóeszközök ök Speciális eszközök Szoftverek Sotee Hozzáférés szabályozás (biztonságtechnika) Terheléselosztás Erőforrások állapotának monitorozása Alkalmazások monitorozása Hibakezelés Alkalmazási metodika, programozási koncepció...

13 Általános Grid modell Int1 Szabad kapacitás kiajánlása Int4 Int2 Internet Int3 Kapacitás igénylés

14 A Grid két szereplője Erőforrás felajánlók (donorok) = D Erőforrás felhasználók = H A kettő közötti viszony adja meg az alkalmazott Grid modell típusát: Ha H ~ D Ha H >> D Ha H << D => általános Grid modell => szolgáltatói Grid modell => desktop Grid modell

15 Általános Grid modell jellemzői Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására Szimmetrikus és egyenjogú kapcsolat az erőforrás donorok és használók között: ött H ~ D

16 Az általános grid modell bonyolult... Számtalan felhasználási lehetőség Bonyolult biztonsági megoldások Fejlett erőforrás információs rendszer Fejlett brókerezési rendszer Bonyolult installálni és karbantartani Nagyon megbízhatatlan Gyakorlatban két irányba egyszerűsödött: Szolgáltatás Gridek Dekstop Gridek

17 Szolgáltatás Gridek

18 Szolgáltatói Grid modell példa: Enabling Grids for E-sciencE (EGEE) Kutatóhely1 Szabad kapacitás kiajánlása napi 24 órában (statikusan) Kutatóhely2 Donor és Felhasználó Felhasználó 1 Internet Donor és Felhasználó Felhasználó N Kapacitás igénylés Kapacitás igénylés dinamikusan

19 Szolgáltatói Grid modell jellemzői Csak professzionális szolgáltatók ajánlhatnak fel erőforrást Homogén erőforrások egyszerűbb karbantarthatóság, alkalmazás fejlesztés Bárki felhasználhatja a felajánlott l erőforrásokat SAJÁT alkalmazásának megoldására Asszimmetrikus ik és nem egyenjogú kapcsolat az erőforrás donorok és használók között: H>>D

20 Applications Application Environments Generic Grid Architecture Instrument Management Problem Analysis & Visualisation Collaboratories Solving Environments Application Support MPI CONDOR CORBA JAVA/JINI OLE DCOM Grid Portals Other... Grid Common Services: Middleware services Info ormation Se ervices Re esource Sce eduling Data a Access Ca aching Re esource Co-A Allocation Auth entication Auth horisation Mo onitoring Fault Man nagement Policy Acc counting Grid Fabric -local resources CPUs Resource Management Tertiary Storage Online Storage Scientific Instruments t Resource Management Communications

21 Szolgáltatói Grid példa: EGEE Country participating in EGEE > 200 sites in 40 countries ~ CPUs ~ 5PBstorage 98k jobs/day > 200 Virtual Organizations The world s largest multi-disciplinary Grid glite middleware

22 Szolgáltatói Grid példa: Open Science Grid 30 Virtual Organizations 105 Resources 26 Support Agencies Middleware: Virtual Data Toolkit (VDT): collection of grid tools Condor Globus VO Management Service

23 Szolgáltatói Grid példa : NorduGrid Dynamic Grid ~ 33 sites, ~ CPUS Production Grid Applications from f om various scientific disciplines Sites operate 24/7 Mostly unattended by administrators Middleware: Advanced Resource Connector (ARC)

24 HunGrid EGEE magyar VO-ja Folyamatos működésű ű (napi 24 órában működik) dk) Cél: az akadémiai intézetek kutatóinak folyamatos támogatása Az EGEE Grid magyar adaptációja, virtuális szervezete januárban lett felállítva Résztvevő telephelyek: RMKI: 200 proc. ELTE: 64 proc. BME: 32 proc. NIIF: 12 proc. Összes proc. kapacitás: 308 proc.

25 Limitált szolgálatás grid változat: Magyar KlaszterGrid Egyetem1 Szabad kapacitás kiajánlása éjszaka Egyetem4 Egyetem2 Internet Egyetem3 Kapacitás igénylés Kapacitás igénylés éjszaka

26 ClusterGrid Szakaszos működésű: A nappal oktatásban használt PC laborokat köti Gridbe éjszakánként hétvégeken ~1400 PC 26 egyetemen ill. főiskolán A grid teljesítmény ~0.5 Tflop 70 tudományos projekt 2003 július óta üzemel és folyamatosan nő a kapacitása

27 Szolgáltatás Grid hozzáférés

28 Szolgáltatás gridek és Virtuális organizációk VO: erőforrások és flh felhasználók csoportja Logikai egység Virtuális szervezet Hozzáférési határ Grid

29 Szolgáltatás grid hozzáférés Grid tanusítvány beszerzése egy elismert Tanusítvány Szolgáltatótól (CA) Magyarországi CA: NIIF h / Regisztráció egy Virtuális Organizációba EGEE VO-k listája: Central Operations portal: HunGrid VO: eng eneral Grid használat parancssorból vagy P-GRADE portálból

30 P-GRADE Portál röviden Fájl tároló szolgáltatások Sámítási Számítási erőforrások Tanusítvány alapú azonosítás HTTP P-GRADE Portal Fájl replika és katalógus szolgáltatások Információs rendszer Erőforrás bróker

31 A P-GRADE Portal szolgáltatásai WORKFLOW CERTIFICATE PERFORMANCE EXECUTION DESIGN MANAGEMENT ANALYSIS ON GRID(S)

32 Egy P-GRADE Portál alkalmazás Irányított aciklikus gráf, amelyben Csomópontok: végrehajtható programok Portok: input/output fájlok melyeket a programok olvasnak vagy írnak Élek: programok közötti adatfüggőségek Workflow szemantikája: Egy csomópontban lévő program akkor indítható ha minden input fájlja rendelkezésre áll A portál szerverbe épített workflow menedzser felelőssége

33 Programok párhuzamosítása Egyidőben több példánya fut Párhuzamos futás egy szolgáltatás grid csomóponton belül (MPI) Párhuzamos futás a workflow gráfon belül A workflow futtatása több példányban paraméter vizsgálatként Egyidőben több programja fut Egyidőben több processze fut

34 Desktop Gridek

35 Desktop Grid modell Vállalati/ egyetemi szerver Megoldandó dó feladat Vállalati/ egyetemi PC Szabad kapacitás kiajánlása dinamikusan Internet Vállalati/ egyetemi PC Vállalati/ egyetemi PC Munkacsomagok kiosztása

36 Desktop Grid modell jellemzői Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek Egy vagy néhány projekt használhatja fel a felajánlott erőforrásokat Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás donorok és használók között: ött H << D

37 Desktop Grid fajtái Globális Desktop Grid (DG) Célja nagy horderejű tudományos feladatokhoz donor PC-ket gyűjteni Lokális DG Célja, hogy a DG koncepciót bármilyen közösség g( (kut.intézet, egyetemi tsz., kar, vállalat, város, stb.) tudja használni

38 SETI: egy globális DG 1 grid 1 alkalmazáshoz 3.8M önkéntes 226 országból 1200 CPU év/nap 38 TF fenntartható teljesítmény ~ 28. a TOP500 listán (Japanese Earth Simulator 30. ugyanitt) Alapját adó BOINC infrastruktúra már külön is elérhető

39 SZTAKI Desktop Grid BOINC DG technológián alapuló rendszer Megkönnyíteni DG alkalmazások létrehozását és futtatását Megkönnyíteni DG infrastruktúra installálását és üzemeltetését Lokális és globális csomag is elérhető Globális minta installáció: júniusban lett felállítva a SZTAKI-ban: p// p / pg / Megoldandó feladat: általánosított bináris számrendszerek keresése (ELTE Matematikai Tanszék) Több mint beregisztrált résztvevő ~ számítógép GFlop teljesítmény Demonstrálni és bizonyítani a DG koncepció működését Meggyőzni a kételkedőket a DG használhatóságáról Bárki beszállhat mint erőforrás felajánló

40 SZTAKI Desktop Grid globális verzió

41 SZTAKI Desktop Grid globális mintarendszer SZTAKI DG mintainstalláció: 750 GFlops NIIF Supercomputer: p 300 GFlops NIIF ClusterGrid: 500 GFlops OMSZ Supercomputer: 900 GFlops TOP 500 entry performance: 5929 GFlops

42 SZTAKI DG használatának fokozatai 1. Bárki kipróbálhatja a DG koncepció működését PCjét beregisztrálva a mintarendszerbe 2. Bárki hozhat alkalmazást, amit szeretne az SZDGre feltelepíteni. Ekkor segítünk az alkalmazás SZDG adaptálásában és elvégezzük a telepítést 3. Bármely szervezet felállíthatja saját DG rendszerét az SZDG mintájára: Egyetlen PC szervert kell beruháznia Mi vállaljuk, hogy egyetlen nap alatt felállítjuk a DG-t Segítünk a szervezet alkalmazásait adaptálni és telepíteni a saját DG-re

43 Két alapvető Grid irányzat Grid Technológia Desktop Grid Utility Grid (EGEE, HunGrid) Alkalmazás fejlesztés DC API P-GRADE portal Tipikus alkalmazás Mester-szolga Ált.párhuzam. (Workflow)

44 Kihasználható párhuzamosság típusok a Gridben Szolgáltatás Grid Master-slave (paraméter vizsgálat) Telephelyen belüli párhuzamosság Telephelyek közötti párhuzamosság Workflow Ezek kompinációi, pl Telephelyen belüli paraméter vizsgálat Workflow paraméter vizsgálat Desktop Grid Master-slave (paraméter vizsgálat)

45 Paraméter vizsgálat v. Mester/szolga párhuzamosság Mester munkacsomag1 munkacsomag2 munkacsomag3 munkacsomagn Internet

46 Telephelyen belüli párhuzamosság Internet t

47 Telephelyek közötti párhuzamosság Internet t

48 Workflow párhuzamosság Internet t

49 Kombinált párhuzamosság: Telephelyen belüli és paraméter vizsgálat Internet t

50 Kombinált párhuzamosság: Worlkflow parameter vizsgalat Internet t

51 A Grid Computing három hulláma A kutatási hullám Az ipari hullám A vásárlói hullám Technológia, Prototípus Griden futó termékek Comm Virtuális Organizációk Vállalati megoldások Standardok Együttműködési képesség GGF, IETF, OASIS GGF, EGA, IETF, OASIS Jogi, polit Grid lehetőségek tudatosítása Könnyű elérés Grid Service Provider Itt tartunk

52 A tanfolyam célja Bemutatni azokat a grid infrastruktúrákat, amiket a magyar kutatók elérhetnek Megmutatni, hogy ezeket hogyan kell használni: Grid tanusítványok beszerzése Alkalmazások fejlesztés a gridre Futtatás a gridben Mind elvi, mind gyakorlati képzés lesz

53 Mit tegyünk a tanfolyam után Ha tényleg akarjuk használni a gridet, akkor forduljunk a SZTAKI GASuC szolgáltatásához GASuC (Grid Application Support Centre): Segit az alkalmazás gridesítésében Segít a kezdeti nehézségeket áthídalni az új grid felhasználók számára á

54

55

56

57 Konkluzió Általános Grid modell jó, de megvalósítani bonyolult Kutatási témák TDK, diplomamunka, PhD téma Témavezetést vállalunk minden szinten Gyakorlatban Szolgáltatás Gridek és Desktop Gridek Léteznek működő Grid infrastruktúrák hazánkban: ClusterGrid: PVM programok számára HunGrid: workflow és paraméter vizsgálat SZTAKI DG: Mester-szolga alkalmazásokra Elérhetők európai grid infrastruktúrák is: SEEGRID, VOCE, GILDA Mindezek a P-GRADE portál interfészen keresztül transzparensen használhatók Bárki regisztrálhat, mint erőforrás felajánló, vagy mint alkalmazó Bármely magyar kutató ingyenesen igénybe veheti a GASuC szolgáltatást

58 Köszönöm a figyelmet fgy? További információ: sztaki