Bevezetés az európai és magyar Grid rendszerekbe

Átírás

1 Bevezetés az európai és magyar Grid rendszerekbe Sipos Gergely MTA SZTAKI Párhuzamos és elosztott rendszerek laboratórium

2 Mi az a Grid? AGridszámítógépek számítógépek, tárolóegységek, speciális berendezések és szolgáltatások együttese, amik dinamikusan csatlakozhatnak és hagyhatják el a Gridet Ezek az erőforrások heterogének Földrajzilag elosztottak és tipikusan Internettel vannak összekötve Igény szerint (on-demand) érhetők el Grid Internet

3 Miért használnak Gridet? A felhasználónak olyan komplex problémát kell megoldani, ami sok szolgáltatás és erőforrás együttes alkalmazását igényli azért, hogy Csökkentse a feldolgozási időt Elérjen speciális készülékeket, adatokat, t szoftvereket t Együttműködjön másokkal Internet t

4 Tipikus Grid alkalmazási területek Nagy számítási kapacitást igénylő alkalmazások Nagy teljesítményű számítás (High Performance Computing) Egyetlen párhuzamos program végrehajtási idejét lerövidíteni Nagy áteresztőképességű számítás (High Throughtput Computing) Minél több hasonló méretű, egymástól független programot lefuttatni egységnyi idő alatt Nagy adathalmazokkal l dolgozó alkalmazások l k Akár több adatbázis, tudásbázis együttes bevonása Kollaboratív csoport munka Több felhasználó együttes bevonásával összetett tudást igénylő problémák megoldása

5 Large Hidron Collider, CERN, Genf LHC Grid ATLAS CMS ~ 40 millió részecskeütközés mp-enként 15 PetaByte adat / év ~10 3 analízist végző fizikus LHCb

6 Példa: Rolls Royce repülőgép motorok 1Gb adat / repülő / út Valós idejü adatletöltés a bázis repülőtérre Összehasonlítás korábbi adatokkal Keresés több repter adataiban Elemzés, analizálás Számítás elosztott architektúrán tú Kiszolgáló személyzet felkészítése a gép érkezésére

7 Példa: Orvosi képfeldolgozás ~ 1 millió kép / paciens 1024 x 1024 felbontás / kép ~ 1 gbyte / paciens 5 paciens / nap... Push images in the workflow Image + metadata Adat katalógus Kép Metaadatok Eredmények...

8 További példák In silico gyógyszerkutatás molekula szimulációk, alkalmatlan vegyületek kiszűrése ű Földtudományok, űrkutatás szatellit és távcső képek megosztása, elemzése Időjárás előrejelzés adatbegyűjtés, modellválasztás, szimulációk, összegzés Mérnöki tudományok épületek, közlekedési k eszközök ök szimulációja iój Archeologia digitális archivumok létrehozása és megosztása, szimulációk futtatása

9 Miért célszerű erre Grid rendszert használni? Az ilyen tipusú problémák többségére é 5-10 éve még szuperszámítógépeket használtak Ma Grid rendszert használnak Az okok: A Grid képes egyesíteni és kihasználni az intézetek szabad számítógép kapacitását mindenféle extra beruházás nélkül Virtuálisan és igény szerint megnöveli minden csatlakozó intézmény gépparkjának kapacitását Elosztott erőforrásokat integrál Rugalmas hozzáférést tesz lehetővé

10 Grid vízió Mobil hozzáférés Munkaállomás G R I D M I D D L E W A R E PCk, klaszterek, szuperszámítógépek Adat tárolók, szenzorok, berendezések Megjelenítés Hálózatok, Internet

11 Megoldandó problémák Erőforrások egységes elérése Számítógépek Tárolóeszközök ök Speciális eszközök Szoftverek Sotee Hozzáférés szabályozás Terheléselosztás Erőforrások állapotának monitorozása Alkalmazások monitorozása Hibakezelés Alkalmazási metodika, programozási koncepció...

12 Ha az általános grid vízió ez, akkor... hol vagyunk most?

13 Általános Grid modell Szabad kapacitás kiajánlása Intézet 1 Intézet 4 Internet Intézet 2 Intézet 3 Kapacitás igénylés

14 A Grid két szereplője Erőforrás felajánlók (donorok) = D Erőforrás felhasználók = H A kettő közötti viszony adja meg az alkalmazott Grid modell típusát: Ha H ~ D Ha H >> D Ha H << D általános Grid modell szolgáltatói Grid modell desktop Grid modell

15 Általános Grid modell jellemzői Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására Szimmetrikus és egyenjogú kapcsolat az erőforrás donorok és használók között: ött H ~ D

16 Szolgáltatói Grid modell Kutatóhely1 Szabad kapacitás kiajánlása napi 24 órában (statikusan) Kutatóhely2 Donor és Felhasználó Felhasználó 1 Internet Donor és Felhasználó Felhasználó N Kapacitásigénylés dinamikusan

17 Szolgáltatói Grid modell jellemzői Csak professzionális szolgáltatók ajánlhatnak fel erőforrást Homogén erőforrások Bárki felhasználhatja a felajánlott erőforrásokat SAJÁT alkalmazásának megoldására Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás-donorok és használók között: ött H >> D

18 Szolgáltatói Grid példa: EGEE EGEE gridben részt vevő ország A világ legnagyobb multi-disciplináris gridje > 250 intézet 51 országból ~ processzor ~ 20 PB tárolókapacitás (20 millió GByte) job/nap > 200 Virtuális Közösség ~ 1000 ember dolgozik rajta és vele glite middleware fut az erőforrásokon

19 Szolgáltatás Gridek egy eleme: klaszter Számítási kapacitás Adattároló kapacitás Hozzáférés szabályozás Security services grid.ucy.ac.cy IBM eserver 326m Machines 2.0GHz dual AMD Opteron 64-bit CPUs 1GB RAM 80 CPUs

20 Szolgáltatói Grid példa : NorduGrid Dynamic Grid ~ 33 sites, ~1400 CPUS Production Grid Applications from various scientific disciplines Sites operate 24/7 Mostly unattended by administrators Middleware: Advanced Resource Connector (ARC)

21 Hozzáférés é szolgáltatás tá Gridekhez

22 Szolgáltatás gridek és Virtuális organizációk (VO-k) VO: erőforrások és flh felhasználók csoportja Logikai egység Virtuális Organizáció Hozzáférési határ Internet Grid

23 Szolgáltatás grid hozzáférés Grid tanusvány beszerzése egy elismert Tanusítvány Szolgáltatótól (CA) Magyarországi CA: Regisztráció egy Virtuális Organizációba EGEE VO-k listája (~ 100): Central Operations portal HunGrid VO: Magyarországi erőforrások VOCE: közép-európai erpforrások SEE-GRID VO: dél-kelet európai erőforrások Biomed VO: biológus felhasználók áó számára á fenntartott erőforrásokő... Párhuzamos alkalmazások fejlesztése, és/vagy futtatása...

24 HunGrid EGEE magyar VO-ja Folyamatos működésű (napi 24 órában működik) Cél: az akadémiai intézetek kutatóinak folyamatos támogatása Az EGEE Grid magyar adaptációja, virtuális szervezete januárban lett felállítva Résztvevő telephelyek: RMKI: 154 proc. ELTE: 16 proc. BME: 32 proc. NIIF: 12 proc. Összes proc. Kapacitás: 214 proc.

25 Desktop Gridek

26 Desktop Grid modell Vállalati/ egyetemi szerver Megoldandó dó feladat Vállalati/ egyetemi PC Szabad kapacitás kiajánlása dinamikusan Internet Vállalati/ egyetemi PC Vállalati/ egyetemi PC Munkacsomagok kiosztása

27 Desktop Grid modell jellemzői Bárki felajánlhat erőforrást Heterogén erőforrások, amik dinamikusan jönnek, mennek Egy vagy néhány projekt használhatja fel a felajánlott erőforrásokat Asszimmetrikus és nem egyenjogú kapcsolat az erőforrás donorok és használók között: ött H << D

28 Desktop Grid fajtái Globális Desktop Grid (DG) Célja nagy horderejű tudományos feladatokhoz donor PC-ket gyűjteni Lokális DG Célja, hogy a DG koncepciót bármilyen közösség g( (kut.intézet, egyetemi tsz., kar, vállalat, város, stb.) tudja használni

29 SETI: egy globális DG 1 projekt 3.8Millió önkéntes 226 országból 1200 CPU év/nap 38 TF fenntartható teljesítmény (Japanese Earth Simulator 32 TF)

30 SZTAKI Desktop Grid Legfontosabb célja: Társadalmasítani a Grid rendszerek építését Demonstrálni és bizonyítani a DG koncepció működését Meggyőzni a kételkedőket a DG használhatóságáról Segíteni DG-ek léterhozását Segíteni a DG alkalmazások létrehozását és futtatását Eszközök: Egyszerű installálhatóság Egyszerűsített alkalmazás fejlesztési mód Magyar és angol nyelvű felületek Globális és lokális módon is installálható tó p// pg /

31 SZTAKI Desktop Grid globális mintarendszer

32 SZTAKI Desktop Grid globális mintarendszer NIIF Supercomputer: OMSZ Supercomputer: TOP 500 entry performance: SZTAKI DG: 300 GFlops 900 GFlops 1645 GFlops ~1000 GFlops

33 Hozzáférés Desktop Gridekhez Donor regisztáció globális desktop gridhez: SZTAKI Desktop Grid: Alkalmazás portolása már létező desktop gridre: Application Support Centre: sztaki Saját desktop grid felállítása: MTA SZTAKI LPDS: Egyetlen szerver is elég...

34 Párhuzamos feldolgozás a gridben Nem az egyetlen, de messze a Nem az egyetlen, de messze a legfontosabb felhasználási mód...

35 Kihasználható párhuzamosság típusok a Gridben Szolgáltatás Grid Master-slaveslave (paraméter vizsgálat) Telephelyen belüli párhuzamosság Workflow Ezek kompinációi, pl Telephelyen belüli paramétervizsgálat Workflow paraméter vizsgálat Desktop Grid Master-slave slave (paraméter vizsgálat)

36 Paraméter vizsgálat Mester/szolga párhuzamosság Mester Szerver munkacsomag1 munkacsomag2 munkacsomag3 munkacsomagn Internet

37 Telephelyen belüli párhuzamosság Párhuzamos programozási ismeretet igényel! Internet t

38 Workflow párhuzamosság 1. program 3. program Internet t 2. program

39 Kombinált párhuzamosság: Telephelyen belüli és master-slave is egyben Internet t

40 Kombinált párhuzamosság: Worlkflow parameter vizsgalat Internet t

41 A Grid Computing három hulláma A kutatási hullám Az ipari hullám A vásárlói hullám Technológia, Prototípus Griden futó termékek Commodity Virtuális Organizációk Vállalati megoldások IT közmű Együttműködési képesség Integráció Jogi, politikai szervezetek Grid lehetőségek tudatosítása Könnyű elérés Grid Service Provider Itt tartunk

42 Konkluzió Általános Grid modell sokmindenre jó, de megvalósítani bonyolult Kutatási fázis Gyakorlatban szolgáltatás gridek és Dekstop Gridek Léteznek működő Grid infrastruktúrák hazánkban: EGEE (HunGrid, VOCE, Biomed,...) Worklow, párhuzamos és mester-szolga alkalmazásokhoz Használd a mások által nyújtott erőforrásokat! SZTAKI Desktop Grid Mester-szolga alkalmazásokhoz Regisztrálj mint erőforrás felajánló, vagy mint alkalmazás fejlesztő Állíts fel saját gridet!

43 Köszönöm a figyelmet fgy? További információ: sztaki