Mi a grid? www.eu-egee.org Grid bevezető Németh Dénes BME Informatikai Központ grid.ik.bme.hu gridsite@ik.bme.hu Számítógépek, speciális eszközök, tárkapacitások, és szolgáltatások összessége, melyek dinamikusan részei a rendszernek Különböző tulajdonságúak minden aspektusban Földrajzilag elosztott és nagy távolságú hálózatokkal (WAN) összekötött Igény szerint hozzáférhető a felhasználók egy csoportja által 2 Miért használjunk Gridet? Tipikus alkalmazási területek A felhasználó egy komplex problémát szeretne megoldani ami sok erőforrást és szolgáltatást és igényel Futási idő csökkentése Adatbázis hozzáférés Eszköz megosztás Együttműködés más felhasználókkal Igény számítási kapacitásra Nagy teljesítményű számítás (HPC) Egy párhuzamos alkalmazás futási idejének csökkentése Követelmény: párhuzamos futtatás Nagy átbocsájtó képességű számítás (HTC) Minél több hasonló feladat futtatása egy adott idő alatt Követelmény: szabad CPU ütemek kihasználása Igény nagy adatmennyiségű tárolóra A fizikailag is elosztott adatbázisok elterjedése Igény együttműködésre Több felhasználó tudásának integrálása 3 4 Példa: LHC, CERN, Genf További példák Mont Blanc (4810 m) Genf belvárosa ATLAS ~10-15 PetaBytes /év ~10 8 esemény/év ~10 3 batch és interaktív felhasználó LHCb CMS Szilikon alapú gyógyszer kutatás molekula illesztés szimuláció új gyógyszerek megtalálására Geográfia, űrkutatás űrfelvételek megosztása és feldolgozása Régészet digitális gyűjtemények, virtuális szimulációk Időjárás előrejelzés adat integráció, szimulációk, model kiválasztás, elemzés Műszaki tudományok statikai szimulációk, gépkocsi viselkedés szimuláció... 5 6
Felhasználói nézet Megoldandó problémák Mobile Hozzáférés Munkaállomás Megjelenítés G R I D M I D D L E W A R E Supercomputer, PC-Cluster Adat tárolók, szenzorok, kísérletek, hálózatok Szabványos hozzáférés az erőforrásokhoz Számítógépek Tárolási erőforrások Speciális eszközök Software Adat Hozzáférési politika, biztonság Teljesítmény kiegyenlítés Erőforrás felügyelet Alkalmazás felügyelet Hiba kezelés... 7 Ha a Grid Vízió ide vezet Erőforrás biztosítás Általános Grid model Intézet 1 Intézet 4 akkor hol vagyunk most? Utility computing Cloud computing E-Infrastructure Cycle scavenging IBM Grid HP Grid Oracle Grid Intézet 2 Erőforrás igénylés Intézet 3 10 A Grid két résztvevője Az általános modell túl komplikált Erőforrás donorok= D Erőforrás felhasználók = U A kettő aránya meghatározza az alkalmazott Grid modelljét: if U ~ D Általános Grid modell if U >> D utility Grid modell if U << D desktop Grid modell Végtelen féle használati minta Különböző célú biztonsági megfon Valós idejű információs rendszer Komplex könyvelési és teljesítmény kiegyenlítő rendszer Flexibilisen programozható architektúra Az egyszerűsítésekből az alábbi két irányzat született Utility grids Desktop grids 11 12
Intézet 1 Erőforrás biztosítás statikus 7/24 Utility Grid modell Intézet 2 Utility Gridek Donor és felhasználó Donor és felhasználó Felhasználó 1 Felhasználó N www.eu-egee.org Dinamikus erőforrás igények 14 A Utility Gridek jellemzői Utility Grid példa: EGEE A donorok profi erőforrás biztosítók (7/24 órás üzemmód) Egyszerűsítés Hasonló erőforrások Egyszerűsítés Mindenki használhatja az erőforrásokat saját problémáinak megoldására Aszimmetrikus kapcsolat a donorok és felhasználók között U >> D > 260 sites 50 országban ~ 80 000 CPUs ~ 20 PB tárkapacitás 150k feladat/nap > 200 Virtuális Szervezet glite middleware 15 http://www.eu-egee.org/ Példa: Open Science Grid A Utility Gridek architektúrája http://www.opensciencegrid.org/ Alkalmazások Alkalmazás csoportok Eszköz Elemzés & menedzsment Vizualizáció Együttműködés Probléma megoldás Grid Portálok 30 Virtuális Szervezet 105 Erőforrás donor 26 Támogató szervezet Middleware: Virtual Data Toolkit (VDT): A Grides eszközök egy gyűjteménye Condor Globus VO Management Service 17 Alkalmazás támogatás Általános Grides szolgáltatások Köztes réteg szolgáltatások Helyi erőforrások MPI CONDOR CORBA JAVA/JINI OLE DCOM Információ szolgáltatás Erőforrás menedzsment CPU CPU Erőforrás Ütemezés Adat hozzáférés TB-os TB-osTár- kapacitás Tárkapacitás Együttes lefoglalás Online Online tár tár Hitelesítés Hozzáférés Monitorozás Hiba menedzsment Tudományos Tudományos műszerek műszerek Other... Politika Könyvelés Erőforrás menedzsment Kommunikáció Kommunikáció 18
Virtuális szervezetek és a Grid Virtuális szervezetek és a Grid Grid: Erőforrás, ami a köztesréteg egy verzióját futtatja People who use them VO: A siteok és felhasználók egy logikai csoportja Biztonsági politika Dinamikus? Atlas VO 10 éve WISDOM kihívás néhány hét Virtuális Szervezetek Grid Grid: Erőforrás, ami a köztesréteg egy verzióját futtatja People A Grid who use probléma them lehetővé tenni VO: koordinált erőforrás Virtuális megosztást A siteok és felhasználók egy logikai és probléma csoportja megoldást Szervezetek dinamikus Biztonsági több szervezeti politika egységből álló Dinamikus? virtuális szervezetekben. Grid Atlas VO 10 éve WISDOM kihívás néhány hét A Grid anatómiája Ian Foster, Carl Kesselman, Steven Tuecke 19 20 Rendelkezésre álló szolgáltatás regisztrálása: név & leírás Erőforrás kérelem Benyújtása: leírás 21 22 Rendelkezésre álló listájának küldése igénybevétele 23 24
Eredmény vagy hibajelzés Szerver jellegű programok futnak az erőforrásokon Nagymértékű rendelkezésre állás elengedhetetlen Szabványos protokollok támogatása A biztonsági architektúra komplikált Minden siteon professzionális gárda kell 25 26 DesktopGridmodell Vállalati / Dinamikus erőforrás biztosítás Desktop Gridek Egyetemi Szerver Alkalmazás Donor: Vállalat / Egyetem / privát PC www.eu-egee.org Donor: Vállalat / Egyetem / privát PC Software disztribúció Donor: Vállalat / Egyetem / privát PC 28 A Desktop Grid modell jellemzői A Desktop Grid modell jellemzői Akárki adhat hozzá erőforrást Heterogén erőforrások, melyek dinamikusan be és kilépnek Egy vagy kevés projekt használhatja az erőforrásokat Egyszerűsítés Az erőforrások klienseket futtatnak: Hozzáértés csak szerver oldalon szükséges Egyszerűsítés Aszimmetrikus reláció a donorok és felhasználók között: U << D Előny: Egy PC hozzáadása eszméletlenül egyszerű Installálni, karbantartani egy DG szervert sokkal egyszerűbb mint installálni egy SW egy utility Gridre. Akárki adhat hozzá erőforrást Heterogén erőforrások, melyek dinamikusan be és kilépnek Egy vagy kevés projekt használhatja az erőforrásokat Egyszerűsítés Az erőforrások klienseket futtatnak: Hozzáértés csak szerver oldalon szükséges Egyszerűsítés Aszimmetrikus reláció a donorok és felhasználók között: U << D Előny: Egy PC hozzáadása eszméletlenül egyszerű Installálni, karbantartani egy DG szervert sokkal egyszerűbb mint installálni egy SW egy utility Gridre. 29
Desktop Gridek típusai SETI: a globális Desktop Grid Global Desktop Grid Célja hogy hatalmas erőforrásokat gyűjtsön össze tudományos kihívások megoldására Példa: BOINC (SETI@home) Local Desktop Grid Célja, hogy egyszerűen összegyűjthetővé tegye a közeli erőforrásokat (vállalat, egyetem,.) SETI@home 3.8M felhasználó 226 országban 1200 CPU év/nap 38 TF teljesítmény Nagymértékben heterogén: >77 különböző processor típus Az infrastruktúra elkülönített az alkalmazástól: BIONC 31 32 Konklúziók Kérdések Az általános Grid modell jó, de nehezen implementálható A gyakorlati megoldás az egyszerűsíts: Utility grids Desktop grids Mindkét fajtából létezik működőképes megvalósítás EGEE, US OSG, NorduGrid, UK NGS BOINC Innentől kezdve a Utility Grideken lesz a hangsúly glite köztes réteg és eszközök Alkalmazás fejlesztés, futtatás, adminisztráció 33 34