Grid bevezető http://grid.kfki.hu/hungrid/ http://grid.ik.bme.hu/ http://web.eu-egi.eu/ www.eu-egee.org
Mi a grid? Számítógépek, speciális eszközök, tárkapacitások, és szolgáltatások összessége, melyek dinamikusan részei a rendszernek Különböző tulajdonságúak minden aspektusban Földrajzilag elosztott és nagy távolságú hálózatokkal (WAN) összekötött Internet Igény szerint hozzáférhető a felhasználók egy csoportja által 2
Miért használjunk Gridet? A felhasználó egy komplex problémát szeretne megoldani ami sok erőforrást és szolgáltatást és igényel Futási idő csökkentése Adatbázis hozzáférés Eszköz megosztás Együttműködés más felhasználókkal Internet 3
Tipikus alkalmazási területek Igény számítási kapacitásra Nagy teljesítményű számítás (HPC) Egy párhuzamos alkalmazás futási idejének csökkentése Követelmény: párhuzamos futtatás Nagy átbocsájtó képességű számítás (HTC) Minél több hasonló feladat futtatása egy adott idő alatt Követelmény: szabad CPU ütemek kihasználása Igény nagy adatmennyiségű tárolóra A fizikailag is elosztott adatbázisok elterjedése Igény együttműködésre Több felhasználó tudásának integrálása 4
Példa: LHC, CERN, Genf Mont Blanc (4810 m) ATLAS Genf belvárosa ~10-15 PetaBytes /év ~10 8 esemény/év ~10 3 batch és interaktív felhasználó CMS LHCb 5
További példák Szilikon alapú gyógyszer kutatás molekula illesztés szimuláció új gyógyszerek megtalálására Geográfia, űrkutatás űrfelvételek megosztása és feldolgozása Régészet digitális gyűjtemények, virtuális szimulációk Időjárás előrejelzés adat integráció, szimulációk, model kiválasztás, elemzés Műszaki tudományok statikai szimulációk, gépkocsi viselkedés szimuláció... 6
Felhasználói nézet Mobile Hozzáférés G R I D Supercomputer, PC-Cluster Munkaállomás Megjelenítés M I D D L E W A R E Adat tárolók, szenzorok, kísérletek Internet, hálózatok 7
Megoldandó problémák Szabványos hozzáférés az erőforrásokhoz Számítógépek Tárolási erőforrások Speciális eszközök Software Adat Hozzáférési politika, biztonság Teljesítmény kiegyenlítés Erőforrás felügyelet Alkalmazás felügyelet Hiba kezelés...
Ha a Grid Vízió ide vezet akkor hol vagyunk most? Utility computing Cloud computing E-Infrastructure Cycle scavenging IBM Grid HP Grid Oracle Grid
Általános Grid model Erőforrás biztosítás Intézet 1 Intézet 4 Intézet 2 Internet Intézet 3 Erőforrás igénylés 10
A Grid két résztvevője Erőforrás donorok= D Erőforrás felhasználók = U A kettő aránya meghatározza az alkalmazott Grid modelljét: if U ~ D Általános Grid modell if U >> D utility Grid modell if U << D desktop Grid modell 11
Az általános modell túl komplikált Enabling Grids for E-sciencE Végtelen féle használati minta Különböző célú biztonsági megfon Valós idejű információs rendszer Komplex könyvelési és teljesítmény kiegyenlítő rendszer Flexibilisen programozható architektúra Az egyszerűsítésekből az alábbi két irányzat született Utility grids Desktop grids 12
Utility Gridek www.eu-egee.org
Utility Grid modell Intézet 1 Erőforrás biztosítás statikus 7/24 Intézet 2 Donor és felhasználó Felhasználó 1 Internet Donor és felhasználó Felhasználó N Dinamikus erőforrás igények 14
A Utility Gridek jellemzői A donorok profi erőforrás biztosítók (7/24 órás üzemmód) Egyszerűsítés Hasonló erőforrások Egyszerűsítés Mindenki használhatja az erőforrásokat saját problémáinak megoldására Aszimmetrikus kapcsolat a donorok és felhasználók között U >> D 15
Utility Grid példa: EGEE Enabling Grids for E-sciencE > 260 sites 50 országban ~ 80 000 CPUs ~ 20 PB tárkapacitás 150k feladat/nap > 200 Virtuális Szervezet glite middleware http://www.eu-egee.org/
Példa: Open Science Grid http://www.opensciencegrid.org/ 30 Virtuális Szervezet 105 Erőforrás donor 26 Támogató szervezet Middleware: Virtual Data Toolkit (VDT): A Grides eszközök egy gyűjteménye Condor Globus VO Management Service 17
Információ szolgáltatás Erőforrás Ütemezés Adat hozzáférés Együttes lefoglalás Hitelesítés Hozzáférés Monitorozás Hiba menedzsment Politika Könyvelés Enabling Grids for E-sciencE A Utility Gridek architektúrája Alkalmazások Alkalmazás csoportok Eszköz menedzsment Elemzés & Vizualizáció Együttműködés Probléma megoldás Grid Portálok Alkalmazás támogatás MPI CONDOR CORBA JAVA/JINI OLE DCOM Other... Általános Grides szolgáltatások Köztes réteg szolgáltatások Helyi erőforrások Erőforrás menedzsment Erőforrás menedzsment CPU TB-os Tárkapacitás Online tár Tudományos műszerek Kommunikáció 18
Virtuális szervezetek és a Grid Grid: Erőforrás, ami a köztesréteg egy verzióját futtatja People who use them VO: A siteok és felhasználók egy logikai csoportja Biztonsági politika Dinamikus? Atlas VO 10 éve WISDOM kihívás néhány hét Virtuális Szervezetek Grid 19
Virtuális szervezetek és a Grid Grid: Erőforrás, ami a köztesréteg egy verzióját futtatja VO: A Grid probléma lehetővé tenni Virtuális koordinált erőforrás megosztást és probléma megoldást Szervezetek dinamikus több szervezeti egységből álló virtuális szervezetekben. People who use them A siteok és felhasználók egy logikai csoportja Biztonsági politika Dinamikus? Atlas VO 10 éve WISDOM kihívás néhány hét Grid A Grid anatómiája Ian Foster, Carl Kesselman, Steven Tuecke 20
Szerviz orientált architektúra Címtár Rendelkezésre álló szolgáltatás regisztrálása: név & leírás Szolgáltatás igénybevevők Szolgáltatások 21
Szerviz orientált architektúra Címtár Erőforrás kérelem Benyújtása: leírás Szolgáltatás igénybevevők Szolgáltatások 22
Szerviz orientált architektúra Rendelkezésre álló Szolgáltatások listájának küldése Címtár Szolgáltatás igénybevevők Szolgáltatások 23
Szerviz orientált architektúra Címtár Szolgáltatás igénybevevők Szolgáltatás igénybevétele Szolgáltatások 24
Szerviz orientált architektúra Címtár Szolgáltatás igénybevevők Eredmény vagy hibajelzés Szolgáltatások 25
Szerviz orientált architektúra Szerver jellegű programok futnak az erőforrásokon Nagymértékű Címtár rendelkezésre állás elengedhetetlen Szabványos protokollok támogatása A biztonsági architektúra komplikált Minden siteon professzionális gárda kell Szolgáltatások 26
Desktop Gridek www.eu-egee.org
Desktop Grid modell Vállalati / Egyetemi Szerver Alkalmazás Dinamikus erőforrás biztosítás Internet Donor: Vállalat / Egyetem / privát PC Donor: Vállalat / Egyetem / privát PC Software disztribúció Donor: Vállalat / Egyetem / privát PC 28
A Desktop Grid modell jellemzői Enabling Grids for E-sciencE Akárki adhat hozzá erőforrást Heterogén erőforrások, melyek dinamikusan be és kilépnek Egy vagy kevés projekt használhatja az erőforrásokat Egyszerűsítés Az erőforrások klienseket futtatnak: Hozzáértés csak szerver oldalon szükséges Egyszerűsítés Aszimmetrikus reláció a donorok és felhasználók között: U << D Előny: Egy PC hozzáadása eszméletlenül egyszerű Installálni, karbantartani egy DG szervert sokkal egyszerűbb mint installálni egy SW egy utility Gridre. 29
A Desktop Grid modell jellemzői Enabling Grids for E-sciencE Akárki adhat hozzá erőforrást Heterogén erőforrások, melyek dinamikusan be és kilépnek Egy vagy kevés projekt használhatja az erőforrásokat Egyszerűsítés Az erőforrások klienseket futtatnak: Hozzáértés csak szerver oldalon szükséges Egyszerűsítés Aszimmetrikus reláció a donorok és felhasználók között: U << D Előny: Egy PC hozzáadása eszméletlenül egyszerű Installálni, karbantartani egy DG szervert sokkal egyszerűbb mint installálni egy SW egy utility Gridre.
Desktop Gridek típusai Global Desktop Grid Célja hogy hatalmas erőforrásokat gyűjtsön össze tudományos kihívások megoldására Példa: BOINC (SETI@home) Local Desktop Grid Célja, hogy egyszerűen összegyűjthetővé tegye a közeli erőforrásokat (vállalat, egyetem,.) 31
SETI@home Enabling Grids for E-sciencE 3.8M felhasználó 226 országban 1200 CPU év/nap 38 TF teljesítmény Nagymértékben heterogén: >77 különböző processor típus Az infrastruktúra elkülönített az alkalmazástól: BIONC SETI: a globális Desktop Grid 32
Az általános Grid modell jó, de nehezen implementálható Konklúziók A gyakorlati megoldás az egyszerűsíts: Utility grids Desktop grids Mindkét fajtából létezik működőképes megvalósítás EGEE, US OSG, NorduGrid, UK NGS BOINC Innentől kezdve a Utility Grideken lesz a hangsúly glite köztes réteg és eszközök Alkalmazás fejlesztés, futtatás, adminisztráció 33
Kérdések 34