Worldwide LHC Computing Grid Új modell a tudományos informatikában Hernáth Szabolcs hernath@mail.kfki.hu MTA KFKI RMKI www.eu-egee.org
Tartalomjegyzék 1. Miért Grid? LHC adattárolás és -feldolgozás Computing és data gridek 2. Rajzoljuk le a gridet! WLCG datagrid hierarchia WLCG computing grid szolgáltatások 3. Magyarország az európai gridben WLCG és EGEE Magyarország az EGEE-ben: RMKI, Hungrid 4. A grid jövője EGI / NGI, desktopgrid, cloud 5. Demo, kérdések
1. Miért grid? Az LHC informatikai kihívásai 3
LHC 4
1/a LHC adatok LHC adatrögzítés 4 kísérlet függetlenül 2 GB/sec folyamatos ráta (növekvő!) 15 PB/év detektor trigger online farm LHC adattárolás Földrajzilag elosztott Redundáns, hierarchikus felépítés Hosszútávú (szalagos tárolás is) Multiplatform (többféle architetktúra) Szabályozott, biztonságos hozzáférés 5
1/b LHC analízis LHC adatfeldolgozás Sokszori újraszámolás Sokszori újracsoportosítás Metaadat-kezelés Hatalmas számítási kapacitás Nagyon nagy számú konkurens feladat Szofisztikált, robosztus koordináció 6
1/c Adat és számítási grid GRID: elosztott erőforrások megosztására épülő kapacitásbővítés Adat és számítási gridek Data grid: heterogén, elosztott adatkezelési erőforrásokból álló infrastruktúra Computing grid: heterogén, elosztott számítási erőforrásokból álló infrastruktúra Uniform módon használható, nagy kapacitású, virtuális erőforrás Ún. köztesréteg (middleware) hangolja össze Felhasználók: virtuális szervezetek (VO) 7
2. Rajzoljuk le a gridet! 8
2/a WLCG struktúra Milyen értelemben? Földrajzi eloszlás a számítási kapacitásról Adattárolási topológia Logikai ábra a szolgáltatástípusokról Szervezeti, hierarchikus diagram Alapvető egység: ún. site (központ) Datagrid egység: SE (Storage Element) Computing grid egység: CE (Computing Element) 9
2/b WLCG mint datagrid Háromszintű hierarchia T0: CERN (2x tape + disk), O(10 PB) T1 x9: kiemelt adatközpontok (tape + disk), O(1 PB) T2 x50: analízis központok (disk), O(100 TB) Hálózati topológia T0 T1: dedikált 10 Gb T1 T1: kiegészítő 2-10 Gb (nem teljes gráf) T1 T2: min 1 Gb Minden T2-höz kijelölt T1 tartozik 10
2/c WLCG mint computing grid Enabling Grids for E-sciencE Logikai, funkcionális diagram (szolgáltatások) 11
3. Magyarország az európai kutatói gridben EGEE és Hungrid 12
3/a WLCG és RMKI RMKI: 6. WLCG T2 centrum, 2003. november CMS, Alice támogatás 450 CPU, 160 TB Dedikált 1 Gb kapcsolat Gerincszolgáltatások teljes spektruma 13
3/b WLCG és EGEE EGEE: Enabling Grids for E-SciencE A WLCG testvérprojektje 2004-ben indult 3 fázisú EU-s projekt Eredeti célok: 24/7 rendelkezésre állású grid infrastruktúra Elért eredmények: nyílt, elosztott, széles körben használt multitudományos grid, 114 ezer CPU (core), 20 petabyte tárolási kapacitás, 200 M job/év Jelenlegi fázis: további felhasználói csoportok bevonása, modellváltás előkészítése Cél: digitális közmű hosszútávú fenntartása Jelentősége: gridben / griddel együtt alakulnak ki a globális e-infrastruktúra alapelemei
3/c Hungrid EGEE egyetlen, hivatalos magyar VO-ja 2005-ben alakult (Jelenlegi tagok: BME, ELTE, NIIFI, KFKI RMKI, SZTAKI) Cél: hazai kutatói közösség, általános célú felhasználási célokra 24/7 rendelkezésre állás, minden EGEE alapszolgáltatással rendelkezik Benne rejlő lehetőségek: magyar kutatói közösségek megismerjék az EGEE-t / gridet felmérjék igényeiket, lehetőségeiket További magyar VO-k megalapításához ugródeszka Kiindulási, csatlakozási pont az EGEE infrastruktúrához
3/d Hungrid számokban A résztvevő intézetek szolgáltatásai: Jelenleg 82 felhasználó 10 aktívan küldi a nagyszámításigényű job-okat ~ 10 publikáció
4. A grid jövője EGI / NGI 17
4/a NGI Modellváltás: EGEE EGI / NGI EGI: Európai Grid Iniciatíva NGI-k koordinálása NGI: Nemzeti Grid Iniciatíva A grid nemzeti szintű támogatása Összes oktatási/kutatási grid tevékenység támogatása EGEE kompatibilitás a legfontosabb Hungrid az NGI induló platformja EGEE / WLCG kompatibilis Legáltalánosabb, legelterjedtebb
4/b EGI és NGI A fenntarthatő grid alappillérei a tartós kritikus tömeg, ill. küszöbszint: Kapacitásban (mennyiség) Menedzsmentben (minőség) Szolgáltatásban (kihasználás) Az európai grid korszakai vázlatosan: 1. EDG tesztfázis 2. EGEE I. kapacitás v. erőforrás fázis: site, CPU, Disk, HR 3. EGE II. menedzsment fázis: middleware + admin, monitoring, accounting eszközök és mechanizmusok 4. EGEE III. szolgáltatás v. erdmény fázis: userek, VO-k, jobok számának növekedése, magas szintű közösségi szolgáltatások 5. EGI / NGI hogyan tovább?
4/c Az NGI szerepe Az NGI célja, hogy országonként fenntartsa / növelje a három tényező kritikus szintjét Kapacitás: finanszírozás, tervezés, deployment, certification Menedzsment: monitorozás, riasztás, problémakövetés, biztonsági felügyelet, tudásbázis, képzés Szolgáltatások: közösségi támogatás, koordináció, interoperabilitás, accounting, portál, oktatás
4/d A magyar NGI helyzete Halmozottan hátrányos helyzet: mindhárom kulcstényezőben 5-10 éves lemaradás Fejlesztés helyett alapozás A kulcs a felhasználók / kutatási területek számának gyors növelése Potenciális felhasználók azonosítása / megszólítása E-scinece / grid igényeik pontos felmérése Grid komparatív előnyei ezek alapján Az előnyökre építő szolgáltatások kidolgozása Egyéni / közöségi felhasználás fő akadályinak azonosítása Grid kurzusok a felsőoktatásban Technikai feladatok előtt lobbi / marketing / PR
Köszönöm a figyelmet! grid.kfki.hu/hungrid