Az RMKI Grid-rendszere Horváth Dezső KFKI RMKI és ATOMKI Mi az a GRID és mire jó? Minek Grid az RMKI-ba? Hogyan állt össze? Mit kezdünk vele? Hogyan üzemeltetjük?
Mi az a Grid? Országhatárokon átnyúló számítógép-füzér, a felhasználó számára egyetlen virtuális gép. Gépek kihasználtsága a világban: PC-k: 5%, UNIX-szerverek: 10%, mainframe: 60% A Grid jellegzetességei Osztott erőforrás automatikus gazdálkodással Szabad kapacitások ésszerű kihasználása Bárhonnan elérhető osztott adatbázis Heterogenitás: nemcsak azonos op-rendszerek 2
Világháló és Grid Ami közös Rejtett komplexitás (nem kell tudnom, program hol, adatok honnan) Közös programok, adatállományok Amiben különbözik Nemcsak infocsere, teljes együttműködés: Programok futnak, ahol szabad kapacitás Adatokat megkeresi, ahol legközelebb 3
Grid-rendszerek itthon DeskTopGrid (SZTAKI): 4185 felhasználó, 11752 gép világszerte, önkéntes beajánlással KlaszterGrid (NIIFI): 9 felsőoktatási intézményben 500 PC szerverekkel Fotelágy: nappal hallgatói labor (Windows) éjjel Linux klaszter (Condor-pool) JiniGrid (Veszprémi Egyetem): Java-alapú Grid-rendszer (web-technológia!) LHC Computing Grid, LCG (RMKI) 4
DeskTopGrid 5
BOINC: Berkeley Open Infrastructure for Network Computing 6
BOINC: Kredit-rendszer 7
8
CERN Európai Részecskefizikai Laboratórium A legnagyobb... 2500 alkalmazott (főként mérnök és technikus) 6500 külső felhasználó (a világ részecskefizikusainak kb. 50%-a) 250 hivatalos partner-intézet Építi a Nagy Hadron-ütköztetőt 9
Large Hadron Collider 10
A CERN gyorsítói (2007-től) Large Hadron Collider 11
A CMS-detektor szelete 12
13
14
CMS-adatok Ütközés 25 ns-onként (40 MHz) 96 millió mérőcsatorna 15-20 p-p ütközés/esemény 1 MB eseményméret 10-15 PB mért adat/év Plusz a szimulációk Adattárolás, -analízis: Grid 15
Higgsbozon észlelése a CMS-ben H ΖΖ e+e qq 16
LEP ( ) LHC LEP-analízis: Adatok CERN-ben Itthonról CERN-ben futtattunk LHC-analízis: Réteg-rendszer (Tier) Tier-0: CERN Tier-1: elsődleges adattár Tier-2: regionális analizáló központ RMKI: Tier-2 17
CERN-i géppark fejlődése Privát klaszter központi szuper Apollo, Vax IBM VM, Cray (80-as évek) Privát klaszter privát szuper Vax, HP SHIFT-ek (90-es évek) Privát klaszter központi klaszter Linux Linux (2000 után) Privát PC Grid Linux, Windows Linux, Windows (már megvan) terv 18
A CMS követelménye T1-hez CMS T1: CERN, Barcelona, Bologna, FNAL, Rutherford, Karlsruhe, Lyon, Taipei 2008: L = 2x1033 cm-2s-1 RAW data: 1.5 MB/event; RECOnstructed: 0.25 MB/event Full EVenT: RAW+RECO; Analysis Object Data T2: Analízis (300 CPU, 400 TB) T1 aktív kapacitás: 2,2 PB FEVT / 7: 440 TB AOD full: 150 TB Reprocessed: 640 TB Monte Carlo / 7: 770 TB Anal, kalib: 80 TB Nehéz ion: 60 TB 19
Több, mint 100 LCGfarm világszerte 20
Minek az RMKI-nak Grid? Hatékony hozzájárulás (CMS, ALICE) és viszonylag olcsó Helyben épül és marad Általános infrastruktúrát fejleszt nemcsak részecskefizikusoknak biológia, anyagtudomány, elmélet Élenjáró kultúrát honosít Fizikusok tudják üzemeltetni 21
Hogyan állt össze? Hardver RMKI-beruházás (2002) 25 Dual Athlon 1000+ PC, 1.8 TB HD OTKA-műszerpályázat (2003): duplázás Tartozékok (UPS, hálózat, klíma, ajtózár...): egyéb pályázatokból OTKA tematikus (2005): + 4 TB HD + GB switch GVOP (2006): + 5 TB HD, + 20 CPU Összerakás és Linux-telepítés (Hajdu Csaba, 2003) 22
Szoftver (middleware) LHC Computing Grid (LCG) telepítése: Debreczeni Gergely (+ Csárdi G.), 2003. RMKI LCG-1_0_0-t 7.-ként telepítette Neve: BUDAPEST Most LCG-2_7_0-t telepítettük, majd glite Részletek: http://www.lcg.kfki.hu 23
Néhány Grid-fogalom Resource broker (RB): Grid-felhasználók portálja Certification Authority (CA): Grid-használati jogosítvány kiadása (tűzfal!) RMKI adja, NIIFI fogja, helyben Regional Authority (RA) Virtual Organization (VO): Felhasználói rendszer (4 LHC-kísérlet és HunGrid: ehhez saját CA kellett) Work node (WN): mezei Grid-gép, amely számol Computing Element (CE): WN-t hajtja Storage Element (SE): Tárolóegység 24
Ami régen működik: NorduGrid Skandináv országok Grid-rendszere Saját middleware: Advance Resource Connector, ARC, 2002 óta működik Nagyenergiájú fizika fejlesztette, de sokan mások használják Koordinátor: Kónya Balázs, Lund Együttműködik LCG-vel, fogadott szimulált LHC-adatokat (ATLAS Data challenge) http://www.nordugrid.org/ 25
Magyar Grid Kompetencia Központ (MGKK) Tagok: SZTAKI, NIIFI, ELTE, BME + RMKI (+ Veszprémi Egyetem) Párhuzamos, egymással együtt nem működő itthoni Gridrendszerek egységesítése. Monitorozás, gépidő-elszámolás, WEB-portál fejlesztése RMKI: Grid-felhasználás (és első magyar CA) (elméleti, részecske-, szilárdtest- és biofizika) RMKI (és SZTAKI): HunGrid VO NIIFI: Országos CA készül, helyi RA-kkal 26
Mit kezdünk a Grid-ünkkel? CMS- és ALICE-analízis előkészítése LHC indulására CMS (p-p ütközések): SUSY-részecskék keresése CMS (nehézion-ütközések) és ALICE: fázisátmenetek (kvark-gluon-plazma) Elméleti fizika Komplex rendszerek (Ódor Géza, MFA) Rács-QCD (Lévai Péter) Gravitáció (Rácz István) Biofizika (Csárdi Gábor) PHENIX-kísérlet, Brookhaven (Sziklai János) 27
Konklúzió Az RMKI Grid-rendszerét fizikusok építették és működtetik (1 főállású és számos felhasználó mellékesen) A működtetést és felhasználói támogatást EU-pályázatok támogatják Fejlesztéshez saját forrás (megszűnt) és hazai pályázat szükséges HunGrid VO (virtual organization) minden magyar kutatónak 28
Vége END FIN КОНЕЦ ENDE FINE 29