HunGrid Grid technológiák hozzáférési lehetőségei az intézetben

HunGrid Grid technológiák hozzáférési lehetőségei az intézetben Kővári Kálmán Számítógép Hálózati Központ (SZHK) Részecske és Magfizikai Kutató Intézet, Budapest Simonyi-nap 2007. október 18. Budapest - Magyarország www.eu-egee.org EGEE and glite are registered trademarks

Áttekintés A tavalyi előadáson a Grid működési elveit láttuk Letölthetőek a http://grid.kfki.hu/fileok helyről A felhasználóink száma azóta nőtt, egyre többen élnek a Grid nyújtotta lehetőségekkel Viszont sokaknak kicsit nehézkes a szintaxis A mai előadás célja, hogy áttekintést adjunk arról, hogy mit is tudunk nyújtani, és ezt hogyan lehet egyszerűen igénybe venni HunGrid számára rendelkezésre álló erőforrások A User Interface gépek A P-Grade portál

Kinek és miért lehet hasznos? Nagy számítási kapacitás Összesen 235 CPU, 36 Terabyte tárterület Könnyen elérhető Egyetlen megfelelő tanúsítvány begyűjtése után már csak egy böngésző szükséges Dinamikus rendelkezésreállás Az asztali PC-t kinövő feladatokra alkalmas Akár egyetlen jobot is ki lehet küldeni, alkalmas beállítások és körülmények esetén perceken belül kiütemeződhet A site-ok leggyengébb gépei is az elfogadható asztali PC minőségébe esnek (AMD 2000+ -től Intel 2.4 Quad-ig ) Mostmár NEM kell napokat várni, hogy elinduljon egy job Központilag ellenőrzik a site-ok rendeltetésszerű működését

A HunGrid Sokáig eléggé el volt hanyagolva Most újjászületőben: Új weboldal: http://grid.kfki.hu/hungrid Impresszív és stabil szolgáltatások Nagy tárterület Nem csak az RMKI tartja életben Könnyű hozzáférhetőség Erőforrások: BME CPU: 32 ELTE CPU: 14 KFKI* CPU: 177 NIIF CPU: 12 SZTAKI??? VEIN??? Storage: 285 Storage: 13 Storage: 22 Storage: 550 Gigabyte Terabyte Terabyte Gigabyte A KFKI kapacitása csak részlegesen áll a HunGrid rendelkezésére

A HunGrid weboldal

A Grid kényelmes használata Több felhasználónak gondja volt a parancssori hozzáférés szintaktikájával és követhetőségével Születtek a követhetőségre megoldások, például Max Berger WMSX-programcsomagja, melyet az RMKI-ban elnyert Marie-Curie ösztöndíj alatt hozott létre. Ez azoknak lehet nagy segítség, akik eddig is sokat használták a parancssori job-küldő mechanizmust A SZTAKI is fejlesztett egy egész más vonalon, a webinterface-ek vonalán, ennek eredménye a P-Grade portál Ez viszont azoknak lehet kényelmes, akik egyszerű megoldásra vártak

A P-Grade portál Az LCG-Griddel kompatibilis portál a http://pgrade.inf.elte.hu webcímen érhető el A SZTAKI által fejlesztett rendszert az ELTE és az RMKI közösen üzemelteti, és az RMKI infrastruktúrájára épül A használatához szükséges: egy X.509 digitális tanúsítvány (certificate), ezt nem lehet kikerülni a Grid rendszereknél. HunGrid VO tagság, mely körülbelül két kattintással elintézhető Regisztráció a portálhoz, mely egy e-mail-t jelent Ezek mind részletesen dokumentálva vannak a HunGrid weblapon

A P-Grade portál használata 1. Egy Grid rendszer használatához mindenképpen szükségesek az alábbi lépések: A digitális tanúsítvány élesítése valamilyen módon, és ezzel saját magunk azonosítása a rendszer felé Kiválasztani, hogy hol szeretnénk futtatni a jobjainkat Meghatározni a futtatandó job paramétereit, de legalább a nevét Elindítani a jobot Letölteni a kimenetet, ha befejezte a futást Emiatt nem létezhet egykattintásos Grid :-( Viszont ennél több nem is kell a használathoz! :-)

A P-Grade portál használata 2.

A P-Grade portál használata 3. A proxy nem más, mint egy speciális tanúsítvány, amit az eredeti segítségével hozunk létre úgy, hogy annak csak rövid élettartama legyen, így ennek kompromittálódása sem jelent nagy biztonsági kockázatot. A digitális tanúsítvány használatával egy longterm proxy jön létre a MyProxy szerveren, mely a munkamenet folyamán rendelkezésre áll A MyProxy gondoskodik a tanúsítvány biztonságos tárolásáról, és a job számára proxy-meghosszabbítást is biztosít.

A P-Grade portál használata 4. A MyProxy szerveren beállítható, hogy mennyi ideig érvényes a longterm proxy, eddig adhat ki meghosszabbítási engedélyeket is a szolgáltatás Nem célszerű ésszerűtlenül nagy számot választani, biztonsági szempontból

A P-Grade portál használata 5. A tanúsítványból képzett proxy-nak a web-portálon is jelen kell lennie, így azt oda is le kell töltenünk. A letöltött proxyt fel kell hatalmaznunk bizonyos Gridek (jelen esetben a hungrid_lcg_2_broker) számára, mivel a portál több ilyet is támogat Az eddigi lépéseket NEM kell állandóan ismételgetni, elég kb. hetente egyszer, amikor lejár az előző proxy.

A P-Grade portál használata 7. Mivel a portál bonyolult job-láncok futtatását is lehetővé teszi (bár csak szigorúan szekvenciális hálókat lehet definiálni), egy külön WorkFlow Editor alkalmazásban kell beállítanunk a job paramétereit, és feltölteni a jobot. FIGYELEM! Ezt az alkalmazást régebbi operációs rendszereken esetleg kézzel kell hozzárendelnünk a javaws binárishoz. Miután elindult a WorkFlow Editor alkalmazás (és néhány OK gombot megnyomott az ember), létre kell hozni az új jobot, nevet adni neki, megmondani, mi a futtatandó file, és melyik Grid-en akarjuk futtatni (hungrid_lcg_2_broker), majd mentjük. Ezen felül számos paramétert beállíthatunk, akár manuálisan is szerkeszthetjük a JDL file-t, de erre nincs szükség egyszerű jobok esetén!

A P-Grade portál használata 10. Az utolsó lépés a job beküldése, követése, és a végeredmények letöltése. Esetleges hiba esetén rendelkezésünkre áll azonnal a log információ a hibáról, illetve egy kattintással újraküldhetjük a jobot.

Hasznos Linkek További információ a HunGrid oldalon: http://grid.kfki.hu/hungrid Az RMKI Grid: http://grid.kfki.hu gridadm@rmki.kfki.hu A NIIF CA, RMKI CA http://www.niif.hu http://pki.kfki.hu Az EGEE glite projektje: http://glite.web.cern.ch/glite http://www.eu-egee.org http://glite.web.cern.ch/glite/documentation

Köszönetnyilvánítás Két embernek külön köszönetet szeretnék mondani eme prezentáció létrejöttének segítésében: Kárász Edit (RMKI) Seres Csaba (ELTE)

The end Köszönöm a figyelmet! (Kérdések?)