Hol tartunk? Párhuzamos és Grid rendszerek. Grid koncepció. Elosztott rendszerek reneszánsza. Grid hasonlat. Klaszter

Átírás

1 Hol tartunk? Párhuzamos és Grid rendszerek (5. ea) metaszámítógéptől a gridig Szeberényi Imre BME IIT <szebi@iit.bme.hu> M Ű E G Y E T E M Megismerkedtünk az alapfogalmakkal, architektúrákkal. Egyszerű absztrakciós modellt alkottunk a párhuzamos gépek leírására. Megismertük a párhuzamos programok tervezésének egy módszerét (PCAM). Áttekintettük a hosszútávú ütemezőket. Áttekintettük a fontosabb elosztott fájlrenszereket Elosztott rendszerek reneszánsza Grid koncepció Olcsó és teljesítőképes rendszerek elterjedése = + Nagyméretű elosztott rendszerek, metacomputing Hálózati technológia fejlődése GRID Számítógépek erőforrásainak egy adott cél érdekében összefogott halmaza, melyet a felhasználó egységesen, egy egészként kezelve tud elérni a Grid bármely pontjáról. A Grid szóhasználat szándékosan utal az elektromos hálózatra (power grid). A kezdeti intézményi gridek regionális, nemzeti, ill. világméretű gridekké nőnek, nek, melyek erőforrásait dinamikusan és gazdaságosan lehet elosztani. Adat, számítási és információs gridek Mobil Munkaállomás Grid hasonlat G R I D M I D D L E W A R E Supercomputer, PC-Cluster Spec. erőforr.: Érzékelők, adatgyűjtők Klaszter Felhasználó alkalmazás A felhasználó feladata a környezet komplexitásának leküzdése, átlátása Hálózat független telephelyek független harver-szoftver különböző azonosítók és módszerek lokális kapcsolat a gépekkel Vizualizáció Site A Site B

2 Metaszámítógép Felhasználó alkalmazás Az alkalmazott absztrakciós réteg eltakarja az elosztott környezetből adódó problémák egy részét, de még számos korlátozás létezik. Hálózat Metacenter: Két vagy több erőforrás felügyelete Korlátok: közös architektúra közös névtér közös ütemező közös biztonság Inf. kérés Korai Grid redszerek Felhasználó almalmazás Válasz Döntés és submit. Grid köztesréteg Olyan API, ami nagyban leegyszerűsíti a fejlesztő és felhasználó feladatát, de még nem intelligens. Hálózat Közös köztesréteg - közös interfész - közös protokollok - közös szolg. - egyedi biztonság - autonómia (site) Központi ütemező és fájl kiszolgáló Site A Site B Site A Site B Mai Gridek Felhasználó alkalmazás Intelligens köztesréteg Grid köztesréteg Az erőforrások intelligens API-kon keresztül érhetők el. Hálózat Intelligens köztesréteg automatikus erőforrás allokáció erőforrás bróker felhasználói azonosítótól független Rugalmas: webszolgáltatás alapú Általános Grid model Erőforrás biztosítás Intézet 1 Intézet 4 Intézet 2 Internet Intézet 3 Site A Site B Erőforrás igénylés A Grid két szereplője Erőforrás donorok= D Erőforrás felhasználók = U A kettő aránya meghatározza az alkalmazott Grid modelljét: if U ~ D Általános Grid modell if U >> D utility Grid modell if U << D desktop Grid modell Az általános modell komplikált Végtelen használati minta Különböző célú biztonsági megfontolások Valós idejű információs rendszer Komplex könyvelési és teljesítmény kiegyenlítő rendszer Flexibilisen programozható architektúra Az egyszerűsítésekből az alábbi két irányzat született Utility gridek Desktop vagy volunteer gridek

3 Utility Grid modell A Utility Gridek jellemzői Erőforrás biztosítás statikus 7/24 Intézet 1 Donor és felhasználó Intézet 2 Donor és felhasználó Internet Felhasználó N Felhasználó 1 A donorok profi erőforrás biztosítók (7/24 órás üzemmód) Egyszerűsítés Hasonló erőforrások Egyszerűsítés Mindenki használhatja az erőforrásokat saját problémáinak megoldására Aszimmetrikus kapcsolat a donorok és felhasználók között U >> D Dinamikus erőforrás igények Utility Grid példa: EGEE Innen indult 2002-ben LHC ~9 km > 260 sites 50 országban ~ CPUs ~ 600 PB tárkapacitás 150k feladat/nap > 200 Virtuális Szervezet glite middleware SPS CERN Hadron ütköztető Egyik kísérlet (CMS) detektora 10 Petabytes évente Adatok kezelése, feldolgozása kb. százezerszer nagyobb számítási teljesítményt igényel, mint a mai processzorok teljesítmények! Mont Blanc (4810 m) Downtown Geneva

4 I Példa2: Open Science Grid 30 Virtuális Szervezet 105 Erőforrás donor 26 Támogató szervezet Middleware: Virtual Data Toolkit (VDT): A Grides eszközök egy gyűjteménye Condor Globus VO Management Service Alkalmazások Alkalmazás csoportok Alkalmazás támogatás Általános Grides szolgáltatások Köztes réteg szolgáltatások Helyi erőforrások A Utility Gridek architektúrája Eszköz Elemzés & Együtt- Probléma Grid menedzsm. Vizualizáció működés megoldás Portálok MPI CONDOR CORBA JAVA/JINI Információ szolgáltatás s CPU Erőforrás Ütemezés Adat hozzáférés Erőforrás menedzsment TB-os Tárkapacitás Együttes lefoglalás Online tár Hitelesítés Hozzáférés Monitorozás OLE DCOM Tudományos műszerek Hiba menedzsment Egyéb Politika Könyvelés Erőforrás menedzsment Kommunikáció Virtuális szervezetek és a Grid Desktop Grid modell Grid: Erőforrás, ami a köztesréteg egy verzióját futtatja VO: A siteok és felhasználók egy logikai csoportja Biztonsági politika Dinamikus? Atlas VO 10 éve WISDOM kihívás néhány hét Virtuális Szervezetek Grid Vállalati / Egyetemi Szerver Alkalmazás Donor: Vállalat / Egyetem / privát PC Dinamikus erőforrás biztosítás Internet Software disztribúció Donor: Vállalat / Egyetem / privát PC Donor: Vállalat / Egyetem / privát PC A Desktop Grid modell jellemzői Akárki adhat hozzá erőforrást Heterogén erőforrások, melyek dinamikusan be és kilépnek. Egy vagy kevés projekt használhatja az erőforrásokat Az erőforrások klienseket futtatnak: Hozzáértés csak szerver oldalon szükséges Aszimmetrikus reláció a donorok és felhasználók között: U << D Előny: Egy PC hozzáadása egyszerű Installálni, karbantartani egy DG szervert sokkal egyszerűbb Desktop Gridek típusai Global Desktop Grid Célja hogy hatalmas erőforrásokat gyűjtsön össze tudományos kihívások megoldására Példa: BOINC (SETI@home) Local Desktop Grid Célja, hogy egyszerűen összegyűjthetővé tegye a közeli erőforrásokat (vállalat, egyetem,.)

5 További DG projektek SETI: a globális Desktop Grid SETI@home LHC@home Docking@home DrugDiscovery@home 3.8M felhasználó 226 országban 1200 CPU év/nap 38 TF teljesítmény Nagymértékben heterogén: >77 különböző processor típus Az infrastruktúra elkülönített az alkalmazástól: BIONC Globus megközelítés Konklúziók Az általános Grid modell jó, de nehezen implementálható A gyakorlati megoldás az egyszerűsítés: Egy toolkit és számos szerviz, ami az általános feladatok megoldását segíti. (Bag of services model) Utility grids Desktop grids Domainek közötti megoldás Mindkét fajtából létezik működőképes megvalósítás (Integration of intra-domain solutions) Helyi és globális szervizek EGEE, EGI, US OSG, NorduGrid, UK NGS BOINC IP hourglass model A továbbiakban UTILITY gridekkel foglalkozunk Technikai megközelítés Az alapvető architektúra/infr. kialakítását segíti Számos programozási modellt és eszközt támogat Számos alap-szerviz Domain specifikus megközelítés Kis teszt-környezetektől a nagy nemzetközi rendszerekig jól skálázható Alapvetően a felhasználók igényei szerint fejlődik Homokóra modell Erősen támogatja az inkrementális fejlesztést. A kialakítás alapelvei Alacsony költségek Helyi felügyelet Adaptációk támogatása Applications Diverse global services Core Globus services Local OS

6 GlobusView DUROC Nexus Gloperf Condor LSF MPI Easy Réteges szerkezet Applications High-level Services and Tools MPI Metacomputing Directory Service NQE MPI-IO Core Services Globus Security Interface CC++ Local Services Nimrod/G Heartbeat Monitor AIX Testbed Status TCP Irix globusrun GRAM GASS UDP Solaris Fő komponensek GRAM: Globus Resource Allocation Manager Processzek létrehozása a távoli erőforrásokon MDS: Metacomputing Directory Service Gépnevek és GRAM erőforrások összerendelése GSI: Grid Security Infrastructure Authenikácó és authorizáció GASS: Global Access to Secondary Storage Háttértár kezelése GRAM és a helyi ütemezők kapcs. globus-job-run gatekeeper gatekeeper gatekeeper GRAM jobmanager jobmanager jobmanager fork LSF LoadLeveler P1 P2 P1 P2 P1 P2 Grid biztonság Biztonság alatt sokszor eltérő dolgokat értünk: Azonosítás/Fejlogosítás/Jogok delegálása Az alkalmazást futtató felhasználó ne tudja jogosulatlanul használni az erőforrásokat Alkalmazás és köztesréteg biztonság Az alkalmazásokban való bizalom Köztesrétegben való bizalom Adatbiztonság A rendszerbe bevit/keletkező adatok csak a jogosultak számára legyenek elérhetők Az adatátviteli csatornák ne "csöpögjenek" Miért fontos? Igen jelentős erőforráshalmaz áll jelenleg a felhasználók rendelkezésére: Több mint 102 ezer CPU (core) Jelentős sávszélesség 600 petabyte tároló Azonosítás, feljogosítás, Azonosítás: valóban az-e akinek mondja magát X.509 tanúsítvánnyal történik analógia: személyi igazolvány Feljogosítás: mely erőforrásokat használhat komplex elosztott rendszerrel történik (VOMS) analógia: lista a könyvtárban, hogy mit kölcsönözhetek

7 Jogok delegálása Delegálás: valaki nevében eljárni X.509 CGSI kiterjesztéssel analógia: megbízzuk a csoporttársat, hogy kölcsönözzön ki v.mit XY valóban az-e akinek mondja magát. X.509 tanúsítvánnyal PKI felhasználásával Azonosítás Name Issuer Public Key Signature John Doe 755 E. Woodlawn State of Urbana IL Illinois Seal BD Male lbs GRN Eyes Azonosítás problémái Melyik aláíró tanúsítványát fogadjuk el? Hogyan lehet meggyőződni, hogy tényleg az övé Mi történik, ha ellopják, vagy elveszik a tanúsítvány? Honnan tudom, hogy nem másolták le és ez csak egy másolat (hamisítvány) Mit tehet, mit vehet igénybe? erőforrás specifikus seite-onként eltérő lehet virtuális szervezetek Feljogosítás Azonosítás, feljogosítás Proxy tanúsítvány user high frequency low frequency user cert (long life) voms-proxy-init registration CA CA CA crl update VO-VOMS VO-VOMS host cert (long life) service Rövidlejáratú és korlátozott felhasználású X.509 tanúsítvány Speciális tanúsítvány, amit egy normál végfelhasználó vagy egy másik proxy ír alá- Támogatja a delegációt proxy cert (short life) VO-VOMS authz cert (short life) VO-VOMS authentication & authorization info

8 Proxy tanúsítvány Delegáció User Certificate Subject DN Public Key Issuer (CA) Digital Signature private key (encrypted) Identity of the user Proxy Certificate Subject DN/Proxy (new) public key (new) private key (not encrypted) grid-proxy-init Issuer (user) Digital Signature (user) sign User Certificate Subject DN Public Key Issuer (CA) Digital Signature Második szintű proxy tanúsítvánnyal: A távoli szerver generál proxy tanúsítványt egy új privát/publikus kulccsal, amit elküld a klienshez. A kliens aláírja a proxy tanúsítványt és visszaküldi a szervernek. Így a távoli processz a kliens nevében eljárhat. a távoli szerver megszemélyesíti a felhasználót Myproxy server Privát kulcs biztonságos tárolására. Általában 1-2 hét a lejárati idő. Képes a tárolt kulcs alapján proxy tanúsítvány meghosszabbítására. hosszú futási idejű jobok myproxy-init, myproxy-logon