Enabling Grids for E-sciencE. EGEE köztesréteg. Adat szolgáltatások a glite-ban. INFSO-RI

Átírás

1 EGEE köztesréteg Adat szolgáltatások a glite-ban INFSO-RI

2 Adat szolgáltatások a Gridben Egyszerű adat fájlok Grid specifikus tárolón Köztesréteg támogatás Replika fájlok Hogy a fájl közel legyen a számításhoz biztonságosság Logikai fájlnevek Katalógus: összerendeli a logikai fájlnevet a fizikai elhelyezkedéssel Virtuális fájlrendszerek, POSIX jellegű I/O Másfajta adat: Strukturált adat: RDBMS, XML adatbázisok, A köztes réteg közvetlenül nem támogatja Megoldások tartalmazák: glite adat szolgáltatások Globus: Data Replication Service Storage Resource Broker INFSO-RI

3 Adat szolgáltatás példa Felhasználói felület Input sandbox Output sandbox DataSets info LCG FileCatalogue (LFC) Max. 20MByt e Erőforrás Bróker Elem 2 Számítási egység elem 1 1 st kiírja és másolatot készít 2 SE-re INFSO-RI

4 Adat szolgáltatás példa Felhasználói felület Input sandbox Output sandbox DataSets info LCG FileCatalogue (LFC) Max. 20MByt e Erőforrás Bróker Közel legyen az adat a számításhoz Elem 2 Számítási egység elem 1 2. Felhasználja az adatot asz SE-ről INFSO-RI

5 Felhasználói felület Enabling Grids for E-sciencE Myfile.dat Logikai fájlnév feloldás LCG FileCatalogue (LFC) File_on_se1 Myfile.dat Egység 2 File_on_se2 Egység 1 A tartalom két SE-n is elérhető INFSO-RI

6 Felhasználói felület Enabling Grids for E-sciencE Myfile.dat Logikai fájlnév feloldás LCG FileCatalogue (LFC) File_on_se1 ( SURL : site URL) Myfile.dat Logical filename GUID Global Unique Identifier Egység 2 File_on_se2 ( SURL : site URL) A fájl tartalma nem változhat meg Nincs szükség szinkronizációra a replikák között A tartalom két SE-n is elérhető Egység 1 INFSO-RI

7 Nevezési konvenciók Logical File Name (LFN) logikai fájl név Egy felhasználó által létrehozott alias a fájlra lfn:/grid/gilda/budapest23/run2/track1 Globally Unique Identifier (GUID) - globális egyedi azonosító Gép által feldolgozott egyedi azonosító guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6 Site URL (SURL) (or Physical File Name (PFN) or Site FN) Az adat egy darabjának a helye egy tárolási rendszerben srm://pcrd24.cern.ch/flatfiles/cms/output10_1 sfn://lxshare0209.cern.ch/data/alice/ntuples.dat Transport URL (TURL) Egy replika ideiglenes helye + hozzáférés szabályozás rfio://lxshare0209.cern.ch//data/alice/ntuples.dat (SRM) (Classic SE) INFSO-RI

8 Nevezési konvenciók A felhasználó alapvetően a logikai fájlnevekkel fér hozzá az adatokhoz - LFC LFC könyvtár struktúrával rendelkezik lfn:/grid/<vo_name>/ <you create it> LFC Névtér Felhasználó határozza meg A mappelést a katalógus szerver végzi INFSO-RI

9 LFC könyvtárak lfn:/grid/gilda/budapest23/run2/ input1 input2 input3 LCG FileCatalogue (LFC) egység 1 sfn://grid005.iucc.ac.il/storage/gilda/generated/ /fileb233d43f-5bc6-4ede-a5fe-611d48be2ba5 egység 2 srm://aliserv6.ct.infn.it/dpm/ct.infn.it/home/gilda/generated/ /filea21ab3e2-8ff6-4a44-82a7-f2 Storage Element 3 egység 4 sfn://grid005.iucc.ac.it/flatfiles/se00/gilda/generated/ /filec79a9e3c a2a5-235f sfn://trigriden01.unime.it/flatfiles/se00/gilda/generated/ /filec79a9e3c a2a5-235f LFC könyvtárak = virtuális könyvtárak Minden bejegyzést lehet más SE-n tárolni INFSO-RI

10 A parancsok két csoportja lfc-* LFC = LCG File Catalogue LCG = LHC Compute Grid LHC = Large Hadron Collider Az LFC-s parancsok kizárólag a katalógussal történő interakcióhoz szükségesek Létrehozni egy katalógus könyvtárt Fájl listázás lcg-* Fájl katalógus műveletek fájl menedzsmenttel Fájl másolás az SE-ről/-re Replika készítés INFSO-RI

11 LFC alapjai LFC könyvtár struktúrával rendelkezik /grid/<vo_name>/ <you create it> LFC Namespace Defined by the user A VO minden tagja írás/olvasással rendelkezik a VO könyvtáraiban A parancsok ugyanúgy néznek ki mint UNIX-ban a lfc- prefixel INFSO-RI

12 egység Biztosítja Tárkapacitás fájlok számára: Átviteli protokollok (gsiftp) Fájl kérelem és VOMS proxy Protokollok szerver erőforrás protokoll protokoll protokoll egység Tape Disk Tape Tape Hitelesítés és engedélyezés INFSO-RI

13 Típus Erőforrás Fájl átvitel Fájl I/O SRM Classic SE Disk server GSIFTP insecure RFIO No DPM Disk pool GSIFTP secure RFIO Yes dcache Disk pool/mss GSIFTP gsidcap Yes CASTOR MSS GSIFTP insecure RFIO Yes INFSO-RI

14 LFC Catalog commands Summary of the LFC Catalog commands lfc-chmod lfc-chown lfc-delcomment lfc-getacl lfc-ln lfc-ls lfc-mkdir lfc-rename lfc-rm lfc-setacl lfc-setcomment Change access mode of the LFC file/directory Change owner and group of the LFC file-directory Delete the comment associated with the file/directory Get file/directory access control lists Make a symbolic link to a file/directory List file/directory entries in a directory Create a directory Rename a file/directory Remove a file/directory Set file/directory access control lists Add/replace a comment INFSO-RI

15 Replica Management Summary of lcg-utils commands Enabling Grids for E-sciencE lcg-cp lcg-cr lcg-del lcg-rep lcg-gt lcg-sd Copies a grid file to a local destination Copies a file to a SE and registers the file in the catalog Delete one file Replication between SEs and registration of the replica Gets the TURL for a given SURL and transfer protocol Sets file status to Done for a given SURL in a SRM request INFSO-RI

16 Summary of fts client commands Enabling Grids for E-sciencE FTS client glite-transfer-submit glite-transfer-status glite-transfer-cancel glite-transfer-list glite-transferchannel-list Submit a transfer job : needs at least source and destination SURL Given one or more job ID, query about their status Delete the transfer with the give Job ID Query about status of all user s jobs; support options for query restrictions Show all available channel; detailed info only if user has admin privileges INFSO-RI