Az LHC adatfeldolgozásának számítástechnikai háttere 10 percben. Hajdu Csaba KFKI RMKI

Átírás

1 Az LHC adatfeldolgozásának számítástechnikai háttere 10 percben Hajdu Csaba KFKI RMKI

2 A feladat A detektoroknál történő szűrés után évi ~15 PB adat marad (~3millió DVD, ~3km magas kupac) Tárolás: nyers adatok (legalább duplán) feldolgozott adatok szimulált adatok CPU: feldolgozás, kiértékelés (LHC megy) szimuláció (már most is) ELFT, Hat hónap múlva indul az LHC 2

3 A megoldás A feladat egy helyen történő elvégzése az eszközök és emberek túlzott koncentrációját igényelné A kísérlet résztvevői eleve a világ különböző tájain vannak, osszuk inkább szét a feladatokat is Van már egy hasonló (ráadásul éppen a CERN-ből elindított) és közismert rendszer, a világháló Hasonló, de mégis egészen más: GRID A grid nem a CERN-ből indult, de az első, nélküle valóban nem megoldható feladat, illetve jelenleg a legnagyobb alkalmazása az LHC ELFT, Hat hónap múlva indul az LHC 3

4 Mi a GRID? Nehéz rövid és pontos definíciót adni, még alakulóban van, de alapvetően egy földrajzilag elosztott és külön irányított részekből álló virtuális számítóközpont Hasonló az elektromos hálózathoz nem foglalkozunk azzal, hogy hol az erőmű, milyen úton jut el hozzánk az áram, csak legyen az éppen aktuális igényünknek megfelelően világháló: információ, kereskedelem stb. nagyon széles közönségnek grid: nagy teljesítmény, erőforrásigényes alkalmazások (egyelőre?) korlátozott felhasználói körrel ELFT, Hat hónap múlva indul az LHC 4

5 WLCG Worldwide LHC Computing Grid Feladata az LHC kísérletek számítástechnikai hátterének kidolgozása, kiépítése és működtetése Folyamatosan növekvő, világméretű együttműködés, jelenleg 45 országban, 236 helyszínen EGEE (Enabling Grids for E-SciencE) OSG (US Open Science Grid) USA: a 236-ban csak 2-3 főbb központ van ELFT, Hat hónap múlva indul az LHC 5

6 A T(ier)x hierarchia A -ket az általános kutatói hálózatok kötik a T1-ekhez GridKa IN2P3 Dedikált 10 Gbites linkek TRIUMF Brookhaven T0 ASCC Nordic CNAF RAL Fermilab SARA PIC LCG

7 Példa: Alice, Európa

8 Munkamegosztás T0 adatgyűjtés, előzetes feldolgozás hosszútavú adatkezelés adatok továbbküldése a T1 központokba T1 nagytömegű adattárolás adatigényes analízisek a regionális -k támogatása felhasználói analízis szimulációk ELFT, Hat hónap múlva indul az LHC 8

9 T0 és a T1-ek T0 CERN Svájc Alice Atlas CMS LHCb T1 ASGC Taiwan x x BNL USA x CNAF Olaszország x x x x FNAL USA x FZK Németország x x x x IN2P3 Franciaország x x x x NDGF DK, SF, N, S x x NIKHEF Hollandia x x x PIC Spanyolország x x x RAL Egyesült Királyság x x x x TRIUMF Kanada x ALICE_US USA x ELFT, Hat hónap múlva indul az LHC 9

10 Erőforrásigény 2008-ban CERN T1-ek -k Osszes CPU (KSI2K) diszk (TB) szalag (TB) KSI2K ~ 2.7 Ghz P4 Jelenleg kb CPU és TB üzemel. A 2010-es igény CPU és TB ELFT, Hat hónap múlva indul az LHC 10

11 Magyar részvétel EGEE JRU (Joint Research Unit) <- MGKK (BME - ELTE - NIIFI RMKI - SZTAKI) WLCG fő érdekelt az RMKI, a többieknél maximum WN (worker node) van (a teljes CPU szám plusz 5-10) Az RMKI nyarán a világon hetedikként csatlakozott Jelenleg ~100 WN, ~7 TB diszk (+30TB?) LHC-n kívülieknek: Hungrid VO ELFT, Hat hónap múlva indul az LHC 11

12 Az RMKI gépparkja 2002 év végen 50 CPU, 1.8 TB 2003-ban újabb 50 CPU 2005-ben 8 CPU, 4 TB 2006-ban 20 (core duo) CPU, 1.4 TB 2007-ben remény van 30 TB-ra A 4-5 éves gépek erkölcsileg elavultak, fizikailag is egyre több a gond velük Égető szükség van újabb CPU-kra (csere és bővítés) ELFT, Hat hónap múlva indul az LHC 12

13 Tervek Az LHC indulására el kell érjük a -es szintet, amihez a szaktudásunk megvan, de az erőforrások tekintetében további vállalások szükségesek MOU aláírás! Az RMKI gépeinek többsége 2002-es és as beszerzésű, elkerülhetetlen a cseréjük ELFT, Hat hónap múlva indul az LHC 13

14 Köszönetnyilvánítás Az RMKI LCG állomásának összeállitásában, tesztelésében és üzemeltetésében részt vesznek/vettek: Barnaföldi Gergely Kadlecsik József Csárdi Gábor Kárász Edit Debreczeni Gergely Kővári Kálmán Hernáth Szabolcs Kövesárki Péter Horánszky Tamás Szabó Domokos Pályázatokban, szervezési es koncepcionális kérdésekben segítséget nyújtottak: Borbás Józsefné Lévai Péter Bürger Gábor Vesztergombi György Horváth Dezső Zimányi Magdolna Köveshegyi László ELFT, Hat hónap múlva indul az LHC 14