CERN Grid and Big Data Science

Átírás

1 CERN Grid and Big Data Science Péter Lévai MTA WIGNER Research Centre for Physics 14 June 2013, ELTE, TAMOP funded FutureITC Conference

2 Tartalomjegyzék: 1. Égi adatgyüjtés 2. A Nagy Hadronütköztető (LHC) 3. Adatgyűjtés a föld alatti detektoroknál 4. Big Data Science informatikai kihívások 5. Hétköznapi alkalmazások

3 Nikolaus Kopernikusz ( ) 1510: nap-középpontú világkép 1543: De Revolutionibu Orbium Coelestium

4 Galilei ( ) Fiatalkori kép Galilei távcső bemutatója augusztus : 400 éves a megfigyelő csillagászat január 7 : a Jupiter 4 holdjának felfedezése (Europe, Io, Kallisztó, Ganümédesz) 1 év alatt 1 kb adat: 3 Byte/éjszaka a Jupiter egy kis Naprendszer, Kopernikusznak van igaza!

5 A Tejútrendszer, a mi galaxisunk: a Földről nézve és messziről tekintve Naprendszer

6 Sloan Digital Sky Survay New Mexico, Apache Point, 2000/2005/ Mpixel CCD kamera Szalai Sándor John Hopkins Egyetem Csabai István és csoportja, ELTE Szapudi István és csoportja, Hawai 30 db 2048x2048 CCD chip 5 színszűrő: 354, 476, 628, 769, 925 nm 200 GB adat éjszakánként : 1100 TB adat Petabájt skála

7 Az Univerzum struktúrája --- A neuronok hálózata

8 Az Internet térképe

9 Tartalomjegyzék: 1. Égi adatgyüjtés 2. A Nagy Hadronütköztető (LHC) 3. Adatgyűjtés a föld alatti detektoroknál 4. Big Data Science informatikai kihívások 5. Hétköznapi alkalmazások

10 A Rutherford kísérlet: az -részecskék visszaszóródnak az arany fóliáról

11 A Rutherford kísérlet: az -részecskék visszaszóródnak az arany fóliáról az arany atomoknak pozitív töltésű magjuk van amit negatív töltésű elektron felhő vesz körbe 1 nap 1 KB adat

12 Gyorsítók szerepe Az atommagok ütközése

13 Gyorsítók: CERN LHC Az első ciklotron, 1930, Lawrence Átmérő: 12 cm (1.2*10 1 cm) Energia: 80 ezer ev (8*10 4 ev) Stáb: 1+1 ember (2*10 0 fő) Mai ár: 150 euro (1.5*10 2 ) A CERN LHC komplexum, 2008 Átmérő: 8.6 km (8.6*10 5 cm) Energia: 7 TeV (7*10 12 ev) Stáb: fő (1*10 4 fő) Mai ár: ~15 mrd euro (1.5*10 10 )

14 m CERN LHC: a Föld legnagyobb berendezése Magyarország 1992 óta teljes jogú tagja a CERN-nek ~1 %-ban vagyunk tulajdonosok L3 OPAL NA49 ASACUSA ALICE CMS 8.6 km ATLAS TOTEM

15 LHC gyorsító elkészült: 2008 nyara A CERN LHC komplexum, 2008 nyarán Nyalábcső: 2 db, atm, 9000 m 3 térfogat (+ 120 t szuperfolyékony He) Dipól mágnesek (pályán tartás): 1242 db (NbTi, 1.9 K, A, 8.3 T, 15 m) Quadrupól mágnesek (optika, nyalábformálás): 392 db (1.9 K) Sextupol, octupol, decapol, mágnesek (korrekciók, irányítás): kb db RF üregrezonátorok: 2 x 8 db (4.5 K, 5MV/m gyorsító tér)

16 LHC gyorsító elkészült: 2008 nyara Dipól mágnes röntgen rajza Quadrupól mágnes keresztmetszete A CERN LHC által megcélzott luminozitás: Proton + proton ütközések: 2808 csomag (bunch), amelyek 7 m (25 ns) távolságból követik egymást 1 csomagban proton (100 milliárd) Nyalábátmérő utazáskor 1 mm, ütközéskor 16 m (hajszál: 50 m) Ütközés: 1+1 bunch 20 ütközés másodpercenként 30 milliószor fednek át a csomagok másodpercenként 600 millió p+p ütközés ( ütk/év 15 P byte)

17 Tartalomjegyzék: 1. Égi adatgyüjtés 2. A Nagy Hadronütköztető (LHC) 3. Adatgyűjtés a föld alatti detektoroknál 4. Big Data Science informatikai kihívások 5. Hétköznapi alkalmazások

18 LHC: p+p 2008 Pb+Pb 2009/10 CMS ALICE Centrális ütközések s (GeV) dn ch /dy (GeV/fm 3 ) V f (fm 3 ) x10 3 2x104 T / T c >

19

20 Egy Pb+Pb ütközés adatainak vizualizációja (TPC és ITS). 100 MB-os digitális kamera gyors adatgyűjtő és adattovábbító rendszer (DAQ) ALICE: magyar feladat volt (2006/2013)

21 Rare/All BUSY CTP LTU TTC GDC DAQ architecture FERO FERO Event 123 DDLs 262 DDLs Fragment 329 D-RORC GDC GDC BUSY GDC LTU TTC FERO FERO Load Bal. LDC 175 Detector LDC LDC LDC 10 HLT LDC LDC LDC EDM Sub-event Event File L0, L1a, L2 L0, L1a, L2 Event Building Network Storage Network 50 GDC 25 TDS DDL H-RORC 10 DDLs 10 D-RORC DS FEP FEP HLT Farm DS 5 DSS PDS TDS TDS

22 Physics requirements Pb-Pb beam - Central 20 Hz 86.0 MB - MB 20 Hz 20.0 MB - Dimuon 1600 Hz 0.5 MB - Dielectron 200 Hz 9.0 MB pp beam MB 100 Hz 2.5 MB 25 GB/s Running modes 2.50 GB/s A: DAQ B: DAQ+HLT Analysis C: DAQ+HLT Trigger 1.25 GB/s

23 ALICE Detector Data Link

24 DDL Features Interface: Full duplex 32-bit data path on the destination interface (DIU card) Half duplex 32-bit data path on the source interface (SIU card) Full duplex flow control (XON/XOFF) Interface clock up to 66 MHz (easy integration with PCI 66) 264 MB/s peak data rate, 240 MB/s sustained bandwidth (max.) Implementation: Duplex LC optical link up to 300 m 2x FC or 2x GbE physical layer components Small Form Factor Pluggable (SFP) optical transceivers Bit error rate < Robust error detection: very low undetected bit error rate < Automatic link synchronization and management Radiation tolerant Source Interface Extras: Stand-by support (low power consumption) In-system reconfiguration / Remote system upgrade Monitoring of the aging of laser diode of optical transceivers

25

26

27 Higgs keresésre jelölt: p+p H jet + jet + lepton + anti-lepton p+p H elektron + e-antineutrínó + + müon + müon-antineutrínó , CMS szimuláció

28 Higgs bomlási csatornák különböző tömegeknél Jelölt! A Higgs-részecske ismeretlen tömege nagyon fontos paraméter

29 Tiszta jel, ha m H = GeV: p+p H γγ Elmélet: Kísérlet (CMS)

30 2011 adatok kombinációja: CMS + ATLAS H ZZ & H γ γ 2011: 5+5 fb -1 adat (7 TeV) Discovery: fb -1??!! Megoldás: emelni az energiát! 2012: 8 TeV 15 fb : 13 TeV

31 CERN tudományos programja: : Emelni a luminozitást 600 M p+p ütközés / sec Emelni az energiát TeV-re : Új részecskék felfedezése Csillagászat: sötét anyag sötét energia Elmélet: szuperszimmetrikus (árnyék) részecskék Új típusú gyorsító kifejlesztése vagy VLHC (100 TeV, 80 km gyűrű)

32 Tartalomjegyzék: 1. Égi adatgyüjtés 2. A Nagy Hadronütköztető (LHC) 3. Adatgyűjtés a föld alatti detektoroknál 4. Big Data Science informatikai kihívások 5. Hétköznapi alkalmazások

33 Informatikai kihívások!!!!!!!! 1 fb -1 : 70 milliószor millió ütközés 7*10 13 * 2 kbyte = TeraB Higgs felfedezés: 25 fb -1 adat = 3500 PetaB A CERN TIER-0 számítógép központja

34 Az adatfeldolgozó piramis: TIER-0 TIER-1 TIER-2 TIER-3 Jelenlegi állapot: Budapest Wigner FK 600 mag, 300 TB

35 WLCG, amint behálózza a Földet

36 WIGNER Adatközpont -- MTA WIGNER FK január 1: CERN TIER-0 kiterjesztés 1300 km 100 Gbit/s (400 Gbit/s) Nagybiztonságú adattovábbítás, adatkezelés, adatbányászás Misszió: Tudásközpont, know-how transzfer

37 Tartalomjegyzék: 1. Égi adatgyüjtés 2. A Nagy Hadronütköztető (LHC) 3. Adatgyűjtés a föld alatti detektoroknál 4. Big Data Science informatikai kihívások 5. Hétköznapi alkalmazások

38 Adatok keletkezése: --- orvosi ellátás --- államigazgatás (törvények betartása, megszegése) --- hírek, újságok, média --- személyi szórakozás (fényképek, filmek, blogok) --- háztartás --- közlekedés --- kiszolgáló infrastruktúra Adatok mozgatása: --- gyors internet hálózatok --- WiFi --- Mobil-szolgáltatók Adatok feldolgozása: --- szerverparkok --- számítási felhők

39 Magyarország: 10 millió állampolgár (+ 5 millió turista) 365 nap De: 1 Petabájt adat 0.25 MB / nap / fő 1 PDF file: MB 1 film: MB 1 röntgenfelvétel: MB 1 fényképezés: MB???? PB HU-adat Napjainkban óriási adatmennyiség keletkezik és továbbítódik. Ezek nagy része elveszik, kisebb része tárolódik, minimális feldolgozás Részecskefizika: ha minden milliomodik p+p ütközést mentenénk el ha minden 100 milliomodik ütközést néznénk meg Mi lesz ezzel a rengeteg adattal? adatbányászat, adatfeldolgozás Big Data Technikus

40 Zárszó: A jövő félelmetesen nagy kihívásokat tartogat számunkra. Meg is ijedhetünk, senki nem fog csodálkozni ezen. De fel is vehetjük a kesztyűt! Sok sikert kívánok ez utóbbihoz!