SOKDIMENZIÓS TUDOMÁNYOS ADATHALMAZOK HATÉKONY KEZELÉSE

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "SOKDIMENZIÓS TUDOMÁNYOS ADATHALMAZOK HATÉKONY KEZELÉSE"

Gizella Hegedűs
7 évvel ezelőtt
Látták:

1 SOKDIMENZIÓS TUDOMÁNYOS ADATHALMAZOK HATÉKONY KEZELÉSE SZALAI-GINDL JÁNOS MÁRK TÉMAVEZETŐK: DR. CSABAI ISTVÁN ÉS DR. DOBOS LÁSZLÓ KOMPLEX RENDSZEREK FIZIKÁJA TANSZÉK EÖTVÖS LORÁND TUDOMÁNYEGYETEM

2 MOTIVÁCIÓ A csillagászati adatok mennyisége felvet informatikai problémákat Hogyan lehet sokdimenziós térbeli adatokat hatékonyan kezelni? Informatikai kihívások: számítógépek memória és háttértár címtere egydimenziós logikailag többdimenziós adatok fizikailag egy dimenzióra képezése csak szekvenciális olvasás megfelelő térfelosztás, indexelés tipikus kérdésekre rengeteg adat, elosztott környezet Fiatal Csillagász és Asztrofizikus Kutatók Találkozója - FIKUT2014

3 TÖBBDIMENZIÓS ASZTRONÓMIAI ADATOK Többdimenziós adatokra példák: az objektumok rektaszcenzió, deklináció és a vöröseltolódás értékeik alapján SDSS DB-ben az objektumok öt különböző színszűrőkhöz tartozó magnitúdóik adják az ötdimenziós tér egy pontját kozmológiai szimulációk részecskéi hétdimenziósak: a hagyományos térgeometriai dimenziók (3), sebesség dimenziók (3) és az idő (1)

4 GALAXISSPEKTRUMOK DIMENZIÓREDUKCIÓJA PCA =,,,, = = Σ (,,, ) = Fiatal Csillagász és Asztrofizikus Kutatók Találkozója - FIKUT2014

5 KOZMOLÓGIAI SZIMULÁCIÓK Nagy kozmológiai N-test szimulációk Futtatás különböző kezdeti értékkel A megfigyelt és szimulációs adatok összehasonlítása A szimulációk rengeteg adatot generálnak

6 KOZMOLÓGIAI SZIMULÁCIÓK Példa: az INDRA szimulációk (512 darab) Különböző kezdeti értékekkel, de azonos paraméterekkel 64 snapshot/szimuláció Snapshotonként több, mint 1 milliárd részecske Összesen 35 ezer milliárd részecskét követnek nyomon, ez 1.15 petabájtnyi mennyiséget jelent

7 FOTOMETRIKUS VÖRÖSELTOLÓDÁS BECSLÉS Az előbb említett színtér fontos: az SDSS DB-ben kb. 300 millió galaxis közül, csak kb. 1,8 milliónak van meg a vöröseltolódása Becslés egy olyan galaxisra, amelynek ez a paraméterértéke ismeretlen: a színtérben hozzá közeli galaxisokkal (tanítóhalmaz), amelyekre ez ismert

8 FOTOMETRIKUS VÖRÖSELTOLÓDÁS BECSLÉS Lineáris regressziós modell alkalmazásával: vöröseltolódás = a1 + a2*u + a3*g + a4*r + a5*i + a6*z (u, g, r, i, z a színtér koordinátaértékei) tanítóhalmaz behangolja a1-t,,a6-t, ezután már csak be kell helyettesíteni a galaxis fotometriai adatait DB használata hasznos, mert: a sok galaxis nem fér el a memóriában legközelebbi szomszédok kereséséhez támogatást nyújt

9 INDEXSTRUKTÚRÁK HASZNÁLATA Ahhoz, hogy gyorsan megtaláljunk egy pontot az adathalmazban, vagy megtaláljuk egy pont közeli szomszédjait, fel kell osztani a paraméterteret cellákra Cellákból sokkal kevesebb van, ezért azok között gyors a keresés Ezek után már csak a cellán belül kell keresni Előbbi példa alapján is fontos (legközelebbi szomszédok) Másik példa: szimulációknál adott részecske környezetét megkeresni egy adott tartományban Fiatal Csillagász és Asztrofizikus Kutatók Találkozója - FIKUT2014

KD-FA ÉPÍTÉSE A kd-fa építése egy hierarchikus térfelosztó algoritmus: meghatározzuk az adatpontokat befoglaló k dimenziós téglatestet megkeressük a pontok első koordináta szerinti mediánját, és azon

10 KD-FA ÉPÍTÉSE A kd-fa építése egy hierarchikus térfelosztó algoritmus: meghatározzuk az adatpontokat befoglaló k dimenziós téglatestet megkeressük a pontok első koordináta szerinti mediánját, és azon a ponton a téglatestet felosztjuk két részre folytatjuk rekurzívan külön-külön a két résztéglatestre, mediánt pedig mindig a következő koordináta szerint vesszük (ha el fogytak elölről kezdjük) Fiatal Csillagász és Asztrofizikus Kutatók Találkozója - FIKUT2014

11 RENGETEG PONT SOK SZERVER Hagyományos módszer: adatok fájlokban elemző csomagok memóriában elférő adathalmazokon Már vannak CPU-k, amelyekkel 1-1,5 terabájt memória elérhető Többprocesszoros rendszerekkel még több Nagyon drágák, optimalizált memória használat nagyon komplex DB használat egyik előnye: elrejti ezeket

RENGETEG PONT SOK SZERVER Scale-out architektúra: elosztott környezet Szűk keresztmetszet: szerverek közötti hálózati sebesség Elengedhetetlen

12 RENGETEG PONT SOK SZERVER Scale-out architektúra: elosztott környezet Szűk keresztmetszet: szerverek közötti hálózati sebesség Elengedhetetlen szempontok: lapelérések számának és szerverek közti várható kommunikáció időköltségének minimalizálása szerverek közti terheléselosztás kedvező legyen

13 TÖMEGES ADATBETÖLTÉS Tudományos adatok ritkán frissülnek, de abban a fázisban feltehető, hogy a forrásrendszerekből rengeteg nyersadat fog jönni Elosztott környezetre történő tömeges adatbetöltés (bulk loading) vizsgálata Adatlokalitás megőrzésére törekvés

14 TÉRFELOSZTÁS, CSEMPÉZÉS Térbeli adateloszlása tetszőlegesen ferde lehet Hisztogram készítés (minden dim. mentén n részre) cellasúlyok Cellák csempékbe fogása úgy, hogy: a csempesúlyok nagyjából egyformák legyenek lehetőleg annyi csempe legyen, ahány szerver = 160 = 4 = 40 = 4

15 TÉRFELOSZTÁS, CSEMPÉZÉS Hierarchikus csempézésre létezik hatékony algoritmus, amely az alábbi feladatot megoldja Optimalizációs feladat: c : pontok száma s : szerverek száma = Keressük azt a hierarchikus csempézést, melyre a csempék súlyai maximum, és a lehető legkevesebb csempét használjuk! Jó eset, ha a megoldás csempéinek száma (m) megegyezik s-sel = 160 = 4 = 40 =

16 TÉRFELOSZTÁS, CSEMPÉZÉS Jelölje a csempe súlyokat w i (ahol: i=1..m) Mivel = =, ezért igaz, hogy, továbbá, ha =, akkor = minden csempére. Cellázás finomsága? Mennyi legyen az n? Alsóbecslés n-re:, ha d dimenziós térben vagyunk. Miért nem kd-fát építünk a hisztogramra? = 168 = 5 = 33,6 = 8

17 h h1 + h2 + h3 = MÓDSZER Processing c1 Central Server h Chunking Processing c2 h3 Processing c3

18 KÖSZÖNETNYILVÁNÍTÁS Munkánkat az OTKA pályázat támogatta.

19 HIVATKOZÁSI JEGYZÉK Bell, G., Hey, T., Szalay, A. (2009). Beyond the data deluge. Science, 323(5919), Budavári, T., Dobos, L., & Szalay, A. S.: SkyQuery: Federating Astronomy Archives; Computing in Science and Engineering Volume 15 Issue 3, May 2013 Pages Crankshaw, D., Burns, R., Falck, B., Budavári, T., Szalay, A. S., & Wang, J. (2013, July). Inverted indices for particle tracking in petascale cosmological simulations. In Proc. of the 25th Int. Conf. on Sci. and Stat. DB. Mgmt. (p. 25). ACM. Csabai, I., Trencseni, M., Herczegh, G., Dobos, L., Józsa, P., Purger, N., Budavari, T., & Szalay, A. (2012). Spatial indexing of large multidimensional databases. arxiv preprint arxiv: Muthukrishnan, S., Poosala, V., & Suel, T. (1999). On rectangular partitionings in two dimensions: Algorithms, complexity and applications. In Database Theory ICDT 99 (pp ). Springer Berlin Heidelberg. Smolin, L. (2013). Time reborn: From the crisis in physics to the future of the universe. Houghton Mifflin Harcourt. Szalay, A. S. & Blakeley, J. A Gray's Laws: Database-Centric Computing in Science. The Fourth Paradigm Data Intensive Scientific Discovery. In Microsoft Research Felhasználtunk képeket FreeDigitalPhotos.net oldalról sheelamohan munkájából, továbbá az Observatoire de Genève oldaláról

20 Köszönöm a figyelmet!

Hasonló dokumentumok

Fotometrikus vöröseltolódás-becslési módszerek továbbfejlesztése

Eötvös Loránd Tudományegyetem Természettudományi Kar Fotometrikus vöröseltolódás-becslési módszerek továbbfejlesztése Doktori értekezés tézisei Purger orbert Témavezető Dr. Csabai István egyetemi tanár