Nagy méretű adathalmazok vizualizációja

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Nagy méretű adathalmazok vizualizációja"

Edit Orbánné
6 évvel ezelőtt
Látták:

1 Nagy méretű adathalmazok vizualizációja Big Data elemzési módszerek Kocsis Imre, Salánki Ágnes ikocsis, Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék

2 Aggregálunk n nagy mesterségesen tömörítünk

3 Bin-summarize-smooth-visualize A képernyő pixelszáma erősen véges Az előfeldogozást le kell csatolni a megjelenítésről Lehetővé teszi a o Párhuzamosítást o Out-of-memory adatok megjelenítését A fontosabb 1d és 2d statisztikai eszközök Alapvető forrás: H.Wickham: Bin-summarize-smooth: A framework for visualizing large data

4 Bin-summarize-smooth-visualize Bin Summarize Smooth Visualize

5 Condense Bin + summary: nagy adat dobozolt összefoglalók dobozolás (binning), majd néhány leíró statisztika bin-hez rendelése Binning: injektív leképezés Adatbázisban is végezhető

6 ASA Data Expo 09 Példa adatsor: flight data Változók o Year, Month, DayOfMonth, DayOfWeek o DepTime, SchDepTime, ArrTime, SchArrTime o ArrDelay, DepDelay o Origin, Dest o Distance

7 Fix szélességű dobozok Egy dimenzióban: Bin x origin width + 1 Általánosítás több dimenzióban m 1 = x 1 + x 2 n 1 + x 3 n 1 n x m = x 1 + ( x 2 + n 2 ( x 3 + x m ) i=1 n i Ritka adatok: jobb lenne a nagyobb szélesség o Pl. a variancia csökkentésére o Nehéz probléma Inkább simítás

8 Bin

9 Summarise Összefoglaló statisztikák típusai: o Disztributív egyetlen, adott méretű köztestár eredmények kombinálhatóak pl. count, sum o Algebrai disztributív statisztikák fix száma kell hozzá Pl. átlag: count + sum o Holisztikus bemenettel növekvő köztestár kell Pl. medián

10 Summarise Összefoglaló statisztikák típusai: o Disztributív egyetlen, adott méretű köztestár eredmények kombinálhatóak pl. count, sum o Algebrai disztributív statisztikák fix száma kell hozzá Pl. átlag: count + sum o Holisztikus bemenettel növekvő köztestár kell Pl. medián 1. Általában jól párhuzamosítható 2. Interaktív vizualizáció

11 Summarize

12 Túl kicsi a szélesség Smooth Inkább legyen gyors, mint robusztus

13 Túl kicsi a szélesség Smooth Inkább legyen gyors, mint robusztus

14 Smooth Kernel módszerek: o nemcsak szomszédok, o de súlyozás is j-edik bin közelítésénél az i-edik súlya: k i = K x j x i h h: sávszélesség o Szomszédság mérete K itt: triweight K x = 1 x 3 2 I x <1

15 Smooth Kernel módszerek: o nemcsak szomszédok, o de súlyozás is j-edik bin közelítésénél az i-edik súlya: k i = K x j x i h h: sávszélesség o Szomszédság mérete K itt: triweight K x = 1 x 3 2 I x <1

16 Automatikus sávszélesség választás?

17 Automatikus sávszélesség választás?

18 Automatikus sávszélesség választás? Pl. leave-one-out cross-validation (LOOCV) aktuális statisztika és a simított összeh. o root mean squared error o rmse = y i y 2 i /n o keressük a minimumhoz tartozó h-t

19 Két változó? Az egyik bin, a másik statisztika alapja o mean, median, std. dev. Mindkettő bin alapja, statisztika: count

20 Két változó? Az egyik bin, a másik statisztika alapja o mean, median, std. dev. Mindkettő bin alapja, statisztika: count

21 Két változó? Az egyik bin, a másik statisztika alapja o mean, median, std. dev. Mindkettő bin alapja, statisztika: count

22 Két változó? Az egyik bin, a másik statisztika alapja o mean, median, std. dev. Mindkettő bin alapja, statisztika: count

23 Két változó? Az egyik bin, a másik statisztika alapja o mean, median, std. dev. Mindkettő bin alapja, statisztika: count

24 (2,1)-d plot: heatmap/tile plot, contour plot Vizualizáció (n,m)-d plot: o small multiples (faceting) o Interakció Ábra forrása: [1]

25 Hivatkozások [1] H. Wickham: Bin-summarize-smooth: A framework for visualizing large data. (A cikk az IEEE Transactions on Visualization and Computer Graphics folyóiratban fog megjelenni.) [2] Bigvis-t bemutató meetup oldala: 042/

26 Előkészületek

27 Előkészületek

28 Válasszunk egy változót

29 Válasszunk egy változót

30 Binning; simítás

31 Binning; simítás

32 Másik változó

33 Két változó

34 Bizonytalanság: CLT, bootstrap Két változó

36 Hámozás

37 illetve kézivezérlés

Hasonló dokumentumok

Nagyméretű adathalmazok vizualizációja

Nagyméretű adathalmazok vizualizációja Big Data elemzési módszerek Salánki Ágnes, Kocsis Imre salanki, ikocsis@mit.bme.hu 2015.10.22. Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs