Kabos Sándor. Térben autokorrelált adatrendszerek

Átírás

1 Kabos Sándor Térben autokorrelált adatrendszerek elemzése

2 Összefoglalás az előadás példákon szemlélteti a térben autokorrelált adatok blokkosításának és összefüggésvizsgálatának jellemző tulajdonságait. Fő üzenet néhány statisztikai eljárás a független mintán megszokotthoz képest másképp viselkedik, amikor megjelenik a mintán belüli autokorreláció.

3 256x256 binary image, p=0.3 white noise a realization of a field with zero autocorrelation rel.frequency of white = 0.3

4 A képen 256x256= pixel van, 30% -uk fehér (=világoskék) és 70% -uk fekete (=sötétkék) és teljesen véletlenszerűen helyezkednek el. Ez a kép annak a valószínűségi mezőnek egy realizációja, ahol a pixelek random módon p=0.3 vséggel fehérek és 1-p=0.7 vséggel feketék, és ezt egymástól függetlenül teszik (nem pontosan az, de majdnem).

5 256x256 binary image a realization of a field with high autocorrelation rel.frequency of white = 0.3

6 Ez a kép nem fehérzaj, hanem a CAR mező(lásd később) reguláris grid 4-es szomszédsági topológia ρ = és p = 0.3 paramétereivel készült szimuláció. Ilyen adatrendszerek készítésére alkalmas a RandomFields R-csomagban található GaussRF() fügvény.

7 A képen 256x256= darab pixel van, 30% -uk fehér (=világoskék). A fehér pixelek véletlenszerűen, ámde erős pozitív (ρ = ) autokorreláció mellett választották a helyüket.

8 Valódi szimuláció során sohasem egyetlen realizáció alapján következtetünk. Most mégis ezt tesszük, ezért az előadó becsületszavát adja, hogy ő sok ezer realizációt megnézett, és azokból is hasonló következtetésekre jutott. Ezt röviden így mondjuk: az ábrák az előadás következtetései szempontjából tipikus realizációkat mutatnak.

9 Binary image with grid of 32x32 pixels 32x32 blocks, classified by majority of pixels rel.frequency of white = 0.3 rel.frequency of white = 0.141

10 32x32 pixel méretű blokkokat képeztünk, ahogyan az ábra bal oldalán a sárga vonalak mutatják. A 256x256-os képen 8x8 darab blokk van. A jobb oldalon pontosan azok a blokkok fehérek, ahol a pixel többség fehér (ha éppen 50% fehér, akkor ez a blokk 50% eséllyel lett fehér).

11 Világos, hogy a blokkosítás szabálya olyan, hogy a fehérek tipikusan területet veszítenek. A most bemutatott szimulációk (illetve ezek több ezer ismétlésben való elvégzése) alapján tudunk arra következtetni, hogy a területveszteséget milyen módon befolyásolja a blokkméret és az autokorreláció.

12 Binary image with grid of 16x16 pixels 16x16 blocks, classified by majority of pixels rel.frequency of white = 0.3 rel.frequency of white = 0.188

13 Binary image with grid of 8x8 pixels 8x8 blocks, classified by majority of pixels rel.frequency of white = 0.3 rel.frequency of white = 0.225

14 Binary image with grid of 4x4 pixels 4x4 blocks, classified by majority of pixels rel.frequency of white = 0.3 rel.frequency of white = 0.251

15 Binary image with grid of 2x2 pixels 2x2 blocks, classified by majority of pixels rel.frequency of white = 0.3 rel.frequency of white = 0.283

16 A következő képen 256x256= darab pixel van, 30% -uk fehér. A fehér pixelek véletlenszerűen, ámde az előzőnél gyengébb pozitív (ρ = 0.23) autokorreláció mellett választották a helyüket.

17 256x256 binary image a realization of a field with slight autocorrelation rel.frequency of white = 0.3

18 Binary image with grid of 32x32 pixels 32x

19 Binary image with grid of 32x32 pixels 32x32 blocks, classified by majority of pixels rel.frequency of white = 0.3 rel.frequency of white = 0

20 A blokkokat ugyanúgy képeztük, mint az előbb. Mint látjuk, a 32x32-es blokkok között egy sem akadt, ahol a fehérek többségbe kerültek volna. Hogyan változik a fehérek blokkosítás során elszenvedett területvesztesége a blokkméret és az autokorreláció függvényében? Az autokorrelálatlan esetre az előadó nem hozott szimulációt. Miért?

21 Binary image with grid of 16x16 pixels 16x

22 Binary image with grid of 16x16 pixels 16x16 blocks, classified by majority of pixels rel.frequency of white = 0.3 rel.frequency of white = 0.004

23 Binary image with grid of 8x8 pixels 8x8 blocks, classified by majority of pixels rel.frequency of white = 0.3 rel.frequency of white = 0.05

24 Binary image with grid of 4x4 pixels 4x4 blocks, classified by majority of pixels rel.frequency of white = 0.3 rel.frequency of white = 0.164

25 Binary image with grid of 2x2 pixels 2x2 blocks, classified by majority of pixels rel.frequency of white = 0.3 rel.frequency of white = 0.258

26 A következő két kép CAR reguláris grid 4-es szomszédsági topológia ρ = 0.24 paraméterével készített két, egymástól független realizáció.ez azt jelenti, hogy két pixel értéke pozitívan korrelált, ha ugyanazon a képen vannak és egymáshoz elég közeliek (lásd később). Ha két pixel különböző képen van, nincs az értékeik között semmilyen sztochasztikus kapcsolat.

27 two independently simulated data sets X and Y data set X with high positive autocorrelation data set Y with high positive autocorrelation pixelwise cross correlation(x,y)= p value= 0.022

28 Fontos kellően elcsodálkozni azon, hogy miközben X és Y egymástól függetlenek, a korrelációjuk mégis szignifikáns. Emlékezzünk az előadó becsületszavára a tipikus realizációkról: nem az van, hogy kihalászott egy esetet az ezerből, ahol éppen szignifikáns a korreláció, hanem a szimuláció során többnyire szignifikáns korreláció jön ki.

29 rook neighbourhood CAR residuals of two independently simulated data sets X and Y CAR residuals of data set X CAR residuals of data set Y pixelwise cross correlation(x,y)= p value= 0.467

30 Itt a megfejtés: ha elvégezzük az izotróp CAR reguláris grid 4-es szomszédsági topológia (a cellánkénti a várható érték = 0) modell illesztését, akkor az előző X és Y reziduumok közötti korreláció szignifikanciája eltűnik. Ilyen modell illesztésére alkalmas az spdep R-csomagban található spautolm() fügvény.

31 Tekintsünk el egy pillanatra a pixelek térbeli elhelyezkedésétől. Ekkor úgy áll előttünk a méretű kép, mint egy elemű minta. Vizsgáljuk meg ezt az eloszlást szokott statisztikai eljárásainkkal.

32 Histogram of.x.x Frequency Histogram of.y.y Frequency Normal Q Q Plot Theoretical Quantiles Sample Quantiles Normal Q Q Plot Theoretical Quantiles Sample Quantiles

33 Histogram of.x.residual.x.residual Frequency Histogram of.y.residual.y.residual Frequency Normal Q Q Plot Theoretical Quantiles Sample Quantiles Normal Q Q Plot Theoretical Quantiles Sample Quantiles

34 Az ábrák alapján hajlamosak vagyunk azt mondani, hogy ezek az eloszlások sem egymástól, sem a st.normális eloszlásból vett mintától nem különböznek lényegesen.

35 Nézzük meg, elfogadja-e a t-próba, hogy az X egy 0 várhatóértékű normális eloszlásból vett i.i.d. minta. Ne feledjük, hogy ez a próba mit sem tud a pixelek szomszédsági viszonyairól.

36 Call: lm(formula = X ~ 1) Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) ** Residual standard error: on 1023 degrees of freedom

37 Ez a t-próba úgy látja, hogy az 1024-elemű X minta alapján el kell utasítani azt a hipotézist, hogy az alapsokaság várhatóértéke = 0.

38 Most egy olyan t-próbát végzünk, amely ismeri a pixelek térbeli szomszédsági viszonyait, és olyan modellt illeszt, mely az autokorrelációt is figyelembe veszi.

39 Call: spautolm(formula = X ~ 1, listw = LW1, family = "CAR") Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) ML residual variance (sigma squared): Number of observations: 1024

40 Azt látjuk, hogy az autokorrelációt figyelembe vevő t-próba elfogadja, hogy az alapsokasági várhatérték = 0.

41 Az eljárást végző R függvény: spautolm(formula = X ~ 1, listw = LW1, family = "CAR") listw = a szomszédsági topológia family = a modellcsalád meghatározása

42 Az autokorrelációt figyelembe vevő két legegyszerűbb modell a CAR és a SAR regresszió.

43 A spatial data of lattice type is a realization of a random field {Y s : s S} where S is the set of sites.

44 Topology on S can be given by a neighbourhood system N s = {t S : s and t are neighbours} or by a contiguity matrix W w t,s = 1 if s and t are neighbours 0 elsewhere

45 Stationarity of {Y s : s S} means, that the joint distribution of { Y s1, Y s2,..., Y sk } is identical to that of { Ys1 +h, Y s2 +h,..., Y sk +h}

46 Second-order stationarity of {Y s : s S} means, that E {Y s } = µ (does not depend on s) and Cov { Y s, Y s+h } = c(h) (does not depend on s)

47 Intrinsic Hypothesis of {Y s : s S} means, that E {Y s } = µ (does not depend on s) and E ( Ys Y s+h) 2 = 2 γ(h) (does not depend on s) The intrinsic hypothesis is weaker than the second-order stationarity.

48 SAR: Simultaneous Autoregressive Random Field is a Gaussian random field {Y s : s S} specified by the set of regression equations:

49 Y s = a s + r N s b r,s y r + ε s {s S} where {ε s } are zero-mean, independent Gaussian and V ar {ε s } = σ 2 s The simplest form is the isotropic case: a s = 0 and σ s = σ and [b r,s ] = ρ W

50 CAR: Conditional (Autoregressive) Gauss-Markov Random Field is a Gaussian random field {Y s : s S} specified by its conditional expectations and conditional variances as follows:

51 conditional expectations: E {Y s Y r = y r, r S} = = µ s + r N s c r,s (y r µ r )

52 and conditional variances: V ar {Y s Y r = y r, r S} = σ 2 s The simplest form is the isotropic case: µ s = 0 and σ s = σ and [c r,s ] = ρ W

53 A fent írt fogalmak mind ismerősek azoknak, akik foglalkoztak idősorok elemzésével. A stacionárius és izotróp térbeli statisztikai modellek működését (amint az idősorelemzésben is) jól szemlélteti a kovariancia-függvény, ill. annak standardizált változata, a korrelogramm.

54

55

56

57

58

59

60 Books: Ripley, B.D.: Statistical Inference for Spatial Processes, 1988, Cambridge Cressie, N.: Statistics for Spatial Data, Second Edition, 1993, Wiley. Diggle, P.J.: Statistical Analysis of Spatial Point Patterns, Second Edition, 2003,Oxford.

61 Roger Bivand (2009): The Problem of Spatial Autocorrelation: forty years on. a vignette in R package spdep: Spatial dependence