Folyamatosan változó mennyiségek feldolgozása I. 6. előadás 1
Tartalom folyamatosan változó mennyiségek sztochasztikus folyamatok mintavételezés LKN kollokáció geostatisztika, krigelés szűrések interpolációk 2
Példák folyamatosan változó mennyiségekre A mérési eredmények a véletlenen kívül egy vagy több folyamatosan változó fizikai jellegű mennyiségtől is függnek GNSS mérések (hely, idő) Nehézségi gyorsulás-mérés (hely, esetleg idő) Mérnöki szerkezetek mozgásvizsgálata (idő, esetleg teher) Digitális képfeldolgozás (hely) Térinformatikai rendszerek attribútumai (hely, idő) 3
Ionoszféra mentes GNSS kódmérés kombináció Forrás: ESA Navipedia 4
Maradék nehézségi rendellenességek idősorai: Bad Homburg (piros), Medicina (zöld) és Wettzell (kék) 2000 2007 között Forrás: Wziontek et al. (2009) 5
6
7
A sztochasztikus folyamatok a mérési eredmény értékét a véletlenen kívül más tényezők is befolyáslják: például a híd egy pontjának magasságát befolyásolják a hídon áthaladó autók definíció: ξ(ω,t), ωîω, tît. A sztochasztikus folyamatok realizációja: ω rögzített, t befutja a T halmazt: ξ(t) függvény : egy autó áthaladásakor a híd egy pontjának magassága (t az autó helyzete) Ω : eseménytér, elemi események halmaza rögzített t 0 : ξ(ω,t 0 ) valószínűségi változó: az autó kiválasztott helyzetéhez tartozó magasságok több áthaladás esetén 8
Realizációk sztochasztikus folyamat 5 különböző realizációja 9
A sztochasztikus folyamatok t vektorváltozó: ξ(ω,t) véletlen mező - pl. két autó helyzetét vizsgáljuk: t = (t 1, t 2 ) ξ vektorfüggvény: ξ(ω,t) sztochasztikus vektorfolyamat pl. a híd két pontját vizsgáljuk egy időben egy autó áthaladásakor ξ(ω,t) véletlen vektormező pl. a híd két pontját vizsgáljuk egy időben két vagy több autó áthaladásakor diszkrét és folytonos sztochasztikus folyamatok A sztochasztikus folyamatok jellemzői: Első, másod, harmad rendű eloszlásfüggvények Térátlag Auto- és keresztkorrelációs függvények 10
Eloszlásfüggvények ξ(ω) val. változó eloszlásfüggvénye ξ(ω,t) jellemzéséhez: ξ(t 1 ) eloszlása, [ξ(t 1 ), ξ(t 2 )] együttes eloszlása, [ξ(t 1 ), ξ(t 2 ), ξ(t 3 )] együttes eloszlása, [ξ(t 1 ), ξ(t 2 ), ξ(t 3 ),...] együttes eloszlása szükséges a t értékek minden véges részhalmazára! ezeket első-, másod-,... rendű eloszlásfüggvények írják le 11
Első-, másod-, harmad-, stb. rendű eloszlásfüggvények F 1 (x 1, t 1 ) = P[ξ(t 1 ) x 1 ] elsőrendű, F 2 (x 1, t 1 ; x 2, t 2 ) = P[ξ(t 1 ) x 1, ξ(t 2 ) x 2 ] másodrendű,... eloszlásfüggvények írják le a sztochasztikus folyamatot 12
Térátlag valószínűségi változó várható értékével analóg mennyiség ξ(t 1 ), ξ(t 2 ),... minták alkalmas f függvényének a térátlaga: M{f } = M{f [ξ(t 1 ), ξ(t 2 ),...]} =... f(x 1, x 2,...) df(x 1,t 1 ; x 2,t 2 ;...) 13
Auto- és keresztkorreláció függvények r xx (t 1, t 2 ) = M[ξ(t 1 )ξ(t 2 )] auto-, r xy (t 1, t 2 ) = M[ξ(t 1 )η(t 2 )] keresztkorreláció függvények jellemzik a sztochasztikus folyamatot 14
A sztochasztikus folyamatok néhány fontos fajtája Stacionárius folyamatok Ergodikus folyamatok (bármelyik realizáció meghatározza a folyamatot) Gyakran alkalmazott sztochasztikus folyamat típusok: Gauss-folyamat (az eloszlások minden rögzített t értékre normálisak), Markov folyamat, Poisson folyamat. 15
Stacionárius folyamatok A folyamathoz tartozó eloszlások egyike sem változik meg akkor, ha t helyébe t + t 0 lép (időponttól független jellemzés adható) n-edrendű eloszlások csupán n 1 számú különbségtől függenek: τ 1 = t 2 t 1, τ 2 = t 3 t 1,..., τ n-1 = t n t 1 16
Stacionárius folyamatok Stacionárius folyamatok térátlagai állandók Korrelációfüggvények csak a τ = t i t k különbségektől függenek: r xx (τ) = M[x(t)x(t+τ)] r xy (τ) = M[x(t)y(t+τ)] 17
Tapasztalati autokorreláció 18
Tapasztalati keresztkorreláció 19
Mintavételezés és empirikus jellemzők Detrekői 3.7 Mintavételezés folytonos sztochasztikus folyamatokból. A Dirac-féle deltafüggvény. Nyquist-feltétel. A sztochasztikus folyamatok empirikus jellemzői: Térátlag, Időátlag, Korrelációs függvények. 20
ò - Mintavételezés x( t) d( t - T) dt = x( g t) d( t - g t) = x ( t) å g=- m g T: mintavételi távolság g: egész szám δ: Dirac-féle deltafüggvény 21
2D mintavételezés eredménye 22
ò - Nyquist-feltétel iut F( u) = x( t) e dt Fourier-transzformált F u) = 0, ha u> (frekvenciaspektrum) ( u sávkorlátos függvény h u h határfrekvencia Nyquist-feltétel: t 1 2u h Az előforduló legnagyobb frekvencia minden periódusára legalább két mintavételi helynek kell esnie. 23
Nyquist-feltétel következményei Ismeretlen analóg jelet mintavételezés előtt a Nyquist-frekvenciának megfelelő aluláteresztő szűrővel kell szűrni Adatrendszer ritkítása csak aluláteresztő szűrés mellett megengedett 24
Átlapolódás (aliasing) elégtelen mintavételezés eredménye hamis alacsony frekvenciás minták megjelenése a képen Moiré - minták 25
A folyamatosan változó mennyiségek feldolgozásának esetei A sztochasztikus folyamatok felbontása: Trend Jel Zaj Trend + jel + zaj: legkisebb négyzetek módszerén alapuló kollokáció, geostatisztika, Jel + zaj: szűrések, Jel: interpolációk 26
Legkisebb négyzetes (LKN) kollokáció statisztikai megfontolásokon alapuló eljárás Moritz (1963) és Krarup (1969) az eljárás alkalmazásának úttörői előnye statisztikailag jól megalapozott eljárás hátránya nagy számításigény 27
Matematikai modell modell az x mérési eredmény három különböző részből tevődik össze: x = AX + s+ AX trend s jel (a mért pontokban jele: t) n zaj (csak mért pontokban) n n AX s 28
Lépések > Detrekői 7.3 trend függvény megválasztása jeleket jellemző kovariancia mátrixok felvétele zajokat jellemző kovariancia mátrix felvétele trendfüggvény paramétereinek meghatározása LKN módszerével jelek értékének meghatározása a mért pontokban a nem mért pontokban a levezetett mennyiségek kovariancia mátrixainak meghatározása 29
A véletlen mennyiségek vektora Kombináljuk az összes véletlen jellegű mennyiséget egy m+q méretű v vektorba: ésù v= [ s s s ] ê = 1 2 K m n1 n2k n q n ú ë û Ez tartalmazza t -t, ha m>q és s-nek első q komponense azonos t-vel: ét s= ê ë u ù ú û 30
A véletlen mennyiségek kovariancia mátrixa ha a jel és a zaj korrelálatlanok, v kovariancia mátrixa blokk-diagonális: inverze: C C vv -1 vv = éc ê ë 0 éc ê ë 0 ss C 0 nn -1 0 = ss C -1 nn ù ú û ù ú û 31
LKN kollokáció alapgondolata az X paraméterek optimális becslése és a nem mért pontokban az s jelre végzett predikció a jel és zaj egyszerre történő minimalizációjával érhető el: v T C -1 vv v = s T C -1 ss s + n T C -1 nn n = min v = ésù ê n ú ë û = [ s s s n n K ] 1 2 K m 1 2 n q 32
A minimalizációs probléma megoldása megoldás Lagrange-féle multiplikátor módszerrel jelölések: C ss = éc ê ëc tt ut C C tu uu ù ú û t = Us = [ { I { 0 ] s q m-q éc tt C st = ê = C ú ut ë ù û C ss U T C = C tt + C nn 33
Optimális becslések a paraméterekre: X = ( A T -1-1 T -1 C A) A C x a jelre a nem mért pontokban (interpoláció vagy predikció): -1 s= C C ( x- st AX ) 34
LKN kollokáció esetei trend zérus, mérések hibátlanok: interpoláció (predikció) a trend zérus, a mérések nem hibátlanok: szűrések ezekkel később foglalkozunk majd 35
Geostatisztika (Detrekői Szabó: Térinformatika) Statisztika Geostatisztika Valószínűségi változók Független mintavétel Helyfüggő (regionalizált) változók A minta adatai nem függetlenek egymástól 36
Változók Valószínűségi változó Elemi események halmazán értelmezett valós értékű függvény Helyfüggő változó Térbeli eloszlású valószínűségi változó, amely strukturált és eratikus tulajdonsággal rendelkezik Helyfüggő változó A tekintett jelenséget kifejező helyfüggő változót az ezen a jelenségen létrehozott valószínűségi függvény egyedi realizációjának tekintjük. 37
Geostatisztika, kri(e)gelés speciális szűrési és interpolációs eljárások elsősorban a földtudományok terén alkalmazzák elvi alapok: Matheron gyakorlati alkalmazás: Kriege ( krigelés ) trend, jel és zajfüggvények Z(x) értékek diszkrét pontokban ismertek D(x) trend, s(x) jel, n(x) zaj Z(x) = D(x) + s(x) + n(x) 38
Trend, jel, zaj x lehet 1, 2, vagy 3 változós 39
Trendfüggvények átlag (vízszintes sík) ferde sík D(x, y) = 1/N (ΣZ(x)) D(x, y) = a + bx + cy bonyolultabb függvény (pl. ötödfokú polinom) 40
Jelfüggvények szomszédos pontokhoz tartozó jelértékek nem függetlenek, a függőség mértéke: c kovariancia vagy g szemivariancia függvény stacionárius sztochasztikus folyamatok izotróp (irányfüggetlen) csak a d távolságtól függ: c(d), ill. g(d) várható értéke állandó g(d) = c(0) c(d), 41
42 Kovariancia, szemivariancia å [ ] = + - = ) ( 1 2 ) ( ) ( ) ( 2 1 ) ( d N i i i d X Z X Z d N d g å [ ] [ ] = - + - = ) ( 1 ) ( ) ( ) ( 1 ) ( d N i i i Z d X Z Z X Z d N d c röghatás
Szemivariancia függvények maximális a hatástávolság gömbi modell 43
Zajfüggvények az egyes mért pontokhoz tartozó zajértékek egymástól függetlenek v 0 varianciával jellemezhetők 44
Krigelés lépései 1. trendfüggvény meghatározása ismert pontokban mért Z értékek (regionalizált változó, gyengén stacionárius) ismeretlen trendfüggvény paraméterek becslése 2. tapasztalati szemivariancia függvény meghatározása z i = Z i D i különbségértékek alapján 3. ismeretlen pontokban z P értékek számítása ismert pontokban felvett értékek súlyozott számtani közepeként 45
1. Trendfüggvény meghatározása A alakmátrix felírása az ismert pontokhoz tartozó Z i értékek alapján C kovarianciamátrix felírása: főátlóban: v 0 + c(0) főátlón kívül: c(d) p ismeretlen trendfüggvény paramétervektor becslése: (A C -1 A) p = (A C -1 Z) 46
2. Szemivariancia függvény meghatározása z i = Z i D i különbségértékek alapján egymástól azonos d 1,, d k távolságra levő pontpárokat választunk ki megkapjuk a tapasztalati szemivariancia függvényt valamilyen modellfüggvényt illesztünk a tapasztalati függvényre 47
3. z P értékek becslése az ismert pontokhoz tartozó z i = Z i D i különbségértékek alapján, súlyozott számtani közepet számítunk a nem mért P pontban: a w i súlyokat a z P = Σ(w i z i ) Σw i = 1 Σw i g(d i ) + F = min feltételek melletti feltételes szélsőérték-feladat megoldásaként kapjuk 48
w i súlyok meghatározása B mátrix előállítása a g(d i ) ismert pontok közötti szemivarianciákból és a feltételekben szereplő 1 értékekből b vektor előállítása a az ismert és ismeretlen pontok közötti szemivarianciákból és a feltételben szereplő 1 értékből u megoldás számítása: u = B -1 b u elemei: ismeretlen w i súlyok, a feltételes szélsőértékben szereplő F érték Z P számítása: Z P = D P + z P, ahol z P = Σ(w i z i ) 49
Néhány krigelési megközelítés Hagyományos krigelés (OK) súlyok összege 1 nem igényli az átlag ismeretét Egyszerű krigelés (SK) a súlyok összege tetszőleges igényli az átlag ismeretét Krigelés trend modellel (TK) az átlag ismeretlen, de ismert alakú trend mentén változik Ko-krigelés valamely tulajdonság pontbeli becslését egy másik tulajdonsággal való regressziós kapcsolatával javítjuk Indikátor krigelés (IK) feltételes eloszlásfüggvény becslése 50
Surfer Gyakorlati megoldások QGIS (SAGA GIS) R (gstat, geor) STK (Octave) 51
jövő héten: TDK konferencia 2 hét múlva: VizsgaZH előkészítés, ZH konzultáció 52