Helymeghatározási alapelvek és módszerek

Helymeghatározási alapelvek és módszerek Helymeghatározás alapjai, 2. rész Hollósi Gergely 1 1 Budapesti Műszaki és Gazdaságtudományi Egyetem Távközlési és Médiainformatikai Tanszék 2015 Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 1 / 56

A helymeghatározási feladat A helymeghatározás egyenlete (l a hely és v az orientáció): x = f (l, v) + x n Fennálló problémák: az f függvény nem feltétlenül lineáris a méréseket hibák és zajok terhelik a több dimenziós egyenletrendszer túldefiniált lehet A fő kérés: hogy oldjuk meg a helymeghatározási egyenletet? Természetesen függ a helybecslési technikától Differenciálegyenlettel itt nem foglalkozunk Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 2 / 56

A helymeghatározási feladat A továbbiakban egy általános egyenlet megoldására törekszünk: y = f (x) + ν Az egyenletben ν-vel jelöljük a feltételezett zajt Az egyenlet lehetséges megoldási módszereivel lehetőség nyílik a helymeghatározási egyenlet megoldására Megoldási lehetőségek: költségfüggvények legkisebb négyzetes eltérések módszere lineáris egyenletrendszerek megoldása nemlineáris iteratív módszerek valószínűségi becsléselmélet Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 3 / 56

Helymeghatározási feladat megoldása Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 4 / 56

Áttekintés A helymeghatározási feladat megoldása Az egyenletrendszerek általában túldefiniáltak megoldás ebben az esetben nem mindig létezik Keresni kell valamilyen,,jóság mértéket, amely szerint egy közeĺıtő megoldás,,jó költségfüggvény A C(y, x) költségfüggvény megadja, hogy egy választott megoldás költsége mekkora Minimalizáljuk a költséget, azaz keressük azt a paraméterhalmazt, amelyre ˆx = arg minc(y, x) x Mik a megfelelő költségfüggvények? Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 5 / 56

Költségfüggvény A helymeghatározási feladat megoldása A leggyakoribb költségfüggvény az euklideszi normán alapul C(y, x) = y f (x) 2 Elterjedt neve: legkisebb négyzetes eltérésen alapuló megoldás Egyéb költségfüggvények is léteznek, ugyanakkor ritkán használják (pl. különbség abszolútértéke) Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 6 / 56

2015-09-29 Navigációs szolgáltatások és alkalmazások Költségfüggvény Költségfüggvény A helymeghatározási feladat megoldása A leggyakoribb költségfüggvény az euklideszi normán alapul C(y, x) = y f (x) 2 Elterjedt neve: legkisebb négyzetes eltérésen alapuló megoldás Egyéb költségfüggvények is léteznek, ugyanakkor ritkán használják (pl. különbség abszolútértéke) 1. A négyzetreemelésnek a költségfüggvényben nincs elméleti jelentősége, azonban az euklideszi normában található gyökjel kiesik, így egyszerűbb számolni vele. Fontos megjegyezni ugyanakkor, hogy a négyzetreemelés ebben az esetben a minimumhelyen nem változtat. 2. Miért az euklideszi norma? Egyrészt azt a feltételezést tesszük, hogy a mérésekben csak zaj található, így tulajdonképpen ahogy később látni fogjuk a maximum likelihood becsléshez jutunk. Ezzel persze csak akkor érünk célt, ha y fizikailag értelmezhető mennyiség.

Lineáris egyenletek A helymeghatározási feladat megoldása Gyakran előfordulnak lineáris egyenletek, tipikusan például vizuális helymeghatározás során Tegyük fel tehát, hogy y = f (x) = Ax A C m n Amennyiben A négyzetes, és invertálható, x = A 1 y Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 7 / 56

Lineáris egyenletek - SVD felbontás (1) A helymeghatározási feladat megoldása Minden A M N mátrixra létezik egy ún. SVD (Singular Value Decomposition) felbontás A M N = U M M Σ M N V H N N U és V unitér (valós esetben ortogonális) mátrixok (UU H = U H U = I és VV H = V H V = I) Σ mátrixban a főátlóban nemnegatív valós számok találhatók, máshol nulla A főátló elemeit hívjuk szinguláris értékeknek (σn ) Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 8 / 56

2015-09-29 Navigációs szolgáltatások és alkalmazások Lineáris egyenletek - SVD felbontás (1) Lineáris egyenletek - SVD felbontás (1) A helymeghatározási feladat megoldása Minden AM N mátrixra létezik egy ún. SVD (Singular Value Decomposition) felbontás AM N = UM MΣM NVN N H U és V unitér (valós esetben ortogonális) mátrixok (UU H = U H U = I és VV H = V H V = I) Σ mátrixban a főátlóban nemnegatív valós számok találhatók, máshol nulla A főátló elemeit hívjuk szinguláris értékeknek (σn) 1. A sajátértékekkel kapcsolatos hasonlóság, hogy az A szinguláris értékéhez létezik két olyan egységvektor, a baloldali szinguláris vektor u és a jobbolda szinguláris vektor v, amelyekre Av = σu A H u = σv

Lineáris egyenletek - SVD felbontás (2) A helymeghatározási feladat megoldása Nem négyzetes esetben tételezzük fel, hogy A = UDV T az SVD felbontás szerint Minimalizáljuk a Ax y kifejezést! Ax y = UDV T x y = DV T x U T y Legyen y = U T y és x = V T x! Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 9 / 56

Lineáris egyenletek - SVD felbontás (3) A helymeghatározási feladat megoldása Ekkor a Dx y kifejezést kell minimalizálnunk: d 1 y 1 d 2... x y 2 1 dn x 2 0 0 0. =. y n x n y n+1... 0 0 0 y m (1) Nyilván a legközelebbi megoldás, ha x i = y i /d i Végül, x = V x Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 10 / 56

Lineáris egyenletek - Pszeudoinverz A helymeghatározási feladat megoldása Másik lehetőség, hogy észrevesszük, hogy Ax a legközelebbi pont y-hoz. Ekkor Ax y merőleges A oszlopvektorai terére Ebből: A T (Ax b) = 0 x = (A T A) 1 A T y Ebből az A + = (A T A) 1 A T kifejezés a pszeudoinverz Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 11 / 56

2015-09-29 Navigációs szolgáltatások és alkalmazások Lineáris egyenletek - Pszeudoinverz Lineáris egyenletek - Pszeudoinverz A helymeghatározási feladat megoldása Másik lehetőség, hogy észrevesszük, hogy Ax a legközelebbi pont y-hoz. Ekkor Ax y merőleges A oszlopvektorai terére Ebből: A T (Ax b) = 0 x = (A T A) 1 A T y Ebből az A + = (A T A) 1 A T kifejezés a pszeudoinverz 1. Az SVD alapú megoldás és a pszeudoinverz alapján könnyen belátható, hog A + = VD + U T, ahol D + n m méretű diagonálmátrix a D mátrix átlóelemeinek reciprokaiból.

Lineáris egyenletek - Homogén lineáris egyenlet A helymeghatározási feladat megoldása Speciális esetben homogén egyenletrendszer megoldása szükséges, azaz Ax = 0 Nyilván ha x megoldás, akkor kx is megoldás. Megkötés: x = 1 x = 0 megoldás triviális és nem érdekes Legyen megint A = UDV T az SVD felbontás UDV T x = DV T x x = V T x Ekkor minimalizáljuk Dx kifejezést, ha x = 1 és x = V T x A megoldás x = (0, 0,, 0, 1) T Végül tehát a megoldás a V mátrix utolsó oszlopa. Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 12 / 56

Nem lineáris egyenletrendszerek Zárt alakban csak az egyenletek és ismeretlenek számának egyezése esetén lehetséges Ekkor is csak speciális esetekben Túldefiniált esetben költségfüggvény Közeĺıtő iteratív módszerek léteznek nem feltétlen konvergens Gyakorlati problémák esetén azonban legtöbbször konvergens és hatékony Probléma, hogy kell egy jó kiindulási pont Például az egyenletrendszer töredékét megoldjuk zárt alakban Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 13 / 56

Nem lineáris egyenletrendszerek Legyen egy g(x) skalár értékű függvényünk, tehát g : R n R Keressük meg a g minimumát x függvényében! Taylor-sor x 0 körül g(x 0 + ) = g(x 0 ) + g x (x 0 ) + T g xx (x 0 ) /2 +... Az alsóindex x a deriválást jelenti (gradiens és Hesse-mátrix) Az első három tagot tekintsük, és keressük a minimumot deriválás g xx = g x A módszer tehát irányba lépegetve megtalálni a minimumot 1. Oldjuk meg a g xx (x n ) = g x (x n ) 2. Legyen x n+1 = x n + Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 14 / 56

Nem lineáris egyenletrendszerek Hogyan alkalmazzuk ezt a legkisebb négyzetes eltérésre? Legyen ɛ = f (x) y, s használjuk a költségfüggvényt g(x) 1 2 C(y, x) = 1 2 ɛ(x) 2 = ɛ(x) T ɛ(x)/2 Vegyük észre, hogy g x = ɛ T x ɛ, amelyben ɛ x = f x = J az f Jacobi-mátrixsza A Hesse-mátrix: g xx = ɛ T x ɛ x + ɛ T xxɛ Ezek alapján négy alapvető módszert különböztetünk meg: 1. Newton-módszer 2. Gauss-Newton módszer 3. gradiens módszer 4. Levenberg-Marquardt módszer Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 15 / 56

Nem lineáris egyenletrendszerek Newton-módszer A frissítési egyenlete g xx = g x Problémás, hogy a Hesse-mátrixra is szükség van Gyors konvergencia, nagy számításigény Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 16 / 56

Nem lineáris egyenletrendszerek Gauss-Newton-módszer Közeĺıtsük a Hesse mátrixot: g xx = ɛ T x ɛ x + ɛ T xxɛ = ɛ T x ɛ x = J T J A frissítési egyenlete J T J = J T ɛ Tehát x n+1 = x n (J T J) 1 J T (f (x) y) Nincs szükség a Hesse-mátrixra, a másodfokú deriváltakra Gyors konvergencia, kisebb számításigény Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 17 / 56

Nem lineáris egyenletrendszerek gradiens-módszer Egyszerűen a gradiens irányába halad A frissítési egyenlete λ = g x Nincs szükség a Hesse-mátrixra, a másodfokú deriváltakra Lassú konvergencia, hajlamos oszcillációra Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 18 / 56

Nem lineáris egyenletrendszerek Levenberg-Marquardt-módszer A Gauss-Newton és a gradiens módszer keverése A frissítési egyenlete (J T J + λi ) = J T ɛ Működése 1. Kell egy kezdeti λ érték 2. Megoldjuk a frissítési egyenletet egyenletet 3. Ha ɛ növekedett, akkor λ n+1 = Rλ n, R tipikusan 10, és újra megoldjuk a frissítési egyenletet (2) 4. Ha ɛ csökkent, akkor λ n+1 = λ n, ahol R tipikusan 10 R 5. Frissítjük a paramétereket, x n+1 = x n + 6. Újabb iteráció (2) Gyorsabb konvergencia, de stabilabb megoldás Vizuális módszereknél gyakran használják Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 19 / 56

Valószínűségi becslés ismétlés Valószínűségi változó Valószínűségi eloszlásfüggvény és sűrűségfüggvény Feltételes valószínűség Várható érték és szórás Kovariancia és korreláció, kovariancia mátrix Nevezetes eloszlások többváltozós normális-eloszlás Centrális határeloszlástétel Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 20 / 56

2015-09-29 Navigációs szolgáltatások és alkalmazások Valószínűségi becslés ismétlés Valószínűségi becslés ismétlés Valószínűségi változó Valószínűségi eloszlásfüggvény és sűrűségfüggvény Feltételes valószínűség Várható érték és szórás Kovariancia és korreláció, kovariancia mátrix Nevezetes eloszlások többváltozós normális-eloszlás Centrális határeloszlástétel 1. P(a > X) = a p(x)dx P(A B) 2. P(A B) = P(B) 3. Várható érték: E(X ) = + xp(x) dx E(X 4. Szórás: D 2 (X ) = E [ (X E[X ]) 2] 5. Becslés mintákból: ˆσ = 1 n 1 ) = i=1 x ip i i (x i x) 2 6. Kovariancia: σ(x, Y ) = E [ (X E[X ])(Y E[Y ]) ] 7. Becslés: ˆσ(X, Y ) = 1 n 1 M xm y 8. Bernoulli eloszlás: p(k; µ) = µ k (1 µ) 1 k k 0, 1 9. Normális eloszlás: p x (x 1,..., x k ) = 1 ( (2π)k Σ exp 1 ) 2 (x µ)t Σ 1 (x µ) 10. Centrális határeloszlás: N darab azonos eloszlású és független valószínűségi változó összege normális eloszláshoz tart, amennyiben N

Becsléselmélet Estimation Theory Tapasztalati megfigyelések alapján paraméterek becslése x mérések, θ paraméterhalmaz, p(x θ) modell Becslő a megfigyelések alapján ˆθ(x), az i-dik paraméter becslője ˆθ i (x) Cramer-Rao tétel az elméleti minimum a bizonytalanságra [ ] [ var θ i ˆθ 2 ] ln p(x θ) i (x) E 2 θ i Például egy egyszerű σ szórású Gauss-i folyamat x i = θ + n i n = 1,..., N [ ] var θ ˆθ(x) = σ2 N Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 21 / 56

Valószínűségi becslés áttekintés Fogalmazzuk meg a becslés feladatát! z 1, z 2,..., z N méréshalmaz Paraméterbecslés: z 1:N = {z 1, z 2,..., z N } θ folyamatos kötegelt Állapotbecslés z 1:N = {z 1, z 2,..., z N } x 1:N = {x 1, x 2,..., x N } simítás szűrés extrapoláció Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 22 / 56

Valószínűségi becslés Maximum Likelihood Tekintsük az együttes eloszlást: p(z 1:N θ) Keressük azt a θ paramétert, amelyre a mérési sorozat a legvalószínűbb Likelihood függvény: L(θ; z 1:N ) = p(z 1:N θ) θ szabadon választható, tehát L a θ függvénye A Maximum Likelihood módszer elve tehát: θ ML = arg max θ L(θ; z 1:N ) Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 23 / 56

Valószínűségi becslés Maximum Likelihood (1. példa) Nézzünk egy akár cinkelt pénzérmét Legyen X valószínűségi változó 1, ha fejre esik, 0, ha írásra P(X = 1) = µ és P(X = 0) = 1 µ, Bernoulli-eloszlás Egy z 0, z 1,..., z N dobássorozatra becsüljük meg a µ értékét, ha az egyes dobások függetlenek L(µ) = p(z 1:N µ) = N µ z i (1 µ) 1 z i i=1 A megoldás: µ ML = N i=1 z i Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 24 / 56

2015-09-29 Navigációs szolgáltatások és alkalmazások Valószínűségi becslés Maximum Likelihood (1. példa) Valószínűségi becslés Maximum Likelihood (1. példa) Nézzünk egy akár cinkelt pénzérmét Legyen X valószínűségi változó 1, ha fejre esik, 0, ha írásra P(X = 1) = µ és P(X = 0) = 1 µ, Bernoulli-eloszlás Egy z0, z1,..., zn dobássorozatra becsüljük meg a µ értékét, ha az egyes dobások függetlenek N L(µ) = p(z1:n µ) = µ zi (1 µ) 1 zi i=1 A megoldás: N µml = zi i=1 N N N ln L = ln µ z i (1 µ) 1 z i = ln µ z i + ln(1 µ) (1 z i ) i=1 i=1 i=1 = Nz ln µ + (N Nz) ln(1 µ) Deriválás µ szerint, és maximumkeresés: Nz 1 µ (N Nz) 1 1 µ = 0 Nz Nzµ Nµ + Nzµ = 0 µ = z = 1 N N i=1 z i

Valószínűségi becslés Maximum Likelihood (2. példa) Nézzünk egy z i = f (x) függvényt, ahol az z mérések normális eloszlású zajjal terheltek, és a mérések függetlenek, de azonos eloszlásúak! A likelihood függvény: L(x) = N 1 ( σ 2π exp (z i f (x)) 2 ) 2σ 2 i=1 Levezetés logaritmus függvénnyel, az eredmény: arg max x L = arg min x N (z i f (x)) 2 Legkisebb négyzetes eltérés ML becslés normális eloszlású zajban i=1 Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 25 / 56

2015-09-29 Navigációs szolgáltatások és alkalmazások Valószínűségi becslés Maximum Likelihood (2. példa) Valószínűségi becslés Maximum Likelihood (2. példa) Nézzünk egy zi = f (x) függvényt, ahol az z mérések normális eloszlású zajjal terheltek, és a mérések függetlenek, de azonos eloszlásúak! A likelihood függvény: N ) 1 L(x) = ( σ 2π exp (zi f (x))2 2σ 2 i=1 Levezetés logaritmus függvénnyel, az eredmény: N arg max L = arg min (zi f (x)) 2 x x i=1 Legkisebb négyzetes eltérés ML becslés normális eloszlású zajban A megoldás az eloszlásfüggvény logaritmusának kiszámításával egyből adódik: N 1 ln L = ln σ 2π 1 N 2σ 2 (z i f (x)) 2 i=1 i=1

Valószínűségi becslés Maximum Likelihood Egyszerű és hatékony keretek valószínűségi becsléshez Bonyolult problémáknál bonyolult egyenletrendszerek Nem minden esetben helyes Tekintsük a pénzfeldobási feladatot a 1,1,1 dobási sorozatra! µ = 1, ami nem feltétlenül értelmes Hiányzik az előzetes ismeret Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 26 / 56

Valószínűségi becslés Bayes becslés Keressük meg a,,legvalószínűbb megoldást! Matematikailag, számítsuk ki a p(θ z 1:N ) valószínűséget! állapotbecslés esetén a p(x1:n z 1:N ) valószínűséget Az eloszlásból már készíthetünk pontbecslést, pl. az eloszlás maximumánál Lényegében tehát magát a meghatározandó mennyiséget is valószínűségi változónak kezeljük valódi valószínűségi becslés Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 27 / 56

Valószínűségi becslés Bayes tétel A Bayes becslés a Bayes tételen alapul. Legyen egy paraméter θ és egy mérés z! Ekkor Hipotézis Prior Posterior p(θ z) = p(z θ)p(θ) p(z) A hipotézis egyfajta modellismeret A prior a paraméterrel kapcsolatos előismereteink és feltételezéseink (,,a priori ismeretek) A posterior a paraméterrel kapcsolatos ismereteink a mérések ismeretében (,,a posteriori ) Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 28 / 56

Valószínűségi becslés MAP A posterior eloszlás előálĺıtása általában bonyolult A p(z) = p(z ϑ)p(ϑ) dϑ nem ismert, és integrálással számítható ϑ Bizonyos eloszlásokra könnyebben számítható, lásd. később A becslés során egy posterior eloszláshoz jutunk mi a helyzet, ha egy konkrét értékre vagyunk kíváncsiak? Maximum a Posteriori (MAP) becslés θ MAP = arg max θ p(θ z) arg max θ p(z θ)p(θ) Amennyiben a prior informális, akkor maximum likelihood becslés a prior nem tartalmaz információt, nincs előismeretünk Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 29 / 56

Rekurzív Bayes szűrés Kiemelkedő mérnöki fontosságú A feladat p(x k z 1:k ) meghatározása minden k mérésre rekurzívan Specifikus modell: Markov-folyamat x k 1 x k x k+1 Az állapottér modell tehát: z k 1 z k z k+1 x 0 p(x 0 ) prior információk x k p(x k x k 1 ) dinamikus modell z k p(z k x k ) mérési modell Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 30 / 56

Rekurzív Bayes szűrés általános megoldás Írjuk fel az együttes eloszlást! p(x k, x k 1 z 1:k 1 ) = p(x k x k 1, z 1:k 1 )p(x k 1 z 1:k 1 ) = = p(x k x k 1 )p(x k 1 z 1:k 1 ) A predikciós lépés p(x k z 1:k 1 ) = p(x k x k 1 )p(x k 1 z 1:k 1 )dx k 1 A frissítési lépés p(x k z 1:k ) = 1 Z k p(z k x k, z 1:k 1 )p(x k z 1:k 1 ) = p(z k x k )p(x k z 1:k 1 ) p(zk x k )p(x k z 1:k 1 )dx k Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 31 / 56

2015-09-29 Navigációs szolgáltatások és alkalmazások Rekurzív Bayes szűrés általános megoldás Rekurzív Bayes szűrés általános megoldás Írjuk fel az együttes eloszlást! p(xk, xk 1 z1:k 1) = p(xk xk 1, z1:k 1)p(xk 1 z1:k 1) = = p(xk xk 1)p(xk 1 z1:k 1) A predikciós lépés p(xk z1:k 1) = p(xk xk 1)p(xk 1 z1:k 1)dxk 1 A frissítési lépés p(xk z1:k) = 1 p(zk xk, z1:k 1)p(xk z1:k 1) Zk = p(zk xk)p(xk z1:k 1) p(zk xk)p(xk z1:k 1)dxk 1. Az első egyenletben egyszerűen a feltételes valószínűség definícióját, majd a Markov-folyamat definícióját alkalmaztuk. 2. A második lépés az ún. Chapman-Kolmogorov egyenlőség, a teljes eseménytér összegzése egy valószínűségi változó szerint. 3. A harmadik egyenlet egyszerűen a Bayes-tétel feĺırása.

Rekurzív Bayes szűrés általános megoldás Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 32 / 56

Rekurzív Bayes szűrés speciális megoldás Az általános megoldás bonyolult megkötések esetén egyszerűbb Speciális megoldási lehetőségek: Kalman-szűrő kiterjesztett Kalman-szűrő részecske szűrő Egyéb, ritkábban használt megoldások unscented Kalman-szűrő Gauss-szűrő Rauch-Tung-Striebel simító stb. Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 33 / 56

Rekurzív Bayes szűrés Kalman-szűrő Lineáris modell, normális eloszlás Valószínűségek szerint x k = A k 1 x k 1 + q k 1 q k 1 N(0, Q k 1 ) z k = H k x k + r k r k N(0, R k ) p(x k x k 1 ) = N(x k A k 1 x k 1, Q k 1 ) p(z k x k ) = N(z k H k x k, R k ) Ebben az esetben x k eloszlása is normális: p(x k z 1:k ) N(x k m k, P k ) Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 34 / 56

Rekurzív Bayes szűrés Kalman-szűrő A predikciós lépés: m k P k = A k 1m k 1 = A k 1P k 1 A T k 1 + Q k 1 A frissítési lépés: v k = z k H k m k S k = H k P k HT k + R k K k = P k HT k S 1 k m k = m k + K kv k P k = P k K ks k K T k Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 35 / 56

Rekurzív Bayes szűrés Kalman-szűrő példa Egy l(l x, l y ) helyzetű és v(v x, v y ) sebességű autó modellje. Az állapotvektor x = [l x, l y, v x, v y ] T 1 0 t 0 A = 0 1 0 t 0 0 1 0 0 0 0 1 [ ] 1 0 0 0 H = 0 1 0 0 Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 36 / 56

Rekurzív Bayes szűrés Kalman-szűrő példa Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 37 / 56

Rekurzív Bayes szűrés Kiterjesztett Kalman-szűrő Nem lineáris modell, normális eloszlás A modell linearizálása a várható érték körül Állapotegyenletek: x k = f (x k 1 ) + q k 1 q k 1 N(0, Q k 1 ) z k = h(x k ) + r k r k N(0, R k ) x k eloszlását is normális eloszlással közeĺıtjük: p(x k z 1:k ) N(x k m k, P k ) Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 38 / 56

Rekurzív Bayes szűrés Kiterjesztett Kalman-szűrő A predikciós lépés: m k P k = f (m k 1) = F x(m k 1 )P k 1 F T x (m k 1 ) + Q k 1 A frissítési lépés: v k = z k h(m k ) S k = H x (m k )P k HT x (m k ) + R k K k = P k HT x (m k m k = m k + K kv k )S 1 k P k = P k K ks k K T k F x (m k ) és H x (m k ) az f és h függvény Jacobi-mátrixsza x szerint az m k helyen Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 39 / 56

Rekurzív Bayes szűrés Kiterjesztett Kalman-szűrő példa Szögmérésből származó információk alapján történő helymeghatározás l k = f (l k 1 ) = l k 1 + q α n = h n (l k ) = cos 1 (l p n)r n l p n + r Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 40 / 56

Rekurzív Bayes szűrés részecske-szűrő Tetszőleges modellre és eloszlásra Tulajdonképpen numerikus valószínűségi integrálást csinálunk Lényege a Monte-Carlo integrálás Ω f (x)dx V 1 N N f (x i ) V = i=1 Ω dx A konvergencia gyorsítható fontosság szerinti mintavétel (közel azonos eloszlásból) A módszer előnye, hogy tetszőleges esetben működik Hátránya, hogy nagyon számításigényes Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 41 / 56

Robusztus megoldások Bizonyos esetekben a hibákat nem tudjuk modellezni Kevés információ Túl bonyolult A mérések egy része megfelel a modellnek inlier A mérések másik része teljesen véletlenszerű outlier Az outlier mérésekre a modellünk nem érvényes, a belőle származó becslés pontatlan A feladat az inlier mérések megkeresése Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 42 / 56

RANSAC Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 43 / 56

RANSAC RANSAC Random Sample Consensus Nem determinisztikus módszer egy adott modellnek megfelelő mérések megtalálására Legyen egy M(θ) modellünk, ahol θ a modell paraméterei Például az egyenesnél θ = {m, b} (ugyanis y = mx + b) Ne az összes mérést használjuk, hanem a legkisebb részhalmazát, ami egyértelműen meghatározza θ értékét Határozzuk meg egy valamilyen ɛ szórásnak megfelelő mérések számát inlier-ek Ismételjük, majd válasszuk azt a θ-t, amely a legtöbb inlier-t adja Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 50 / 56

RANSAC Többféle megállási feltétel inlier-ek száma az inlier-ek hibájának szórása valószínűségi feltétel Futásidő nagy lehet θ meghatározása k mérésből, és N az összes mérés száma, akkor ( ) N k kombináció Például az előző példa (60 db pont, min. 2 pont): 1770 próbálkozás Párhuzamosítható Az ɛ hibahatár megállapítása önkényes, tapasztalati alapon vagy várakozásoknak megfelelően Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 51 / 56

RANSAC valószínűségi megállási feltétel p valószínűséggel találjunk meg jó megoldást Minimum s darab minta a modellparaméterek meghatározásához w a valószínűsége, hogy egy minta inlier (ɛ = 1 w, hogy outlier) Ekkor (1 w s ) N = 1 p, ha N ciklust futtatunk N = log(1 p) log(1 (1 ɛ) s ) Outlier valószínűség (ɛ) Minták (s) 5% 10% 20% 25% 30% 40% 50% 2 2 3 5 6 7 11 17 3 3 4 7 9 11 19 35 4 3 5 9 13 17 34 72 5 4 6 12 17 26 57 146 6 4 7 16 24 37 97 293 Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 52 / 56

RANSAC valószínűségi megállási feltétel Az outlier-ek valószínűsége, ɛ adaptívan is becsülhető Ha találunk egy megoldást, amelyre N inlier darab inlier található, akkor legalább ennyi inlier található N =, sample count=0 Amíg N > sample count Válasszunk egy mintahalmazt, és határozzuk meg az inlier-ek számát Vége Legyen ɛ = 1 N inlier minták száma Határozzuk meg N értékét (lásd. előbb) Növeljük eggyel a sample count értékét Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 53 / 56

Least Median Squares Estimation LMedS A RANSAC robusztus technika, de kell egy hibahatárérték Tehát ismerni kell a modellen belüli hiba szórását A medián is használható A négyzetösszeget nagyon torzítja az outlier Legkisebb abszolút eltérések összege Minimalizáljuk a hiba mediánját: ˆθ = arg min θ med i r 2 i (θ, m) Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 54 / 56

Least Median Squares Estimation LMedS Zárt alakban nem megoldható Monte Carlo megoldás mintavétel Válasszunk ki minimális mennyiségű pontot Határozzuk meg a modell paramétereket Számítsuk ki a hiba mediánját a paraméterekhez képest A megoldás a legkisebb mediánnal rendelkező minta Hasonló a RANSAC-hez, de nem kell hibahatár Ciklusok száma a RANSAC-hez hasonlóan számítható Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 55 / 56

Least Median Squares Estimation LMedS Előnyök Nem kell a hibahatárt megadni, ismeretlen hibára is jól működik Párhuzamosítható, egyszerű Hátrány Normális eloszlású zajra nem ideális Az outlier-ek száma nem lehet több, mint 50 % Hollósi Gergely (BME TMIT) Navigációs szolgáltatások és alkalmazások 2015 56 / 56