Least Squares becslés

Átírás

1 Least Squares becslés A négyzetes hibafüggvény: i d i ( ) φx i A négyzetes hibafüggvény mellett a minimumot biztosító megoldás W=( d

2 LS becslés A gradiens számítása és nullává tétele eredményeképp A megoldás 1 * LS T T w Φ Φ Φ d A Moore-enrose pseudo-inverse,.

3 Regularizált Least Squares A hibafüggvény: Adatoktól függő + Regularizációs tag A négyzetes hibafüggvény és a négyzetes regularizációs összefüggés mellett Ennek minimumát biztosító megoldás + i d i ( ) φx i : regularizációs együttható

4 Maximum Likelihood becslés Feltesszük, hogy a megfigyelések egy determinisztikus függvényből származnak Gauss additív zajjal terhelve d y( xw, ) n Amit írhatunk így is: 1 p( n ) N( n 0, ) 1 p( d x, w, ) N ( d y( x, w), ) T Adott X x 1, x 2,..., x bemenetek és d d 1, d 2,..., d kívánt válasz megfigyeléseknél a likelihood függvény a következő T 1 p( d X, w, ) N( di y( w φx ( i), ) i T

5 Maximum likelihood becslés Vegyük a logaritmusát: Vagyis az egyes megfigyeléseknél az eltérések négyzetének összegét nézzük 1 ln p( d X, w, ) ln N( d y( w φx ( ), ) i i T 1 T ln ln(2 ) ( di w φx ( i)) i i 2

6 ML becslés A gradiens számítása és nullává tétele eredményeképp A megoldás Ahol 1 * ML T T w Φ Φ Φ d -1 ML ( T T w Φ d Φ Φ) Φ d wls A Moore-enrose pseudo-inverse,.

7 Maximum likelihood becslés is meghatározható ha e szerint keressük a szélsőértéket: i ( ) φx i Ami a jól ismert tapasztalati szórásnégyzet összefüggés d i

8 Regularizált Least Squares Egyéb szokásos regularizációs lehetőségek + i d i ( ) φx i Lasso Négyzetes

9 A tozítás-variancia dekompozíció Egy példa: 25 adatkészlet, a regularizációs együttható függvényében.

10 A tozítás-variancia dekompozíció Egy példa: 25 adatkészlet, a regularizációs együttható függvényében

11 A tozítás-variancia dekompozíció Egy példa: 25 adatkészlet, a regularizációs együttható függvényében

12 A tozítás-variancia dekompozíció Egy túlregularizált modell (nagy ) erősen torzított lesz, míg egy alulregularizált modell (kis ) nagy variancivával fog rendelkezni.

13 Bayes lineáris regresszió A Bayes megközelítésnél feltételezzük, hogy w valószínűségi változó, ismert a priori sűrűségfüggvénnyel A megfigyelések birtokában meghatározható az a poszteriori sűrűségfüggvény. Ehhez a Bayes tételt alkalmazzuk: posterior likelihood prior p( w d) Mivel itt minden Gauss a posterior is Gauss lesz ahol p( w d) N( w m, S ) p( d w) p( w) p( d w) p( w) pd ( ) p( d w) p( w) dw d)

14 Bayes lineáris regresszió Gyakori választás a priorra Ekkor

15 Gauss eloszlás

16 artitionált Gauss eloszlás

17 artitionált feltételes eloszlás és marginális

18 artitionált feltételes eloszlás és marginális

19 Bayes tétel Gauss változókra Adott ebből ahol

20 Bayes következtetés Gauss esetben Tételezzük fel, hogy ¾ 2 ismert. Adott i.i.d. adat, a likelihood függvény ¹ -re ez is Gauss.

21 Bayes következtetés Gauss esetben Gauss prior ¹felett, Ebből a posterior Teljes négyzetté alakítással

22 Bayes következtetés Gauss esetben ahol Megjegyzés:

23 Bayes következtetés Gauss esetben élda: for = 0, 1, 2 and 10.

24 Bayes lineáris regresszió Gyakori választás a priorra Ekkor

25 Bayes lineáris regresszió Gyakori választás a priorra Ekkor

26 Bayes lineáris regresszió Gyakori választás a priorra Ekkor

27 Bayes lineáris regresszió Megfigyelések előtt w feltételezett eloszlása, és az ilyen w-kkel generált adatok rior Adatok tere

28 Bayes lineáris regresszió 1 megfigyelés érkezett Likelihood oszterior Adatok tere

29 Bayes lineáris regresszió 2 megfigyelés után Likelihood oszterior Adatok tere

30 Bayes lineáris regresszió 20 megfigyelt adat után Likelihood oszterior Adatok tere

31 rediktív eloszlás Jósoljuk a d választ egy új x értékre úgy hogy w felett integráljuk a posteriort: d d d d d φ φ φ ahol

32 rediktív eloszlás Színusz regresszió, 9 Gauss bázisfüggvény,és 1 adatpont esetén

33 rediktív eloszlás Színusz regresszió, 9 Gauss bázisfüggvény és 2 adatpont esetén

34 rediktív eloszlás Színusz regresszió, 9 Gauss bázisfüggvény és 4 adatpont esetén

35 rediktív eloszlás Színusz regresszió, 9 Gauss bázisfüggvény és 25 adatpont esetén

36 Bayes modell összehasonlítás Hogyan választhatjuk a megfelelő modellt? Tételezzük fel, hogy van több modellünk: M i, i=1,,l, és D adatkészletünk; a modell posterior valószínűségét szeretnénk meghatározni osterior rior Model evidencia vagy marginális likelihood Bayes faktor: a modell evidenciák hányadosa

37 Bayes modell összehasonlítás Ha ismerjük p(m i jd)-ket, kiszámítható a prediktív eloszlást meghatározható, hogy az adatokból eredőben milyen jóslás adható. Most a modellek felett átlagolunk, tehát azt nézzük meg, hogy ha az adatokból többféle modell is konstruálható valamilyen poszteriorral, akkor a jósolható adat milyen eloszlású d d E helyett célszerűbb azt a modellt kiválasztani, melynek az evidenciája a legnagyobb.

38 Bayes modell összehasonlítás A w paraméterű modellnél a model evidenciát a w feletti integrálással kaphatjuk (marginalizálás) Megjegyezzük, hogy

39 Bayes modell összehasonlítás Ha van egy adott modellünk egy skalár w paraméterrel az alábbi közelítés tehető Feltételezve, hogy a posterior kis szórású (csúcsos).

40 Bayes model összehasonlítás Véve a logaritmusát Negatív Ha nem egy, hanem M paraméterünk van, és mindegyiknél azonos arányt tételezünk fel Negatív és M-mel lineárisan nő a számérték.

41 Bayes modell összehasonlítás Az adat és a megfelelő komplexitású modell illesztése

42 A prior eloszlások paramétereinek meghatározása Meg kell határoznunk az optimális és paramétereket. Keressük d maximumát és szerint. Ahol i d i φ i mind -tól, mind -tól függ. A regularizációs együttható származtatása