KÖZELÍTŐ INFERENCIA II.

Átírás

1 STATISZTIKAI TANULÁS AZ IDEGRENDSZERBEN KÖZELÍTŐ INFERENCIA II. MONTE CARLO MÓDSZEREK

2 ISMÉTLÉS Egy valószínűségi modellben a következtetéseinket a látensek vagy a paraméterek fölötti poszterior írja le. Ezek kiszámítása gyakran nehéz. Ekkor használunk közelítő módszereket: Variációs módszerek (egyszerűbb eloszlással közelítés) pl. Pontbecslések (pl. EM, k-means) Monte Carlo módszerek

3 INFERENCIA II. Közelítés szükségessége Mintavételezés Egyszerűbb Monte Carlo módszerek Markov Chain Monte Carlo módszerek

4 INFERENCIA II. Közelítés szükségessége Mintavételezés Egyszerűbb Monte Carlo módszerek Markov Chain Monte Carlo módszerek

5 MIXTURE OF GAUSSIANS

6 MIXTURE OF GAUSSIANS Valószínűségi modell: p(z n = i ) = i p(x n µ,,z n )=N (x; µ zn, z n ) z n

7 MIXTURE OF GAUSSIANS Valószínűségi modell: p(z n = i ) = i p(x n µ,,z n )=N (x; µ zn, z n ) Poszterior: p(z,,µ, x) = p(x z,µ, )= = NY n=1 NY n=1 p(x z,µ, )p(z )p(µ,, ) p(x) p(x n z n,µ, ) 1 p exp 2 2 zn (x µ) z n

8 MIXTURE OF GAUSSIANS X p(,µ, x) =? = p(z,,µ, x) Z Z Z z X p(x) =? = p(x,,µ,,z)d dµd Poszterior: p(z,,µ, x) = p(x z,µ, )= = z NY n=1 NY n=1 p(x z,µ, )p(z )p(µ,, ) p(x) p(x n z n,µ, ) 1 p exp 2 2 zn (x µ) z n

9 KÖZELÍTÉS Pontbecslés optimalizációs probléma k-means, EM Variációs módszerek Egyszerűbb modell, melyet könnyebb illeszteni Monte Carlo módszerek Az eloszlások mintákkal való reprezentálása

10 INFERENCIA II. Közelítés szükségessége Mintavételezés Egyszerűbb Monte Carlo módszerek Markov Chain Monte Carlo módszerek

11 MINTAVÉTELEZÉS Problémák: 1. Független mintákat szeretnénk venni egy eloszlásból (pl. a poszteriorból) x (r) P (x) 2. Egy tetszőleges függvény várhatóértékének kiszámítása Z E(f(x)) =< f> P (x) = f(x)p (x)dx

12 MINTAVÉTELEZÉS Tegyük fel, hogy valaki egy (bonyolult) kockajátékra invitál. Megadja, hogy milyen esetben mennyi nyereményt fizet. Azt is megmondja, hogy mennyibe kerül egy játék. Azt szeretnénk eldönteni, hogy akarunk-e játszani. A játék várhatóértékét szeretnénk kiszámolni. Ötlet: játsszuk le a játékot (magunkban) sokszor és vegyük az eredmények átlagát.

13 MINTAVÉTELEZÉS Játsszuk le a játékot (magunkban) sokszor és vegyük az eredmények átlagát. F = E(f(x)) Nyeremény egy x kimenetelnél Nyeremény várhatóértéke x n P (x) Minták a játékból ˆF = NX n=1 1 N f(x n) Becslés a várhatóértékre

14 MINTAVÉTELEZÉS Problémák: 1. Független mintákat szeretnénk venni egy eloszlásból (pl. a poszteriorból) 2. Egy tetszőleges függvény várhatóértékének kiszámítása

15 GALTON-DESZKA

16 MILYEN ELOSZLÁSOKBÓL TUDUNK KÖNNYEN MINTÁKAT VENNI? Dobókocka (egyenletes eloszlás egy hat elemű halmazon) Egyenletes eloszlás a [0,1] intervallumon (pseudo-random generátor) Pénzérme feldobás Tudjuk-e ezeket használni, hogy más eloszlásokból vegyünk mintákat?

17 INFERENCIA II. Közelítés szükségessége Mintavételezés Egyszerűbb Monte Carlo módszerek Markov Chain Monte Carlo módszerek

18 REJECTION SAMPLING Hogyan mintavételezzünk pontokat egyenletesen egy körlapon?

19 MINTAVÉTELEZÉS Problémák: 1. Független mintákat szeretnénk venni egy eloszlásból (pl. a poszteriorból) x (r) P (x) Tegyük fel, hogy csak P valamely többszöröséhez férünk hozzá: P (x) =Z P (x) P (x Data) / P (Data x)p(x) = P (x) Z Z Z X P (Data) = P (µ,,,z,data)dµd d z

20 MINTAVÉTELEZÉS Problémák: 1. Független mintákat szeretnénk venni egy eloszlásból (pl. a poszteriorból) x (r) P (x) Tegyük fel, hogy csak P valamely többszöröséhez férünk hozzá: P (x) =Z P (x) Lényeg: ki tudjuk értékelni P*(x)-et tetszőleges x-ben.

21 REJECTION SAMPLING P (x)

22 REJECTION SAMPLING P (x)

23 REJECTION SAMPLING C Q(x) P (x)

24 1. x Q(x) 2. y Unif(0,C Q(x)) 3. Elfogadás, ha: y<p (x) egyébként eldobjuk

25

26

27 REJECTION SAMPLING Problémák: Ha CQ(x) nem mindenhol nagyobb, mint P*(x), akkor nem a megfelelő eloszlásból mintavételezünk.

28 ANCESTOR SAMPLING

29 ANCESTOR SAMPLING Szeretnénk egy mintát az együttes eloszlásból. P (N) P (I) 1. Először mintát veszünk a legfelső változókból P (P ont N,I) (amelyeknek nincsen szülője). 2. Majd azokból, amelyeknek a szüleit már mintavételeztük. P (F I) 2. lépést ismételjük P (Jegy P ont)

30 STATISZTIKAI TANULÁS AZ IDEGRENDSZERBEN ANCESTOR SAMPLING Ha tudunk mintákat venni P (N,I,F,Pont,Jegy) eloszlásból, hogy tudunk inferenciát végezni, vagyis, kondícionálisokat számolni? pl: P (I Jegy = 5) =? Rejection sampling! Azokat a mintákat nézzük, amelyekben a Jegy a megadott értékű

31 REJECTION SAMPLING PROBLÉMA Dimenzió növekedésével csökken az elfogadott minták aránya Nehéz az eloszlást felülről becsülni.

32 IMPORTANCE SAMPLING Egy függvény várható értékét szeretnénk kiszámolni Z E x (f(x)) = f(x)p(x)dx Nem tudunk p(x) eloszlásból mintavételezni, de van egy mintavételező eljárásunk, ami q(x)-ből mintavételez. A várhatóértéket becsülhetjük úgy, hogy: E x (f(x)) NX i=1 1 N f(x i) p(x i) q(x i )

33 INFERENCIA II. Közelítés szükségessége Mintavételezés Egyszerűbb Monte Carlo módszerek Markov Chain Monte Carlo módszerek

34 MARKOV CHAIN MONTE CARLO Ahhoz, hogy a dimenzionalitás problémáját kikerüljük, megpróbálhatjuk felhasználni az eddigi mintáinkban rejlő információt. Viszont elveszítjük a függetlenséget!

35 METROPOLIS-HASTINGS ALGORITMUS Q(x t+1,x t ) P (x)

36 Elindulunk egy pontból: x1

37 Elindulunk egy pontból: x 1 Választunk egy x t+1 pontot a Q(x t+1,x t ) eloszlásból

38 Elindulunk egy pontból: x 1 Választunk egy x t+1 pontot a Q(x t+1,x t ) eloszlásból Generálunk egy u-t u Unif(0, 1)

39 Elindulunk egy pontból: x 1 Választunk egy x t+1 pontot a Q(x t+1,x t ) eloszlásból Generálunk egy u-t u Unif(0, 1) Mozgunk, ha u< P (x t+1 )Q(x t,x t+1 ) P (x t )Q(x t+1,x t )

40

41

42

43

44 Állítás: ha t nagy, akkor x t P (x)

45 Állítás: ha t nagy, akkor x t P (x) (burn-in)

46 Állítás: ha t nagy, akkor x t P (x) (burn-in) Megpróbálhatjuk az összes mintát használni, de ezek már nem függetlenek!

47 Állítás: ha t nagy, akkor x t P (x) (burn-in) Megpróbálhatjuk az összes mintát használni, de ezek már nem függetlenek! Minden k-adik mintát használjuk (thinning)

48 METROPOLIS HASTINGS VS. REJECTION SAMPLING MH: az algoritmikus lépések nem függenek a céleloszlás P(x) alakjától. Emiatt általános inferencia-algoritmus fejleszthető belőle. (Általános, mert bármilyen modellre alkalmazható, lásd: STAN) a rejection sampling esetében megfelelő Q(x) mintavételező eloszlás kell (CQ(x)>P*(x) Kevésbé sújtja a dimenzionalitás átka

49 HAMILTONIAN MONTE CARLO (HMC) Markov-lánc Kihasználja a mintavételezni kívánt eloszlás alakját. Ehhez szükséges, hogy differenciálható legyen az eloszlásfüggvény > nincsenek diszkrét változók (ld. STAN)

50 HAMILTONIAN MONTE CARLO (HMC)

51 HAMILTONIAN MONTE CARLO VS. METROPOLIS-HASTINGS

52 HAMILTONIAN MONTE CARLO VS. METROPOLIS-HASTINGS

53 HAMILTONIAN MONTE CARLO VS. METROPOLIS-HASTINGS

54 GIBBS SAMPLING Az egyes változókat sorban mintavételezzük, a többi változóra kondícionálva: x (1) t+1 p(x(1) x (2) t ) x (2) t+1 p(x(2) x (1) t+1 )

55 ÖSSZEFOGLALÁS Valószínűségi modellben végzünk inferenciát Egzakt poszterior-számítás nem mindig lehetséges Közelítő inferenciát használunk (pontbecslés, variációs módszer, mintavételezés) Mintavételezés

56 ÖSSZEFOGLALÁS Mintavételezés: Egyszerű eloszlásokból minták (kockadobás, uniform) Rejection sampling (speciálisan pl. kondícionálisok ancestor samplinggal) Metropolis-Hastings algorithmus Gibbs-sampling Hamiltonian Monte Carlo

57 SEGÉDANYAGOK David Mackay video lectures 12. rész Bishop: Pattern recognition and machine learning, 11. fejezet Brooks, Gelman, Jones & Meng: Handbook of Markov Chain Monte Carlo