Probabilisztikus modellek II: Inferencia. Nagy Dávid

Probabilisztikus modellek II: Inferencia Nagy Dávid Statisztikai tanulás az idegrendszerben, 2015

előző előadás

előző előadás az agy modellt épít a világról

előző előadás az agy modellt épít a világról tudás formális reprezentációja: logika

előző előadás az agy modellt épít a világról tudás formális reprezentációja: logika kiterjesztés bizonytalanságra: valószínűségszámítás

előző előadás az agy modellt épít a világról tudás formális reprezentációja: logika kiterjesztés bizonytalanságra: valószínűségszámítás mai előadás: hogyan lehet ezt a tudást használni?

probléma

mi az amit megfigyelünk?

mi az amit megfigyelünk? fotonok becsapódása levegő gyors rezgései hőmérséklet ingadozása bizonyos molekulák

mi az amit megfigyelünk? fotonok becsapódása levegő gyors rezgései hőmérséklet ingadozása bizonyos molekulák mire vagyunk kíváncsiak?

mi az amit megfigyelünk? fotonok becsapódása levegő gyors rezgései hőmérséklet ingadozása bizonyos molekulák mire vagyunk kíváncsiak? milyen tárgyak vannak körülöttem milyen messze kik vannak körülöttem mire gondolnak miért köhögök mik a fizika törvényei

mi az amit megfigyelünk? inferencia fotonok becsapódása levegő gyors rezgései hőmérséklet ingadozása bizonyos molekulák mire vagyunk kíváncsiak? milyen tárgyak vannak körülöttem milyen messze kik vannak körülöttem mire gondolnak miért köhögök mik a fizika törvényei

mi az amit megfigyelünk? fotonok becsapódása levegő gyors rezgései hőmérséklet ingadozása bizonyos molekulák inferencia (következtetés) mire vagyunk kíváncsiak? milyen tárgyak vannak körülöttem milyen messze kik vannak körülöttem mire gondolnak miért köhögök mik a fizika törvényei

f }generatív folyamat

f }generatív folyamat f

f } generatív folyamat inverz inferencia } f -1

P (o h) P (h o)

P (o h) ha ilyen lenne a világ akkor mit figyelnénk meg? P (h o)

P (o h) ha ilyen lenne a világ akkor mit figyelnénk meg? P (h o) ha ezt figyeljük meg akkor milyen a világ?

forward probability generatív irány prediktív irány szimulátor P (o h) ha ilyen lenne a világ akkor mit figyelnénk meg? P (h o) ha ezt figyeljük meg akkor milyen a világ?

forward probability generatív irány prediktív irány szimulátor P (o h) ha ilyen lenne a világ akkor mit figyelnénk meg? inverse probability Bayes-i inferencia modell inverzió P (h o) ha ezt figyeljük meg akkor milyen a világ?

P (o h) P (h o) = P (o h)p (h) P (o)

P (h o) = P (o h)p (h) P (o) } prior

P (h o) = P (o h)p (h) } } likelihood P (o) prior

}posterior P (h o) = P (o h)p (h) } } likelihood P (o) prior

}posterior P (h o) = P (o h)p (h) } } likelihood P (o) prior } evidence

}posterior P (h o) = } } likelihood prior P (o h)p (h) R P (o h)p (h)dh

posterior }prior P (h o) / P (o h)p (h) } } likelihood

megfordítottuk a generatív modellt posterior }prior P (h o) / P (o h)p (h) } } likelihood

megfordítottuk a generatív modellt posterior }prior P (h o) / P (o h)p (h) } } likelihood miért kell a prior?

f = b P XY Z Y X

f = b P XY nem injektív Z Y X

f = b P XY nem injektív f 1 nem egyértelmű Z Y X

hipotézis tér: minden lehetséges 3D drótváz

hipotézis tér: minden lehetséges 3D drótváz image data hipotézisek amelyekre magas a prior

hipotézis tér: minden lehetséges 3D drótváz image data hipotézisek amelyekre magas a prior hipotézisek amelyekre nem 0 a likelihood

hipotézis tér: minden lehetséges 3D drótváz image data posterior hipotézisek amelyekre magas a prior hipotézisek amelyekre nem 0 a likelihood

színek

szén v. hó hány foton?

megvilágítás elnyelési görbe (anyag) spektrális eloszlás

megvilágítás elnyelési görbe (anyag) látósejtek érzékenysége spektrális eloszlás 3 szám

megvilágítás elnyelési görbe (anyag) látósejtek érzékenysége spektrális eloszlás 3 szám anyag?

beszédfelismerés

mondatok értelmezése

történet 1 Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, látta hogy szénné van égve. A férfi dühösen kirohant anélkül, hogy fizetett vagy borravalót hagyott volna.

történet 1 Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, látta hogy szénné van égve. A férfi dühösen kirohant anélkül, hogy fizetett vagy borravalót hagyott volna. történet 2 Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, nagyon elégedett volt vele és mielőtt elhagyta az éttermet nagy borravalót hagyott a pincérnek.

történet 1 Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, látta hogy szénné van égve. A férfi dühösen kirohant anélkül, hogy fizetett vagy borravalót hagyott volna. történet 2 Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, nagyon elégedett volt vele és mielőtt elhagyta az éttermet nagy borravalót hagyott a pincérnek. Megette a férfi a hamburgert?

- Elnézést, kártyával lehet fizetni? - Persze

- Elnézést, kártyával lehet fizetni? - Persze - Egy ászból és királyból tud visszaadni?

- Elnézést, kártyával lehet fizetni? - Persze - Egy ászból és királyból tud visszaadni? humor = téves inferencia felfedezése?

pontbecslés

P(x ) 0.5 x

P(x ) 0.5 * x

H. v. Helmholtz: perception is unconscious inference

pontbecslés eloszlás -> egy pont

posterior

posterior MAP maximum a posteriori becslés

posterior * MAP maximum a posteriori becslés

posterior * MAP maximum a posteriori becslés 0.7

posterior * MAP maximum a posteriori becslés * 0.7 0.5

betegség f tünet f -1 betegség

betegség f miért köhögök? tünet f -1 betegség

miért köhögök? P (illness symptom) / P (symptom illness)p (illness)

miért köhögök? megfázás tüdőrák kéztörés P (illness symptom) / P (symptom illness)p (illness)

megfázás tüdőrák kéztörés P (illness symptom) / P (symptom illness)p (illness) megfázás milyen gyakori a tüdőrák? kéztörés

megfázás tüdőrák kéztörés megfázás tüdőrák kéztörés P (illness symptom) / P (symptom illness)p (illness) megfázás ha tüdőrák kéztörés lenne a betegség attól köhögnék?

megfázás tüdőrák kéztörés megfázás tüdőrák kéztörés megfázás tüdőrák kéztörés P (illness symptom) / P (symptom illness)p (illness) mi a MAP becslés?

megfázás tüdőrák kéztörés megfázás tüdőrák kéztörés megfázás tüdőrák kéztörés P (illness symptom) / P (symptom illness)p (illness) valószínűleg megfáztam

összefoglalás

láttuk, hogy ami érdekel az közvetlenül nem megfigyelhető

láttuk, hogy ami érdekel az közvetlenül nem megfigyelhető a rejtett állapotok kikövetkeztetésében segít a generatív folyamat ismerete

láttuk, hogy ami érdekel az közvetlenül nem megfigyelhető a rejtett állapotok kikövetkeztetésében segít a generatív folyamat ismerete ennek megfordítása: melyek azok a rejtett állapotok amelyek összeegyeztethetőek a megfigyelésekkel?

láttuk, hogy ami érdekel az közvetlenül nem megfigyelhető a rejtett állapotok kikövetkeztetésében segít a generatív folyamat ismerete ennek megfordítása: melyek azok a rejtett állapotok amelyek összeegyeztethetőek a megfigyelésekkel? de ez még nem elég, kell prior is

láttuk, hogy ami érdekel az közvetlenül nem megfigyelhető a rejtett állapotok kikövetkeztetésében segít a generatív folyamat ismerete ennek megfordítása: melyek azok a rejtett állapotok amelyek összeegyeztethetőek a megfigyelésekkel? de ez még nem elég, kell prior is (az idegrendszerben a percepció eredménye gyakran csak pontbecslés)

de honnan vesszük a modellt (prior)?

de honnan vesszük a modellt (prior)? az objektumok léteznek akkor is mikor nem látjuk őket a hét napjai és az évszakok ciklikusak a puli lehet kutya is és állat is, de nem lehet kutya is és macska is anyanyelv nyelvtana a baráti körök klikkek

de honnan vesszük a modellt (prior)? az objektumok léteznek akkor is mikor nem látjuk őket a hét napjai és az évszakok ciklikusak a puli lehet kutya is és állat is, de nem lehet kutya is és macska is anyanyelv nyelvtana a baráti körök klikkek Linnaeus: a fajokat fa-gráffal lehet leírni Mengyelejev: az elemek periódusos rendszerbe helyezhetőek

de honnan vesszük a modellt (prior)?

de honnan vesszük a modellt (prior)? innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján

de honnan vesszük a modellt (prior)? innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján mi a környezet állapota?

de honnan vesszük a modellt (prior)? innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján mi a környezet állapota? percepció inferencia

de honnan vesszük a modellt (prior)? innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján mi a környezet állapota? percepció inferencia hogyan működik a környezet?

de honnan vesszük a modellt (prior)? innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján mi a környezet állapota? percepció inferencia hogyan működik a környezet? tanulás paraméterbecslés struktúra tanulás modell szelekció

innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján

innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján hogyan?

Hierarchikus Bayesi Modellek

ha ez lenne a környezet állapota, f akkor mit figyelnék meg?

ha ez lenne a környezet állapota, f x akkor mit figyelnék meg?

M ha így működne a környezet, g és ez lenne a környezet állapota, f x akkor mit figyelnék meg?

M modell paraméterek x megfigyelt állapotváltozó

M modell paraméterek y rejtett állapotváltozó x megfigyelt állapotváltozó

F modell forma S modell struktúra paraméterek y rejtett állapotváltozó x megfigyelt állapotváltozó

miért kell modell prior?

miért kell modell prior? (indukció problémája)

minden hattyú fehér?

a kutyának négy lába van

a kutyának négy lába van a macskának négy lába van

a kutyának négy lába van a macskának négy lába van minden állatnak négy lába van?

a kutyának négy lába van a macskának négy lába van minden állatnak négy lába van? minden emlősnek négy lába van?

a kutyának négy lába van a macskának négy lába van minden állatnak négy lába van? minden emlősnek négy lába van? a lovaknak négy lába van?

ez egy nagyon régi, megold(hat)atlan filozófiai probléma

ez egy nagyon régi, megold(hat)atlan filozófiai probléma az emberek napi jelleggel megoldják

objects of planet Gazoob

eloszlások becslése

valószínűségi modell valószínűségi eloszlás

P (x truth) D x

P (x truth) predictive P (x D) D x

true P (x truth) x

true P (x truth) x feltételezett generatív valószínűségi modell:

true P (x truth) σ μ true x

true P (x truth) µ σ μ true x prior P (µ)

true P (x truth) σ μ true x σ 0 prior P (µ) μ 0 µ

true P (x truth) µ predictive(0) P (x) x prior P (µ)

true P (x truth) µ σ 0 +σ predictive(0) P (x) x prior P (µ)

true P (x truth) µ predictive(0) P (x) x likelihood(1) P (x 1 µ) prior P (µ)

true P (x truth) µ predictive(0) P (x) x likelihood(1) P (x 1 µ) posterior(1) P (µ x 1 ) prior P (µ)

µ true P (x truth) predictive(0) P (x) posterior P (µ D) x likelihood(1) P (x 1 µ) posterior(1) P (µ x 1 ) prior P (µ)

µ true P (x truth) predictive P (x D) predictive(0) P (x) posterior P (µ D) x likelihood(1) P (x 1 µ) posterior(1) P (µ x 1 ) prior P (µ)

P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ

x P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ

= x P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ

P (x µ) =N (x µ, )= e (x µ) 2 2 2 p 2 P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ

P (x µ) =N (x µ, )= e (x µ) 2 2 2 p 2 P (µ) =N (µ µ 0, 0) P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ

(x µ) 2 P (x µ) =N (x µ, )= e 2 2 p P (µ) =N (µ µ 2 0, 0) P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ P (µ x) = N (x µ, )N (µ µ 0, 0) R 1 1 N (x µ, )N (µ µ 0, 0)dµ

(x µ) 2 P (x µ) =N (x µ, )= e 2 2 p P (µ) =N (µ µ 2 0, 0) P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ P (µ x) = P (µ x) = N (x µ, )N (µ µ 0, 0) R 1 1 N (x µ, )N (µ µ 0, 0)dµ μ <-> x N (µ x, )N (µ µ 0, 0) R 1 1 N (µ x, )N (µ µ 0, 0)dµ

P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ P (µ x) = P (µ x) = N (x µ, )N (µ µ 0, 0) R 1 1 N (x µ, )N (µ µ 0, 0)dµ μ <-> x N (µ x, )N (µ µ 0, 0) R 1 1 N (µ x, )N (µ µ 0, 0)dµ konjugált prior! c = N (x µ 0, N (x µ, )N (µ u 0, 0) =c N(µ µ 0, q 2 + 2 0 ); µ0 = µ 0 2 + x 2 0 2 + 2 0 ; 0 = 0 ) 0 p 2 + 2 0

P (µ x) = P (µ x) = N (x µ, )N (µ µ 0, 0) R 1 1 N (x µ, )N (µ µ 0, 0)dµ μ <-> x N (µ x, )N (µ µ 0, 0) R 1 1 N (µ x, )N (µ µ 0, 0)dµ konjugált prior! c = N (x µ 0, N (x µ, )N (µ u 0, 0) =c N(µ µ 0, q 2 + 2 0 ); µ0 = µ 0 2 + x 2 0 2 + 2 0 ; 0 = 0 ) 0 p 2 + 2 0 P (µ x) = c N(µ µ 0, 0 ) R 1 1 c N(µ µ0, 0 )dµ

P (µ x) = μ <-> x N (µ x, )N (µ µ 0, 0) R 1 1 N (µ x, )N (µ µ 0, 0)dµ konjugált prior! c = N (x µ 0, N (x µ, )N (µ u 0, 0) =c N(µ µ 0, q 2 + 2 0 ); µ0 = µ 0 2 + x 2 0 2 + 2 0 ; 0 = 0 ) 0 p 2 + 2 0 P (µ x) = c N(µ µ 0, 0 ) R 1 1 c N(µ µ0, 0 )dµ P (µ x) =N (µ µ 0, 0 )

P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 )

P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 ) terjesszük ki T pontra

P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 ) terjesszük ki T pontra P (µ x) = P (x 1,x 2,...x T µ, )N (µ µ 0, 0) R 1 1 P (x 1,x 2,...x T µ, )N (µ µ 0, 0)dµ D x

P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 ) terjesszük ki T pontra P (µ x) = P (x 1,x 2,...x T µ, )N (µ µ 0, 0) R 1 1 P (x 1,x 2,...x T µ, )N (µ µ 0, 0)dµ P (A, B) =P (A)P (B)

P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 ) terjesszük ki T pontra P (µ x) = P (x 1,x 2,...x T µ, )N (µ µ 0, 0) R 1 1 P (x 1,x 2,...x T µ, )N (µ µ 0, 0)dµ P (A, B) =P (A)P (B) P (µ x) = R 1 1 Q T t=1 N (x t µ, )N (µ µ 0, 0) Q T t=1 N (x t µ, )N (µ µ 0, 0)dµ

P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 ) terjesszük ki T pontra P (µ x) = P (x 1,x 2,...x T µ, )N (µ µ 0, 0) R 1 1 P (x 1,x 2,...x T µ, )N (µ µ 0, 0)dµ P (A, B) =P (A)P (B) P (µ x) = R 1 1 Q T t=1 N (x t µ, )N (µ µ 0, 0) Q T t=1 N (x t µ, )N (µ µ 0, 0)dµ µ (T ) = µ 0 2 + 0 2 P T t=0 x t 2 + T 0 2 (T ) = s 1 T 2 + 1 2 0

P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 ) terjesszük ki T pontra P (µ x) = P (x 1,x 2,...x T µ, )N (µ µ 0, 0) R 1 1 P (x 1,x 2,...x T µ, )N (µ µ 0, 0)dµ P (A, B) =P (A)P (B) P (µ x) = R 1 1 Q T t=1 N (x t µ, )N (µ µ 0, 0) Q T t=1 N (x t µ, )N (µ µ 0, 0)dµ µ (T ) = µ 0 2 + 0 2 P T t=0 x t 2 + T 0 2 (T ) = s 1 T 2 + 1 2 0 P (µ x) =N (µ µ (T ), (T ) )

eredmény T pontra P (µ x) =N (µ µ (T ), µ (T ) = µ 0 2 + 0 2 P T t=0 x t 2 + T 0 2 (T ) ) (T ) = s 1 T 2 + 1 2 0

eredmény T pontra P (µ x) =N (µ µ (T ), µ (T ) = µ 0 2 + 0 2 P T t=0 x t 2 + T 0 2 (T ) ) (T ) = s 1 T 2 + 1 2 0 lim T!1 végtelen adat limit

eredmény T pontra P (µ x) =N (µ µ (T ), µ (T ) = µ 0 2 + 0 2 P T t=0 x t 2 + T 0 2 (T ) ) (T ) = s 1 T 2 + 1 2 0 lim T!1 végtelen adat limit P T t=0 x t T

eredmény T pontra P (µ x) =N (µ µ (T ), µ (T ) = µ 0 2 + 0 2 P T t=0 x t 2 + T 0 2 (T ) ) (T ) = s 1 T 2 + 1 2 0 lim T!1 végtelen adat limit P T t=0 x t T 0

eredmény T pontra P (µ x) =N (µ µ (T ), µ (T ) = µ 0 2 + 0 2 P T t=0 x t 2 + T 0 2 (T ) ) (T ) = s 1 T 2 + 1 2 0 lim T!1 végtelen adat limit P T t=0 x t T P (µ x) =N (µ µ (T ), (T ) ) (µ µ (T ) ) 0

eredmény T pontra P (µ x) =N (µ µ (T ), µ (T ) = µ 0 2 + 0 2 P T t=0 x t 2 + T 0 2 (T ) ) (T ) = s 1 T 2 + 1 2 0 lim T!1 végtelen adat limit P T t=0 x t T P (µ x) =N (µ µ (T ), (T ) ) (µ µ (T ) ) 0 P (x D) P (x true)

P (µ x) =N (µ µ (T ), (T ) ) (µ µ (T ) ) µ P (x D) P (x true)

P (µ x) =N (µ µ (T ), (T ) ) (µ µ (T ) ) µ P (x D) P (x true) = x x

T=1 T=2 T=3 0.20 0.20 0.20 0.15 0.15 0.15 0.10 0.10 0.10 0.05 0.05 0.05-4 -2 2 4 6 8 10-4 -2 2 4 6 8 10-4 -2 2 4 6 8 10 true(x) 0.20 predictive(x) 0.20 prior(μ) 0.15 0.15 0.10 0.10 0.05 0.05-5 5 10-4 -2 2 4 6 8 10 T=10 T=100

közelítő inferencia sztochasztikus közelítő módszerek pl: Markov chain Monte Carlo (MCMC) aszimptotikusan (végtelen sok ideig futtatva) egzaktak determinisztikus közelítő módszerek pl: variational Bayes / variational inference pl: pontbecslések nem kell végtelen sok idő, de sosem egzakt eredmény

online learning batch learning

online learning batch learning prior dataset

online learning batch learning prior dataset posterior

online learning batch learning prior(t-1) stimulus(t-1) prior dataset posterior

online learning batch learning prior(t-1) stimulus(t-1) prior dataset posterior(t-1) posterior

online learning batch learning prior(t-1) stimulus(t-1) prior dataset posterior(t-1) prior(t) stimulus(t) posterior

online learning batch learning prior(t-1) stimulus(t-1) prior dataset posterior(t-1) prior(t) stimulus(t) posterior posterior(t)

online learning batch learning prior(t-1) stimulus(t-1) prior dataset posterior(t-1) prior(t) stimulus(t) posterior posterior(t) prior(t+1) stimulus(t+1)

maximum likelihood = MAP with flat prior

Házi Feladat Ha elimináltuk a lehetetlent, ami marad, bármilyen valószínűtlenül is hangzik, az igazság. - Sherlock Holmes A. Mutasd meg, hogy S.H. következtetési módszere konzisztens a Bayes-i inferenciával! (azaz diszkrét hipotézisekre, ha a megfigyeléseknek egyet kivéve mindegyik ellentmond, akkor a fennmaradónak posterior valószínűsége mindenképpen 1.) B. Mutasd meg hogy a normál eloszlás tanulásakor az átlagra vonatkozó normál eloszlás tényleg konjugált prior (azaz a likelihood a priorral beszorozva ugyan formájú marad csak más paraméterekkel), és számold ki az új paramétereket! konjugált prior c = N (x µ 0, N (x µ, )N (µ u 0, 0) =c N(µ µ 0, q 2 + 2 0 ); µ0 = µ 0 2 + x 2 0 2 + 2 0 ; 0 = 0 ) 0 p 2 + 2 0