Probabilisztikus modellek II: Inferencia. Nagy Dávid

Átírás

1 Probabilisztikus modellek II: Inferencia Nagy Dávid Statisztikai tanulás az idegrendszerben, 2015

2 előző előadás

3 előző előadás az agy modellt épít a világról

4 előző előadás az agy modellt épít a világról tudás formális reprezentációja: logika

5 előző előadás az agy modellt épít a világról tudás formális reprezentációja: logika kiterjesztés bizonytalanságra: valószínűségszámítás

6 előző előadás az agy modellt épít a világról tudás formális reprezentációja: logika kiterjesztés bizonytalanságra: valószínűségszámítás mai előadás: hogyan lehet ezt a tudást használni?

7 probléma

8 mi az amit megfigyelünk?

9 mi az amit megfigyelünk? fotonok becsapódása levegő gyors rezgései hőmérséklet ingadozása bizonyos molekulák

13 mi az amit megfigyelünk? fotonok becsapódása levegő gyors rezgései hőmérséklet ingadozása bizonyos molekulák mire vagyunk kíváncsiak?

14 mi az amit megfigyelünk? fotonok becsapódása levegő gyors rezgései hőmérséklet ingadozása bizonyos molekulák mire vagyunk kíváncsiak? milyen tárgyak vannak körülöttem milyen messze kik vannak körülöttem mire gondolnak miért köhögök mik a fizika törvényei

20 mi az amit megfigyelünk? inferencia fotonok becsapódása levegő gyors rezgései hőmérséklet ingadozása bizonyos molekulák mire vagyunk kíváncsiak? milyen tárgyak vannak körülöttem milyen messze kik vannak körülöttem mire gondolnak miért köhögök mik a fizika törvényei

21 mi az amit megfigyelünk? fotonok becsapódása levegő gyors rezgései hőmérséklet ingadozása bizonyos molekulák inferencia (következtetés) mire vagyunk kíváncsiak? milyen tárgyak vannak körülöttem milyen messze kik vannak körülöttem mire gondolnak miért köhögök mik a fizika törvényei

22 f

23 f }generatív folyamat

24 f }generatív folyamat f

25 f } generatív folyamat inverz inferencia } f -1

26 P (o h) P (h o)

27 P (o h) ha ilyen lenne a világ akkor mit figyelnénk meg? P (h o)

28 P (o h) ha ilyen lenne a világ akkor mit figyelnénk meg? P (h o) ha ezt figyeljük meg akkor milyen a világ?

29 forward probability generatív irány prediktív irány szimulátor P (o h) ha ilyen lenne a világ akkor mit figyelnénk meg? P (h o) ha ezt figyeljük meg akkor milyen a világ?

30 forward probability generatív irány prediktív irány szimulátor P (o h) ha ilyen lenne a világ akkor mit figyelnénk meg? inverse probability Bayes-i inferencia modell inverzió P (h o) ha ezt figyeljük meg akkor milyen a világ?

31 P (o h) P (h o) = P (o h)p (h) P (o)

32 P (h o) = P (o h)p (h) P (o) } prior

33 P (h o) = P (o h)p (h) } } likelihood P (o) prior

34 }posterior P (h o) = P (o h)p (h) } } likelihood P (o) prior

35 }posterior P (h o) = P (o h)p (h) } } likelihood P (o) prior } evidence

36 }posterior P (h o) = } } likelihood prior P (o h)p (h) R P (o h)p (h)dh

37 posterior }prior P (h o) / P (o h)p (h) } } likelihood

38 megfordítottuk a generatív modellt posterior }prior P (h o) / P (o h)p (h) } } likelihood

39 megfordítottuk a generatív modellt posterior }prior P (h o) / P (o h)p (h) } } likelihood miért kell a prior?

40

41

42

43

44

45

46

47 f = b P XY Z Y X

48 f = b P XY nem injektív Z Y X

49 f = b P XY nem injektív f 1 nem egyértelmű Z Y X

50 hipotézis tér: minden lehetséges 3D drótváz

51 hipotézis tér: minden lehetséges 3D drótváz image data hipotézisek amelyekre magas a prior

52 hipotézis tér: minden lehetséges 3D drótváz image data hipotézisek amelyekre magas a prior hipotézisek amelyekre nem 0 a likelihood

53 hipotézis tér: minden lehetséges 3D drótváz image data posterior hipotézisek amelyekre magas a prior hipotézisek amelyekre nem 0 a likelihood

54

55

56

57

58

59 színek

60 szén v. hó hány foton?

61

62

63 megvilágítás elnyelési görbe (anyag) spektrális eloszlás

64 megvilágítás elnyelési görbe (anyag) látósejtek érzékenysége spektrális eloszlás 3 szám

65 megvilágítás elnyelési görbe (anyag) látósejtek érzékenysége spektrális eloszlás 3 szám anyag?

66

67

68

69

70

71 beszédfelismerés

72

73 mondatok értelmezése

74 történet 1 Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, látta hogy szénné van égve. A férfi dühösen kirohant anélkül, hogy fizetett vagy borravalót hagyott volna.

75 történet 1 Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, látta hogy szénné van égve. A férfi dühösen kirohant anélkül, hogy fizetett vagy borravalót hagyott volna. történet 2 Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, nagyon elégedett volt vele és mielőtt elhagyta az éttermet nagy borravalót hagyott a pincérnek.

76 történet 1 Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, látta hogy szénné van égve. A férfi dühösen kirohant anélkül, hogy fizetett vagy borravalót hagyott volna. történet 2 Egy férfi bement egy étterembe és rendelt egy hamburgert. Mikor a hamburgert kihozták, nagyon elégedett volt vele és mielőtt elhagyta az éttermet nagy borravalót hagyott a pincérnek. Megette a férfi a hamburgert?

77 - Elnézést, kártyával lehet fizetni? - Persze

78 - Elnézést, kártyával lehet fizetni? - Persze - Egy ászból és királyból tud visszaadni?

79 - Elnézést, kártyával lehet fizetni? - Persze - Egy ászból és királyból tud visszaadni? humor = téves inferencia felfedezése?

80 pontbecslés

81

82 P(x ) 0.5 x

83 P(x ) 0.5 * x

84 P(x ) 0.5 * x

85 H. v. Helmholtz: perception is unconscious inference

86 pontbecslés eloszlás -> egy pont

87 posterior

88 posterior MAP maximum a posteriori becslés

89 posterior * MAP maximum a posteriori becslés

90 posterior * MAP maximum a posteriori becslés 0.7

91 posterior * MAP maximum a posteriori becslés *

92 betegség f tünet f -1 betegség

93 betegség f miért köhögök? tünet f -1 betegség

94 miért köhögök? P (illness symptom) / P (symptom illness)p (illness)

95 miért köhögök? megfázás tüdőrák kéztörés P (illness symptom) / P (symptom illness)p (illness)

96 megfázás tüdőrák kéztörés P (illness symptom) / P (symptom illness)p (illness) megfázás milyen gyakori a tüdőrák? kéztörés

97 megfázás tüdőrák kéztörés megfázás tüdőrák kéztörés P (illness symptom) / P (symptom illness)p (illness) megfázás ha tüdőrák kéztörés lenne a betegség attól köhögnék?

98 megfázás tüdőrák kéztörés megfázás tüdőrák kéztörés megfázás tüdőrák kéztörés P (illness symptom) / P (symptom illness)p (illness) mi a MAP becslés?

99 megfázás tüdőrák kéztörés megfázás tüdőrák kéztörés megfázás tüdőrák kéztörés P (illness symptom) / P (symptom illness)p (illness) valószínűleg megfáztam

100 összefoglalás

101 láttuk, hogy ami érdekel az közvetlenül nem megfigyelhető

102 láttuk, hogy ami érdekel az közvetlenül nem megfigyelhető a rejtett állapotok kikövetkeztetésében segít a generatív folyamat ismerete

103 láttuk, hogy ami érdekel az közvetlenül nem megfigyelhető a rejtett állapotok kikövetkeztetésében segít a generatív folyamat ismerete ennek megfordítása: melyek azok a rejtett állapotok amelyek összeegyeztethetőek a megfigyelésekkel?

104 láttuk, hogy ami érdekel az közvetlenül nem megfigyelhető a rejtett állapotok kikövetkeztetésében segít a generatív folyamat ismerete ennek megfordítása: melyek azok a rejtett állapotok amelyek összeegyeztethetőek a megfigyelésekkel? de ez még nem elég, kell prior is

105 láttuk, hogy ami érdekel az közvetlenül nem megfigyelhető a rejtett állapotok kikövetkeztetésében segít a generatív folyamat ismerete ennek megfordítása: melyek azok a rejtett állapotok amelyek összeegyeztethetőek a megfigyelésekkel? de ez még nem elég, kell prior is (az idegrendszerben a percepció eredménye gyakran csak pontbecslés)

106 de honnan vesszük a modellt (prior)?

107 de honnan vesszük a modellt (prior)? az objektumok léteznek akkor is mikor nem látjuk őket a hét napjai és az évszakok ciklikusak a puli lehet kutya is és állat is, de nem lehet kutya is és macska is anyanyelv nyelvtana a baráti körök klikkek

112 de honnan vesszük a modellt (prior)? az objektumok léteznek akkor is mikor nem látjuk őket a hét napjai és az évszakok ciklikusak a puli lehet kutya is és állat is, de nem lehet kutya is és macska is anyanyelv nyelvtana a baráti körök klikkek Linnaeus: a fajokat fa-gráffal lehet leírni Mengyelejev: az elemek periódusos rendszerbe helyezhetőek

113 de honnan vesszük a modellt (prior)?

114 de honnan vesszük a modellt (prior)? innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján

115 de honnan vesszük a modellt (prior)? innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján

116 de honnan vesszük a modellt (prior)? innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján mi a környezet állapota?

117 de honnan vesszük a modellt (prior)? innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján mi a környezet állapota? percepció inferencia

118 de honnan vesszük a modellt (prior)? innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján mi a környezet állapota? percepció inferencia hogyan működik a környezet?

119 de honnan vesszük a modellt (prior)? innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján mi a környezet állapota? percepció inferencia hogyan működik a környezet? tanulás paraméterbecslés struktúra tanulás modell szelekció

120 innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján

121 innátizmus/nativizmus vs tabula rasa úgy tűnik, hogy nagyrészt fel lehet építeni tapasztalatok alapján hogyan?

122 Hierarchikus Bayesi Modellek

123 ha ez lenne a környezet állapota, f akkor mit figyelnék meg?

124 ha ez lenne a környezet állapota, f x akkor mit figyelnék meg?

125 M ha így működne a környezet, g és ez lenne a környezet állapota, f x akkor mit figyelnék meg?

126 M modell paraméterek x megfigyelt állapotváltozó

127 M modell paraméterek y rejtett állapotváltozó x megfigyelt állapotváltozó

128 F modell forma S modell struktúra paraméterek y rejtett állapotváltozó x megfigyelt állapotváltozó

129 miért kell modell prior?

130 miért kell modell prior? (indukció problémája)

131

132

133

134

135 minden hattyú fehér?

136 a kutyának négy lába van

137 a kutyának négy lába van a macskának négy lába van

138 a kutyának négy lába van a macskának négy lába van minden állatnak négy lába van?

139 a kutyának négy lába van a macskának négy lába van minden állatnak négy lába van? minden emlősnek négy lába van?

140 a kutyának négy lába van a macskának négy lába van minden állatnak négy lába van? minden emlősnek négy lába van? a lovaknak négy lába van?

141 ez egy nagyon régi, megold(hat)atlan filozófiai probléma

142 ez egy nagyon régi, megold(hat)atlan filozófiai probléma az emberek napi jelleggel megoldják

143 objects of planet Gazoob

149 eloszlások becslése

150 valószínűségi modell valószínűségi eloszlás

151 D x

152 P (x truth) D x

153 P (x truth) predictive P (x D) D x

156 true P (x truth) x

157 true P (x truth) x feltételezett generatív valószínűségi modell:

158 true P (x truth) σ μ true x

159 true P (x truth) µ σ μ true x prior P (µ)

160 true P (x truth) σ μ true x σ 0 prior P (µ) μ 0 µ

161 true P (x truth) µ predictive(0) P (x) x prior P (µ)

162 true P (x truth) µ σ 0 +σ predictive(0) P (x) x prior P (µ)

163 true P (x truth) µ predictive(0) P (x) x likelihood(1) P (x 1 µ) prior P (µ)

164 true P (x truth) µ predictive(0) P (x) x likelihood(1) P (x 1 µ) posterior(1) P (µ x 1 ) prior P (µ)

165 µ true P (x truth) predictive(0) P (x) posterior P (µ D) x likelihood(1) P (x 1 µ) posterior(1) P (µ x 1 ) prior P (µ)

166 µ true P (x truth) predictive P (x D) predictive(0) P (x) posterior P (µ D) x likelihood(1) P (x 1 µ) posterior(1) P (µ x 1 ) prior P (µ)

167 P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ

168 x P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ

169 = x P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ

170 P (x µ) =N (x µ, )= e (x µ) p 2 P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ

171 P (x µ) =N (x µ, )= e (x µ) p 2 P (µ) =N (µ µ 0, 0) P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ

172 (x µ) 2 P (x µ) =N (x µ, )= e 2 2 p P (µ) =N (µ µ 2 0, 0) P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ P (µ x) = N (x µ, )N (µ µ 0, 0) R 1 1 N (x µ, )N (µ µ 0, 0)dµ

173 (x µ) 2 P (x µ) =N (x µ, )= e 2 2 p P (µ) =N (µ µ 2 0, 0) P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ P (µ x) = P (µ x) = N (x µ, )N (µ µ 0, 0) R 1 1 N (x µ, )N (µ µ 0, 0)dµ μ <-> x N (µ x, )N (µ µ 0, 0) R 1 1 N (µ x, )N (µ µ 0, 0)dµ

174 P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ P (µ x) = P (µ x) = N (x µ, )N (µ µ 0, 0) R 1 1 N (x µ, )N (µ µ 0, 0)dµ μ <-> x N (µ x, )N (µ µ 0, 0) R 1 1 N (µ x, )N (µ µ 0, 0)dµ konjugált prior! c = N (x µ 0, N (x µ, )N (µ u 0, 0) =c N(µ µ 0, q ); µ0 = µ x ; 0 = 0 ) 0 p

175 P (µ x) = P (µ x) = N (x µ, )N (µ µ 0, 0) R 1 1 N (x µ, )N (µ µ 0, 0)dµ μ <-> x N (µ x, )N (µ µ 0, 0) R 1 1 N (µ x, )N (µ µ 0, 0)dµ konjugált prior! c = N (x µ 0, N (x µ, )N (µ u 0, 0) =c N(µ µ 0, q ); µ0 = µ x ; 0 = 0 ) 0 p P (µ x) = c N(µ µ 0, 0 ) R 1 1 c N(µ µ0, 0 )dµ

176 P (µ x) = μ <-> x N (µ x, )N (µ µ 0, 0) R 1 1 N (µ x, )N (µ µ 0, 0)dµ konjugált prior! c = N (x µ 0, N (x µ, )N (µ u 0, 0) =c N(µ µ 0, q ); µ0 = µ x ; 0 = 0 ) 0 p P (µ x) = c N(µ µ 0, 0 ) R 1 1 c N(µ µ0, 0 )dµ P (µ x) =N (µ µ 0, 0 )

177 P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 )

178 P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 ) terjesszük ki T pontra

179 P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 ) terjesszük ki T pontra P (µ x) = P (x 1,x 2,...x T µ, )N (µ µ 0, 0) R 1 1 P (x 1,x 2,...x T µ, )N (µ µ 0, 0)dµ D x

180 P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 ) terjesszük ki T pontra P (µ x) = P (x 1,x 2,...x T µ, )N (µ µ 0, 0) R 1 1 P (x 1,x 2,...x T µ, )N (µ µ 0, 0)dµ P (A, B) =P (A)P (B)

181 P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 ) terjesszük ki T pontra P (µ x) = P (x 1,x 2,...x T µ, )N (µ µ 0, 0) R 1 1 P (x 1,x 2,...x T µ, )N (µ µ 0, 0)dµ P (A, B) =P (A)P (B) P (µ x) = R 1 1 Q T t=1 N (x t µ, )N (µ µ 0, 0) Q T t=1 N (x t µ, )N (µ µ 0, 0)dµ

182 P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 ) terjesszük ki T pontra P (µ x) = P (x 1,x 2,...x T µ, )N (µ µ 0, 0) R 1 1 P (x 1,x 2,...x T µ, )N (µ µ 0, 0)dµ P (A, B) =P (A)P (B) P (µ x) = R 1 1 Q T t=1 N (x t µ, )N (µ µ 0, 0) Q T t=1 N (x t µ, )N (µ µ 0, 0)dµ µ (T ) = µ P T t=0 x t 2 + T 0 2 (T ) = s 1 T

183 P (µ x) = R 1 1 P (x µ)p (µ) P (x µ)p (µ)dµ eredmény 1 pontra P (µ x) =N (µ µ 0, 0 ) terjesszük ki T pontra P (µ x) = P (x 1,x 2,...x T µ, )N (µ µ 0, 0) R 1 1 P (x 1,x 2,...x T µ, )N (µ µ 0, 0)dµ P (A, B) =P (A)P (B) P (µ x) = R 1 1 Q T t=1 N (x t µ, )N (µ µ 0, 0) Q T t=1 N (x t µ, )N (µ µ 0, 0)dµ µ (T ) = µ P T t=0 x t 2 + T 0 2 (T ) = s 1 T P (µ x) =N (µ µ (T ), (T ) )

184 eredmény T pontra P (µ x) =N (µ µ (T ), µ (T ) = µ P T t=0 x t 2 + T 0 2 (T ) ) (T ) = s 1 T

185 eredmény T pontra P (µ x) =N (µ µ (T ), µ (T ) = µ P T t=0 x t 2 + T 0 2 (T ) ) (T ) = s 1 T lim T!1 végtelen adat limit

186 eredmény T pontra P (µ x) =N (µ µ (T ), µ (T ) = µ P T t=0 x t 2 + T 0 2 (T ) ) (T ) = s 1 T lim T!1 végtelen adat limit P T t=0 x t T

187 eredmény T pontra P (µ x) =N (µ µ (T ), µ (T ) = µ P T t=0 x t 2 + T 0 2 (T ) ) (T ) = s 1 T lim T!1 végtelen adat limit P T t=0 x t T 0

188 eredmény T pontra P (µ x) =N (µ µ (T ), µ (T ) = µ P T t=0 x t 2 + T 0 2 (T ) ) (T ) = s 1 T lim T!1 végtelen adat limit P T t=0 x t T P (µ x) =N (µ µ (T ), (T ) ) (µ µ (T ) ) 0

189 eredmény T pontra P (µ x) =N (µ µ (T ), µ (T ) = µ P T t=0 x t 2 + T 0 2 (T ) ) (T ) = s 1 T lim T!1 végtelen adat limit P T t=0 x t T P (µ x) =N (µ µ (T ), (T ) ) (µ µ (T ) ) 0 P (x D) P (x true)

190 P (µ x) =N (µ µ (T ), (T ) ) (µ µ (T ) ) µ P (x D) P (x true)

191 P (µ x) =N (µ µ (T ), (T ) ) (µ µ (T ) ) µ P (x D) P (x true) = x x

192 T=1 T=2 T= true(x) 0.20 predictive(x) 0.20 prior(μ) T=10 T=100

193

194

195 közelítő inferencia sztochasztikus közelítő módszerek pl: Markov chain Monte Carlo (MCMC) aszimptotikusan (végtelen sok ideig futtatva) egzaktak determinisztikus közelítő módszerek pl: variational Bayes / variational inference pl: pontbecslések nem kell végtelen sok idő, de sosem egzakt eredmény

201 online learning batch learning

202 online learning batch learning prior dataset

203 online learning batch learning prior dataset posterior

204 online learning batch learning prior(t-1) stimulus(t-1) prior dataset posterior

205 online learning batch learning prior(t-1) stimulus(t-1) prior dataset posterior(t-1) posterior

206 online learning batch learning prior(t-1) stimulus(t-1) prior dataset posterior(t-1) prior(t) stimulus(t) posterior

207 online learning batch learning prior(t-1) stimulus(t-1) prior dataset posterior(t-1) prior(t) stimulus(t) posterior posterior(t)

208 online learning batch learning prior(t-1) stimulus(t-1) prior dataset posterior(t-1) prior(t) stimulus(t) posterior posterior(t) prior(t+1) stimulus(t+1)

209 maximum likelihood = MAP with flat prior

210 Házi Feladat Ha elimináltuk a lehetetlent, ami marad, bármilyen valószínűtlenül is hangzik, az igazság. - Sherlock Holmes A. Mutasd meg, hogy S.H. következtetési módszere konzisztens a Bayes-i inferenciával! (azaz diszkrét hipotézisekre, ha a megfigyeléseknek egyet kivéve mindegyik ellentmond, akkor a fennmaradónak posterior valószínűsége mindenképpen 1.) B. Mutasd meg hogy a normál eloszlás tanulásakor az átlagra vonatkozó normál eloszlás tényleg konjugált prior (azaz a likelihood a priorral beszorozva ugyan formájú marad csak más paraméterekkel), és számold ki az új paramétereket! konjugált prior c = N (x µ 0, N (x µ, )N (µ u 0, 0) =c N(µ µ 0, q ); µ0 = µ x ; 0 = 0 ) 0 p

211