Probabilisztikus modellek. Nagy Dávid

Átírás

1 Probabilisztikus modellek Nagy Dávid Statisztikai tanulás az idegrendszerben, 2019

2 elméleti Introduction Knowledge representation Probabilistic models Bayesian behaviour Approximate inference I (computer lab) Vision I Approximate inference II: Sampling Measuring priors Neural representation of probabilities Structure learning Vision II Decision making and reinforcement learning

3 valószínűségi kalkulus

4 jelölések valószínűségi változók megfázás köhögés valószínűség valószínűségi változók lehetséges értékei

5 jelölések M K P

6 jelölések M K P m k 0.01 m k 0.04 m k m k 0.095

7 jelölések M K P m k 0.01 m k 0.04 m k m k P (m ^ k) =P (m, k) = 0.04 P (M,K) =

8 jelölések M K P P (M,K) = m k 0.01 m k 0.04 m k m k P (m ^ k) =P (m, k) = 0.04 P (M = m, K = k) =P (m, k) 6= P (M,K)

9 M K P m k 0.01 m k 0.04 m k m k 0.095

10 P (M,K) m k m k m k m k

11 P (M,K) m k m k m k m k

12 P (M,K) probability mass function az igazságtáblázatot függvényként reprezentáljuk m k m k m k m k

13 valószínűségszámítás ö összegszabály s szorzatszabály

14 összegszabály M K P m k 0.01 m k 0.04 m k m k M P m 0.05 m 0.95

15 összegszabály P (k) =P (k, m)+p (k, m) P( esik a hó ) P( esik a hó és süt a nap ) vagy P( esik a hó és nem süt a nap ) P (x) = X y 0 2Y P (x, y 0 ) marginális valószínűség, vagy -szabály

16 valószínűségszámítás ö összegszabály s szorzatszabály

17 szorzatszabály P (m, k) =P (m)p (k m) P( esik a hó és süt a nap ) P( esik a hó ) és P( süt a nap ha esik a hó ) lánc-szabály, és -szabály

18 szorzatszabály P (m, k) = P (m))p (k m)

19 szorzatszabály P (m, k) P (m) = P )P (k m)

20 szorzatszabály P (m, k) P (m) = P )P (k m)

21 szorzatszabály P (m, k) P (m) = P )P (k m) M K P m k 0.01 m k 0.04 m k m k } X P ( ) =1 P (m, k)+p (m, k) const =1 const = P (m)

22 valószínűségszámítás P (X, Y ) probabilisztikus modell P (x) = X y 0 2Y P (x, y 0 ) P (x, y) =P (x y)p (y) feltételes valószínűség Bayes szabály P (x, y) P (y) P (y x)p (x) P (y) = P (x y) = P (x y)

23 valószínűségszámítás P (A, B, C, D, E, F, G, H, I) joint distribution P (D, G H, I) = = P (D, G, H, I)? P (H, I) P P A,B,C,E,F A,B,C,E,F,D,G (feltételes valószínűség) P (A, B, C, D, E, F, G, H, I) P (A, B, C, D, E, F, G, H, I)

24 mintavételezés egy adott probabilisztikus modellhez készíthető* mintavételező gép kimenetei (minták) lehetséges események az események relatív gyakoriságai tartanak a valószínűségeikhez különböző trükökkel lehet mintát venni külön a változókból (marginális eloszlásból) vagy a feltételes eloszlásokból is P (M,K) = M K P m k 0.01 m k 0.04 m k m k nem fázott meg és nem köhög nem fázott meg és nem köhög nem fázott meg és nem köhög nem fázott meg és köhög nem fázott meg és nem köhög nem fázott meg és nem köhög nem fázott meg és nem köhög nem fázott meg és nem köhög nem fázott meg és nem köhög nem fázott meg és nem köhög

25

26

27 probabilisztikus program 0,5 a = flip(0.3) b = flip(0.3) c = flip(0.3) a + b + c ,375 0,25 0,125 0 P (n) = n n n mintavételezés (sampling) eloszlás

28 <latexit sha1_base64="eywz/ufgtuon4at0abovtop8aeu=">aaace3icbvdlssnafj34rpvvdelmsajvrule0gvrbfdswt6gcwuynbrdj5mwcyowkh9w46+4cagiwzfu/bunbrbaemdgcm693dnhjwxxynvf1sli0vlkamgtul6xubvd2tlt6ihrldvojclv9olmgkvwaa6ctwpfsogl1vkhl2o/dc+u5pg8g1hmvjd0jq84jwckbunydrsh6u1xvq6oslrmlkq4doe9qiqjxpk0gstlaknuqwxx7qnwphfyuky56t3sl9ulabiycvqqrtuohyoxegwccpyv3uszmnah6booozkethvpjfogd43sw0gkzjoaj+rvjzsewo9c30ygbaz61hul/3mdbijzl+uytobjoj0ujakb3oocci8rrkgmdcfucfnxtafelasmxqipwzmnpe+aj1xh8nvtcu0ir6oa9tebqiahnaeaukz11eaupajn9irercfrxxq3pqajc1a+s4f+wpr8axn1nou=</latexit> <latexit sha1_base64="eywz/ufgtuon4at0abovtop8aeu=">aaace3icbvdlssnafj34rpvvdelmsajvrule0gvrbfdswt6gcwuynbrdj5mwcyowkh9w46+4cagiwzfu/bunbrbaemdgcm693dnhjwxxynvf1sli0vlkamgtul6xubvd2tlt6ihrldvojclv9olmgkvwaa6ctwpfsogl1vkhl2o/dc+u5pg8g1hmvjd0jq84jwckbunydrsh6u1xvq6oslrmlkq4doe9qiqjxpk0gstlaknuqwxx7qnwphfyuky56t3sl9ulabiycvqqrtuohyoxegwccpyv3uszmnah6booozkethvpjfogd43sw0gkzjoaj+rvjzsewo9c30ygbaz61hul/3mdbijzl+uytobjoj0ujakb3oocci8rrkgmdcfucfnxtafelasmxqipwzmnpe+aj1xh8nvtcu0ir6oa9tebqiahnaeaukz11eaupajn9irercfrxxq3pqajc1a+s4f+wpr8axn1nou=</latexit> <latexit sha1_base64="eywz/ufgtuon4at0abovtop8aeu=">aaace3icbvdlssnafj34rpvvdelmsajvrule0gvrbfdswt6gcwuynbrdj5mwcyowkh9w46+4cagiwzfu/bunbrbaemdgcm693dnhjwxxynvf1sli0vlkamgtul6xubvd2tlt6ihrldvojclv9olmgkvwaa6ctwpfsogl1vkhl2o/dc+u5pg8g1hmvjd0jq84jwckbunydrsh6u1xvq6oslrmlkq4doe9qiqjxpk0gstlaknuqwxx7qnwphfyuky56t3sl9ulabiycvqqrtuohyoxegwccpyv3uszmnah6booozkethvpjfogd43sw0gkzjoaj+rvjzsewo9c30ygbaz61hul/3mdbijzl+uytobjoj0ujakb3oocci8rrkgmdcfucfnxtafelasmxqipwzmnpe+aj1xh8nvtcu0ir6oa9tebqiahnaeaukz11eaupajn9irercfrxxq3pqajc1a+s4f+wpr8axn1nou=</latexit> <latexit sha1_base64="eywz/ufgtuon4at0abovtop8aeu=">aaace3icbvdlssnafj34rpvvdelmsajvrule0gvrbfdswt6gcwuynbrdj5mwcyowkh9w46+4cagiwzfu/bunbrbaemdgcm693dnhjwxxynvf1sli0vlkamgtul6xubvd2tlt6ihrldvojclv9olmgkvwaa6ctwpfsogl1vkhl2o/dc+u5pg8g1hmvjd0jq84jwckbunydrsh6u1xvq6oslrmlkq4doe9qiqjxpk0gstlaknuqwxx7qnwphfyuky56t3sl9ulabiycvqqrtuohyoxegwccpyv3uszmnah6booozkethvpjfogd43sw0gkzjoaj+rvjzsewo9c30ygbaz61hul/3mdbijzl+uytobjoj0ujakb3oocci8rrkgmdcfucfnxtafelasmxqipwzmnpe+aj1xh8nvtcu0ir6oa9tebqiahnaeaukz11eaupajn9irercfrxxq3pqajc1a+s4f+wpr8axn1nou=</latexit> nagy számok törvénye (Borel féle) Ha E esemény, az E esemény valószínűsége p, Nn(E) esemény bekövetkezéseinek száma n mintában, Akkor 1 valószínűséggel N n (E) n! p as n!1

29 probléma Mi a valószínűsége hogy egy véletlenszerűen választott ember pontosan 1.7 m magas? P (X =1.7) = 0 P (X = ) = 0 pmf(x) x

30 <latexit sha1_base64="uvi8a7ne5pnehdup6hrtvxlxe/k=">aaacenicbzbps8mwgmzt/875r+rrs3aig8hordclmpticylbcmstazpuywlaklq2xj6df7+kfw+kepxkzw9j1vwgmy8k/hie9yv5nyblvcrl+jawlldw19zlg+xnre2dxxnvvy2ttgdswgllhbmgsrjlpkwoysrjbufxwegngfxp/c4dezim/e6nuulfqmdprdfswvlnmku58tf9afpfqq5r0d2b4rbewiasiugyap38dmq+wbhqvl5weewckqcopm9+uwgcs5hwhrmssmtbqflgscikgzmu3uysfoeb6pguro5iir1xvtiehmslhfei9oek5urvitgkprzfge6mkerlew8q/ud1mxvdegpk00wrjmcprrmdkohtfgbibcgkjtqglkj+k8r9jbbwoswydsgex3kr2qd1w/ptwavxvcrraofgcfsbdc5ba9yajmgbdb7bm3gfb8at8wk8gx+z1iwjmdkaf8r4/ag8kppt</latexit> <latexit sha1_base64="uvi8a7ne5pnehdup6hrtvxlxe/k=">aaacenicbzbps8mwgmzt/875r+rrs3aig8hordclmpticylbcmstazpuywlaklq2xj6df7+kfw+kepxkzw9j1vwgmy8k/hie9yv5nyblvcrl+jawlldw19zlg+xnre2dxxnvvy2ttgdswgllhbmgsrjlpkwoysrjbufxwegngfxp/c4dezim/e6nuulfqmdprdfswvlnmku58tf9afpfqq5r0d2b4rbewiasiugyap38dmq+wbhqvl5weewckqcopm9+uwgcs5hwhrmssmtbqflgscikgzmu3uysfoeb6pguro5iir1xvtiehmslhfei9oek5urvitgkprzfge6mkerlew8q/ud1mxvdegpk00wrjmcprrmdkohtfgbibcgkjtqglkj+k8r9jbbwoswydsgex3kr2qd1w/ptwavxvcrraofgcfsbdc5ba9yajmgbdb7bm3gfb8at8wk8gx+z1iwjmdkaf8r4/ag8kppt</latexit> <latexit sha1_base64="uvi8a7ne5pnehdup6hrtvxlxe/k=">aaacenicbzbps8mwgmzt/875r+rrs3aig8hordclmpticylbcmstazpuywlaklq2xj6df7+kfw+kepxkzw9j1vwgmy8k/hie9yv5nyblvcrl+jawlldw19zlg+xnre2dxxnvvy2ttgdswgllhbmgsrjlpkwoysrjbufxwegngfxp/c4dezim/e6nuulfqmdprdfswvlnmku58tf9afpfqq5r0d2b4rbewiasiugyap38dmq+wbhqvl5weewckqcopm9+uwgcs5hwhrmssmtbqflgscikgzmu3uysfoeb6pguro5iir1xvtiehmslhfei9oek5urvitgkprzfge6mkerlew8q/ud1mxvdegpk00wrjmcprrmdkohtfgbibcgkjtqglkj+k8r9jbbwoswydsgex3kr2qd1w/ptwavxvcrraofgcfsbdc5ba9yajmgbdb7bm3gfb8at8wk8gx+z1iwjmdkaf8r4/ag8kppt</latexit> <latexit sha1_base64="uvi8a7ne5pnehdup6hrtvxlxe/k=">aaacenicbzbps8mwgmzt/875r+rrs3aig8hordclmpticylbcmstazpuywlaklq2xj6df7+kfw+kepxkzw9j1vwgmy8k/hie9yv5nyblvcrl+jawlldw19zlg+xnre2dxxnvvy2ttgdswgllhbmgsrjlpkwoysrjbufxwegngfxp/c4dezim/e6nuulfqmdprdfswvlnmku58tf9afpfqq5r0d2b4rbewiasiugyap38dmq+wbhqvl5weewckqcopm9+uwgcs5hwhrmssmtbqflgscikgzmu3uysfoeb6pguro5iir1xvtiehmslhfei9oek5urvitgkprzfge6mkerlew8q/ud1mxvdegpk00wrjmcprrmdkohtfgbibcgkjtqglkj+k8r9jbbwoswydsgex3kr2qd1w/ptwavxvcrraofgcfsbdc5ba9yajmgbdb7bm3gfb8at8wk8gx+z1iwjmdkaf8r4/ag8kppt</latexit> probléma Mi a valószínűsége hogy egy véletlenszerűen választott ember pontosan 1.7 m magas? P (X =1.7) = 0 P (X = ) = 0 pdf(x) probability density function Z b a p X (x) dx = P (a apple X apple b) sűrűségfüggvény x

31 mintavételezés

32 mintavételezés

33 mit jelölünk P-vel? Mindent. pmf pdf pdf(x) = X i pmf(x i ) (x x i )

34 valószínűségszámítás P (X, Y ) probabilisztikus modell P (x) = X y 0 2Y P (x, y 0 ) P (x, y) =P (x y)p (y)

35 valószínűségszámítás P (X, Y ) probabilisztikus modell P (x) = Z Y P (x, y) dy P (x, y) =P (x y)p (y) X! Z dy y

36 valószínűségszámítás P (X, Y ) probabilisztikus modell P (x) = Z Y P (x, y) dy P (x, y) =P (x y)p (y) feltételes valószínűség Bayes szabály P (x, y) P (y) P (y x)p (x) P (y) = P (x y) = P (x y)

37 összefoglalás ismerjük a valószínűségi kalkulus két szabályát, a szorzatszabályt és az összegszabályt tudjuk mit jelent mintákat venni egy eloszlásból (sampling) ezeket ki tudjuk terjeszteni folytonosan sok értékű változókra a valószínűségszámításban már mindent* tudunk, most már csak kényelmi** fogalmakat vezetünk be * : azért nem mindent, mert ha (a valós számokhoz hasonlóan) más matematikai objektumokra is ki szeretnénk terjeszteni (pl val. változók amelyeknek a lehetséges értékei is valószínűségi eloszlások vagy végtelen sok val. változó), az nem mindig triviális. mértékelmélet ** : néha a kényelmi megoldások teszik lehetővé hogy praktikusan is ki lehessen számolni valamit, ne csak elméletben (exponenciális komplexitás)

38 függetlenség x? y p(x, y) =p(x)p(y) p(x y) =p(x) ha megtudjuk hogy y, az semmit nem változtat x valószínűségén az előbb 4-est dobtunk. Mit fogunk most dobni? P (d 1 d 2 )P (d 2 )=P (d 1 )P (d 2 ) az előbb 4-es dobtunk, most dobunk mégegyet, mi lesz a kettő összege? P (d 1 + d 2 d 2 )P (d 2 ) 6= P (d 1 + d 2 )P (d 2 )

39 feltételes függetlenség x? y z p(x, y z) =p(x z)p(y z) p(x y, z) =p(x z) ha már tudjuk hogy z, és megtudjuk hogy y, az semmit nem változtat x valószínűségén képeket nézek, a kérdés hogy fogok-e látni snowboardosokat. Számít hogy látok-e sífelvonókat? Ha tudjuk hogy síterepen készült képeket nézünk akkor is számít hogy látok-e sífelvonókat? a függetlenség és a feltételes függetlenség nem implikálják egymást, erre majd látunk több példát

40 irányított grafikus modellek

41 igazságtáblázat joint probability table propozicionális logika i. grafikus modell elsőrendű logika univerzalitás λ-kalkulus UTM probabilisztikus programnyelvek

42 P (X 1,X 2,X 3,X 4 )= lánc-szabály =P (X 1 X 2,X 3,X 4 ) P (X 2 X 3,X 4 ) P (X 3 X 4 ) P (X 4 ) X 1? X 3,X 4 X 2 X 2? X 4 X 3 X 3? X 4 = P (X 1 X 2 ) P (X 2 X 3 )P (X 3 )P (X 4 ) X4 X3 X2 P (X 1,X 2,...,X n )= ny i P (X i P arent(x i )) X1

43 grafikus modellek az eloszlás faktorizálódik a gráf szerint a gráf az eloszlás függetlenségi struktúráját kódolja a függetlenségi relációk leolvashatóak a gráfról hogyan? X4 X3 P (X 1,X 2,X 3,X 4 )= = P (X 1 X 2 ) P (X 2 X 3 )P (X 3 )P (X 4 ) X2 P (X 1,X 2,...,X n )= ny i P (X i P arent(x i )) X1

44 hatásterjedés Nehéz Intell. ZH pont Felv. pont ZH jegy

45 hatásterjedés nehez = sample(p(nehez)) intell = sample(p(intell)) pont = sample(p(pont nehez, intell)) felv = sample(p(felv intell)) jegy = sample(p(jegy pont))

46 hatásterjedés Nehéz tud terjedni hatás? ZH pont

47 hatásterjedés Nehéz igen ZH pont

48 hatásterjedés Nehéz ZH pont tud terjedni hatás? ZH jegy

49 hatásterjedés Nehéz ZH pont igen ZH jegy

50 hatásterjedés Nehéz ZH pont tud terjedni hatás? megfigyelt változó ZH jegy

51 hatásterjedés Nehéz ZH pont nem ZH jegy

52 hatásterjedés Nehéz Intell. ZH pont Felv. pont tud terjedni hatás? ZH jegy

53 hatásterjedés Nehéz Intell. ZH pont Felv. pont igen ZH jegy

54 hatásterjedés Nehéz Intell. ZH pont Felv. pont tud terjedni hatás? ZH jegy

55 hatásterjedés Nehéz Intell. ZH pont Felv. pont nem ZH jegy

56 hatásterjedés Nehéz Intell. tud terjedni hatás? ZH pont Felv. pont ZH jegy

57 hatásterjedés Nehéz Intell. nem ZH pont Felv. pont ZH jegy

58 hatásterjedés (explaining away) Nehéz Intell. tud terjedni hatás? ZH pont Felv. pont ZH jegy

59 hatásterjedés (explaining away) Nehéz Intell. igen Valamivel meg kell magyarázni a magas pontszámot: ha azt mondom hogy maximális pontszámot kaptam, azt gondolhatjátok hogy okos vagyok. De ha kiderül hogy nagyon könnyű volt, akkor kevésbé gondoljátok ezt. ZH pont ZH jegy Felv. pont

60 hatásterjedés Nehéz Intell. tud terjedni hatás? ZH pont Felv. pont ZH jegy

61 hatásterjedés Nehéz Intell. igen ZH pont Felv. pont ZH jegy

62 d-szeparáció tétel az előbbi kis gráfokból összekombinálható az összes lehetséges függőségi reláció azt akarjuk leolvasni hogy u és v változók függetlenek-e különböző m megfigyelések mellett u és v között minden lehetséges útra ellenőrizzük hogy blokkolva van-e, feltéve hogy megfigyeljük m-et ha minden út blokkolva van, akkor függetlenek (feltéve m)

63 v v u v m m m u u u m v d-szeparáció m u v u v m m u v d

64 v m u nem juthat át hatás

65 Markov takaró Y 8Y : X? Y MB(X) szülők X gyerekek gyerekek szülei

66 plate notation

67 grafikus modell építés µ µ int int P (I) =N (I µ int, int) Nehéz Intell. P (N) =N (N µ, ) Z max ZH pont Felv. pont P (Z) = Binomial(Z Z max, sig(i N)) házi feladat ZH jegy

68 I N

69 grafikus modell építés nehez = normal(mu,sigma) intell = normal(mu_i,sigma_i) pont = binomial(z_max,sig(intell-nehez)) felv = binomial(z_max2,sig(intell)) jegy = bin(pont,5)

70

71

72 összefoglalás tudjuk mit jelent a függetlenség probabilisztikus modellekben az irányított grafikus modellek az eloszlás függetlenségi struktúráját jelenítik meg a gráf a teljes eloszlás egy faktorizációját adja meg, amelynek segítségével kevesebb számmal is meg lehet adni az eloszlást ezt kihasználva hatékonyabb inferencia algoritmusokat lehet kitalálni a gráfról a függetlenségi relációkat a d-szeparáció tétel alapján le tudjuk olvasni a grafikus modell abban is segít hogy egy intuitívan ismert rendszerből probabilisztikus modellt tudjunk felírni

73 bayes-i inferencia

74 mi az amit megfigyelünk? inferencia fotonok becsapódása levegő gyors rezgései hőmérséklet ingadozása bizonyos molekulák mire vagyunk kíváncsiak? milyen tárgyak vannak körülöttem milyen messze kik vannak körülöttem mire gondolnak mik a fizika törvényei

75 f

76 f }generatív folyamat

77 f }generatív folyamat f

78 f } generatív folyamat inverz inferencia } f -1

79 P (o h) P (h o)

80 P (o h) ha ilyen lenne a világ akkor mit figyelnénk meg? P (h o)

81 P (o h) ha ilyen lenne a világ akkor mit figyelnénk meg? P (h o) ha ezt figyeljük meg akkor milyen a világ?

82 forward probability generatív irány prediktív irány szimulátor P (o h) ha ilyen lenne a világ akkor mit figyelnénk meg? P (h o) ha ezt figyeljük meg akkor milyen a világ?

83 forward probability generatív irány prediktív irány szimulátor P (o h) ha ilyen lenne a világ akkor mit figyelnénk meg? inverse probability Bayes-i inferencia modell inverzió P (h o) ha ezt figyeljük meg akkor milyen a világ?

84 P (o h) P (h o) = P (o h)p (h) P (o)

85 P (h o) = P (o h)p (h) P (o) } prior

86 P (h o) = P (o h)p (h) } } likelihood P (o) prior

87 }posterior P (h o) = P (o h)p (h) } } likelihood P (o) prior

88 }posterior P (h o) = P (o h)p (h) } } likelihood P (o) prior } evidence

89 }posterior P (h o) = } } likelihood prior P (o h)p (h) R P (o h)p (h)dh

90 posterior }prior P (h o) / P (o h)p (h) } } likelihood

91 megfordítottuk a generatív modellt posterior }prior P (h o) / P (o h)p (h) } } likelihood

92 megfordítottuk a generatív modellt posterior }prior P (h o) / P (o h)p (h) } } likelihood miért kell a prior?

93 betegség f tünet f -1 betegség

94 miért köhögök? P (illness symptom) / P (symptom illness)p (illness)

95 megfázás tb kéztörés P (illness symptom) / P (symptom illness)p (illness) megfázás milyen gyakori a tb? kéztörés

96 megfázás tb kéztörés megfázás tb kéztörés P (illness symptom) / P (symptom illness)p (illness) megfázás ha tb kéztörés lenne a betegség attól köhögnék?

97 megfázás tb kéztörés megfázás tb kéztörés megfázás tb kéztörés P (illness symptom) / P (symptom illness)p (illness) valószínűleg megfáztam

98 3D - 2D

99

100

101

102

103

104 f = b P XY Z Y X

105 f = b P XY nem injektív f 1 nem egyértelmű Z Y X

106 hipotézis tér: minden lehetséges 3D drótváz

107 hipotézis tér: minden lehetséges 3D drótváz image data hipotézisek amelyekre magas a prior

108 hipotézis tér: minden lehetséges 3D drótváz image data hipotézisek amelyekre magas a prior hipotézisek amelyekre nem 0 a likelihood

109 hipotézis tér: minden lehetséges 3D drótváz image data posterior hipotézisek amelyekre magas a prior hipotézisek amelyekre nem 0 a likelihood

110 [Kulkarni et al 2014]

111

112 színek

113 szén v. hó hány foton?

114

115

116 megvilágítás elnyelési görbe (anyag) spektrális eloszlás

117 megvilágítás elnyelési görbe (anyag) látósejtek érzékenysége spektrális eloszlás 3 szám

118 megvilágítás elnyelési görbe (anyag) látósejtek érzékenysége spektrális eloszlás 3 szám anyag?

119

120

121

122 <latexit sha1_base64="ctucsgl1wbuafk/fjftzs1qay6y=">aaacb3icbvblswmxgmzwv62vvy+cbitqozrdefry9ojxbfua7lky2wwbmk2wjkuu2psx/4oxd4p49s9489+ytnvq1ohampn9swbclfglhefbkiwtr6yufddlg5tb2zv27l5tiuxi0scccdkokskmctlqvdpstivbschikxxctfzwhzgkcn6rhykjettjnkyyasn17uovyu7i0qn0tybe5v7iyk8++nwz2rxlts2zai4snydlkmpr2l9+jhcwek4xq0p1xcfvwqhjttej45kfkziipea90jguo4soydtnmybhrolglkq5xmop+ntjhbklhklojhok+2rem4j/ez1mxxfbipi004tj2unxxqcjpckfrlqsrnnqeiqlnx+fui8kwtpuvziluporf0nztoyafnnwrl/mdrtbatgcfeccc1ah18addydbi3ggr+dnerjerhfryzzaspkdffah1ucpicoymg==</latexit> <latexit sha1_base64="ctucsgl1wbuafk/fjftzs1qay6y=">aaacb3icbvblswmxgmzwv62vvy+cbitqozrdefry9ojxbfua7lky2wwbmk2wjkuu2psx/4oxd4p49s9489+ytnvq1ohampn9swbclfglhefbkiwtr6yufddlg5tb2zv27l5tiuxi0scccdkokskmctlqvdpstivbschikxxctfzwhzgkcn6rhykjettjnkyyasn17uovyu7i0qn0tybe5v7iyk8++nwz2rxlts2zai4snydlkmpr2l9+jhcwek4xq0p1xcfvwqhjttej45kfkziipea90jguo4soydtnmybhrolglkq5xmop+ntjhbklhklojhok+2rem4j/ez1mxxfbipi004tj2unxxqcjpckfrlqsrnnqeiqlnx+fui8kwtpuvziluporf0nztoyafnnwrl/mdrtbatgcfeccc1ah18addydbi3ggr+dnerjerhfryzzaspkdffah1ucpicoymg==</latexit> <latexit sha1_base64="ctucsgl1wbuafk/fjftzs1qay6y=">aaacb3icbvblswmxgmzwv62vvy+cbitqozrdefry9ojxbfua7lky2wwbmk2wjkuu2psx/4oxd4p49s9489+ytnvq1ohampn9swbclfglhefbkiwtr6yufddlg5tb2zv27l5tiuxi0scccdkokskmctlqvdpstivbschikxxctfzwhzgkcn6rhykjettjnkyyasn17uovyu7i0qn0tybe5v7iyk8++nwz2rxlts2zai4snydlkmpr2l9+jhcwek4xq0p1xcfvwqhjttej45kfkziipea90jguo4soydtnmybhrolglkq5xmop+ntjhbklhklojhok+2rem4j/ez1mxxfbipi004tj2unxxqcjpckfrlqsrnnqeiqlnx+fui8kwtpuvziluporf0nztoyafnnwrl/mdrtbatgcfeccc1ah18addydbi3ggr+dnerjerhfryzzaspkdffah1ucpicoymg==</latexit> <latexit sha1_base64="ctucsgl1wbuafk/fjftzs1qay6y=">aaacb3icbvblswmxgmzwv62vvy+cbitqozrdefry9ojxbfua7lky2wwbmk2wjkuu2psx/4oxd4p49s9489+ytnvq1ohampn9swbclfglhefbkiwtr6yufddlg5tb2zv27l5tiuxi0scccdkokskmctlqvdpstivbschikxxctfzwhzgkcn6rhykjettjnkyyasn17uovyu7i0qn0tybe5v7iyk8++nwz2rxlts2zai4snydlkmpr2l9+jhcwek4xq0p1xcfvwqhjttej45kfkziipea90jguo4soydtnmybhrolglkq5xmop+ntjhbklhklojhok+2rem4j/ez1mxxfbipi004tj2unxxqcjpckfrlqsrnnqeiqlnx+fui8kwtpuvziluporf0nztoyafnnwrl/mdrtbatgcfeccc1ah18addydbi3ggr+dnerjerhfryzzaspkdffah1ucpicoymg==</latexit> beszédfelismerés P (sound)! P (word sound)

123

124 Szövegértelmezés P( j m ) m

125 Szövegértelmezés A lány meglátta a fiút a távcsővel j 1 j 2

126 - Elnézést, kártyával lehet fizetni? - Persze

127 - Elnézést, kártyával lehet fizetni? - Persze - Egy ászból és királyból tud visszaadni?

128 - Elnézést, kártyával lehet fizetni? - Persze - Egy ászból és királyból tud visszaadni? humor = téves inferencia felfedezése? [Hurley et al 2011]

129 a látótér határai nem látszanak csak középen látunk élesen (fovea) vakfolt a szakkádoktól nem rázkódik a világ

130 összefoglalás ami érdekel az általában közvetlenül nem megfigyelhető a rejtett állapotok kikövetkeztetésében segít a tapasztalatokat generáló folyamat ismerete ennek megfordítása a likelihood: melyek azok a rejtett állapotok amelyek összeegyeztethetőek a megfigyelésekkel? de ez még nem elég, kell prior is hogy feloldja az empirikus aluldetermináltság problémáját a kettő szorzata a posterior, ami megadja jelenlegi tudásunkat a nem megfigyelt változók értékeinek plauzibilitásáról

131 közelítő inferencia az adat és egy adott hipotézistér mellett a posterior eloszlások a legtöbb amit tudunk mondani viszont ezt sokszor nehéz vagy lehetetlen egzaktul kiszámolni, ezért közelítésekre kényszerülünk pontbecslések sztochasztikus közelítő módszerek (Monte Carlo) mintavételezés aszimptotikusan (végtelen sok ideig futtatva) egzaktak

132 Monte Carlo n=50 n=1000 n=10 e. n=1 mil

133 közelítő inferencia az adat és egy adott hipotézistér mellett a posterior eloszlások a legtöbb amit tudunk mondani viszont ezt sokszor nehéz vagy lehetetlen egzaktul kiszámolni, ezért közelítésekre kényszerülünk pontbecslések sztochasztikus közelítő módszerek (Monte Carlo) mintavételezés aszimptotikusan (végtelen sok ideig futtatva) egzaktak determinisztikus közelítő módszerek pl: variációs Bayes nem kell végtelen sok idő, de sosem egzakt eredmény

134 variational bayes q(z )=N (z ) p(z x) argmin KL(q(z ) p(z x)) this we don t know

135 pontbecslések eloszlás egy szám

136 MAP becslés posterior * 0.7 * 0.5

137 várható érték E[X] = Z X xp(x) dx

138 variancia Var[X] =E[(X E[X]) 2 ]

139 korreláció Cov[X, Y ]=E[(X E[X])(Y E[Y ])] Corr[X, Y ]= Cov[X, Y ] Var[X] Var[Y ]

140 pontbecslések

141 kulcsfogalmak valószínűségi kalkulus eloszlásfüggvény, marginális eloszlás, feltételes eloszlás függetlenség, feltételes függetlenség irányított grafikus modell mintavételezés (sampling) Bayes-i inferencia prior, posterior, likelihood

142 1. házi feladat Készíts generatív valószínűségi modellt, ami autógyártók éves bevételének jóslására használható (más témát is választhatsz). válaszd ki a fontos változókat a változók közötti függetlenségi viszonyok alapján rajzolj grafikus modellt válassz diszkrét vagy folytonos eloszlásokat a szükséges marginálisok és kondicionálisok formájául ( en.wikipedia.org/wiki/list_of_probability_distributions) gondolkodj el rajta, hogy mik azok a feltételezések, amiket beleépítettél a modellbe, de sejthetően nem egyeznek a valósággal

143 2. házi feladat x2 és x5 között terjedhet hatás? hogyan lehetne x1 és x4-et függetlenné tenni?

144 referenciák [Kulkarni et al 2014] Kulkarni, Tejas D., et al. "Inverse graphics with probabilistic CAD models." arxiv preprint arxiv: (2014). [Hurley et al 2011] Hurley, Matthew M., Daniel Clement Dennett, and Reginald B. Adams. Inside jokes: Using humor to reverseengineer the mind. MIT press, McGurk effect (video)