Statisztikus tanulás az idegrendszerben

Átírás

1 Statisztikus tanulás az idegrendszerben ORBÁN GERGŐ

2 Hierarchikus grafikus modellek Nehéz a nemlineáris optimalizálás hierarchikus rendszerekben: Amennyiben erős függéseket tételezek fel, akkor lokális minimumokban ragad meg a tanulás Amennyiben gyenge függéseket tételezek fel, akkor a grádiensek a rétegek között egészen elenyészővé válnak és a hálózat számára nincsen szignál ami alapján tanulni tudna Statisztikus tanulás az idegrendszerben tavasz 2

3 Deep Belief Networks Decoder Top RBM 2000 T T 1 +ε RBM RBM T 2 T 3 T 4 30 Code layer ε +ε 1000 T 2 T 3 T 4 +ε +ε 4 4 +ε ε ε 1 1 RBM Encoder Pretraining Unrolling Fine-tuning Hinton & Salakhutdinov, 2006 Statisztikus tanulás az idegrendszerben tavasz 3

4 Deep Belief Networks Decoder Top RBM 2000 T T 1 +ε RBM RBM T 2 T 3 T 4 30 Code layer ε +ε 1000 T 2 T 3 T 4 +ε +ε 4 4 +ε ε ε 1 1 RBM Encoder Pretraining Unrolling Fine-tuning Hinton & Salakhutdinov, 2006 Statisztikus tanulás az idegrendszerben tavasz 3

5 Deep Belief Networks Decoder Top RBM 2000 T T 1 +ε RBM RBM T 2 T 3 T 4 30 Code layer ε +ε 1000 T 2 T 3 T 4 +ε +ε 4 4 +ε ε ε 1 1 RBM Encoder Pretraining Unrolling Fine-tuning Hinton & Salakhutdinov, 2006 Statisztikus tanulás az idegrendszerben tavasz 3

6 Deep Belief Networks Decoder Top RBM 2000 T T 1 +ε RBM RBM T 2 T 3 T 4 30 Code layer ε +ε 1000 T 2 T 3 T 4 +ε +ε 4 4 +ε ε ε 1 1 Energia függvény: Eðv, hþ 0 j X izpixels jzfeatures j X i, j b i v i j v i h j w ij X b j h j Pretraining RBM Encoder Unrolling Fine-tuning Hinton & Salakhutdinov, 2006 Aktivációs függvény: Statisztikus tanulás az idegrendszerben tavasz 3

7 Deep Belief Networks - pretraining Energia függvény: Eðv, hþ 0 j X b i v i j X izpixels jzfeatures b j h j j X i, j v i h j w ij Aktivációs függvény: Statisztikus tanulás az idegrendszerben tavasz 4

8 Deep Belief Networks - pretraining Energia függvény: Eðv, hþ 0 j X b i v i j X izpixels jzfeatures b j h j j X i, j v i h j w ij Aktivációs függvény: Kontrasztív divergencia: Dw ij 0 e bv i h j À data jbv i h j À recon Statisztikus tanulás az idegrendszerben tavasz 4

9 Deep Belief Networks - pretraining Energia függvény: Eðv, hþ 0 j X b i v i j X izpixels jzfeatures b j h j j X i, j v i h j w ij Aktivációs függvény: Kontrasztív divergencia: Dw ij 0 e bv i h j À data jbv i h j À recon Konfabuláció: a kontrasztív divergencia második tagjában a látens súlyokat is frissíteni kell a konfabulált v -knek megfelelően Statisztikus tanulás az idegrendszerben tavasz 4

10 Deep Belief Networks - greedy learning 30 Rétegről rétegre végzem a tanulást Újabb réteg hozzáadásával a tréning adat likelihoodjának alsó korlátja növekszik (ha a látensek számát nem csökkentjük) Folytonos adat esetén a legalsó rétegben Normál eloszlású neuronokat lehet használni (egység variancia esetén a látens frissítése megegyezik a bináris esettel) Top RBM RBM RBM Pretraining RBM Statisztikus tanulás az idegrendszerben tavasz 5

11 Deep Belief Networks - fine tuning Decoder Top RBM 2000 T T 1 +ε RBM RBM T 2 T 3 T 4 30 Code layer ε +ε 1000 T 2 T 3 T 4 +ε +ε 4 4 +ε ε ε 1 1 RBM Encoder Pretraining Unrolling Fine-tuning Az RBM előtréningezés jó kezdeti feltételeket ad további tréningezéshez Sztenderd back propagation algoritmussal tréningezhető innen a hálózat Statisztikus tanulás az idegrendszerben tavasz 6

12 Deep Belief Networks - tanulás Szintetikus adat: íves görbék Hálózat: (28x28) Sorok: rekonstrukció tanulás után a 6 dimenziós DBN-nel; 6D szigmoid-pca; 18D szigmoid-pca, 18D sztenderd PCA Statisztikus tanulás az idegrendszerben tavasz 7

13 Deep Belief Networks - tanulás Szintetikus adat: íves görbék Hálózat: (28x28) Sorok: rekonstrukció tanulás után a 6 dimenziós DBN-nel; 6D szigmoid-pca; 18D szigmoid-pca, 18D sztenderd PCA Természetes képek: arcok Hálózat: (25x25) Sorok: rekonstrukció tanulás után a 30D DBN-nel; rekonstrukció 30D PCA Statisztikus tanulás az idegrendszerben tavasz 7

14 Bayes inferencia Statisztikus tanulás az idegrendszerben tavasz 8

15 Bayes inferencia Statisztikus tanulás az idegrendszerben tavasz 8

16 Bayes inferencia szituáció / környezet objektumok objektum elhelyezkedése méret, hely, helyzet, világítás objektum tulajdonságai élek, felületi mintázatok generatív modell inferencia/felismerés stimulus Statisztikus tanulás az idegrendszerben tavasz 8

17 Bayes inferencia szituáció / környezet objektumok objektum elhelyezkedése méret, hely, helyzet, világítás objektum tulajdonságai élek, felületi mintázatok generatív modell inferencia/felismerés stimulus Statisztikus tanulás az idegrendszerben tavasz 8

18 Bayes inferencia szituáció / környezet objektumok objektum elhelyezkedése méret, hely, helyzet, világítás objektum tulajdonságai élek, felületi mintázatok generatív modell inferencia/felismerés Eddig arra koncentráltunk, hogy mi a legvalószínűbb aktivitás stimulus Statisztikus tanulás az idegrendszerben tavasz 8

19 Bayes inferencia szituáció / környezet objektumok objektum elhelyezkedése méret, hely, helyzet, világítás objektum tulajdonságai élek, felületi mintázatok generatív modell inferencia/felismerés Eddig arra koncentráltunk, hogy mi a legvalószínűbb aktivitás Ez a maximum a posteriori becslés (MAP) stimulus Statisztikus tanulás az idegrendszerben tavasz 8

20 Bayes inferencia Miért érdekes a poszterior eloszlás? Statisztikus tanulás az idegrendszerben tavasz 9

21 Bayes inferencia Miért érdekes a poszterior eloszlás? stimulus perception action Statisztikus tanulás az idegrendszerben tavasz 9

22 Bayes inferencia Miért érdekes a poszterior eloszlás? stimulus perception action Statisztikus tanulás az idegrendszerben tavasz 9

23 Bayes inferencia Miért érdekes a poszterior eloszlás? stimulus perception action inference Statisztikus tanulás az idegrendszerben tavasz 9

24 Bayes inferencia Miért érdekes a poszterior eloszlás? stimulus perception action inference decision making Statisztikus tanulás az idegrendszerben tavasz 9

25 Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok Statisztikus tanulás az idegrendszerben tavasz 10

26 Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response orientation Statisztikus tanulás az idegrendszerben tavasz 10

27 Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response orientation Statisztikus tanulás az idegrendszerben tavasz 10

28 Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response orientation Statisztikus tanulás az idegrendszerben tavasz 10

29 Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response a neuronok azonban zajosak: az átlag körül az átlaggal arányos variabilitás van jelen orientation Statisztikus tanulás az idegrendszerben tavasz 10

30 Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response a neuronok azonban zajosak: az átlag körül az átlaggal arányos variabilitás van jelen orientation cél: orientáció becslése Statisztikus tanulás az idegrendszerben tavasz 10

31 Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response a neuronok azonban zajosak: az átlag körül az átlaggal arányos variabilitás van jelen orientation megfigyelt változók: cél: orientáció becslése Statisztikus tanulás az idegrendszerben tavasz 10

32 Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response a neuronok azonban zajosak: az átlag körül az átlaggal arányos variabilitás van jelen orientation cél: orientáció becslése megfigyelt változók: nem megfigyelt változó: Statisztikus tanulás az idegrendszerben tavasz 10

33 Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response a neuronok azonban zajosak: az átlag körül az átlaggal arányos variabilitás van jelen orientation cél: orientáció becslése megfigyelt változók: nem megfigyelt változó: Bayes: Statisztikus tanulás az idegrendszerben tavasz 10

34 Probabilistic Population Codes Statisztikus tanulás az idegrendszerben tavasz 11

35 Probabilistic Population Codes Neurális zaj varianciája arányos az átlagos aktivitással: Poisson zaj Statisztikus tanulás az idegrendszerben tavasz 11

36 Probabilistic Population Codes Neurális zaj varianciája arányos az átlagos aktivitással: Poisson zaj Likelihood alakja: Statisztikus tanulás az idegrendszerben tavasz 11

37 Probabilistic Population Codes Neurális zaj varianciája arányos az átlagos aktivitással: Poisson zaj Likelihood alakja: a Activity g b Preferred stimulus Statisztikus tanulás az idegrendszerben tavasz 11

38 Probabilistic Population Codes Neurális zaj varianciája arányos az átlagos aktivitással: Poisson zaj Likelihood alakja: a Activity g Inferencia P(s r) σ b Preferred stimulus Stimulus Statisztikus tanulás az idegrendszerben tavasz 11

39 Probabilistic Population Codes Neurális zaj varianciája arányos az átlagos aktivitással: Poisson zaj Likelihood alakja: a Activity g Inferencia P(s r) σ b Preferred stimulus Stimulus ha a stimulus-eloszlás Gauss, akkor az aktivitás-intenzítás arányos a precizióval Statisztikus tanulás az idegrendszerben tavasz 11

40 Probabilistic Population Codes Neurális zaj varianciája arányos az átlagos aktivitással: Poisson zaj Likelihood alakja: a Activity g Inferencia P(s r) σ b Preferred stimulus Stimulus ha a stimulus-eloszlás Gauss, akkor az aktivitás-intenzítás arányos a precizióval Statisztikus tanulás az idegrendszerben tavasz 11

41 PPC: Multiszenzoros integráció C 1 C 2 Activity Activity P(r 1 s) S Preferred stimulus Preferred stimulus P(r 2 s) g 1 g S σ 2 = Kg σ 2 = Kg 2 2 P(r 1 + r 2 s) Activity Preferred stimulus S σ 2 = Kg 3 = K (g 1 + g 2 ) = + σ 2 3 g 3 = g 1 + g 2 1 σ 2 2 Statisztikus tanulás az idegrendszerben tavasz 12

42 PPC: Multiszenzoros integráció C 1 C 2 Activity Activity P(r 1 s) S Preferred stimulus Preferred stimulus P(r 2 s) g 1 g S σ 2 = Kg σ 2 = Kg 2 2 P(r 1 + r 2 s) Activity Preferred stimulus S σ 2 = Kg 3 = K (g 1 + g 2 ) = + σ 2 3 g 3 = g 1 + g 2 1 σ 2 2 Statisztikus tanulás az idegrendszerben tavasz 12

43 PPC: Multiszenzoros integráció C 1 C 2 Activity Activity P(r 1 s) S Preferred stimulus Preferred stimulus P(r 2 s) g 1 g S σ 2 = Kg σ 2 = Kg 2 2 P(r 1 + r 2 s) Activity Preferred stimulus S σ 2 = Kg 3 = K (g 1 + g 2 ) = + σ 2 3 g 3 = g 1 + g 2 1 σ 2 2 pðsjc 1 ; c 2 Þ / pðc 1 jsþpðc 2 jsþpðsþ. prior is flat and the likelihood Statisztikus tanulás az idegrendszerben tavasz 12

44 PPC: Multiszenzoros integráció C 1 C 2 Activity Activity P(r 1 s) S Preferred stimulus Preferred stimulus P(r 2 s) g 1 g S σ 2 = Kg σ 2 = Kg 2 2 P(r 1 + r 2 s) Activity Preferred stimulus S σ 2 = Kg 3 = K (g 1 + g 2 ) = + σ 2 3 g 3 = g 1 + g 2 1 σ 2 2 pðsjc 1 ; c 2 Þ / pðc 1 jsþpðc 2 jsþpðsþ. prior is flat and the likelihood 1 s 2 3 ¼ 1 s s 2 2 m 3 ¼ s2 2 s 2 1 +s2 2 m 1 + s2 1 s 2 1 +s2 2 m 2 Statisztikus tanulás az idegrendszerben tavasz 12

45 STATISTICALLY OPTIMAL INTERNAL MODELS? prior knowledge about the visual world percept visual stimulus 13

46 STATISTICALLY OPTIMAL INTERNAL MODELS? prior knowledge about the visual world y objects, features percept visual stimulus 13

47 STATISTICALLY OPTIMAL INTERNAL MODELS? P (y) prior knowledge about the visual world y objects, features percept visual stimulus 13

48 STATISTICALLY OPTIMAL INTERNAL MODELS? P (y) prior knowledge about the visual world y objects, features percept P (x y) x visual stimulus 13

49 STATISTICALLY OPTIMAL INTERNAL MODELS? P (y) prior knowledge about the visual world y objects, features y percept P (x y) x visual stimulus 13

50 STATISTICALLY OPTIMAL INTERNAL MODELS? prior knowledge about the visual world P (y) P (y) y objects, features P (x y) y percept P (x y) x visual stimulus 13

51 STATISTICALLY OPTIMAL INTERNAL MODELS? P (y) prior knowledge about the visual world P (y) P (y x) / P (x y)p (y) y objects, features P (x y) y percept P (x y) x visual stimulus 13

52 STATISTICALLY OPTIMAL INTERNAL MODELS? P (y) prior knowledge about the visual world P (y) P (y x) / P (x y)p (y) y objects, features P (x y) y percept P (x y) x visual stimulus HO DO E KNO IF AN INTERNAL MODEL IS OPTIMAL? P (y x) P (x) dx = P (y) 13

53 STATISTICALLY OPTIMAL INTERNAL MODELS? P (y) prior knowledge about the visual world P (y) P (y x) / P (x y)p (y) y objects, features P (x y) y percept P (x y) x visual stimulus HO DO E KNO IF AN INTERNAL MODEL IS OPTIMAL? average inferences prior expectations P (y x) P (x) dx = P (y) for natural Z stimulus ensemble P (x) = P (y)p (x y) dy 13

54 APPLICATION TO VISUAL CORTEX latent variables (visual cortex) y observed variables (retina) x y 1 y 2... y N x 1 x 2... x M parameters (synaptic efficacies, etc) P (y x) P (x) dx =P (y) 14

55 APPLICATION TO VISUAL CORTEX latent variables (visual cortex) y observed variables (retina) x y 1 y 2... y N x 1 x 2... x M parameters (synaptic efficacies, etc) P (y x) P (x) dx =P (y) evoked activity 14

56 APPLICATION TO VISUAL CORTEX latent variables (visual cortex) y observed variables (retina) x y 1 y 2... y N x 1 x 2... x M parameters (synaptic efficacies, etc) P (y x) P (x) dx =P (y) evoked activity spontaneous activity 14

57 APPLICATION TO VISUAL CORTEX latent variables (visual cortex) y observed variables (retina) x y 1 y 2... y N x 1 x 2... x M parameters (synaptic efficacies, etc) P (y x) P (x) dx =P (y) evoked activity stimulus ensemble spontaneous activity 14

58 APPLICATION TO VISUAL CORTEX latent variables (visual cortex) y observed variables (retina) x y 1 y 2... y N x 1 x 2... x M parameters (synaptic efficacies, etc) P (y x) P (x) dx =P (y)? evoked activity stimulus ensemble spontaneous activity 14

59 APPLICATION TO VISUAL CORTEX latent variables (visual cortex) y observed variables (retina) x y 1 y 2... y N x 1 x 2... x M parameters (synaptic efficacies, etc) KL divergence P (y x) P (x) dx =P (y)? evoked activity stimulus ensemble spontaneous activity 14

60 RECORDINGS 15

61 RECORDINGS awake behaving ferrets 15

62 RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) 15

63 RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) multi-unit recordings from layers 2/3 of V1 15

64 RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) multi-unit recordings from layers 2/3 of V1 16 electrodes with 200 µm spacing 15

65 RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) multi-unit recordings from layers 2/3 of V1 16 electrodes with 200 µm spacing conditions spontaneous darkness S(y) =P(y) 15

66 RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) multi-unit recordings from layers 2/3 of V1 16 electrodes with 200 µm spacing conditions spontaneous darkness S(y) =P(y) evoked natural image movies M(y) = P (y x) P movie (x) dx 15

67 RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) multi-unit recordings from layers 2/3 of V1 16 electrodes with 200 µm spacing conditions spontaneous darkness S(y) =P(y) evoked natural image movies M(y) = P (y x) P movie (x) dx dynamic block noise N(y) = P (y x) P noise (x) dx 15

68 RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) multi-unit recordings from layers 2/3 of V1 16 electrodes with 200 µm spacing conditions spontaneous darkness S(y) =P(y) evoked natural image movies M(y) = P (y x) P movie (x) dx dynamic block noise N(y) = P (y x) P noise (x) dx drifting full-field gratings G(y) = P (y x) P grating (x) dx 15

69 DATA ANALYSIS electrodes #16 # time (s) 16

70 DATA ANALYSIS electrodes #16 # time (s) electrodes discretisation and binarisation y ms time 16

71 DATA ANALYSIS electrodes #16 # time (s) discretisation and binarisation y P(y) collecting histograms electrodes ms time y 16

72 DATA ANALYSIS electrodes #16 # time (s) discretisation and binarisation y P(y) collecting histograms electrodes ms time implicit marginalisation rather than explicitly computing P evoked (y) = P (y x) P stim (x) dx y we collect evoked activity under each condition without regard to the actual ongoing stimulus 16

73 DATA ANALYSIS electrodes #16 # time (s) discretisation and binarisation y P(y) collecting histograms comparing histograms electrodes ms time implicit marginalisation rather than explicitly computing y KL[P 1 (y) P 2 (y)] P evoked (y) = P (y x) P stim (x) dx we collect evoked activity under each condition without regard to the actual ongoing stimulus 16

74 DEVELOPMENTAL CHANGES P29 S(y) 17

75 DEVELOPMENTAL CHANGES P29 P129 S(y) S(y) M(y) 17

76 DEVELOPMENTAL CHANGES P29 M S(y) *$$ S )$$ + &$$ ρ=-0.70, p<0.005 P129 :;36<=/.>.5?9 %$$ #$$!$$ ++ S(y) ($$ $!"!#$ %%!%& '#!"! (!"!(&(,-./01/ M(y) 17

77 SPATIAL CORRELATIONS destroying spatial dependencies: P(y) = 16 i=1 P(y i ) 18

78 SPATIAL CORRELATIONS destroying spatial dependencies: P(y) = 16 i=1 P(y i ) within-condition correlations M M S S 9:25;<.-=-4>8 (!$$ ($$$ '$$ )$$ %$$!$$ * ** * * * ** ** ρ = 0.73 p < ρ = p < $!"!#$ %%!%& '#!"! (!"!(&( +,-./

79 SPATIAL CORRELATIONS destroying spatial dependencies: P(y) = 16 i=1 P(y i ) within-condition correlations importance of correlations for match between conditions M M M S M S S S 9:25;<.-=-4>8 (!$$ ($$$ '$$ )$$ %$$!$$ * ** * * * ** ** ρ = 0.73 p < ρ = p < :25;<.-=-4>8 (!$$ ($$$ '$$ )$$ %$$!$$ * * ** ρ = 0.34 p > 0.2 ρ = p < $!"!#$ %%!%& '#!"! (!"!(&( +,-./ $!"!#$ %%!%& '#!"! (!"!(&( +,-./

80 TEMPORAL CORRELATIONS state-transition distributions: P(y t+ y t ) 19

81 TEMPORAL CORRELATIONS state-transition distributions: P(y t+ y t ) control: P(y t+ y t )=P(y) 19

82 TEMPORAL CORRELATIONS state-transition distributions: control: P(y t+ y t ) P(y t+ y t )=P(y) M M S S %&$ τ = 2 msec 8914:;-,<,3=7 %$$ #&$ #$$!&$!$$ (&$ )) ) )) ρ = 0.03 p > 0.9 ($$ &$ ρ = p < $!"!#$ %%!%& '#!"! (!"!(&( *+,-./-/01/23145/6,7 19

83 TEMPORAL CORRELATIONS state-transition distributions: control: P(y t+ y t ) P(y t+ y t )=P(y) M M S M M S S S %&$ τ = 2 msec 350 P :;-,<,3=7 %$$ #&$ #$$!&$!$$ (&$ ($$ &$ )) ) )) ρ = 0.03 p > 0.9 ρ = p < KL (bits/sec) $!"!#$ %%!%& '#!"! (!"!(&( *+,-./-/01/23145/6, ! (msec) 19

84 NON-NATURAL STIMULUS ENSEMBLES 20

85 NON-NATURAL STIMULUS ENSEMBLES N M G S *$$ )$$ :;36<=/.>.5?9 &$$ %$$ #$$!$$ ($$ ++ + $!"!#$ %%!%& '#!"! (!"!(&(,-./01/

86 NON-NATURAL STIMULUS ENSEMBLES N M G P29-30 S 0.2 :;36<=/.>.5?9 *$$ )$$ &$$ %$$ #$$!$$ ($$ ++ + MDS dim 2 (a.u.) spont act. gratings evoked movie evoked noise evoked $!"!#$ %%!%& '#!"! (!"!(&(,-./01/ MDS dim 1 (a.u.) 20

87 NON-NATURAL STIMULUS ENSEMBLES N M G P44-45 S 0.2 :;36<=/.>.5?9 *$$ )$$ &$$ %$$ #$$!$$ ($$ ++ + MDS dim 2 (a.u.) spont act. gratings evoked movie evoked noise evoked $!"!#$ %%!%& '#!"! (!"!(&(,-./01/ MDS dim 1 (a.u.) 20

88 NON-NATURAL STIMULUS ENSEMBLES N M G P83-92 S 0.2 :;36<=/.>.5?9 *$$ )$$ &$$ %$$ #$$!$$ ($$ ++ + MDS dim 2 (a.u.) spont act. gratings evoked movie evoked noise evoked $!"!#$ %%!%& '#!"! (!"!(&(,-./01/ MDS dim 1 (a.u.) 20

89 NON-NATURAL STIMULUS ENSEMBLES N M G P S 0.2 :;36<=/.>.5?9 *$$ )$$ &$$ %$$ #$$!$$ ($$ ++ + MDS dim 2 (a.u.) spont act. gratings evoked movie evoked noise evoked $!"!#$ %%!%& '#!"! (!"!(&(,-./01/ MDS dim 1 (a.u.) 20