Statisztikus tanulás az idegrendszerben

Statisztikus tanulás az idegrendszerben ORBÁN GERGŐ http://golab.wigner.mta.hu

Hierarchikus grafikus modellek Nehéz a nemlineáris optimalizálás hierarchikus rendszerekben: Amennyiben erős függéseket tételezek fel, akkor lokális minimumokban ragad meg a tanulás Amennyiben gyenge függéseket tételezek fel, akkor a grádiensek a rétegek között egészen elenyészővé válnak és a hálózat számára nincsen szignál ami alapján tanulni tudna Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 2

Deep Belief Networks Decoder 30 500 4 Top RBM 2000 T 1 2000 T 1 +ε 8 500 1000 1000 2000 3 2 RBM RBM 1000 500 500 1000 T 2 T 3 T 4 30 Code layer 4 3 1000 500 30 500 +ε +ε 1000 T 2 T 3 T 4 +ε +ε 4 4 +ε 7 6 5 3 3 2000 2000 2 2000 +ε 2 2 1 1 +ε 1 1 RBM Encoder Pretraining Unrolling Fine-tuning Hinton & Salakhutdinov, 2006 Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 3

Deep Belief Networks Decoder 30 500 4 Top RBM 2000 T 1 2000 T 1 +ε 8 500 1000 1000 2000 3 2 RBM RBM 1000 500 500 1000 T 2 T 3 T 4 30 Code layer 4 3 1000 500 30 500 +ε +ε 1000 T 2 T 3 T 4 +ε +ε 4 4 +ε 7 6 5 3 3 2000 2000 2 2000 +ε 2 2 1 1 +ε 1 1 Energia függvény: Eðv, hþ 0 j X izpixels jzfeatures j X i, j b i v i j v i h j w ij X b j h j Pretraining RBM Encoder Unrolling Fine-tuning Hinton & Salakhutdinov, 2006 Aktivációs függvény: Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 3

Deep Belief Networks - pretraining Energia függvény: Eðv, hþ 0 j X b i v i j X izpixels jzfeatures b j h j j X i, j v i h j w ij Aktivációs függvény: Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 4

Deep Belief Networks - pretraining Energia függvény: Eðv, hþ 0 j X b i v i j X izpixels jzfeatures b j h j j X i, j v i h j w ij Aktivációs függvény: Kontrasztív divergencia: Dw ij 0 e bv i h j À data jbv i h j À recon Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 4

Deep Belief Networks - pretraining Energia függvény: Eðv, hþ 0 j X b i v i j X izpixels jzfeatures b j h j j X i, j v i h j w ij Aktivációs függvény: Kontrasztív divergencia: Dw ij 0 e bv i h j À data jbv i h j À recon Konfabuláció: a kontrasztív divergencia második tagjában a látens súlyokat is frissíteni kell a konfabulált v -knek megfelelően Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 4

Deep Belief Networks - greedy learning 30 Rétegről rétegre végzem a tanulást Újabb réteg hozzáadásával a tréning adat likelihoodjának alsó korlátja növekszik (ha a látensek számát nem csökkentjük) Folytonos adat esetén a legalsó rétegben Normál eloszlású neuronokat lehet használni (egység variancia esetén a látens frissítése megegyezik a bináris esettel) 500 500 1000 1000 2000 2000 4 3 2 1 Top RBM RBM RBM Pretraining RBM Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 5

Deep Belief Networks - fine tuning Decoder 30 500 4 Top RBM 2000 T 1 2000 T 1 +ε 8 500 1000 1000 2000 3 2 RBM RBM 1000 500 500 1000 T 2 T 3 T 4 30 Code layer 4 3 1000 500 30 500 +ε +ε 1000 T 2 T 3 T 4 +ε +ε 4 4 +ε 7 6 5 3 3 2000 2000 2 2000 +ε 2 2 1 1 +ε 1 1 RBM Encoder Pretraining Unrolling Fine-tuning Az RBM előtréningezés jó kezdeti feltételeket ad további tréningezéshez Sztenderd back propagation algoritmussal tréningezhető innen a hálózat Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 6

Deep Belief Networks - tanulás Szintetikus adat: íves görbék Hálózat: (28x28)-400-200-100-50-25-6 Sorok: rekonstrukció tanulás után a 6 dimenziós DBN-nel; 6D szigmoid-pca; 18D szigmoid-pca, 18D sztenderd PCA Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 7

Deep Belief Networks - tanulás Szintetikus adat: íves görbék Hálózat: (28x28)-400-200-100-50-25-6 Sorok: rekonstrukció tanulás után a 6 dimenziós DBN-nel; 6D szigmoid-pca; 18D szigmoid-pca, 18D sztenderd PCA Természetes képek: arcok Hálózat: (25x25)-2000-1000- 500-30 Sorok: rekonstrukció tanulás után a 30D DBN-nel; rekonstrukció 30D PCA Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 7

Bayes inferencia Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 8

Bayes inferencia szituáció / környezet objektumok objektum elhelyezkedése méret, hely, helyzet, világítás objektum tulajdonságai élek, felületi mintázatok generatív modell inferencia/felismerés stimulus Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 8

Bayes inferencia szituáció / környezet objektumok objektum elhelyezkedése méret, hely, helyzet, világítás objektum tulajdonságai élek, felületi mintázatok generatív modell inferencia/felismerés Eddig arra koncentráltunk, hogy mi a legvalószínűbb aktivitás stimulus Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 8

Bayes inferencia szituáció / környezet objektumok objektum elhelyezkedése méret, hely, helyzet, világítás objektum tulajdonságai élek, felületi mintázatok generatív modell inferencia/felismerés Eddig arra koncentráltunk, hogy mi a legvalószínűbb aktivitás Ez a maximum a posteriori becslés (MAP) stimulus Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 8

Bayes inferencia Miért érdekes a poszterior eloszlás? Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 9

Bayes inferencia Miért érdekes a poszterior eloszlás? stimulus perception action Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 9

Bayes inferencia Miért érdekes a poszterior eloszlás? stimulus perception action inference Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 9

Bayes inferencia Miért érdekes a poszterior eloszlás? stimulus perception action inference decision making Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 9

Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 10

Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response orientation Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 10

Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response a neuronok azonban zajosak: az átlag körül az átlaggal arányos variabilitás van jelen orientation Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 10

Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response a neuronok azonban zajosak: az átlag körül az átlaggal arányos variabilitás van jelen orientation cél: orientáció becslése Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 10

Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response a neuronok azonban zajosak: az átlag körül az átlaggal arányos variabilitás van jelen orientation megfigyelt változók: cél: orientáció becslése Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 10

Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response a neuronok azonban zajosak: az átlag körül az átlaggal arányos variabilitás van jelen orientation cél: orientáció becslése megfigyelt változók: nem megfigyelt változó: Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 10

Bayes inferencia neuronhálózatokkal: PPC V1 orientáció-szelektív neuronok mean response a neuronok azonban zajosak: az átlag körül az átlaggal arányos variabilitás van jelen orientation cél: orientáció becslése megfigyelt változók: nem megfigyelt változó: Bayes: Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 10

Probabilistic Population Codes Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 11

Probabilistic Population Codes Neurális zaj varianciája arányos az átlagos aktivitással: Poisson zaj Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 11

Probabilistic Population Codes Neurális zaj varianciája arányos az átlagos aktivitással: Poisson zaj Likelihood alakja: Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 11

Probabilistic Population Codes Neurális zaj varianciája arányos az átlagos aktivitással: Poisson zaj Likelihood alakja: a Activity 25 20 15 10 5 g 0 0 45 90 135 b Preferred stimulus Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 11

Probabilistic Population Codes Neurális zaj varianciája arányos az átlagos aktivitással: Poisson zaj Likelihood alakja: a Activity 25 20 15 10 g Inferencia P(s r) 0.04 0.02 5 σ b 0 0 45 90 135 Preferred stimulus 0 0 45 90 135 Stimulus Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 11

Probabilistic Population Codes Neurális zaj varianciája arányos az átlagos aktivitással: Poisson zaj Likelihood alakja: a Activity 25 20 15 10 g Inferencia P(s r) 0.04 0.02 5 σ b 0 0 45 90 135 Preferred stimulus 0 0 45 90 135 Stimulus ha a stimulus-eloszlás Gauss, akkor az aktivitás-intenzítás arányos a precizióval Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 11

PPC: Multiszenzoros integráció C 1 C 2 Activity Activity 25 20 15 10 5 0 25 20 15 10 5 0 P(r 1 s) 0.04 0.02 0 0 135 S 0 45 90 135 Preferred stimulus 0 45 90 135 Preferred stimulus P(r 2 s) 0.04 0.02 g 1 g 2 1 0 0 135 S σ 2 = Kg 1 1 + 1 σ 2 = Kg 2 2 P(r 1 + r 2 s) Activity 25 20 15 10 5 0 0.04 0.02 45 90 135 Preferred stimulus 0 0 135 S 1 1 1 σ 2 = Kg 3 = K (g 1 + g 2 ) = + σ 2 3 g 3 = g 1 + g 2 1 σ 2 2 Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 12

PPC: Multiszenzoros integráció C 1 C 2 Activity Activity 25 20 15 10 5 0 25 20 15 10 5 0 P(r 1 s) 0.04 0.02 0 0 135 S 0 45 90 135 Preferred stimulus 0 45 90 135 Preferred stimulus P(r 2 s) 0.04 0.02 g 1 g 2 1 0 0 135 S σ 2 = Kg 1 1 + 1 σ 2 = Kg 2 2 P(r 1 + r 2 s) Activity 25 20 15 10 5 0 0.04 0.02 45 90 135 Preferred stimulus 0 0 135 S 1 1 1 σ 2 = Kg 3 = K (g 1 + g 2 ) = + σ 2 3 g 3 = g 1 + g 2 1 σ 2 2 pðsjc 1 ; c 2 Þ / pðc 1 jsþpðc 2 jsþpðsþ. prior is flat and the likelihood Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 12

PPC: Multiszenzoros integráció C 1 C 2 Activity Activity 25 20 15 10 5 0 25 20 15 10 5 0 P(r 1 s) 0.04 0.02 0 0 135 S 0 45 90 135 Preferred stimulus 0 45 90 135 Preferred stimulus P(r 2 s) 0.04 0.02 g 1 g 2 1 0 0 135 S σ 2 = Kg 1 1 + 1 σ 2 = Kg 2 2 P(r 1 + r 2 s) Activity 25 20 15 10 5 0 0.04 0.02 45 90 135 Preferred stimulus 0 0 135 S 1 1 1 σ 2 = Kg 3 = K (g 1 + g 2 ) = + σ 2 3 g 3 = g 1 + g 2 1 σ 2 2 pðsjc 1 ; c 2 Þ / pðc 1 jsþpðc 2 jsþpðsþ. prior is flat and the likelihood 1 s 2 3 ¼ 1 s 2 1 + 1 s 2 2 m 3 ¼ s2 2 s 2 1 +s2 2 m 1 + s2 1 s 2 1 +s2 2 m 2 Statisztikus tanulás az idegrendszerben http://golab.wigner.mta.hu 2013 tavasz 12

STATISTICALLY OPTIMAL INTERNAL MODELS? prior knowledge about the visual world percept visual stimulus 13

STATISTICALLY OPTIMAL INTERNAL MODELS? prior knowledge about the visual world y objects, features percept visual stimulus 13

STATISTICALLY OPTIMAL INTERNAL MODELS? P (y) prior knowledge about the visual world y objects, features percept visual stimulus 13

STATISTICALLY OPTIMAL INTERNAL MODELS? P (y) prior knowledge about the visual world y objects, features percept P (x y) x visual stimulus 13

STATISTICALLY OPTIMAL INTERNAL MODELS? P (y) prior knowledge about the visual world y objects, features y percept P (x y) x visual stimulus 13

STATISTICALLY OPTIMAL INTERNAL MODELS? prior knowledge about the visual world P (y) P (y) y objects, features P (x y) y percept P (x y) x visual stimulus 13

STATISTICALLY OPTIMAL INTERNAL MODELS? P (y) prior knowledge about the visual world P (y) P (y x) / P (x y)p (y) y objects, features P (x y) y percept P (x y) x visual stimulus 13

STATISTICALLY OPTIMAL INTERNAL MODELS? P (y) prior knowledge about the visual world P (y) P (y x) / P (x y)p (y) y objects, features P (x y) y percept P (x y) x visual stimulus HO DO E KNO IF AN INTERNAL MODEL IS OPTIMAL? P (y x) P (x) dx = P (y) 13

STATISTICALLY OPTIMAL INTERNAL MODELS? P (y) prior knowledge about the visual world P (y) P (y x) / P (x y)p (y) y objects, features P (x y) y percept P (x y) x visual stimulus HO DO E KNO IF AN INTERNAL MODEL IS OPTIMAL? average inferences prior expectations P (y x) P (x) dx = P (y) for natural Z stimulus ensemble P (x) = P (y)p (x y) dy 13

APPLICATION TO VISUAL CORTEX latent variables (visual cortex) y observed variables (retina) x y 1 y 2... y N x 1 x 2... x M parameters (synaptic efficacies, etc) P (y x) P (x) dx =P (y) 14

APPLICATION TO VISUAL CORTEX latent variables (visual cortex) y observed variables (retina) x y 1 y 2... y N x 1 x 2... x M parameters (synaptic efficacies, etc) P (y x) P (x) dx =P (y) evoked activity 14

APPLICATION TO VISUAL CORTEX latent variables (visual cortex) y observed variables (retina) x y 1 y 2... y N x 1 x 2... x M parameters (synaptic efficacies, etc) P (y x) P (x) dx =P (y) evoked activity spontaneous activity 14

APPLICATION TO VISUAL CORTEX latent variables (visual cortex) y observed variables (retina) x y 1 y 2... y N x 1 x 2... x M parameters (synaptic efficacies, etc) P (y x) P (x) dx =P (y) evoked activity stimulus ensemble spontaneous activity 14

APPLICATION TO VISUAL CORTEX latent variables (visual cortex) y observed variables (retina) x y 1 y 2... y N x 1 x 2... x M parameters (synaptic efficacies, etc) P (y x) P (x) dx =P (y)? evoked activity stimulus ensemble spontaneous activity 14

APPLICATION TO VISUAL CORTEX latent variables (visual cortex) y observed variables (retina) x y 1 y 2... y N x 1 x 2... x M parameters (synaptic efficacies, etc) KL divergence P (y x) P (x) dx =P (y)? evoked activity stimulus ensemble spontaneous activity 14

RECORDINGS 15

RECORDINGS awake behaving ferrets 15

RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) 15

RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) multi-unit recordings from layers 2/3 of V1 15

RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) multi-unit recordings from layers 2/3 of V1 16 electrodes with 200 µm spacing 15

RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) multi-unit recordings from layers 2/3 of V1 16 electrodes with 200 µm spacing conditions spontaneous darkness S(y) =P(y) 15

RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) multi-unit recordings from layers 2/3 of V1 16 electrodes with 200 µm spacing conditions spontaneous darkness S(y) =P(y) evoked natural image movies M(y) = P (y x) P movie (x) dx 15

RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) multi-unit recordings from layers 2/3 of V1 16 electrodes with 200 µm spacing conditions spontaneous darkness S(y) =P(y) evoked natural image movies M(y) = P (y x) P movie (x) dx dynamic block noise N(y) = P (y x) P noise (x) dx 15

RECORDINGS awake behaving ferrets aged P29 (eye opening) P151 (mature visual system) multi-unit recordings from layers 2/3 of V1 16 electrodes with 200 µm spacing conditions spontaneous darkness S(y) =P(y) evoked natural image movies M(y) = P (y x) P movie (x) dx dynamic block noise N(y) = P (y x) P noise (x) dx drifting full-field gratings G(y) = P (y x) P grating (x) dx 15

DATA ANALYSIS electrodes #16 #1 0 10 20 30 40 50 time (s) 16

DATA ANALYSIS electrodes #16 #1 0 10 20 30 40 50 time (s) electrodes discretisation and binarisation y 1 1 0 0 0 1 0 1 0 0 1 0 0 0 0 1 1 0 0 0 0 0 0 0 1 0 0 1 1 0 0 1 0 0 1 0 1 1 0 1 0 1 0 0 0 0 1 1 0 0 1 0 1 1 0 0 0 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 1 0 1 1 0 0 1 1 0 0 0 0 0 0 0 1 0 0 1 0 1 0 1 1 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 1 0 0 1 1 1 0 0 1 1 0 1 0 0 1 0 1 0 1 0 0 1 0 1 0 0 0 0 1 0 1 0 0 0 1 1 1 0 0 0 0 0 0 1 0 0 0 2 ms time 16

DATA ANALYSIS electrodes #16 #1 0 10 20 30 40 50 time (s) discretisation and binarisation y P(y) collecting histograms electrodes 1 1 0 0 0 1 0 1 0 0 1 0 0 0 0 1 1 0 0 0 0 0 0 0 1 0 0 1 1 0 0 1 0 0 1 0 1 1 0 1 0 1 0 0 0 0 1 1 0 0 1 0 1 1 0 0 0 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 1 0 1 1 0 0 1 1 0 0 0 0 0 0 0 1 0 0 1 0 1 0 1 1 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 1 0 0 1 1 1 0 0 1 1 0 1 0 0 1 0 1 0 1 0 0 1 0 1 0 0 0 0 1 0 1 0 0 0 1 1 1 0 0 0 0 0 0 1 0 0 0 2 ms time 0000000000000000 0000000000000001 0000000000000010 0000000000000011 1111111111111111 y 16

DATA ANALYSIS electrodes #16 #1 0 10 20 30 40 50 time (s) discretisation and binarisation y P(y) collecting histograms electrodes 1 1 0 0 0 1 0 1 0 0 1 0 0 0 0 1 1 0 0 0 0 0 0 0 1 0 0 1 1 0 0 1 0 0 1 0 1 1 0 1 0 1 0 0 0 0 1 1 0 0 1 0 1 1 0 0 0 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 1 0 1 1 0 0 1 1 0 0 0 0 0 0 0 1 0 0 1 0 1 0 1 1 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 1 0 0 1 1 1 0 0 1 1 0 1 0 0 1 0 1 0 1 0 0 1 0 1 0 0 0 0 1 0 1 0 0 0 1 1 1 0 0 0 0 0 0 1 0 0 0 2 ms time 0000000000000000 0000000000000001 0000000000000010 0000000000000011 1111111111111111 implicit marginalisation rather than explicitly computing P evoked (y) = P (y x) P stim (x) dx y we collect evoked activity under each condition without regard to the actual ongoing stimulus 16

DATA ANALYSIS electrodes #16 #1 0 10 20 30 40 50 time (s) discretisation and binarisation y P(y) collecting histograms comparing histograms electrodes 1 1 0 0 0 1 0 1 0 0 1 0 0 0 0 1 1 0 0 0 0 0 0 0 1 0 0 1 1 0 0 1 0 0 1 0 1 1 0 1 0 1 0 0 0 0 1 1 0 0 1 0 1 1 0 0 0 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 1 0 1 1 0 0 1 1 0 0 0 0 0 0 0 1 0 0 1 0 1 0 1 1 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 1 0 0 1 1 1 0 0 1 1 0 1 0 0 1 0 1 0 1 0 0 1 0 1 0 0 0 0 1 0 1 0 0 0 1 1 1 0 0 0 0 0 0 1 0 0 0 2 ms time 0000000000000000 0000000000000001 0000000000000010 0000000000000011 1111111111111111 implicit marginalisation rather than explicitly computing y KL[P 1 (y) P 2 (y)] P evoked (y) = P (y x) P stim (x) dx we collect evoked activity under each condition without regard to the actual ongoing stimulus 16

DEVELOPMENTAL CHANGES P29 S(y) 17

DEVELOPMENTAL CHANGES P29 P129 S(y) S(y) M(y) 17

DEVELOPMENTAL CHANGES P29 M S(y) *$$ S )$$ + &$$ ρ=-0.70, p<0.005 P129 :;36<=/.>.5?9 %$$ #$$!$$ ++ S(y) ($$ $!"!#$ %%!%& '#!"! (!"!(&(,-./01/12314536718.9 M(y) 17

SPATIAL CORRELATIONS destroying spatial dependencies: P(y) = 16 i=1 P(y i ) 18

SPATIAL CORRELATIONS destroying spatial dependencies: P(y) = 16 i=1 P(y i ) within-condition correlations M M S S 9:25;<.-=-4>8 (!$$ ($$$ '$$ )$$ %$$!$$ * ** * * * ** ** ρ = 0.73 p < 0.005 ρ = -0.76 p < 0.005 $!"!#$ %%!%& '#!"! (!"!(&( +,-./0.01203425607-8 18

SPATIAL CORRELATIONS destroying spatial dependencies: P(y) = 16 i=1 P(y i ) within-condition correlations importance of correlations for match between conditions M M M S M S S S 9:25;<.-=-4>8 (!$$ ($$$ '$$ )$$ %$$!$$ * ** * * * ** ** ρ = 0.73 p < 0.005 ρ = -0.76 p < 0.005 9:25;<.-=-4>8 (!$$ ($$$ '$$ )$$ %$$!$$ * * ** ρ = 0.34 p > 0.2 ρ = -0.70 p < 0.005 $!"!#$ %%!%& '#!"! (!"!(&( +,-./0.01203425607-8 $!"!#$ %%!%& '#!"! (!"!(&( +,-./0.01203425607-8 18

TEMPORAL CORRELATIONS state-transition distributions: P(y t+ y t ) 19

TEMPORAL CORRELATIONS state-transition distributions: P(y t+ y t ) control: P(y t+ y t )=P(y) 19

TEMPORAL CORRELATIONS state-transition distributions: control: P(y t+ y t ) P(y t+ y t )=P(y) M M S S %&$ τ = 2 msec 8914:;-,<,3=7 %$$ #&$ #$$!&$!$$ (&$ )) ) )) ρ = 0.03 p > 0.9 ($$ &$ ρ = -0.72 p < 0.005 $!"!#$ %%!%& '#!"! (!"!(&( *+,-./-/01/23145/6,7 19

TEMPORAL CORRELATIONS state-transition distributions: control: P(y t+ y t ) P(y t+ y t )=P(y) M M S M M S S S %&$ τ = 2 msec 350 P129-151 8914:;-,<,3=7 %$$ #&$ #$$!&$!$$ (&$ ($$ &$ )) ) )) ρ = 0.03 p > 0.9 ρ = -0.72 p < 0.005 KL (bits/sec) 300 250 200 150 100 50 $!"!#$ %%!%& '#!"! (!"!(&( *+,-./-/01/23145/6,7 0 2 4 6 810 20 40 100 1000! (msec) 19

NON-NATURAL STIMULUS ENSEMBLES 20

NON-NATURAL STIMULUS ENSEMBLES N M G S *$$ )$$ :;36<=/.>.5?9 &$$ %$$ #$$!$$ ($$ ++ + $!"!#$ %%!%& '#!"! (!"!(&(,-./01/12314536718.9 20

NON-NATURAL STIMULUS ENSEMBLES N M G P29-30 S 0.2 :;36<=/.>.5?9 *$$ )$$ &$$ %$$ #$$!$$ ($$ ++ + MDS dim 2 (a.u.) 0 0.2 spont act. gratings evoked movie evoked noise evoked $!"!#$ %%!%& '#!"! (!"!(&(,-./01/12314536718.9 0.4 0.5 0.4 0.3 0.2 0.1 0 0.1 MDS dim 1 (a.u.) 20