Az idegrendszeri memória modelljei

Átírás

1 Az idegrendszeri memória modelljei

2 A memória típusai Rövidtávú Working memory - az aktuális feladat Vizuális, auditórikus,... Prefrontális cortex, szenzorikus területek Kapacitás: minta Hosszútávú Epizodikus, szemantikus Technikailag: asszociatív Temporális lebeny, hippokampusz Interakció a rendszerek között

3 H. M. Súlyos epilepsziája volt, amit a hippokampusz egy részének eltávolításával orvosoltak 1953-ban. Ettől kezdve elvesztette az epizodikus memóriaformáció képességét a korábbi emlékei megmaradtak. A rövidtávú memóriája ép maradt, valamint a motoros tanulási képessége is. Megtanult pl. tükörben rajzolni. A térbeli memóriája erősen sérült. Bizonyítékot szolgáltatott a különböző memóriarendszerek létezésére.

4 Munkamemória modelljei Rekurrens hálózati modellek, serkentő-gátló populációkkal Perzisztens aktivitás A kódoló populáció a jel beírása után magasabb rátával tüzel Előfeszített állapot A sejtek a beíráskor facilitált állapotba kerülnek, a kiolvasáskor szinkron tüzelés valósul meg Oszcillációs modell (később) Disztrakció: kis zavaró jelet ignorálni szeretnénk, nagyra viszont elromlik a memória

5 Perzisztens aktivitás A majom prefrontális kérgében egyes sejtek megnövekedett aktivitást mutatnak bizonos stimulusok után a késleltetési szakaszban, ami meghatározza az adott választ is.

6 Szinaptikus modell Szinaptikus facilitáció és depresszió dinamikája integrate and fire neuronokban u j t = U u t j F x j t = 1 x j t D U [1 u j t ] k u j t x j t k t t k j t t k j Fixpont vagy oszcillációs dinamika m V i = V i I i rec t I i ext t I i rec t = j j J ij t t t k D ij k J ij t =J ij u j t D ij x j t D ij Több elem tárolása

7 Heteroasszociatív pl. hely-objektum Autoasszociatív Asszociatív memória Töredékes jelből az eredetit Különbség a számítógép memóriája és az AM között: címzés módja Kapacitás: hány mintát tudunk eltárolni úgy, hogy azok visszahívhatók legyenek (többféle definíció) Stabilitás: minden mintára a legközelebbi tárolt mintát szeretnénk visszakapni

8 Attraktorhálózatok Attraktorok típusai Pont Periodikus Kaotikus Vonzási tartományok Realizáció: rekurrens neurális hálózatok Attraktorok tárolása: szinaptikus súlyokon Offline tanulás Online tanulás One-shot learning Előhívás: konvergencia tetszőleges pontból egy fix pontba

9 Hopfield-hálózat Asszociatív memória Bináris MCP-neuronok Minták tárolása: bináris vektorok Szimmetrikus súlymátrix Dale's law: egy sejt nem lehet egyszerre serkentő és gátló ezt most megsértjük Rekurrens (dominánsan) hálózatok az agyban: hippokampusz CA3 régió,... Offline learning tanulandó minták: {s 1 s N } W ij = 1 N n N si n s j n Hebbi szabály Léptetési szabályok: szinkron és szekvenciális x t 1 =sgn W x t x k t 1 =sgn i K W ik x i t k

10 A HN dinamikája Nemlineáris rendszerek stabilitás-analízise: Lyapunov-függvény segítségével definiáljuk az állapotokhoz rendelhető energiát. Ha a függvény: Korlátos Belátható, hogy a léptetési dinamika mindig csökkenti (növeli) Akkor a rendszer minden bemenetre stabil fix pontba konvergál. Hopfield-hálózat Lyapunov-függvénye: E = 1 2 xt W x x Attraktorok az eltárolt mintáknál, de más helyeken is A HN használható kvadratikus alakra hozható problémák optimalizációjára is

11 A HN kapacitása Információelméleti kapacitás A tárolandó mintákat tekintsük Bernoulli-eloszlású változók halmazának P s i n =1 =P s i n =0 =0.5 Követeljük meg az egy valószínűségű konvergenciát lim n P s a =sgn Ws a =1 a=1 M Ekkor (sok közelítő lépéssel) megmutatható, hogy M N 2 log 2 N Összehasonlítás a CA3-mal Kb sejt, kb minta tárolható Más becslések figyelembevéve a minták ritkaságát P s i n =1 = M N 1 log 2 1

12 Reprezentációs tanulás Valószínűségi leírás 3féle dolgot tanulhatunk: csak predikció, kimenetek valószínűsége, underlying rejtett változók/dinamika Explicit rejtett változós modellek Implicit rejtett változós modellek Modellösszehasonlítás Becslési algoritmusok: EM

13 Boltzmann-gép Eloszlások reprezentációja mennyiségek közti statisztikai összefüggések Sztochasztikus állapotátmenet I=Wu Mv P v a t 1 =1 = 1 1 e I a A hálózat határeloszlása Energia: E v = v T Wu 1 2 vt Mv Boltzmann-eloszlás: P v = e E v v e E v

14 Tanulás Boltzmann-géppel Felügyelt tanulás, csak W-re, M analóg Hiba: Kullback-Leibler-divergencia a közelítendő és a megvalósított eloszlás között nem függ W-től D KL [ P v u, P v u, W ]= v P v u ln P v u P v u, W a P v u -val súlyozott kimeneti összegzés helyett bemeneteke vett átlag: D KL = 1 N s ln P v m u m, W K Gradient descent egyetlen bemenetre ln P v m u m, W =v m W i u m j v P v u m m, W v i u j ij a Boltzmann-eloszlásból Delta-szabály az összes lehetséges kimenetre való átlagot az aktuális értékkel közelítjük Két fázis: hebbi anti-hebbi Nem felügyelt W ij W ij w v i m u j m v i u m u j m D KL [ P u, P u, W ]

15 Tanulás Boltzmann-géppel Felügyelt tanulás, csak W-re, M analóg Hiba: Kullback-Leibler-divergencia a közelítendő és a megvalósított eloszlás között nem függ W-től D KL [ P v u, P v u, W ]= v P v u ln P v u P v u, W a P v u -val súlyozott kimeneti összegzés helyett bemeneteke vett átlag: D KL = 1 N s ln P v m u m, W K Gradient descent egyetlen bemenetre ln P v m u m, W =v m W i u m j v P v u m m, W v i u j ij a Boltzmann-eloszlásból Delta-szabály az összes lehetséges kimenetre való átlagot az aktuális értékkel közelítjük Két fázis: hebbi anti-hebbi Nem felügyelt W ij W ij w v i m u j m v i u m u j m D KL [ P u, P u, W ]

16 Tanulás Boltzmann-géppel Felügyelt tanulás, csak W-re, M analóg Hiba: Kullback-Leibler-divergencia a közelítendő és a megvalósított eloszlás között nem függ W-től D KL [ P v u, P v u, W ]= v P v u ln P v u P v u, W a P v u -val súlyozott kimeneti összegzés helyett bemeneteke vett átlag: D KL = 1 N s ln P v m u m, W K Gradient descent egyetlen bemenetre ln P v m u m, W =v m W i u m j v P v u m m, W v i u j ij a Boltzmann-eloszlásból Delta-szabály az összes lehetséges kimenetre való átlagot az aktuális értékkel közelítjük Két fázis: hebbi anti-hebbi Nem felügyelt W ij W ij w v i m u j m v i u m u j m D KL [ P u, P u, W ]

17 Tanulás Boltzmann-géppel Felügyelt tanulás, csak W-re, M analóg Hiba: Kullback-Leibler-divergencia a közelítendő és a megvalósított eloszlás között nem függ W-től D KL [ P v u, P v u, W ]= v P v u ln P v u P v u, W a P v u -val súlyozott kimeneti összegzés helyett bemeneteke vett átlag: D KL = 1 N s ln P v m u m, W K Gradient descent egyetlen bemenetre ln P v m u m, W =v m W i u m j v P v u m m, W v i u j ij a Boltzmann-eloszlásból Delta-szabály az összes lehetséges kimenetre való átlagot az aktuális értékkel közelítjük W ij W ij w v i m u j m v i u m u j m Két fázis: hebbi anti-hebbi

18 Tanulás Boltzmann-géppel Felügyelt tanulás, csak W-re, M analóg Hiba: Kullback-Leibler-divergencia a közelítendő és a megvalósított eloszlás között nem függ W-től D KL [ P v u, P v u, W ]= v P v u ln P v u P v u, W a P v u -val súlyozott kimeneti összegzés helyett bemeneteke vett átlag: D KL = 1 N s ln P v m u m, W K Gradient descent egyetlen bemenetre ln P v m u m, W =v m W i u m j v P v u m m, W v i u j ij a Boltzmann-eloszlásból Delta-szabály az összes lehetséges kimenetre való átlagot az aktuális értékkel közelítjük Két fázis: hebbi anti-hebbi Nem felügyelt W ij W ij w v i m u j m v i u m u j m D KL [ P u, P u, W ]

19 Rejtett változós modellek ẋ= f ( x, u, θ u )+ϵ ϵ=ρ(0, Σ ϵ ) y= g( x, θ x )+ν ν=ρ (0, Σ ν ) posterior likelihood p y, M = p y, M p M p y M prior Evidence (marginal likelihood) Predictive distribution: p( y' θ, y, M )

20 Iteratív tanulás További olvasnivaló: C. M. Bishop: Pattern Recognition and Machine Learning Zoubin Ghahramani: Unsupervised Learning

21 Bayesian Brain Az agy megvalósítja a Bayesiánus posterior becslését A prior az előző megfigyelésekből képzett posterior A posterior minden megfigyelés után priorrá válik Ha nincs input, a priort mintavételezzük Mérésekkel igazolható állatok különböző fejlődési szakaszaiban

22 Bayesian brain Máté Lengyel, Gergő Orbán, József Fiser, Pietro Berkes