Probabilisztikus modellek V: Struktúra tanulás Nagy Dávid Statisztikai tanulás az idegrendszerben, 2015
volt szó a normatív megközelítésről ezen belül a probabilisztikus modellekről láttatok példákat az alkalmazásukról, főleg a percepció (azon belül a látás) kapcsán, ami épít a környezet modelljére most azzal foglalkozunk részletesebben mikor a környezet modelljét is meg kell tanulni
ha ez lenne a környezet állapota, f akkor mit figyelnék meg?
M ha így működne a környezet, g és ez lenne a környezet állapota, f akkor mit figyelnék meg?
tanuld meg felismerni a környezetedben levő tárgyakat tanulj meg olvasni hallás után tanulj meg egy nyelvet tanulj meg fejben összeadni számokat sakkjátszmák megfigyeléséből próbáld meg kitalálni a sakk szabályait tanulj meg zongorázni tanulj meg zenét írni
fogalmazzuk meg a problémát matematikai formában Formal Learning Theory Computational Algorithmic Statistical
mi a következő szimbólum? a kimenetek alapján próbáld meg kitalálni a program kódját foglald össze a megfigyeléseket röviden keresd meg azt az alteret ahol a megfigyelések lehetnek találd meg a kimeneteket generáló valószínűségi eloszlást
mi a következő szimbólum? a kimenetek alapján próbáld meg kitalálni a program kódját foglald össze a megfigyeléseket röviden keresd meg azt az alteret ahol a megfigyelések lehetnek találd meg a kimeneteket generáló valószínűségi eloszlást
1 3 7 11?
adj 4-et az előző számhoz 1 3 7 11 15 19
1 3 7 11-19.9 1043.8 értékeld ki a x 3 11 + 9 11 x2 + 23 11 képletet az előző számnál
15 19 1 3 7 11-19.9 1043.8
mi a következő szimbólum? a kimenetek alapján próbáld meg kitalálni a program kódját foglald össze a megfigyeléseket röviden keresd meg azt az alteret ahol a megfigyelések lehetnek találd meg a kimeneteket generáló valószínűségi eloszlást
1 3 7 11 x 3 11 + 9 11 x2 + 23 11
1 3 7 11
(Curry-Howard) tétel a kiszámítását meg lehet adni képlettel programot lehet rá írni
tétel (kiszámítható) valószínűségi eloszlások halmaza (kiszámítható) programok halmaza
mi a következő szimbólum? a kimenetek alapján próbáld meg kitalálni a program kódját foglald össze a megfigyeléseket röviden keresd meg azt az alteret ahol a megfigyelések lehetnek találd meg a kimeneteket generáló valószínűségi eloszlást
10101001101001101000010001001 01111101001001101001000010110 00111010110100110110000011011 11011010010101011101000110001 00001100100000001010010110011 10010001000100110011100010110 01001011011010110110001000110 00101100010001111011011100000 10110110011100101100010000001 11100111100010100101001010011 11111111110011010011011111011 01111111110111000100111011011 01110111000101001010100110001 00001010000000001010110000000 00110101001011010011001011000 00000000110010101010101001100 11000110001100011010011111000 10010010011000110111110000111 10100100000011100011110010010 11101100110111001100100111100 11110100001010000011000010111 10011001101101100001000010000
10101001101001101000010001001 01111101001001101001000010110 00111010110100110110000011011 11011010010101011101000110001 00001100100000001010010110011 10010001000100110011100010110 01001011011010110110001000110 00101100010001111011011100000 10110110011100101100010000001 11100111100010100101001010011 11111111110011010011011111011 01111111110111000100111011011 01110111000101001010100110001 00001010000000001010110000000 00110101001011010011001011000 00000000110010101010101001100 11000110001100011010011111000 10010010011000110111110000111 10100100000011100011110010010 11101100110111001100100111100 11110100001010000011000010111 10011001101101100001000010000 c 110101101110
összes lehetséges bemenet 00000000000 00000000001 00000000011 00001001101 11111111111
c 00000000000 00000000001 00000000011 00 001 010 00001001101 101010 11111111111 111111111 1111111111
L(x) 00 001 010 101010 111111111 1111111111 00000000000 00000000001 00000000011 00001001101 11111111111 x
L(x) különböző skála! P(x) 00000000000 00000000001 00000000011 00001001101 11111111111 x
Kraft egyenlőtlenség valószínűségi eloszlások lehetséges kódok (nyelvek) találj a világot jól leíró modellt találj nyelvet amin a tapasztalatok röviden leírhatóak
de mi a helyzet ha nincsenek gyakoriságok (nem véletlen a forrás)? akkor is lehet beszélni tömöríthetőségről, de a tömörítő algoritmus hosszát is figyelembe kell venni
c 00000000000 00000000001 00000000011 00 001 010 00001001101 101010 11111111111 111111111 1111111111
egy szimbólumsorozat Kolmogorov komplexitása a sorozatot előállító legrövidebb program hossza 10101010101010101 c 01010101010101010 print "01" * 25 1010101010101010 Kpython (1010..10) = 13
xkcd.com
x -K(x) a szimbólumsorozat tömöríthetősége Jól tömöríthető stringek 1010101010101 10101010101010101010 1010 10 - K(1010 10) = 50-13 = 37 314159265358979323846264338327 (valószínűleg) rosszul tömöríthető stringek 97525725664912395333 65518543665389239742
preferáljuk azt a modellt ami nagyobb tömörítéshez vezet Minimum Desciption Length principle ekvivalens a probabilisztikus tanulással
mi a következő szimbólum? a kimenetek alapján próbáld meg kitalálni a program kódját foglald össze a megfigyeléseket röviden keresd meg azt az alteret ahol a megfigyelések lehetnek találd meg a kimeneteket generáló valószínűségi eloszlást
y t=0 x
y t=6 x
y t=30 x
y t=500 x
Im(z) Re(z)
Im(z) Re(z)
predikció???
tömörítés c
mi a következő szimbólum? a kimenetek alapján próbáld meg kitalálni a program kódját foglald össze a megfigyeléseket röviden keresd meg azt az alteret ahol a megfigyelések lehetnek találd meg a kimeneteket generáló valószínűségi eloszlást
15 19 1 3 7 11-19.9 1043.8 x 3 11 + 9 11 x2 + 23 11
hány dobozt takar ki a fa?
Epicurus's principle of multiple explanations Ha több elmélet is tudja magyarázni a jelenségeket, tartsuk meg mindet.
Occam s razor Ha több elmélet is tudja magyarázni a jelenségeket, preferáljuk az egyszerűbbeket.
Bayes-i model szelekció
ha ez lenne a környezet állapota, akkor mit figyelnék meg?
w ha ez lenne a környezet állapota, D akkor mit figyelnék meg?
M ha így működne a környezet, 2. szint modell szelekció w és ez lenne a környezet állapota, 1. szint paraméterbecslés D akkor mit figyelnék meg?
M 2. szint modell szelekció w 1. szint paraméterbecslés D
M 2. szint modell szelekció w 1. szint paraméterbecslés D
M 2. szint modell szelekció } w 1. szint paraméterbecslés D
M 2. szint modell szelekció } w 1. szint paraméterbecslés D
automatic Occam s razor
model likelihood
model likelihood mi a valószínűsége a megfigyelt adathalmaznak, ha véletlenszerűen választjuk a paramétereket?
model likelihood ha túl egyszerű a modell akkor kicsi valószínűséggel fogja az adatot generálni ha túl bonyolult akkor lehet finomhangolni, de átlagolni kell a lehetséges paraméterbeállítások felett
model likelihood pm post pm prior
tipikus adathalmazok konkrét adathalmaz
komputációs kísérlet
M modell paraméterek x megfigyelt állapotváltozó
M modell paraméterek y rejtett állapotváltozó x megfigyelt állapotváltozó
F modell forma S modell struktúra paraméterek y rejtett állapotváltozó x megfigyelt állapotváltozó
F modell forma S modell struktúra y x megfigyelt állapotváltozó
F S x
emberkísérlet
C1 C2
házi feladatokat még lehet beadni a szorgalmi időszak végéig (május 15) 8 előadáshoz vannak feladatok különböző pontokat érnek, ezek fent lesznek a honlapon (1-3 / feladat) a jutalom a pontokkal arányos a vizsgán, a maximum pont 5-ös vizsgával egyenértékű
a vizsgaidőpontok és helyek látszanak? aki nem ELTE-s és különleges igénye van az írjon emailt Misinek őszi kurzus, általánosabb idegrendszeri modellezés: http://cneuro.rmki.kfki.hu/education/neuromodel a journal clubjaink nyilvánosak és egyéb események: http://golab.wigner.mta.hu/events/