Mesterséges neurális hálóztok II. - A felügyelt tnítás prméterei, gyorsító megoldási - Versengéses tnulás Tudáskezelés fuzzy logikávl http:/uni-obud.hu/users/kutor/ IRE 7/50/1 2012. ősz Óbudi Egyetem, NIK, Dr. Kutor László A neurális hálóztok áltlános jellemzői 1. A neurális hálóztok ngyon egyszerű processzorokból, z un. neuronokból épülnek fel. A processzorok változtthtó súlytényezőjű összeköttetések hálóztán át kommunikálnk egymássl. 2. A neurális hálóztokt nem progrmozzuk, hnem tnítjuk. 3. A tárolt információk hálóztbn elosztottn, súlytényezők közvetítésével ábrázolódnk. 4. A neurális hálóztok hibtűrők. Az elosztott párhuzmos tudásreprezentáció mitt súlytényezők egy részének jelentős megváltozás sem befolyásolj lpvetően hálózt működését. 5. A hálózt működését három fő tényező htározz meg: processzorok átviteli függvénye, hálózt összeköttetési sémáj és tnítási módszer IRE 7/50/2 2012. ősz Óbudi Egyetem, NIK, Dr. Kutor László Mikor célszerű neurális hálóztokt lklmzni? A megoldndó problémávl kpcsoltbn gzdg dthlmz áll rendelkezésre A megoldáshoz szükséges szbályok ismeretlenek A rendelkezésre álló dthlmz nem teljes, hibás dtokt is trtlmzht Sok összefüggő bemenő dt-, összefüggő kimeneti prméter áll rendelkezésre IRE 7/50/3 2012. ősz Óbudi Egyetem, NIK, Dr. Kutor László Neurális hálóztok lklmzásánk menete A tnító dtok összeállítás. Feldtspecifikus neurális hálózt (prdigm) kiválsztás. A hálózt jellemzőinek ( processzorok átviteli függvényének, processzorok számánk, tnítási módszereknek és prmétereknek, vlmint kezdeti súlymátrix értékeinek) kiválsztás. Teljesítmény mérő módszer kiválsztás Tnítás és tesztelés, míg hálózt kívánt viselkedést nem muttj. 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/4 A neurális hálóztok legfontosbb meghtározó tényezői Két (tníthtó) rétegű előrecstolt hálózt 1. A neuronok (processzorok) (neuron, rtificil neuron, node, unit, cell) 2. A hálózti topológi ( mit mivel kötünk össze, (súlytényező mátrix) 3. A tnító szbályokt lklmzó lgoritmus ( súlytényezők beállítás, hngolás ) Bemenetek bemeneti réteg rejtett réteg súlytényező kimeneti réteg Kimenetek 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/5 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/6
Többrétegű neurális hálóztok tnítás (D.E Rummelhrt, G.E. Hinton, R.J.Willims, 1986) (Dvid Prker, Ynn Le Cun) + Hálózt topológi i N H Processzor: Oi Sj f(s) j j M k O i O j O k T k i j k O j S w O Oj =f(s)= 1/(1+e -S ) j i 1 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/7 N ji i A súlytényezők változását leíró egyenletek Súlytényező változttás kimeneti rétegben W kj (t+1) = W kj (t) + αδ k Oj α= tnulási együtthtó Wkj(t+1) = Wkj(t) + αδkoj + βδk(t-1) W kj (t) + α*(t k -O k )*f(s k )*(1-f(S k ))*O j Súlytényező változttás rejtett rétegben Δj M W ji (t) + α* (Δk*Wkj)*f(S j )*(1-f(S j ))*O i k=1 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/8 Δk β=momentum ( lendület ) Algoritmus gyorsító megoldások A tnító dtok szerkezete 1. Momentum 2. Csökkenő hibhtár ( descending epsilon ) módszere 3. Kis súlytényezők kiszűrése ( Metszés ) 4. Inkrementális hálózt építés kszkád korreláció n NH m c 1 c m Benenő dtok Elvárt kimenő dtok célértékek Bemenetek 1-n C 1 C m 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/9 Tnító minták 1-k Teszt dtok 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/10 Lépésről-lépésre épülő hálózt Kettős spirál tnulás KK lgoritmussl 2. Kszkád korreláció (KK) Scott E. Fhlmn Christin Lebierre 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/11 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/12
Kettős spirál tnulás KK lgoritmussl 2. Versengéses (competitive) tnulás I 1 Processzor I i Crpenter, Grossberg 1988 S j O j = f (S j ) 1 f (S j ) f I N S j = I i * w ji S j Topológi: egy rétegű előrecstolt, teljesen összekötött Megkötések: 1.) w ji = 1 2.) Súly értékek: 0<Wj<1 3.) A bemenő vektor bináris 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/13 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/14 A versengéses tnító lgoritmus (Grossberg) Mottó: A győztes visz mindent 1. Kezdeti súlytényezők beállítás (inicilizálás, véletlenszerű) 0<Wj<1 2. A tnítómint i-ik értéke (vektor) lpján, processzorok kimeneti S j = O i * w ji, O j = f (S j ) értékeinek kiszámítás. 3. A legngyobb kimeneti értékű processzor kiválsztás. A győztes visz mindent elv lpján, győztes kimeneti értéket 1-re, z összes többi kimeneti értéket 0-r változttjuk 3. A győztes elem súlytényezőit megváltozttjuk (csk zokt!) Δ W ji (t+1) = W ji (t) + Δ w ji, Δw ji = α (O i /m-w ji (t)) hol α = tnulási együtthtó, 0 < α << 1 (tipikusn 0.01-0.3) m = z ktív bemenetek szám 5. A 2. 3. 4. pont ismétlése míg kimenetek két egymást követő tnítási ciklus során nem változnk. 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/15 Versengéses tnulás folymt 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/16 Versengés oldlirányú gátlássl Kohonen fonetikus írógépe (Teuvo Kohonen, 1982) 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/17 Jellemzői: 5.4 KHz luláteresztő szűrő, 12 bit A/D, 13.03 KHz mintvétel, 256 pontos Fourier trnszformáció (FFT) Fonémák kézi zonosítás tnításhoz, Szbály lpú következtetés (15-20 ezer szbály) TMS 32010 digitális processzor Közel folymtos beszéd feldolgozás 92-97%- os pontosság 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/18
A Kohonen hálózt processzor és topológiáj Processzor: S j f (S 1 j ) O j = f (S j ) f S j = I i * w ji + társ processzorok ktivációj 1 S j Hálózt topológi: egy rétegű, teljesen összekötött, előrecstolt 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/19 A Kohonen tnító lgoritmus 1.) Kezdeti súlytényezők beállítás Kezdeti környezet beállítás 2.) A bemeneti vektor (tnító mint) j rákpcsolás bemenetekre 3.) Minden processzor elemnél bemenő vektor és súlyvektor egyezésének (távolságánk) kiszámítás d j = I-W j = (I i -W ji ) 2 hol N = bemeneti vektor elemeinek szám I i = bemeneti vektor (I) i-ik elemének értéke W ji = j ik processzor elemhez trtozó, z i-ik bemenettől érkező összeköttetés súlytényezője 4.) A legkisebb eltérést muttó processzor kiválsztás (pl. j) 5.) A kiválsztott elem (j) környezetében (N j ) súlytényezők módosítás 6.) A 2., 3., 4., 5.-ik lépés ismétlése míg kimenetek nem változnk 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/20 A súlytényező megváltozttás Kohonen tnuló lgoritmusbn W ji (t+1) = W ji (t) + ΔW ji (t) Ahol ΔW ji (t) = α (I i W ji ) α (t) = α (0)(1 t/t), t = z dott tnulási iteráció szám T= teljes tnulási ciklusok szám A tnulás során módosított környezet ngyság csökken! N j (t) = N(0)(1-t/T) Az önszerveződés folymt Kohonen hálóztbn A véletlenszerűen beállított súlytényezők tnulás során egyre inkább felveszik tnítómint sttisztiki eloszlását. 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/21 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/22 Példák 3D-s tárgyk leképezésére 2D-be Bemenetek szám: 3 Kimenetek szám: 20 Tnítómint: 1000 Tnítási ciklus: 15-30 Tudáskezelés fuzzy logikávl, lágy számítási modellek kpcsolti http://nik.uni-obud.hu/mobil 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/23 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/24
Pontosság ponttlnság? Bizonyosság - bizonytlnság A pontosság (önmgábn) nem Henri Mtisse A képzett elme jellemzője, hogy dolgok természetéhez igzodó pontosságot vár el, és nem keres pontosságot, hol z csk megközelítően lehetséges Arisztotelész Ameddig mtemtik törvényei vlóságr vontkoznk, ddig nem biztosk. Amint biztosk kkor nem vlóságr vontkoznk Albert Einstein 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/25 Fuzzy (fzi) logikár épülő rendszerek Lotfi Zdeh (1965, Berkeley) fuzzy (ngol) = életlen, homályos, nem tiszt,. árnylt. Ellentéte: crisp (ngol) = éles, tiszt., hgyományosn kétértékű (igz-hmis) Fuzzy hlmzok I H A = (10, 01), (40, 02), (60, 03), (80, 04), (100,05), (120, 06), (140, 07), (160, 08), (180, 09), (200,1) Igzság(gyors) Változó(sebesség) A nyugti tudománybn erősen kritizált Ázsiábn mrketing tényező, htékonyság, hightech jelzője 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/26 Lotfi Zdeh z OE díszdoktor (2011.nov.) 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/27 Tudáskezelés logikávl Logik: bölcselés tudomány, helyes gondolkodás művészetének tn Következtetés: burkolt ismeret kihámozás meglévő ismereteinkből Úttörői: Arisztotelész (2000 évig tökéletesnek hitték) Leibniz (1646-1716): logik mtemtizálás G. Boole (1815-1864): lgebri rendszer kidolgozój A gondolkodás törvényei A logik mtemtiki elemzése Továbbfejlesztői: A. De Morgn (1806-1925) W. S. Jevons (1835-1882) C. S. Peirce (1839-1914) XX. Százdbn: G. Ferge, G. Peno, B. Russel 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/28 A logikák osztályozás Klsszikus (Arisztotelészi) Szimbolikus (formális) Nem klsszikus (szimbolikus) Ítélet klkulus Predikátum klkulus Modális Temporális (idői) Többértékű Intuicionist Vlószínűségi Fuzzy 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/29 Lágy számítási modellek Fuzzy foglom eredeti értelme: életlen, homályos A fuzzy foglomhoz kpcsolhtó szinonimák: éles homályos (crisp fuzzy) tiszt zűrös A logikár (gondolkodásr) értve pejortív!!! kemény lágy A fuzzy (hlmzokr épülő) rendszerek lágy számítási modellek közé trtoznk, melyek biológii információ feldolgozást tekintik kiindulásnk. Területei: 1. neurális hálóztok, 2. fuzzy rendszerek, 3. genetikus lgoritmusok 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/30
A Fuzzy logik lényege és lklmzásánk lpfeltevései A mtemtik, számítástudomány és villmosmérnöki tudományok htárán helyezkedik el. A rendszerek működését és vezérlését meghtározó törvények nyelvi eszközökkel (szvkkl) leírhtók. Alpj Fuzzy hlmzelmélet. Átmenet vn z igz és hmis között. Bevezeti részleges trtlmt Az emberi tudás megjeleníthető technikábn. Szinte mindenre ki lehet terjeszteni (?). Tgság () érték Átmenetek ábrázolás változó 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/31 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/32 Igen Nyelvi változók 1.0 Tgsági () függvény értelmezése Igzság (tgság) Nem 0.5 50 80 110 140 170 200 Alcsony Mgs Lssú Gyors Hideg Meleg 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/33 sebesség mgsság 0.0 100 150 200 250 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/34 Élet (vitlitás) Az élet görbéje ~ 3*10 6 szívdobbnás? 1 Gykorltbn hsznált tgsági függvények?? Kicsi közepes ngy Életkor Jogi foglmk: Születés ngykorúság önrendelkezés vége hlál 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/35 sebesség 0 Mottó: lineáris függvényeket sokkl könnyebb megvlósítni, fuzzy rendszer nem érzékeny finomságokr 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/36
Gykrn hsznált nyelvi változók és tgsági függvények Logiki lpműveletek fuzzy hlmzokkl µ 1-µ Negáció (komplemens) 1- µ kicsi változó kis-közepes közepes ngy közepes ngy hngolás változó µ µ b b És (metszet) min (µ, µ b ) és b Vgy (unió) mx (µ, µ b ) vgy b 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/37 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/38 Fuzzy logikát lklmzó szbálylpú rendszer Bemeneti változók Kimeneti változók Y Fuzzy szbályok értelmezése H (feltétel) kkor (következmény) Konkrét - Fuzzy átlkító Következtető rendszer Fuzzy - Konkrét átlkító B H (b) kkor (B) Bementi tgsági függvények Fuzzy szbály dtbázis Kimeneti tgsági függvények Konkrét (crisp) érték fuzzyvá lkítás = fuzzyfikálás Fuzzy változók konkrét értékké lkítás = defuzzifikálás 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/39 A H () kkor (A) b X Konkrét értékű változó B 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/40 Válszkiválsztó technikák 1. Céljuk:: A számos egyidejűleg ktivizált szbály kiértékelésével egy konkrét válsz kiszámítás 1. Mximáló módszer: Az ktivizált (egyidejűleg működő (( tüzelő ) szbályok kimenő változói közül legngyobb htást dót válsztjuk Igzság Válszkiválsztó technikák 2. Céljuk:: A számos egyidejűleg ktivizált szbály kiértékelésével egy konkrét válsz kiszámítás 3. Központ (centroid) módszer Igzság 2. singleton módszer Igzság 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/41 4. Súlyozott átlgoló módszer: Az ktivált szbályok kimeneteinek (tgsági függvényeinek) súlyozott átlgát vesszük Súly = tgsági függvény területe k k = (XS+XbSb)/2 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/42
Klsszikus fuzzy következtető rendszerek Mmdni (1975) A következtetés eredményeként keletkező fuzzy hlmzt bemenő dtok fuzzy hlmz és szbálybázist leíró fuzzy reláció (mx-min) kompozíciójként állítj elő Tkgi - Sugeno Kng (TSK, 1985) A szbályok következmény részében nem fuzzy hlmz szerepel, hnem bemenetek függvénye. A Mmdni modell ( Mx-min következtetés bemeneti változó Mx-szorzt következtetés kimeneti változó 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/43 bemeneti változó kimeneti változó 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/44 A Fuzzy logik lklmzásánk menete 1. A bemeneti és kimeneti változók és tgsági függvényeinek meghtározás. 2. A Fuzzy szbályok létrehozás. 3. Következtető (válszkiválsztó) mechnizmus kiválsztás. 4. Szimulátor segítségével rendszermodell működésének ellenőrzése, behngolás. 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/45 Mikor célszerű fuzzy logikát lklmzni Összetett rendszerekben, hol nehéz, vgy lehetetlen megfelelő rendszermodellt kilkítni Olyn rendszerekben, melyeket szokásosn emberi szkértő irányít, (emberek dják bemeneteket vgy szbályokt) Olyn rendszerekben melyek folymtos, vgy közel folymtos bemenetekkel és nem lineáris kimeneti válszfüggvényekkel jellemezhetők Olyn rendszerekben, melyekben ponttlnság és homályosság rendszer gykori velejárój 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/46 A Fuzzy logik lklmzásánk jellemzői és ígéretei Következetes és szilárd lpot d ponttln és bizonytln inf. feld.-hoz. Interfészt biztosít z emberek áltl kedvelt nyelvi változók és számítógépek mennyiségi változói között. Hidt képezhet z MI szimbólum feldolgozó megközelítése és neurális hálóztok között. A hgyományos modellekkel szemben jelentősen egyszerűbb rendszer leírást tesz lehetővé. Tpsztlti tudás (Neurális hálóztok) A tudás dimenziój Képletek szbályok ismerete (Szbály lpú rendszerek) Tendenci jellegű, hozzávetőleges (fuzzy) szbályok ismerete (Fuzzy rendszerek) Tnkönyv: http://www.tnkonyvtr.hu/informtik/fuzzy-rendszerek-fuzzy-080904 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/47 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/48
Lágy számítási modellek kpcsolt b GA b 1 2 3 NH FL b 1.) neurális hálózt tnítás (súlykeresés), topológi megkeresése b.) z egyed rátermettségének változttás tesztelés során 2.) Fuzzy változók tgsági függvényeinek meghtározás, Fuzzy szbályok keresése b.) Fuzzy kiértékelő módszerek lklmzás z egyedek rátermettségének meghtározásár 3.) neurális hálóztok dptív tuljdonságink bevitele Fuzzy logikát lklmzó rendszerekbe. b.) szbályok utomtikus feltárás tpsztlti dtokból 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/49 Kérdések Milyen viszonybn áll egymássl pontosság és bizonyosság? Miért vn szükség válsz kiválsztó eljárásokr Fuzzy szbálylpú rendszerekben? Milyen esetekben nem célszerű Fuzzy rendszert lklmzni? 2012. ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/50