A neurális hálózatok általános jellemzői

Átírás

1 Mesterséges neurális hálóztok II. - A felügyelt tnítás prméterei, gyorsító megoldási - Versengéses tnulás Tudáskezelés fuzzy logikávl IRE 7/50/ ősz Óbudi Egyetem, NIK, Dr. Kutor László A neurális hálóztok áltlános jellemzői 1. A neurális hálóztok ngyon egyszerű processzorokból, z un. neuronokból épülnek fel. A processzorok változtthtó súlytényezőjű összeköttetések hálóztán át kommunikálnk egymássl. 2. A neurális hálóztokt nem progrmozzuk, hnem tnítjuk. 3. A tárolt információk hálóztbn elosztottn, súlytényezők közvetítésével ábrázolódnk. 4. A neurális hálóztok hibtűrők. Az elosztott párhuzmos tudásreprezentáció mitt súlytényezők egy részének jelentős megváltozás sem befolyásolj lpvetően hálózt működését. 5. A hálózt működését három fő tényező htározz meg: processzorok átviteli függvénye, hálózt összeköttetési sémáj és tnítási módszer IRE 7/50/ ősz Óbudi Egyetem, NIK, Dr. Kutor László Mikor célszerű neurális hálóztokt lklmzni? A megoldndó problémávl kpcsoltbn gzdg dthlmz áll rendelkezésre A megoldáshoz szükséges szbályok ismeretlenek A rendelkezésre álló dthlmz nem teljes, hibás dtokt is trtlmzht Sok összefüggő bemenő dt-, összefüggő kimeneti prméter áll rendelkezésre IRE 7/50/ ősz Óbudi Egyetem, NIK, Dr. Kutor László Neurális hálóztok lklmzásánk menete A tnító dtok összeállítás. Feldtspecifikus neurális hálózt (prdigm) kiválsztás. A hálózt jellemzőinek ( processzorok átviteli függvényének, processzorok számánk, tnítási módszereknek és prmétereknek, vlmint kezdeti súlymátrix értékeinek) kiválsztás. Teljesítmény mérő módszer kiválsztás Tnítás és tesztelés, míg hálózt kívánt viselkedést nem muttj ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/4 A neurális hálóztok legfontosbb meghtározó tényezői Két (tníthtó) rétegű előrecstolt hálózt 1. A neuronok (processzorok) (neuron, rtificil neuron, node, unit, cell) 2. A hálózti topológi ( mit mivel kötünk össze, (súlytényező mátrix) 3. A tnító szbályokt lklmzó lgoritmus ( súlytényezők beállítás, hngolás ) Bemenetek bemeneti réteg rejtett réteg súlytényező kimeneti réteg Kimenetek ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/ ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/6

2 Többrétegű neurális hálóztok tnítás (D.E Rummelhrt, G.E. Hinton, R.J.Willims, 1986) (Dvid Prker, Ynn Le Cun) + Hálózt topológi i N H Processzor: Oi Sj f(s) j j M k O i O j O k T k i j k O j S w O Oj =f(s)= 1/(1+e -S ) j i ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/7 N ji i A súlytényezők változását leíró egyenletek Súlytényező változttás kimeneti rétegben W kj (t+1) = W kj (t) + αδ k Oj α= tnulási együtthtó Wkj(t+1) = Wkj(t) + αδkoj + βδk(t-1) W kj (t) + α*(t k -O k )*f(s k )*(1-f(S k ))*O j Súlytényező változttás rejtett rétegben Δj M W ji (t) + α* (Δk*Wkj)*f(S j )*(1-f(S j ))*O i k= ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/8 Δk β=momentum ( lendület ) Algoritmus gyorsító megoldások A tnító dtok szerkezete 1. Momentum 2. Csökkenő hibhtár ( descending epsilon ) módszere 3. Kis súlytényezők kiszűrése ( Metszés ) 4. Inkrementális hálózt építés kszkád korreláció n NH m c 1 c m Benenő dtok Elvárt kimenő dtok célértékek Bemenetek 1-n C 1 C m ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/9 Tnító minták 1-k Teszt dtok ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/10 Lépésről-lépésre épülő hálózt Kettős spirál tnulás KK lgoritmussl 2. Kszkád korreláció (KK) Scott E. Fhlmn Christin Lebierre ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/ ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/12

3 Kettős spirál tnulás KK lgoritmussl 2. Versengéses (competitive) tnulás I 1 Processzor I i Crpenter, Grossberg 1988 S j O j = f (S j ) 1 f (S j ) f I N S j = I i * w ji S j Topológi: egy rétegű előrecstolt, teljesen összekötött Megkötések: 1.) w ji = 1 2.) Súly értékek: 0<Wj<1 3.) A bemenő vektor bináris ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/ ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/14 A versengéses tnító lgoritmus (Grossberg) Mottó: A győztes visz mindent 1. Kezdeti súlytényezők beállítás (inicilizálás, véletlenszerű) 0<Wj<1 2. A tnítómint i-ik értéke (vektor) lpján, processzorok kimeneti S j = O i * w ji, O j = f (S j ) értékeinek kiszámítás. 3. A legngyobb kimeneti értékű processzor kiválsztás. A győztes visz mindent elv lpján, győztes kimeneti értéket 1-re, z összes többi kimeneti értéket 0-r változttjuk 3. A győztes elem súlytényezőit megváltozttjuk (csk zokt!) Δ W ji (t+1) = W ji (t) + Δ w ji, Δw ji = α (O i /m-w ji (t)) hol α = tnulási együtthtó, 0 < α << 1 (tipikusn ) m = z ktív bemenetek szám 5. A pont ismétlése míg kimenetek két egymást követő tnítási ciklus során nem változnk ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/15 Versengéses tnulás folymt ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/16 Versengés oldlirányú gátlássl Kohonen fonetikus írógépe (Teuvo Kohonen, 1982) ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/17 Jellemzői: 5.4 KHz luláteresztő szűrő, 12 bit A/D, KHz mintvétel, 256 pontos Fourier trnszformáció (FFT) Fonémák kézi zonosítás tnításhoz, Szbály lpú következtetés (15-20 ezer szbály) TMS digitális processzor Közel folymtos beszéd feldolgozás 92-97%- os pontosság ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/18

4 A Kohonen hálózt processzor és topológiáj Processzor: S j f (S 1 j ) O j = f (S j ) f S j = I i * w ji + társ processzorok ktivációj 1 S j Hálózt topológi: egy rétegű, teljesen összekötött, előrecstolt ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/19 A Kohonen tnító lgoritmus 1.) Kezdeti súlytényezők beállítás Kezdeti környezet beállítás 2.) A bemeneti vektor (tnító mint) j rákpcsolás bemenetekre 3.) Minden processzor elemnél bemenő vektor és súlyvektor egyezésének (távolságánk) kiszámítás d j = I-W j = (I i -W ji ) 2 hol N = bemeneti vektor elemeinek szám I i = bemeneti vektor (I) i-ik elemének értéke W ji = j ik processzor elemhez trtozó, z i-ik bemenettől érkező összeköttetés súlytényezője 4.) A legkisebb eltérést muttó processzor kiválsztás (pl. j) 5.) A kiválsztott elem (j) környezetében (N j ) súlytényezők módosítás 6.) A 2., 3., 4., 5.-ik lépés ismétlése míg kimenetek nem változnk ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/20 A súlytényező megváltozttás Kohonen tnuló lgoritmusbn W ji (t+1) = W ji (t) + ΔW ji (t) Ahol ΔW ji (t) = α (I i W ji ) α (t) = α (0)(1 t/t), t = z dott tnulási iteráció szám T= teljes tnulási ciklusok szám A tnulás során módosított környezet ngyság csökken! N j (t) = N(0)(1-t/T) Az önszerveződés folymt Kohonen hálóztbn A véletlenszerűen beállított súlytényezők tnulás során egyre inkább felveszik tnítómint sttisztiki eloszlását ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/ ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/22 Példák 3D-s tárgyk leképezésére 2D-be Bemenetek szám: 3 Kimenetek szám: 20 Tnítómint: 1000 Tnítási ciklus: Tudáskezelés fuzzy logikávl, lágy számítási modellek kpcsolti ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/ ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/24

5 Pontosság ponttlnság? Bizonyosság - bizonytlnság A pontosság (önmgábn) nem Henri Mtisse A képzett elme jellemzője, hogy dolgok természetéhez igzodó pontosságot vár el, és nem keres pontosságot, hol z csk megközelítően lehetséges Arisztotelész Ameddig mtemtik törvényei vlóságr vontkoznk, ddig nem biztosk. Amint biztosk kkor nem vlóságr vontkoznk Albert Einstein ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/25 Fuzzy (fzi) logikár épülő rendszerek Lotfi Zdeh (1965, Berkeley) fuzzy (ngol) = életlen, homályos, nem tiszt,. árnylt. Ellentéte: crisp (ngol) = éles, tiszt., hgyományosn kétértékű (igz-hmis) Fuzzy hlmzok I H A = (10, 01), (40, 02), (60, 03), (80, 04), (100,05), (120, 06), (140, 07), (160, 08), (180, 09), (200,1) Igzság(gyors) Változó(sebesség) A nyugti tudománybn erősen kritizált Ázsiábn mrketing tényező, htékonyság, hightech jelzője ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/26 Lotfi Zdeh z OE díszdoktor (2011.nov.) ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/27 Tudáskezelés logikávl Logik: bölcselés tudomány, helyes gondolkodás művészetének tn Következtetés: burkolt ismeret kihámozás meglévő ismereteinkből Úttörői: Arisztotelész (2000 évig tökéletesnek hitték) Leibniz ( ): logik mtemtizálás G. Boole ( ): lgebri rendszer kidolgozój A gondolkodás törvényei A logik mtemtiki elemzése Továbbfejlesztői: A. De Morgn ( ) W. S. Jevons ( ) C. S. Peirce ( ) XX. Százdbn: G. Ferge, G. Peno, B. Russel ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/28 A logikák osztályozás Klsszikus (Arisztotelészi) Szimbolikus (formális) Nem klsszikus (szimbolikus) Ítélet klkulus Predikátum klkulus Modális Temporális (idői) Többértékű Intuicionist Vlószínűségi Fuzzy ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/29 Lágy számítási modellek Fuzzy foglom eredeti értelme: életlen, homályos A fuzzy foglomhoz kpcsolhtó szinonimák: éles homályos (crisp fuzzy) tiszt zűrös A logikár (gondolkodásr) értve pejortív!!! kemény lágy A fuzzy (hlmzokr épülő) rendszerek lágy számítási modellek közé trtoznk, melyek biológii információ feldolgozást tekintik kiindulásnk. Területei: 1. neurális hálóztok, 2. fuzzy rendszerek, 3. genetikus lgoritmusok ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/30

6 A Fuzzy logik lényege és lklmzásánk lpfeltevései A mtemtik, számítástudomány és villmosmérnöki tudományok htárán helyezkedik el. A rendszerek működését és vezérlését meghtározó törvények nyelvi eszközökkel (szvkkl) leírhtók. Alpj Fuzzy hlmzelmélet. Átmenet vn z igz és hmis között. Bevezeti részleges trtlmt Az emberi tudás megjeleníthető technikábn. Szinte mindenre ki lehet terjeszteni (?). Tgság () érték Átmenetek ábrázolás változó ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/ ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/32 Igen Nyelvi változók 1.0 Tgsági () függvény értelmezése Igzság (tgság) Nem Alcsony Mgs Lssú Gyors Hideg Meleg ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/33 sebesség mgsság ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/34 Élet (vitlitás) Az élet görbéje ~ 3*10 6 szívdobbnás? 1 Gykorltbn hsznált tgsági függvények?? Kicsi közepes ngy Életkor Jogi foglmk: Születés ngykorúság önrendelkezés vége hlál ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/35 sebesség 0 Mottó: lineáris függvényeket sokkl könnyebb megvlósítni, fuzzy rendszer nem érzékeny finomságokr ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/36

7 Gykrn hsznált nyelvi változók és tgsági függvények Logiki lpműveletek fuzzy hlmzokkl µ 1-µ Negáció (komplemens) 1- µ kicsi változó kis-közepes közepes ngy közepes ngy hngolás változó µ µ b b És (metszet) min (µ, µ b ) és b Vgy (unió) mx (µ, µ b ) vgy b ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/ ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/38 Fuzzy logikát lklmzó szbálylpú rendszer Bemeneti változók Kimeneti változók Y Fuzzy szbályok értelmezése H (feltétel) kkor (következmény) Konkrét - Fuzzy átlkító Következtető rendszer Fuzzy - Konkrét átlkító B H (b) kkor (B) Bementi tgsági függvények Fuzzy szbály dtbázis Kimeneti tgsági függvények Konkrét (crisp) érték fuzzyvá lkítás = fuzzyfikálás Fuzzy változók konkrét értékké lkítás = defuzzifikálás ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/39 A H () kkor (A) b X Konkrét értékű változó B ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/40 Válszkiválsztó technikák 1. Céljuk:: A számos egyidejűleg ktivizált szbály kiértékelésével egy konkrét válsz kiszámítás 1. Mximáló módszer: Az ktivizált (egyidejűleg működő (( tüzelő ) szbályok kimenő változói közül legngyobb htást dót válsztjuk Igzság Válszkiválsztó technikák 2. Céljuk:: A számos egyidejűleg ktivizált szbály kiértékelésével egy konkrét válsz kiszámítás 3. Központ (centroid) módszer Igzság 2. singleton módszer Igzság ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/41 4. Súlyozott átlgoló módszer: Az ktivált szbályok kimeneteinek (tgsági függvényeinek) súlyozott átlgát vesszük Súly = tgsági függvény területe k k = (XS+XbSb)/ ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/42

8 Klsszikus fuzzy következtető rendszerek Mmdni (1975) A következtetés eredményeként keletkező fuzzy hlmzt bemenő dtok fuzzy hlmz és szbálybázist leíró fuzzy reláció (mx-min) kompozíciójként állítj elő Tkgi - Sugeno Kng (TSK, 1985) A szbályok következmény részében nem fuzzy hlmz szerepel, hnem bemenetek függvénye. A Mmdni modell ( Mx-min következtetés bemeneti változó Mx-szorzt következtetés kimeneti változó ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/43 bemeneti változó kimeneti változó ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/44 A Fuzzy logik lklmzásánk menete 1. A bemeneti és kimeneti változók és tgsági függvényeinek meghtározás. 2. A Fuzzy szbályok létrehozás. 3. Következtető (válszkiválsztó) mechnizmus kiválsztás. 4. Szimulátor segítségével rendszermodell működésének ellenőrzése, behngolás ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/45 Mikor célszerű fuzzy logikát lklmzni Összetett rendszerekben, hol nehéz, vgy lehetetlen megfelelő rendszermodellt kilkítni Olyn rendszerekben, melyeket szokásosn emberi szkértő irányít, (emberek dják bemeneteket vgy szbályokt) Olyn rendszerekben melyek folymtos, vgy közel folymtos bemenetekkel és nem lineáris kimeneti válszfüggvényekkel jellemezhetők Olyn rendszerekben, melyekben ponttlnság és homályosság rendszer gykori velejárój ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/46 A Fuzzy logik lklmzásánk jellemzői és ígéretei Következetes és szilárd lpot d ponttln és bizonytln inf. feld.-hoz. Interfészt biztosít z emberek áltl kedvelt nyelvi változók és számítógépek mennyiségi változói között. Hidt képezhet z MI szimbólum feldolgozó megközelítése és neurális hálóztok között. A hgyományos modellekkel szemben jelentősen egyszerűbb rendszer leírást tesz lehetővé. Tpsztlti tudás (Neurális hálóztok) A tudás dimenziój Képletek szbályok ismerete (Szbály lpú rendszerek) Tendenci jellegű, hozzávetőleges (fuzzy) szbályok ismerete (Fuzzy rendszerek) Tnkönyv: ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/ ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/48

9 Lágy számítási modellek kpcsolt b GA b NH FL b 1.) neurális hálózt tnítás (súlykeresés), topológi megkeresése b.) z egyed rátermettségének változttás tesztelés során 2.) Fuzzy változók tgsági függvényeinek meghtározás, Fuzzy szbályok keresése b.) Fuzzy kiértékelő módszerek lklmzás z egyedek rátermettségének meghtározásár 3.) neurális hálóztok dptív tuljdonságink bevitele Fuzzy logikát lklmzó rendszerekbe. b.) szbályok utomtikus feltárás tpsztlti dtokból ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/49 Kérdések Milyen viszonybn áll egymássl pontosság és bizonyosság? Miért vn szükség válsz kiválsztó eljárásokr Fuzzy szbálylpú rendszerekben? Milyen esetekben nem célszerű Fuzzy rendszert lklmzni? ősz Óbudi Egyetem, NIK Dr. Kutor László IRE 7/50/50