Intelligens Rendszerek Elmélete. Versengéses és önszervező tanulás neurális hálózatokban

Átírás

1 Intelligens Rendszerek Elmélete : dr. Kutor László Versengéses és önszervező tanulás neurális hálózatokban Login név: ire jelszó: IRE07 IRE 9/1 Processzor Versengéses (competitive) tanulás I 1 I i S j Carpenter, Grossberg 1988 O j = f (S j ) 1 f (S j ) f I N S j = I i * w ji S j Topológia: egy rétegű előrecsatolt, teljesen összekötött Megkötések: 1.) w ji = 1 2.) Súly értékek: 0<Wj<1 3.) A bemenő vektor bináris IRE 9/2

2 A versengéses tanító algoritmus (Grossberg) Mottó: A győztes visz mindent 1. Kezdeti súlytényezők beállítása (inicializálás, véletlenszerű) 0<Wj<1 2. A tanítóminta i-ik értéke (vektora) alapján, a processzorok kimeneti S j = O i * w ji, O j = f (S j ) értékeinek kiszámítása. 3. A legnagyobb kimeneti értékű processzor kiválasztása. A győztes visz mindent elv alapján, a győztes kimeneti értéket 1-re, az összes többi kimeneti értéket 0-ra változtatjuk 3. A győztes elem súlytényezőit megváltoztatjuk (csak azokat!) Δ W ji (t+1) = W ji (t) + Δ w ji, Δw ji = α (O i /m-w ji (t)) ahol α = tanulási együttható, 0 < α << 1 (tipikusan ) m = az aktív bemenetek száma 5. A pont ismétlése amíg a kimenetek két egymást követő tanítási ciklus során nem változnak. IRE 9/3 Processzor: Kohonen önszervező hálózata (Teuvo Kohonen, 1982) S j O j = f (S j ) f f (S j ) 1 S j = I i * w ji + társ processzorok aktivációja 1 S j Hálózat topológia: egy rétegű, teljesen összekötött, előrecsatolt IRE 9/4

3 A Kohonen tanító algoritmus 1.) Kezdeti súlytényezők beállítása Kezdeti környezet beállítása 2.) A bemeneti vektor (tanító minta) j rákapcsolása a bemenetekre 3.) Minden processzor elemnél a bemenő vektor és a súlyvektor egyezésének (távolságának) kiszámítása d j = I-W j = (I i -W ji ) 2 ahol N = a bemeneti vektor elemeinek száma I i = a bemeneti vektor (I) i-ik elemének értéke W ji = a j ik processzor elemhez tartozó, az i-ik bemenettől érkező összeköttetés súlytényezője 4.) A legkisebb eltérést mutató processzor kiválasztása (pl. j) 5.) A kiválasztott elem (j) környezetében (N j ) a súlytényezők módosítása 6.) A 2., 3., 4., 5.-ik lépés ismétlése amíg a kimenetek nem változnak IRE 9/5 A súlytényező megváltoztatása a Kohonen tanuló algoritmusban W ji (t+1) = W ji (t) + ΔW ji (t) Ahol ΔW ji (t) = α (I i W ji ) α (t) = α (0)(1 t/t), t = az adott tanulási iteráció száma T= a teljes tanulási ciklusok száma A tanulás során módosított környezet nagysága csökken! N j (t) = N(0)(1-t/T) IRE 9/6

4 Mikor célszerű neurális hálózatokat alkalmazni? A megoldandó problémával kapcsolatban gazdag adathalmaz áll rendelkezésre A megoldáshoz szükséges szabályok ismeretlenek A rendelkezésre álló adathalmaz nem teljes, hibás adatokat is tartalmazhat Sok összefüggő bemenő adat-, összefüggő kimeneti paraméter áll rendelkezésre IRE 9/7 Az önszerveződés folyamata a Kohonen hálózatban A véletlenszerűen beállított súlytényezők a tanulás során egyre inkább felveszik a tanítóminta statisztikai eloszlását. IRE 9/8

5 Példák 3D-s tárgyak leképezésére 2D-be Bemenetek száma: 3 Kimenetek száma: 20 Tanítóminta: 1000 Tanítási ciklus: IRE 9/9 Kohonen fonetikus írógépe Jellemzői: 5.4 KHz aluláteresztő szűrő, 12 bit A/D, KHz mintavétel, 256 pontos Fourier transzformáció (FFT) Fonémák kézi azonosítása a tanításhoz, Szabály alapú következtetés (15-20 ezer szabály) TMS digitális processzor Közel folyamatos beszéd feldolgozás 92-97%- os pontosság IRE 9/10

6 Asszociatív tár Hopfield hálózattal (John Hopfield, 1982) IRE 9/11 Neurális hálózatok alkalmazásának menete Feladatspecifikus neurális hálózat (paradigma) kiválasztása. A hálózat jellemzőinek (a processzorok átviteli függvényének, a processzorok számának, a tanítási módszereknek és paramétereknek, valamint a kezdeti súlymátrix értékeinek) kiválasztása. A tanító adatok összeállítása. Tanítás és tesztelés, amíg a hálózat a kívánt viselkedést nem mutatja. IRE 9/12

7 A neurális hálózat tervezésének lépései Reprezentatív tapasztalati adat gyűjtése (bemeneti adatok és elvárt válaszok) Megfelelő neurális paradigma kiválasztása Rendszer paraméterek kiválasztása Teljesítmény mérő módszer kiválasztása A rendszer tanítása és tesztelése (amíg az elvárt eredményhez nem jutunk) IRE 9/13 Eldöntendő jellemzők a neurális hálózatok tervezésénél Processzor szinten: - a processzor átviteli függvénye -a bemenő jelek típusa Hálózat szinten: - a hálózat topológiája - rétegelt struktúránál a rétegek száma - processzorok száma a különböző rétegekben - processzorok típusa a különböző rétegekben Tanítási szinten - tanító algoritmus - tanítási paraméterek (pl.: α, β,.) - a tanítás megállásának feltételei IRE 9/14

8 Neurális hálózatok Szakértői rendszerek Nincs tudás-hozzáférési probléma Dinamikus tudásábrázolás Minta kiegészítő képesség (általánosítás = generalizás) Robusztus (nem érzékeny az adatvesztésre) Interpolálni képes Többet tudhat mint ami az adatokból látszik Nincs magyarázatadás Nincs igazoló képessége Nehéz a tudás megszerzése Statikus(abb) tudásábrázolás Feltételezzük az adatok hibátlanságát és ellentmondás mentességét Érzékeny az adatvesztésre Nincs intuitív képessége Legfeljebb olyan jó lehet mint a szakértő Részletes magyarázat kérhető A döntéseket viszonylag könnyű igazolni. IRE 9/15