anítóval történ ellenrzött tanulás (Supervsed Learnng Bevezetés Az ellenrzött tanulás esetén mndg van nformácón a rendszer ívánt válaszáról A tanítóval történ tanításnál összetartozó be- és menet mntapáro állna rendelezésre A modellünet megpróbálu úgy alaítan hogy mnél obban özelítse a rendszer mödését A tanítás céla tehát a modell strutúráána és/vagy paraméterene olyan módon való változtatása hogy mödése a lehet legsebb mértében téren el a modellezend rendszertl A feladat tehát egy modell-llesztés feladat ( ábra n u Ismeretlen rendszer g(un d Krtérum függvény (dy Modell (u y Paraméter módosító algortmus Neuráls hálózato esetében a modell változtatását a modell-llesztés folyamatát paramétereen eresztül valósítu meg A modell-llesztés feladat általánosan a övetez formában adható meg: a d = g( un függvényapcsolathoz eressü az y = ĝ( u modellt ahol a változtathatóságot bztosító paramétervetor n a zahatáso vetora u a bemenet vetor A feladat tehát az y és a d özött eltérés mnmalzálása a függvényében A mnmalzálás feladatot egy célszeren választott ( d y rtérumfüggvény segítségével végezzü A modell-llesztés alapveten étféleéppen épzelhet el Az explct elárásonál ülön történ az nformácószerzés folyamata a értéelés fázsától míg az mplct elárásonál teratív önavító elárással apu meg az eredményt A m esetünben az utóbb felfogás érdees a továbbaban tehát lyen elárásoal foglalozun Az mplct eláráso abban ülönbözne egymástól hogy a paramétere változtatása mlyen módszerrel történ
Krtérumfüggvénye A neuráls hálózatonál alalmazott tanító eláráso az esete nagy részében a hálózat strutúráát nem csa a paraméteret változtatá Ez azt elent hogy egy adott hálózat esetén a megfelel súlytényez alaítása a cél A rtérumfüggvény enne megfelelen a hálózat várt és tényleges menet értéene összhasonlítását végz és enne alapán történ a súlymódosítás A leggyaorbb hbartérum a négyzetes hbartérum amelyet a za várható elenléte matt várható értéént értelmezün: { } = E ( d y ( d y = E ( d y ( d y A négyzetes hbafüggvény önny ezelhetsége mellett egyéb elnyöel s rendelez: alalmazásával az optmumfeladat megoldása általában matematalag edvez lletve a négyzetes hbána a hbatelesítmény révén fza értelmezés s adható Használatosa egyéb hbafüggvénye s mnt például az abszolútérté függvény ülönböz abszolútérté-hatvány függvénye Specáls eseteben alalmazna logartmus hperbolus trgonometrus függvényebl elállított hbafüggvényeet s 3 Gradens alapú szélsérté-eres eláráso A szélsérté-eres elárásoal azt a értéet eressü ahol a rtérumfüggvény szernt gradense zérus: [ ( ] = = Az teratív eláráso úgy változtatá a súlyvetor értéét valamlyen algortmus szernt hogy a fent gradens elére vagy általun meghatározott mértében megözelítse a értéet A gradens alapú eláráso onvergencáa csa vadratus hbafelület esetén bzonyítható am neuráls hálózato esetén csa rtán telesül ezért az eláráso többsége özelít elleg és nem feltétlenül ad ó megoldást Szélsérté-eresés paramétereben lnearzálható modelle esetén A továbbaban a dszrét esetre orlátozzu a tárgyalást A menet a -ad dpllanatban: y = x ( ( ( így a rtérumfüggvény értée ugyanaor: {( } = E{ d ( } p ( + ( R( ( E d( ( x( = ahol R a bemenet orrelácós mátrx p pedg az optmáls menet és a bemenet omponense özött eresztorrelácó vetora (általános esetben mátrxa A gradenst felírva a övetezt apu: ( = = R( ( = ( R( p
Az optmáls megoldás a gradenshez tartoz amelyet a Wener-Hopf egyenlet szernt aphatun meg: = R p A legtöbb esetben a bemenet és az optmáls menet statszta ellemz nem smerte olyan mértében hogy a orrelácós mátrxo meghatározható legyene ezért a legtöbb elárás evesebb smeretet gényel vagy valamlyen teratív úton próbál elutn a megoldáshoz Neton módszer A gradens elz felírását: balról megszorozva R ( ( = R ( -gyel átrendezés után a = R ( ( alaot apu amely négyezetes hbafelület esetén egy lépésben szolgáltata a megoldást Ha a hbafelület nem négyzetes aor teratív megoldást alalmazhatun: ( + = ( R ( µ ahol < µ < a tanulás aránytényez A Neton módszer hátránya hogy gényl R smeretét azonban so özelít módszer létez A legmeredeebb let módszer A módszer a negatív gradens rányában ereszed a hbafelületen Az teratív formula: ( + = ( + µ ( ( A µ lépésöz megválasztása függ az R autoorrelácós mátrxtól A onvergenca feltétele: < µ < λ max A lépésöz megválasztásához az R mátrx valamlyen smerete szüséges Soszor elegend az autoorrelácós mátrx nyomána smerete mnthogy az legnagyobb saátérté ennél sebb A fent összefüggés eor így módosul: < µ < tr( R A mátrx nyoma a bemenet értée átlagos négyzetes értéebl becsülhet
Konugált gradense módszere Az R = p egyenlet megoldása egyszersíthet a onugált rányo smeretében A onugált rányoat azo a N vetoro elöl amelyere fennáll hogy: R = A { } vetoro lneársan függetlene és egy a paramétere terét feszít bázst alotna A segítségüel a övetez írható fel az optmáls megoldásra: N = = α Ezután defnálhatu a súlymódosító elárást: ahol ( = ( + α ( + ( ( = + α és ( = = N azaz N lépésben elérü az optmumot α meghatározása vagy az R mátrxból történ vagy ha az nem áll rendelezésre (ez az általános eset aor olyan értéet veszün α = arg mnα + α amelyre a hbartérum értée mnmáls { ( ( ( } A { } ezdpontbel negatív gradens ránya ada meg = ( onugált rányo meghatározása teratívan történ A ezdrányt a a övetez rányo pedg az atuáls gradens és a megelz rány lneárs ombnácóaént alaulna : ahol ( + + β + = ( + ( ( + ( ( ( + ( β = Nem vadratus hbafelület esetén az algortmus nem ér el az optmumot N lépésben lyenor célszer az algortmus úrandítása úgy hogy smét meghatározun egy ezdet negatív gradenst A fent eláráso özös ellemze hogy valamlyen nformácót gényelne az R autoorrelácós mátrxról (véve egyes eseteben a onugált gradense módszerét Mvel neuráls hálózatonál az esete nagyobb részében nem áll rendelezésre a ívánt nformácó az R mátrxról ezért több özelít elárás s elteredt amelye a rtérumfüggvény aylor-soros özelítésén alapulna
Felírva a rtérumfüggvény aylor-soros özelítését az els három tagra: ahol ( ( ( + ( ( ( ( + ( ( H( ( H = ( ( az ún Hesse-féle mátrx A Hesse-féle mátrx özelítésén alapuló techná (uas-neton methods elteredten alalmazotta LMS algortmus Az LMS algortmus a fentetl eltéren hbartérumént a pllanatny hba négyzetét vesz amvel egy pllanatny dervált épezhet: ( ( ˆ ε ( = = ε ( x( Ezzel a gradens vetorral a legmeredeebb let módszert alalmazva a övetez paramétermódosító összefüggésre utun: ( = ( + ( x( + µε 4 Neuráls hálózato tanítás algortmusa (tanítóval ellenrzött tanítás Neuráls hálózato tanításánál hbartérumént az LMS algortmusnál bevezetett hbartérumot használu mvel a bemenet el statszta ellemz smeretlene így az autoorrelácós mátrx sem smert A továbbaban tehát a övetez hbartérummal dolgozun: ( = ε( = ( d( y( amellyel neuráls hálózato esetén a övetez gradenst épezhetü: ( = ε ( f ( s( x( Hbavsszateresztéses algortmus (Error bacpropagaton A fent eláráso neuráls hálózatoon való alalmazásána bemutatását a többréteg hálózato tanításánál alalmazott hbavsszateresztéses algortmus bemutatásával ezdü A tanítás összefüggése L rétegre A menet réteg esetén: ( L ( L ( L ( L [ ε ( f ( s ] = W ( µ ( [ δ ( ] ( L ( L ( L W ( + = W ( + µ x ( + x
A retett rétege esetén: W + ( l ( l ( l ( + = W ( µx ( δ ( l [ ] ( l ( s ( Nl ( l ( l ( l ( = + + + δ δ r ( r ( f r= (l A δ értée az L rétegtl ezdve vsszafelé számítandó Az algortmus az LMS algortmuson alapul amelyben a legmeredeebb let módszert használtu a paramétermódosító összefüggés felírására váz- Neton módszere A módszere a rtérumfüggvény aylor-sorával való özelítésén alapulna: ( ( ( + ( ( ( ( + ( ( H( ( A paramétermódosítás összefüggésére adódó formulát a fent összefüggés derválásával aphatu meg: ( + = ( H( ( ( ( A Hesse-féle mátrx számítása azonban vagy nagyon dgényes vagy az esete nagyobb részében az adato elégtelensége matt lehetetlen ezért az eláráso özelít módszereet alalmazna Neton-Rapshon módszer A módszer a rtérumfüggvény aylor-soros özelítéséne els ét tagát használa fel amelybl a övetez paramétermódosító összefüggést apu: ( = ( Konugált gradense módszere ( ( ( ( ( ( ( ( + Az elzeben már láthattu ezt a módszert így a övetezben az algortmus adu meg a Válasszu meg a ezdet értéeet ( = = ( b Ha ( = aor állítsu le az elárást α értéét: α = arg mnα { ( ( + α( } c Határozzu meg d Végezzü el a súlymódosítást és az ú pontban határozzu meg a gradens értéét Ha az aor állítsu le az elárást e Határozzu meg az ú onugált rányt: ( + + β + =
és ( + ( ( + ( ( ( + ( β = f Ha = N aor ezdü az a lépéstl úra ez elárást amennyben nem elégít a hba mértée ülönben = + és folytassu a c lépéstl Levenberg-Maruardt algortmus Az algortmus a Hesse-féle mátrx özelítésén alapul súlymódosító összefüggése ( + = ( ( ( ( + I ( ( ( µ