5. Modellllesztés (folyt.) Méréselmélet: 5. előadás, 03.03.3. Út az adaptív elárásokhoz: (85) és (88) alapán: W P, ( ( P). Ez utóbb mndkét oldalát megszorozva az mátrxszal: W W ( ( n ). (9) Feltételezve, hogy nncs tökéletes smeretünk az mátrxról, és ebből adódóan a gradensről, (9) átírható egy teratív formára: ˆ W ( n ) W ( ˆ (, lletve a 0 bátorság tényező bevezetésével, vsszaírva a tökéletes mátrxot és gradenst n ) (. (93). Ha pontosan smerük az mátrxot és gradenst, akkor egylépéses konvergencát bztosít tetszőleges kezdőpontból.. Mvel ( [ W ], ezért ezt a (93) összefüggésbe behelyettesítve, és az egyenlet mndkét oldalából levonva W értékét: n n ) W ( )( W ) V( n ) ( ) V(0), vagys a kezdet hba exponencáls elleggel csökken, ha. Ha 0 0. 5, akkor monoton csökkenő hbával, ellenkező esetben pedg monoton csökkenő ampltúdóú, de lengő ellegű hbával közelítük meg. 3. A modell-llesztés gradens módszeret a szernt különböztetük meg, hogy a (93) szernt összefüggés alkalmazásához mlyen előzetes smeretek állnak rendelkezésünkre. Az adaptív lneárs kombnátor működését leíró egyenletek, amennyben az és a P mátrxok smertek: n ) (, ll. V ( n ) ( ) V (. (94). A továbbakban sorra kerülő vzsgálatok azt tárák fel, hogy mlyen lehetőségenk vannak akkor, ha az és P mátrxokra vonatkozó előzetes (a pror) smeretenk részlegesek, esetleg teles mértékben hányoznak, legfelebb a folyamatban lévő mérésekre alapozhatók. Ez a gondolat végg elen van a továbbakban, a megértéshez fontos, hogy ezt ne hagyuk fgyelmen kívül.. Fgyelük meg, hogy az mátrx globáls nformácót hordoz a hbafelületről, a ( gradens pedg az adott W ( paraméterérték esetén a hbafelület lokáls ellemzése. Ezen lokáls smeret alapán ereszkedünk a hbafelületen az ún. gradens elárások alkalmazása esetén annak érdekében, hogy mnél közelebb kerülünk az optmumot (legksebb négyzetes hbát) eredményező paraméter beállításhoz. Az mátrx vzsgálata: A hbafelület az mátrxtól függ. Elöláróban azt mutatuk be, hogy mlyen feltételek esetén lehetséges az optmum-keresést úgy megvalósítan, ahogyan egy mpedanca-mérő híd esetében s szeretnénk: egyenként változtatuk a változtatható paramétereket, mégpedg úgy, hogy mndg megkeressük a lokáls mnmumot, és eközben a hba egyetlen lépés során sem nő. Ehhez egy olyan koordnátarendszerben történő keresés tartozk, amelynek tengelye a parabolod formáú hbafelület főtengelyenek rányába mutatnak. Ezt a koordnátarendszert az mátrx saátvektora elölk k.
Méréselmélet: 5. előadás, 03.03.3. ( W ) ( W ) V ( V( (95) ( mn mn Fontos szerepet átszk tehát az saátérték/saátvektor rendszere. Példaként a (90) szernt esetben vzsgálódva: 0.5 0.5cos. A det I 0 egyenlet gyöke adák a saátértékeket: 0.5cos 0.5 A két gyök: ( 0.5) 0.5cos 0.5sn 0 (96) 0 0.5 0.5cos, ll. 0.5 0.5cos (97) A saátvektorok az 0 00, egyenletekből származtathatók. 0.5 0.5cos q00 q00 (0.5 cos ) q00 q0 0.5cos 0.5 q0 q0 (98) 0.5 0.5cos q0 q0 (0.5 cos ) q0 q 0.5cos 0.5 q q (99) A saátvektorokat egységre normálva: 0,, lásd 5. ábra. (00) A példa szernt saátvektorok tehát egymásra merőleges, a koordnáta rendszer tengelyevel 45 fokos szöget bezáró vektorok. Ezek adák meg azokat az ereszkedés rányokat, amelyek mentén történő mozgás egyetlen paraméter változtatásával lehetséges. Általában det( I) 0 0,,...,. ( ni) n 0, n 0,,...,. A saátvektorokat mátrxba rendezve:, ll. 0 0 dag 0 (0), (0) am ún. normál formáa. Mvel az defnícó szernt szmmetrkus mátrx, ezért. Fontos tuladonság, hogy lyenkor a saátvektorok ortogonálsak: 0, ha, egyébként I, azaz c. Ha -re, akkor a saátvektorok ortonormáltak, és. Az ortogonaltás bzonyítása: A defnícó alapán. Az első egyenlet mndkét oldalát obbról szorozva mndkét oldalát balról szorozva -vel:, ll. -vel, a másodk egyenlet, ll.. Mvel
Méréselmélet: 5. előadás, 03.03.3., ezért az egyenletek baloldala egyenlő, ezáltal ezért az egyenlőség csak akkor állhat fenn, ha 0.. Mvel,. Mvel V V poztív defnt, ezért a saátértékek nem negatívak.. Az korrelácós mátrx saátvektora a hbafelület főtengelyet elölk k. ( mn ( W ( W ) ( W ( W ) mn V ( V( mn V ( V ( mn V ( V ( V ( V ( V ( V (. (03) Ezzel ( V ( 0v0 v v. (04) A vszonyokat a 6. ábra llusztrála: a saátvektorok mátrxával transzformált paraméter-hba vektorok koordnátá a parabolod főtengelye mentén értelmezhetők. Az optmalzálás egyváltozós optmalzálások sorozataként s végrehatható. Ezt mutata be a következő példa, amelyben az optmum megközelítését a gradens mentén történő ereszkedéssel olduk meg: Példa: Egyváltozós eset: w( n ) w( ( ( ), ( ( w( w), amvel n w( n ) w ( )( w( w), ll. V( n ) rv ( r V(0). Ahhoz, hogy az elárás konvergálon r szükséges. Ebből: 0 (05) Ha 0, akkor túlcsllapított, ha, akkor krtkusan csllapított, ha, akkor alulcsllapított az terácós elárás. Megegyzés: Vegyük észre, hogy az egyváltozós esetben, tehát a (94) összefüggés első eleme n ) ( W ) alakú, amelynek mndkét oldalából levonva W -ot a (94) összefüggés másodk elemét kapuk. n öbbváltozós eset: V ( n ) ( I ) V (. Ahhoz, hogy az elárás konvergálon 0 (06) max szükséges. Vegyük észre, hogy lyenkor egyváltozós esettel van dolgunk, ahol a legmeredekebb ereszkedés azon tengely mentén történk, amelykhez a legnagyobb saátérték tartozk. Ha a saátértékek nem smertek, akkor a max tr[ ] tr[ ] alapán 0 (07) tr[ ] választással élhetünk. Megegyzés: Ha smernénk -t, azaz lenne globáls nformácónk a hbafelületről akkor nylvánvalóan a skalár helyett mátrxot alkalmaznánk, hszen ezzel egylépéses konvergencát tudnánk bztosítan. Ehelyett a lokáls nformácóra, a gradensre alapozva, annak rányában gyekszünk a hbafelület mnmumát elérn. 3
Méréselmélet: 5. előadás, 03.03.3. Iteratív modellllesztés módszerek: Az alábbakban néhány klasszkus szélsőérték keresés elárást foglalunk össze, amelyeket négyzetes krtérumok, és paramétereben lneárs modellek esetén négyzetes hbafelületek esetén előszeretettel alkalmazunk. Ezek teknthető tanuló elárásoknak s, mert mnden lépésben nformálódnak az aktuáls vszonyokról, esetünkben a hbafelület gradenséről, és annak függvényében lépnek tovább. ermészetesen alkalmazhatunk másfata módszereket s, ahol például a értékeket véletlen módon vagy más stratégával választuk k, és ezt követően vzsgáluk a hbát. Ha a korábbnál ksebb hbát kapunk, akkor a kválasztott érték lesz az ú avaslat, ellenkező esetben elvetük azt (Monte- Carlo módszerek, genetkus algortmusok). Az lyen módszerek azonban nkább akkor merülnek fel, ha () nem négyzetes hbakrtérumot használunk, ll. ha () a modellünk paramétereben nem lneárs. Ezekben a helyzetekben ugyans a hbafelület nem parabolod, lokáls mnmuma lehetnek, amelyek esetén a lokáls nformácóra építő gradens elárások könnyen leállhatnak a lokáls mnmumok valamelykében. Iteratív modellllesztés ewton módszerrel: Erre a Wener-Hopf egyenletből kndulva utunk, a korábbakban megsmertük, tt csak a felsorolás telessége érdekében szerepel. Feltételezzük, hogy smerük az és a P mátrxot. Ebből adódóan a módszer nkább csak elv elentőségű, mert a gyakorlatban nem elvárható előzetes smereteket tételez fel. Mégs k kell emeln, mert rányt mutat a közelítő elárások megtervezéséhez. endre két összefüggést adunk meg. Az első a paraméter vektort ada meg következő terácós lépésben, míg a másodk a paraméter-hba alakulását a kndulás paraméter-hbából. n ) (, (08) n V( n ) ( ) V(0). (09) Jól látható, hogy 0. 5 esetén egylépéses a konvergenca. Iteratív modellllesztés a legmeredekebb lető módszerével: Ez már egy praktkus módszer, amelyk nem feltételez az és a P mátrxok smeretét, de azt gen, hogy a gradenst lokáls nformácók alapán meg tuduk határozn: ( ( ( ˆ ( (0) W ( W ( Ez praktkusan azt gényl, hogy az n-edk terácós lépéshez elvégzünk egy olyan mérés sorozatot, hogy ks megváltozása különböző bemenőel-értékek mellett ( mekkora megváltozását eredményez, mad ezeket a megváltozásokat átlagoluk (amvel közelítük a várható-érték képzést), és ezzel ( egy (reményenk szernt gen ó) becslését kapuk. W ( n ) W ( ( () n V ( n ) ( I ) (). A gradens mentén történő ereszkedés eredményét a főtengely rányú koordnátarendszereben látványosabban tuduk érzékeltetn.. A gradens mentén történő ereszkedés eredménye természetesen nem függ attól, hogy mlyen vonatkoztatás (koordnáta) rendszert alkalmazunk. Iteratív modellllesztés a pllanatny derváltra alapozva (az ún. LMS módszer): (LMS: Least-Mean-Square). A hba pllanatértékéből ndulunk k: ( [ y( ( ] [ y( ( ] e (. Ennek derválásával becsülük a gradenst: 4
Amvel Méréselmélet: 5. előadás, 03.03.3. ˆ ( ( ( y( ( W ( ( W ( ( (3) W ( n ) W ( (. (4) Ez egy nagyon széles körben használt összefüggés, különösen nagyobb méretű paramétervektorok esetén. A bátorság tényező azonban nagy körültekntéssel, és tpkusan ks értékre választandó, hszen a (3) szernt gradens gencsak közelítő: az aktuáls y (, ( függvénye, mközben a tényleges gradens (3) várható értéke. A ks bátorság tényezővel együtt ár a sok ( apró ) terácós lépés, am lehetőséget ad sok y (, ( érték megsmerésére, és ezzel az elmaradt várható érték képzés kváltására.. A neuráls hálózatok térhódításának kezdetén az LMS elárást nagyon széles körben használták a méretes adaptív lneárs kombnátorokat használó hálózatok tanítására.. Általános tapasztalat, hogy ha eléggé ks értékkel dolgozunk, akkor elég ól megközelíthetük az optmáls paraméter-vektort, nagyobb esetén a megmaradó paraméter-hba nagyobb lesz. Ennek az az oka, hogy lyenkor a parabolod legalsó ponta környezetében de-oda ugrálunk a pllanatny dervált szernt, és a nem eléggé ks matt képtelenek vagyunk még leebb ereszkedn. Mndenképpen célszerű tehát a mnmum környezetében a érték tovább csökkentése. A paraméter-hba kfeezését a (4) összefüggésből úgy származtatuk, hogy mndkét oldalából levonuk W -ot, ll. y( ( W feltételezéssel/közelítéssel élünk. Ez utóbbval azt feltételezzük, hogy a modellllesztés tökéletesen skerült. amből: W ( n ) W [ I ( W ( W ( ][ W ( W ( [ n 0 ] ( W ( W ( ] V ( n ) [ ( I ( ) ( ))] (5) A (5) összefüggés arra mutat rá, hogy a paraméter-hba csökkenéséhez hogyan árul hozzá a bátorság tényező és az ( ún. regresszós vektor. ylvánvalóan a mátrx szorzatnak kontraktívnak, azaz a paraméter-hba vektor hosszát csökkentő hatásúnak kell lenne. Célszerű, ha ez a hatás mnden lépésben érvényesül. Iteratív modell-llesztés -LMS módszerrel: A (4) összefüggésben célszerű lehet az ( regresszós vektor normálása, hszen e nélkül a paraméter vektor korrekcóa nagymértékben függ a elsznttől. (4), ll. (5) megfelelőe: W ( n ) W ( ( (6) ( ( V ( n ) [ n 0 ( I ( ) ( ) ( ) Iteratív modell-llesztés LMS-ewton módszerrel: ( ))] (7) 5
Méréselmélet: 5. előadás, 03.03.3. A (4) összefüggésben az ( regresszós vektor normálása elvleg az mátrxszal s lehetséges. Ha tehát abban a különös helyzetben lennénk, hogy smerük az mátrxot, és a gradenst pedg pllanatny értékével becsülük, akkor n ) ( (8) V n ( n ) [ ( I ( ) ( ))] (9) 0 Ennek a gondolatnak akkor van gyakorlat elentősége, ha az mátrxot a megfgyelésenkből teratív úton ugyancsak előállítuk. Iteratív modell-llesztés LMS-ewton módszerrel, teratív becslésével: n ) ( n ) ( (0) ahol ( n ) ( ( (, 0, 0, 0.9...0.99. (n+) nverzét az teratív számítást nagymértékben könnyítő, ún. mátrx nverzós lemma felhasználásával írtuk fel. ( n ) ( ( ( (, ( ( ( ( (). A mátrx nverzós lemma: [ A BC] A A B[ I CA B] A. Fgyelük meg, hogy amennyben, mnt esetünkben, BC dád, akkor a obboldal záróeles nverz skalár érték lesz. Most A (, BC ( (.. Az terácót célszerűen ( 0) I értékkel ndítuk, ahol 0. 6