Fuzzy rendszerek & genetikus algoritmusok

Átírás

1 Fuzzy rendszere & geneus algormuso Előadás vázla 4. hé Összeállíoa: Harma Isván h.d., egyeem adjunus Felhasznál rodalom: Dr. Lanos Béla: Fuzzy sysems and genec algorhms, 00, Műegyeem adó, Budapes

2 3. OIMALIZÁLÁSI MÓDSZEREK A mérnö problémamegoldásban gyaran előfordulna az opmalzálás feladao. Az előadás émája: Bevezeés az opmalzálás feladaoba o Alapfogalma o Az opmum analus feléele Korláozo opmum problémára a szüséges feléele Specáls ípusú orláozásora szüséges és elégséges feléele Konvex objeív rérum függvényere szüséges és elegséges feléele o élda: Opmumfelada az rányíáselméleben Opmum eresés módszere orláozás nélül, véges dmenzós ereben o Opmumeresés salárválozóban o Gradens módszer o Konjugál gradens módszer o Newon módszer o Gradens szerű echná o A módszere erjeszése orláozásoa aralmazó eseere büneő függvénye alalmazása araméer becslés o Bach mód o On-lne mód reurzív formula o Nemlneárs paraméerbecslés loáls lnearzálás uán vsszavezeve reurzív lneárs paraméerbecslésre Fonos felhasználás erüle: Opmáls függvény approxmácó pl Neuráls hálózaoban NN, Fuzzy rendszereben FS [pl. Sugeno ípusú rendszere]

3 3.. Bevezeés az opmalzálás feladaoba 3... Alapfogalma Az opmum analus feléele Banach érben vzsgálju. Enne defnálásához szüségün van a Cauchy soroza fogalmára. Defnícó [Cauchy soroza]. Ha egy a, a,k soroza eseén a d a n, a m merával defnál ávolságra fennáll, hogy lm d a, a 0, aor Cauchy sorozaról beszélün. mn m, n n m Defnícó [Banach ér]. Az E Banach ér egy olyan lneárs normál ér, amelyben a Cauchy sorozaona van haárárée E -ben. élda [Banach ér]. n A véges dmenzójú R euldesz ér. A sorozao végelen dmenzójú l ere. A folyonos függvénye C[ a, b] ere az [ a, b] compac nervallum fele. A négyzeesen negrálhaó függvénye L [ a, ] ere. b

4 Felevés. A függvénye Fréche érelemben dfferencálhaó. Defnícó [Fréche dervál]. A válozó s megválozása eseén az F : E E függvény válozása jól özelíheő a A K E E orláos lnárs operáorral, azaz F x0 + h F x0 Ah + ω x0, h ahol ω x0, h lm 0. h 0 h h -val való oszas lmesben azer ell, mer h -val oszva az egyenlee, azaz dervala szamolva, csa az A marad meg, a marade rész ω / h nem, vagys a dervala A egyerelmuen defnalja. A a Fréche dervál K E E a orláos függvénye ere Megjegyzés. Véges dmenzós Euldesz ereben a Fréche dervál megegyez a hagyományos veor-veor függvény derváljával. Fonos! Az opmalzálás felada lényegesen egyszerűbb, ha a halmaz am egyúal orláozás onvex. Defnícó [onvex orláozás/halmaz]. x, x A E és 0 eseén x + x A. Fgyelem! I nem Fréche dervál, hanem Banach érében defnál. Szemléleesebben: Bármely é onvex halmazbel pono összeöő egyenes ponja sznén a halmazban vanna. A halmaz egy orláozásna felel meg.

5 Ha a orláozáso defnálásában függvénye veszne rész, aor s önnyíés jelen, ha a függvénye onvexe. Mvel a függvénye épere aár Banach ér s lehe, ezér a onvexás eor a relácó álalánosíásával adju meg. Felevés. Az opmalzálandó objeív/ölség vagy orláozó függvénye valós éréű funconálo, amelye azonban lehene lneársa és nemlneársa s. Defnícó [onvex funconál]. A F : E R funconál onvex funconál, ha x x E, 0 F x + F x F x +, x. F : E R Defnícó [duáls ér] Az E Banach ér E K E R duáls ere folyonos lneárs funconáloból álló ere ahol a normá f sup f x x defnálja. f -el jelöljü ovábbaban a lneárs funconáloa Megjegyzés. Az E banach ér ponoa aralmaz, mg az E duáls ér az E ponjan defnál funconáloa aralmazza éel Resz reprezenácós éel. Mnden f : R n R lneárs funconál felírhaó f x < g, x > alaban, ahol g R n egy veor. Azaz f egyérelműen azonosíhaó egy veorral. Defnícó [Belső pon]. Egy A halmaz belső ponja egy olyan pon, amelyne van olyan örnyezee, hogy az ebben alálhaó pono mndegye az A halmazban van.

6 3... Opmum analus feléele Felevés. Az alább éele a saus loáls opmumra mnmum adna szüséges feléelee, ha a orláozáso onvex halmazból A onvex halmaz eljesí az FA feléel egyenlőlenségeből x 0 és/vagy F egyenlőségeből állhana F x 0 ahol az F x nemlneárs funconálo Fréche derválhaó Feléel [FA feléel]. Legyen E Banach ér, A E onvex halmaz, x 0 A fx pon, és felesszü, hogy az alábba valamelye eljesül: o A A-na van belső ponja f j E és R, j, K, m, úgy hogy A { x E : f x b, j, K, m}, ovábbá a b j J : { j {, K, m}: f j x0 b j} jelölés melle eljesül, hogy ~ ~ ~ f 0 0, j J 0, j J j J j j E j j Megjegyzése FA feléelhez. Az alernava az a feléel fejez, hogy az A folyonos lneárs funconáloal defnál félere meszee polyhedron Azo a funconálo, amelye álal defnál félere haára x 0, lneársan függelene nemnegaív együhaóal. Megjegyzés. A dfferencálegyenleel jellemezheő dnamus rendszerere s levezeheő a loáls és a globáls onryagn-féle maxmum elv, azonban ezeel nem foglalozun. j j

7 3... Korláozo opmum problémára a szüséges feléele éel [loáls opmum feléele egyenőlenség és egyenlőség ípusú orláozáso egydejű jelenlée eseén] Legyen E Banach ér, x E, 0 F : E R, 0, K, n + funconálo és n pozív egész, amelyene léez és folyonos a Fréche-derválja az x egy V örnyezeében 0 A E onvex halmaz, amely elégí az FA feléel Legyen ovábbá a orláozás : Q { x E : F x 0,, K, n, F x 0, n +, K, n +, x A} x 0 Q és léezzen x 0 -na olyan U örnyezee, hogy mn F0 x F0 x0. x Q U Aor léezne olyan, 0, K, n + valós számo, hogy : 0, K, n + 0 0, 0, K n és x 0 0,, K, n,, n + x : F 0 F f x0 x, ahol az f E folyonos lneárs funconálra eljesül, hogy x A f x f x0. Megjegyzés. 0 x a mnmalzálandó függvény, F : E R,, K, n + a orláozáso. n egyenlőlenség, egyenlőség. F

8 éel [Lagrange - loáls opmum feléele egyenlőség ípusú orláozáso eseén] Legyen E Banach ér, x E, 0 F : E R, 0, K, funconálo pozív egész, amelyene léez és folyonos a Fréchederválja az x0 egy V örnyezeében A E onvex halmaz, amely elégí az FA feléel Legyen ovábbá a orláozás : Q { x E : F x 0,, K,, x A} x 0 Q és léezzen x 0 -na olyan U örnyezee, hogy mn F0 x F0 x0. x Q U Aor léezne olyan, : 0, K, 0 0 0, 0, K, valós számo, hogy f x : F x x, ahol az f E folyonos lneárs funconálra eljesül, hogy 0 0 x A f x f x0. Megjegyzés. Eőzőhöz vszonyíva n + helye szerepel mndenhol, nncs egyenlőenség F a mnmalzálandó függvény, F : E R,, K, a orláozáso egyenlőség. 0 x

9 Köveezmény [Lagrange mulpláor szabály] Ha A E ehá hányz az A orláozás, aor 0 E f mvel F 0 x 0 0 a mnmumhely ma, és F x 0,, K, a Q orláozás ma az egesz 0 nulla-függvény apju a öveezeés részben f E A E -n, így a Megmuahaó, hogy eor 0 > 0, ezér 0 válaszhaó, amely a Lagrange mulpláor szabályhoz veze: F 0 x0 + F x0 0 f x : F x x -ben x -el egyszerűsíheün, mvel f x a nulla fügvénnyel egyenlő 0 0 E

10 éel [ Kuhn-ucer - loáls opmum feléele egyenőlenség ípusú orláozáso eseén] Legyen E Banach ér, x E, 0 F : E R, 0, K, n funconálo n pozív egész, amelyene léez és folyonos a Fréchederválja az x egy V örnyezeében 0 A E onvex halmaz, amely elégí az FA feléel Legyen ovábbá a orláozás : Q { x E : F x 0,, K, n, x A} x 0 Q és léezzen x 0 -na olyan U örnyezee, hogy mn F0 x F0 x0. x Q U Aor léezne olyan, 0, K, n valós számo, hogy : 0, K, n 0 0, 0, K n és x 0 0,, K, n,, x : n F 0 F f x0 x, ahol az f E folyonos lneárs funconálra eljesül, hogy x A f x f x0. Megjegyzés. F a mnmalzálandó függvény, F : E R,, K, n a orláozáso. n egyenlőlenség. 0 x A Kuhn ucer éel a Lagrange éel álalánosíása.

11 Köveezmény [ Lagrange onlúzó Kuhn ucer éelből] Legyen A E ehá hányz az A orláozás, ahol E Banach ér és eljesüljön az alább é feléel özül valamely: x,, K, n onvex funconál és léez olyan ~ x E, hogy F x n ~ < 0,, K,. Aor F Léez f E és b R, hogy F x f x b,, K, n. 0, F x0 0,, K, n, F x + F x + L + F x n n E Azaz ha léez olyan ~ x E ahol a orláozásoban szereplő egyenlőlenség relácóban nem szerepel az egyenlőség jel, aor a Lagrange mulpláor szabály levezeésében láoahoz hasonlóan F x 0 lesz az egész arományon, így 0 és a Lagrange szabályhoz juun. f E

12 3....Konvex objeív rérum függvényere szüséges és elegséges feléele éel [Globáls opmum szüséges és elégséges feléele Banach érben] Legyen az F0 : R m m R objeív függvény onvex és defnáljá a F : R R lneárs funconálo a orláozáso Q { x E : F x 0,, K, } halmazá. A fen eseben x 0 globáls mnmum, azaz mn F0 x F0 x0 x Q F0 x0 + F x0 + L + F x0 0 aor és csa aor, ha Megjegyzés. Lagrange-éellel összeveve láhaó a hasonlóság, de az objeív függvény s onvex, elégséges feléel s ad és globálsan van érelmezve. Köveezmény. Ha nncsene orláozáso n 0 és A E és F 0 x onvex, aor a globáls opmum szüséges és elégséges feléele: F 0 x 0 0. Ez uóbb már remélheőleg smerős.

13 3..3. élda: Opmumfelada az rányíáselméleben Dnamus opmalzácó folyonos dőben F0 x, u fo x, u d mn 0 Q { x, u E : x c + f x, u d 0 [0, ], x d} Q 0 r { x, u E : u M R majdnem mnden [0, Korláozáso halmaza: Q Q Q ] eseén} A megoldás az E C[ 0, ] L [0, ] banach érben ell eresnün C [ 0, ] az x -re, L [ 0, ] az u -ra vonaoz. 0 Ha M, aor a probléma egy lasszus varácószámíás felada. Álalános M -re először onryagn ado megoldás. M a rendszer bemeneé reprezenáló halmaz

14 LQ opmum probléma N N F 0 x, u < Q x, x > + < Ru, u > mn, Q 0, R > 0, 0 0 Korláozáso halmaza: x + A x + Bu, 0, K, N, x0 a N N x { 0 } 0 A megoldás x }, u { u érben eressü, amely egy véges dmenzójú Euldesz ér. Mvel a ölségfüggvény onvex és a orláozáso halmaza lneárs egyenleeel ado, ezér a szüséges és elegséges feléele a globáls opmumna a Lagrange mulpláor szabály. 3..

15 Opmum eresés módszere orláozás nélül, véges dmenzós ereben Gyaran használaosa az rányíásechnában, modelezésben, jelfeldolgozásban M csa mnumumereséssel foglalozun Korláozás eseén a ölségfüggvényhez egy büneőfüggvény adun, amne érée nagy, ha a orláozás nem ejesül.

16 3... Opmumeresés egy salár válozóban A mnmum helyéne egy x ponból egy d rányban való eresésére jó özelíés a arg mn{ f x + d : 0} Ké elv javasolhaó megalálására: Cauchy-elv: arg mn{ f x + d : 0}

17 Goldsen-elv: Legyen q q, 0 < q < q. Ha, < q f x, d > f x + d f x q < f x, d > G < eljesül eseén, aor :, egyébén az a > 0 érée eressü, ahol -nál eljesül G Megjegyzés. < f x, d > fejezés a d rány menén a függvény meredesége. Ez a gradens veor és a d rányveor salárs szorzaaén apju meg. Mvel d - negaív gradens rányúna válaszju célszerűen, ezér a fejezés az opmum rányában negav. Megjegyzés. < f x, d > a függvény érééne d rányú megválozása ado méréű haladásnál. Megejegyzés. A q nagyobb, mn q-el és a nagyobb szerepeleése a sebb oldalon felírással bzosíju, hogy a függvény csöenő rányában megyün, amíg a függvény csöenése a q, q álal meghaározo sávban nem lesz. Exaabban: : f x + d 0 < f x, d f x : q 0, : q 0 0, > 0 < 0, 0. [vö Goldsen elvű algormus] pozív,mer q 0-vel a op opmum éré alá megyün, azaz -o alulról becsüljü. op vszon negav és q 0 válozása nem annyra negav, mn op azaz G vel evvalens, hogy 0, 0 G érée a 0-ból negav rányba ndul negave meredeséggel, és az opmáls érénél ér el a mnmumo. Ez a - ell megaláln lleve az, ahol az opmum a é meredeség özö van, mnha egy úpcsóvájú zseblámpával vlágíanán lefelé és ebben ell, hogy az opmum legyen.

18 3... Opmumeresés Cauchy elvvel Felevés. Legyen : R R és onvex és dfferencálhaó. mnmumá eressü. Defnícó [Fbonacc szám]. Az F + F 0 egyenle F 5 / megoldása a Fbonacc szám. A öveező é algormus megalál egy ε > 0 széles nervallumo -ban, amelyben mnmumo vesz fel. Ugyans mnnél özelebb vagyun az opmumhoz annál sebb érée, hsz : f x + d f x -ben az első ag az opmumnal a legsebb, a masod ag pedg nem függ -ól, azaz onsans. Algormus [Cauchy elv, Fbonacc eresés, aranymeszés].. Egy [ a0, b 0 ] nervallum meghaározása, amely a mnmum helyé aralmazza. Legyen : 0.. Ha b a ε, aor sop és a mnmum helyére eljesül [ a, b ]. 3. Legyen v : b F b a, w : a + F b a. Fbonacc szam szern feloszas 4. Ha v < w aor legyen a + : a, b + : w, : + a. lépésre Ha v w aor legyen a + : v, b + : b, : + a. lépésre Mndg az nervallum arról az oldaláról özelíün a mnum felé, ahol a nagyobb v vagy w - özül valamely. Így előbb uóbb beszoríju az opmumhelye egy ε hosszú nervallumba.

19 3... Opmumeresés Goldsen elvvel Algormus [Goldsen elv].. µ : ρ > 0 [vö ábra]. µ számíása orábban. 3. Ha µ 0, aor legyen : µ, Sop. Ha µ < 0, aor legyen µ : µ + ρ a. lépésre 4. µ számíása érée a defnícó szern pozív vö orábban. 5. Ha µ 0, aor legyen : µ, Sop Ha µ > 0, aor legyen a µ ρ, b : µ, : 0 0 : 0 6. Legyen v a + b és számísu v, v éréee. 7. Ha v 0 és v 0, aor : v, Sop. Ha v > 0, aor a + : a, b + : v, : + a 6. lépésre Ha v < 0, aor a + v, b + : b, : a 6. lépésre : +

20 q 0 < 0 0 q 0 > 0 op [algormus] Megjegyzése. Léez J a 0, b ], hogy mnden J -re eljesül 0, 0 [ 0. Ha az algormus nem ér ége, aor az -d erácóban eljesül, hogy b a b 0 a0, azaz az opmáls megoldás aralmazó nervallum mndenép sebb lesz és ponosabban smerjü a megoldás leheséges helyé.

21 Kezde magyaráza q 0 < 0 q 0 > 0 op 0 q 0 és q 0 mndg efölö a pon fele vanna q, q < ma

22 a 0 µ ρ µ b 0 µ µ ρ p p µ µ + ρ q 0 q 0 0

23 . A G aor eljesül, ha a q 0 pros vonala a függvény ala és a q 0 zöld vonala a függvény fele van. Ez a p és p pono özö van. Az nem garanál, hogy eözö a é pon özö van a mnmum, de az bzos, hogy a függvényne van hasasodása.. Elöszőr µ ρ érée nézzü. Kderül, hogy q 0 a függvény ala van azaz > 0 nem eljesül, ezér addg adun hozzá ρ -, míg a függvény alá nem erülün. Ez valamor beöveez, hsz a függvény onvex! Legyen ez a pon µ. 3. Mos megnézzü, hogy a < 0 eljesül-e. Mvel q 0 ezen a helyen a függvény ala van, nem eljesül. Ezér bzos, hogy a µ és µ özö szaasz aralmazza a p és p ponoa. A célun egyelőre az, hogy a szaasz úgy módosíju, hogy mndé vége a és p özö legyen, ahol < 0 és > 0 p eljesül. 4. Beállíju a ezde paraméeree az nervallumfelezéshez: a 0 µ ρ µ, b 0 µ. Megnézzü, hogy az és b özö félúon alálhaó v ponnál eljesül-e < 0 és > 0. a0 0 Ha v < 0 nem eljesül, az az jelen, hogy q 0 még mndg a függvény ala van, vagys v > p, ehá a felső orláo lejjebb vehejü: b + v, az alsó orlá egyelőre marad: a + a Ha v > 0 nem eljesül, aor az az jelen, hogy q 0 még mndg a függvény fele van, vagys v < p, hehá az alsó orláo feljebb vhejü: a + v, míg a felső orláo nem bánju: b + b 5. A szaaszfelezésee folyava, előbb uóbb eljesül < 0 és > 0, azaz a pon és p özö v p lesz. Mér jó ez neün? 6. Azér, jó, mer q és q a q 0 és q 0 egyeneseen ereszül defnálja számunra az a mnmáls és maxmáls meredesége az ndulás ponban defnál legnegaívabb meredeséghez épes, amellyel leereszedün a mnmumpon felé az ado d rányban. Azonban az nem garanál, hogy a mnmumpon az ado d rányban p és p özö lesz, de ez nem s baj! A lényeg, hogy az új x + p ponból ndíva az algormus, 0 éréée sebb, lleve a < 0, > 0 zseblámpaúp s esenyebb lesz, és 0 meredeségű egyeneshez s özelebb erülne. Enne öveezményeén érée azaz : f x + d f x függvény hba eszőlegesen csvé eheő. A ρ öveező érée p p lehe így a belö nervallum mndé végé használju

24 3... Gradens módszer Legegyszerűbb opmumereső eljárás orláozás nélül eseben. Ha a gradens g : f x, aor a eresés rány a negave gradens menén van: d : g A mnmumhely megalálása a negav gradens rányban örénhe o Cauchy elv szern o Goldsen elv szern o Fx 0 lépésözzel, ahol a mnmumhely új özelíése: x + : x 0 g g

25 3..3. Konjugál gradens módszer Bevezeő. Legyen az opmalzálás rérum egy onvex és vadraus valós függvény, orláozás nélül: f x < Ax, x > + < b, x > + c, A > 0 szmmerus és pozív defn g : f x Ax + b gradens f x A Hess márx A x0 mnmumhelyen: f x0 Ax0 + b 0 Ebből x 0 meghaározhaó lenne, azonban a módszer más függvényere s alalmazn aarju vagy lehe, hogy a Hess marx alaja sem smer vagy nehezen számíhaó ezér nem ebből ndulun. A módszer csa a gradens gényl n dm x lépésben megalálja a mnmumo vadraus fv eseén. Defnícó [Konjugál rányo] A { d0, d, K, d} rányo A-ra vonaozóan onjugál rányo, ha mnden < eseén < d, > 0 és g, g > 0. Ad <

26 Algormus [Konjugál gradens algormus vadraus függvény eseén]. Legyen x 0 az nduló éré, 0. g 0 : f x0 Ax0 + b d0 g 0. együ fel, hgy már meg le haározva x, g f x Ax + b, d, és eljesül <, <, > 0, > 0 Legyen x + a mnmum helye a d rányban, és válasszu a öveező éréee: < d, g > :, < d, Ad > [ndolás ] KG x g + : x + d, KG : f x Ax b, KG < g +, Ad > β :, [ndolás ] KG4 < d, Ad > Isméeljü meg a. lépés d : + β d KG5 + g + n eléréség, aor x n a mnmumhely özelíése.

27 Indolás:. Legyen : f x + d, aor 0 az opmum helyén d rányban, am felhasználásával < f x + d, d > 0 < A x + d < g + Ad és a fejezéséhez veze. + b, d, d > 0 > 0 g Ax + b IND. Ha a d + : g + + βd válaszással élün uolsó éple. lépésben, aor d + -el bővíve a onjugál rányoa eljesűlne ell, hogy < d +, Ad >< g + + β d, Ad > 0, ahonnann öveez a β < g + Ad > / < d, Ad > fejezés.,

28 Lemma: d, d, K, } rányo A-ra nézve onjugála. { 0 d + Bzonyíás: Előbb beláju, hogy < + eseén < g, g + > 0. A g + alaja szern: g + Ax+ + b A x + d + b g + Ad < g, g + >< g, g > + < g, Ad >. * Ha <, aor a onsrucó az algormusban uolsó épleéne árendezésével és a onjugál rányo defnícója szern: g d + β d < g, g + >< g, g > + < d + βd, Ad > 0 mvel mndegy salárszorza nulla a jobboldalon d, Ad > 0 és g, g > 0 ma. Ha < <, aor éréé és g az algormus uolsó épleéből fejezeve behelyeesíve IND / 3 KG5 < g, g + > < g, g > + < g, Ad > < g + d, g > < β d, g > 0, mvel a reurzó ma β d Span{ g0, K, g } és beláu, hogy mnden < + eseén < g, g > 0. Beláju, hogy < + eseén < d +, Ad > 0. Az ese bzosan eljesül β válaszás ma [ndolás ]. Ha <, aor < d +, Ad >< g + + β d, Ad > < g +, Ad > Az x + válaszása alapján g+ Ax + + b A x + d + b g + Ad Ad g+ g, S ahonnan és,s alapján, Ad > d, Ad < d + < g +, Ad > < g +, g+ g > 0 0 S

29 Lemma: Ha f x < Ax, x > + < b, x > + c, A > 0, aor az algormus legfeljebb n dm x lépés uán megalálja a mnmumo. Bzonyíás: A mnmum szüséges és elégséges feléele olyan alálása, amelyre eljesül: x f x Ax + b : g 0 Ha valamely lépés során eljesül g 0, < n aor megalálu a globáls mnmum helyé. Ha ez nem öveez be, aor mvel { g0, K, g n } orogonáls veorrendszer, Span{ g 0, K, g n } R, így n darab g uán már nem udun az n dmenzóban nulláól ülönböző veor aláln, amely mnden g -ra merőleges. x n

30 Algormus [Konjugál gradens algormus eszőleges függvény eseén]. Incalzálás. Legyen x 0 a ezdő pon és g 0 : f x0, d0 g0, 0.. együ fel, hogy már meg le haározva x, g f x és d. Keressü meg a mnmumá a f x + d függvényne Cauchy elv, Goldsen elv vagy fx lépésöz, és legyen a mnmum helye. Haározzu meg az új eresés rány a öveező szabály szern: x : x + d, g + : f x + + < g +, g + g > β :, Az elöző algormus Ad -jába behelyeesíeü az < d, g g > + [S] összefüggés. d + : g + + β d Isméeljü a. lépés n lépésg, ha g > 0. A n elérése uán x : újrancalzálás. 0 x n Ha g 0, aor - fogadju el mnmumhelyne. x Megjegyzés. Ha f x nem vadraus, aor a módszer csa özelíő és a mnmum álalában nem érheő el lépés ala. n

31 3..4. Newon módszer Legyen f x egy onvex vadraus függvény: f x < A x x0, x x0 >, A > 0, g : f x A x x0, f x A ahol x0 a globáls mnmum helye. Egy eszőleges x eseén A x x0 A x x0 azonosságból ndulva x 0 x A x { A x 0} 0 x Am Newon módszerhez veze: x : x [ f x] f N eszőleges onvex vadraus függvényne megalálja a mnmumá egy lépésben gényl a gradens és a Hess marx rendelezésre állásá. Newon módszer özelíése: x + : x [ f x ] f x Közelíés, ha a függvény nem vadraus Kváz Newon módszer: x + : x [ H x ] f x f x H x özelíés Levenberg-Marquad eljárásban : H x : H x + δi δ egy s pozív szám

32 3..5 Gradenshez hasonló eljáráso robléma: A eresés során f x < f + x feléel nem bzosíja, hogy az { x } soroza a gradens nullává vál. Megoldandó. x orlódás ponjában Defnícó [F-függvény]. A ρ :[0, [0, függvény F-függvényne forcng funcon nevezzü, ha mnden { } [0, eseén lm ρ 0 lm 0 Azaz az F-függvény csa aor ar nullához, ha az argumenuma s nullához ar. A ovábbaban megöveeljü még a V-feléel, amely garanálja mn f x n x R léezésé. Feléel [V]. A ereséshez használ x 0 ndulás pon eljesíse, hogy C x0 : { x R : f x f x0} ompa halmaz. Algormus [Gradenshez hasonló eljáráso algormusa]. n. Kndulás x R, : válaszása. 0 0 :. Ha f x 0 mnmumhely özelíése: x x, Sop. 3. Kszámíandó olyan d 0 rányveor, hogy mnden x C x 0 és lerögzíe ρ F-függvény eseén: < f x, d > σ : ρ f x Z d Azaz ényleg özeledün a nulla gradens felé, de az rány jelölésében szabadezün van. A gradens módszer a Z feléelne elege esz. 4. meghaározása a Cauchy-elv vagy a Goldsen-elv szern. 5. Legyen x + : x + d, : + és ugrás a. lépésre. n

33 Davdson/Flecher/owell eljárás Exra egészíésee eszözölün.. lépésben Incalzálásor: pozív defn marx válaszása. : H 0 > 0 3. lépésben: x f H d 4. lépésben: meghaározása Cauchy elvvel. 5. lépés:.,, :, :, : > < > < q H q q H q H q r r r H H x x r x f x f q Megjegyzése: - bzosí az algormus. > 0 H Ha x f eljesí bzonyos smaságs és orláoság feléelee Gradenshez hasonló eljárás ρ a orláoból meghaározhaó Konevrgenca erősebb a lneársnál.

34 Flecher/Reeves és ola/rbere eljárás. lépés Incalzálás: β 0 : 0 3. lépés. A Keresés rány: d : f x + β d 4. meghaározása Cauchy elvvel. 5. lépés. β orrgálása: β β : : < f x f x + f x + f x f x, f x + > Flecher/Reeves ola/rbere Megjegyzése: Konvex és vadraus függvény eseén a eresés rányo onjugál rányo mndeőnél. Nem vadraus függvény eseén mnden n lépés uán érdemes ujrancalzáln β :

35 Lneárs paraméerbecslés Számos mérnö problémamegoldásban fonos eszöz. Cél: araméere lleszése a zajos megfgyelésehez. m y + ε, y R, R, egy m p márx p y, a mene és más, orább megfgyelése. m a menee száma az smerelen paraméerveor meghaározása a cél ε smerelen zaj. ll. ε y fejezésén az egyenlehba,, K, R y egyválozós eseben egy sorveor. Vzsgálandó esee:. A megfgyelése száma fx: N off-lne, bach módszer. Az adao valós dőben foozaosan gyűlne on-lne, reurzív paraméerbecslés

36 3.3.. Lneárs paraméerbecslés bach üzemmódban Közönséges LS legsebb négyzee módszere Koncepcó: A hbanégyzee mnmalzálása az dőnervallumban V, ε y Φ arg mn V,. p R, y M, y Φ M, E ε M, ε V, onvex, vadraus -ban a globáls mnmum szüséges és elégséges feléeele: V, 0 Lederválva: V, Φ <, < > < Φ Φ,, > + < Φ dv V, Φ + Φ Φ 0 d Az opmáls LS megoldás ˆ, amne számíása: Φ ><, Φ, >, > <, Φ > + < Φ, Φ > Φ Φˆ Φ, normál egyenle numerusan jobban ondconál, mn a öveező: ˆ Φ Φ Φ A megfgyelésene megfelelően perzszensne ell lennü, azaz Φ Φ -ne nverálhaóna ell lenne.

37 Súlyozo legsebb négyzee WLS módszer Annyban ér el az előzőől, hogy az egyenlehbá egy W > 0 pozív defn márxszal súlyozzu: V, < WE, E > < W Φ, Φ > { < W, { < W, > < Φ W, > + < Φ WΦ, > }. Eor > < WΦ, > < W, Φ > + < WΦ, Φ > } dv V, Φ W + Φ WΦ d 0 és Φ WΦ ˆ Φ ˆ Φ WΦ W Φ W W jelenősen növel a számíás dő. Ha W blodagonáls w y, w válaszás egyszerűsí. Z Φ W, azaz helye w és ˆ Z Φ Z sznén egyszerűsí. apcsola IV módszer rányába

38 Sasza ulajdonságo:. Ha és Φ deermnszus és E Φ várhaó érée nulla LS becslés orzíalan ˆ 0. Ha szochaszus ese, E és Φ függelene, E özépérée nulla LS becslés orzíalan + E hba orrelálalan és egyforma varancájú cov[ E, E] σ I ovaranca mnmáls orzalan LS-een belül 3. cov[ E, E] σ I nem eljesül mnmáls ovarancájú, orzíalan becslés WLS, Ez a Marov becslés W cov[ E, E]

39 Numerus módszere LS becslésre Ljung és Noron: Φ Φ nverálására bevál orogonáls módszeree használ elem ranszformácóra épülő helye. Choles faorzácó: A szmmerus, perzszens, pozív defn Φ Φ négyzegyöéne meghaározása alsó marx alaban. Golub-Householder Householder ranszformácóval: Φ marx, amellyel: : [ ], ˆ, V SVD Sngular Value Decomposon Szngulárs éré felbonás Legyen Φ méree M p : Nm p, aor Φ UΣV U U M M, V Vp p, UU I, VV I, Σ Σ és Σ dag, a 0 0 σ hol σ σ L σ p M p σ : A Φ szngulárs érée : A Φ sajáérée, ahol σ Φ H [ V 0 ], ahol V már felső E

40 SVD:. Householder ranszformácó: Φ bdagnáls alara hozása. QR algormuson erácó sorozaával: Dagonáls alara hozás U : A éperéne oronormál bázsa Φ V : A mageréne oronormál bázsa Φ U és V orogonáls, ezér: dag V V V V V U U V V σ Σ Σ Σ Σ Σ Σ Φ Φ v : a V marx -d oszlopa, egyben Φ Φ sajáveora, sajáéréel. σ Bevezeve a ranszformácó -ra, ranszformácó U V -ra:.,, Σ Σ Σ Φ V V U U U U V U A ranszformácó az egyenlehbá négyzeene összegé nem váloajá:,, Φ > Σ Σ < Σ Σ Σ Σ V U U V U U V U U V U Ezér Φ helye Σ - mnmalzálva.,,,, / ˆ, ] 0 [dag ] 0 [ ˆ p K Σ Σ Σ Σ Σ Σ σ σ S v V V ˆ ˆ ˆ ˆ S

41 Megjegyzése SVD-hez: Ha Φ oszlopa regreszsoro lneársan összefüggő σ csvé vál / σ v nagy a ˆ paraméerveorban lasd S beereeze éple Nagy az egyenlehba, hacsa nem maszolju ebben az eseben -: v σ σ L σ 0 és r > Σ r r + σ p 0 Σ 0 0 M p σ L 0 Ezér: ˆ / σ, ha σ > 0 0, egyébén Megjegyzés. Ha Φ UΣV és Σ r dagonáls marx aralmazza a nemnulla szngulárs éréee, aor 0 Σr + Σ 0 U V, r + + Φ Σ Σ, Φ VΣ U, 0 0 Σ 0 0 ˆ + : Φ. azaz a fen maszolásos SVD oncepcó evvalens azzal, hogy a paraméerbecslés a Moore-enrose nverz segíségével haároznán meg.

42 3.3.. Reurzív lneárs paraméerbecslés A becslés folyonos Ha a paraméerveor becslés özben nem állandó, ezér orább becslésee sebb súllyal ell fgyelembe venn -vel való szorzás, azaz felejés. nncs felejés.. ], [, > < y y y V m dm y orább,,, dag : 0 m m m I I I W K Λ dm y,,, dag : K Λ, V onvex és vadraus, ezér a globáls mnmum: Λ Φ ΛΦ Φ ˆ normálegyenle Λ Φ ΛΦ Φ ˆ B Azonban reurzív összefügésre öreszün. Bevezeve a : ΛΦ Φ jelölés [ ] + + R És erre alalmazva a + + DA B DA C B A A BCD A a márx nverzós lemmá a : A, : B, I C :, válaszás melle D :

43 + I R* Ahonnan áalaíáso uán } ] [ { + I A B bach becslésől öveez, hogy + ˆ y y R Ugyanez egy üemmel orábbra felírva ˆ ˆ y y. R3 R-ből apju, hogy [ ] R4 Az R-be az R3-a és R4-e behelyeesíve [ ] ]. ˆ [ ˆ ˆ ˆ ˆ + + y y Ha bevezejü a : K jelölés, aor R* felhasználásával: + + } ] [ { } ] [ { I I I K ] [ + I K

44 Eredménye Algormus [reurzív paraméerbecslés] - Jelfeldolgozásban elerjedebb ala: { [ I + ˆ ˆ + [ y ˆ ] ] } Algormus [reurzív paraméerbecslés] - Szabályozásechnában elerjedebb ala: K [ I + ] [ I K ] / ˆ ˆ + K [ y ˆ ] Az előző becslés K -vel felerősíe rezíduállal ell orrgáln A mene predcója: yˆ ˆ A predcós hba: ε y yˆ Induló érée szüségese reurzív eljáráshoz, pl: ˆ 0 : 0, 0 : σ I

45 3.4. Nemlneárs paraméerbecslés Lneárs paraméerbecslés a dőponban: y 0 Mos álalánosíun nemlneárs esere: y h 0, A függvény analusan smer, de nem udju 0 éréé. Ez eressü együ fel, hogy rendelezésre áll valamlyen ˆ, aor célszerű h, függvény ˆ örül aylor sorba fejen és lneárs aggal özelíen a nemlneárs függvény: dh, h, h ˆ, + 0 d ˆ 0 ˆ ˆ, dh, dh, y h ˆ, ˆ + 0 d d Bevezeve a y : : y h ˆ dh, d, + ˆ dh, d dh ˆ, d ˆ ˆ ˆ jelölés a nemlneárs paraméerbecslés felada loáls lnearzálással a y 0 lneárs paraméerbecslés feladara ranszformálhaó. K

46 A lneárs paraméerbecslésre vsszavezee feladara alalmazhaó a reurzív lneárs paraméerbecslés: y ˆ : dh, y h ˆ, + d ˆ dh, ˆ d ˆ ˆ y h ˆ,. K Azaz a rezduál h, alapján végezzü, K orrecóra nncs szüség. Algormus [ reurzív nemlneárs paraméerbecslés loáls lnearzálással] dh, : N d { ˆ [ I + ] } N ˆ ˆ + [ y h ˆ, ] N3 : +. N4 Ahol K- használju a rezduálban az N3 lneárs paraméerbecslés épleében