Iterativ algoritmusok kezdeti rt k be ll t sa Balogh L szl egyetemi hallgat BME Villamosm rn ki s Informatikai Kar Villamosm rn ki Szak A munka a BME

Átírás

1 Iterativ algoritmusok kezdeti rt k be ll t sa Balogh L szl egyetemi hallgat BME Villamosm rn ki s Informatikai Kar Villamosm rn ki Szak A munka a BME M r stechnika s Inform ci s Rendszerek Tansz k n k sz lt, konzulense: Dr. Koll r Istv n egyetemi tan r. Kivonat A ma alkalmazott frekvenciatartom nybeli rendszeridentik ci s elj r sok egyik gyakran alkalmazott m dszere a maximum likelihood becsl s seg ts g vel fel rt negat v likelihood f ggv ny egyik glob lis minimum nak megtal l sa. A c l az, hogy ezt a k lts gf ggv nyt a param terek, amelyek jelen esetben a line ris, id invari ns rendszer tviteli f ggv ny nek egy tthat i, f ggv ny ben minimaliz ljuk. Mivel ez a lek pz s param tereiben nemline ris ez rt gradiens alap minimaliz l si m dszert alkalmazunk. Ismert, hogy egy komplex f ggv ny sz ls rt keinek meghat roz sa szempontj b l kritikus a gradiens alap m dszer kezdeti rt k nek megv laszt sa. Fontos szempont, hogy a megv lasztott kezd pontb l ind tott elj r s konverg ljon az egyik glob lis minimumba s kev s iter ci s l p st hajtson v gre. A dolgozatban a k l nb z kezdeti rt k be ll t sokat, valamint tulajdons gaikat bemutatjuk, s szimul lt, illetve m rt adatokon illusztr ljuk azokat. Kulcsszavak: rendszeridentik ci, maximum likelihood becsl s, TLS 1. A maximum likelihood becsl s A frekvenciatartom nybeli rendszeridentifk ci c lja, hogy a m rt objektum tviteli f ggv ny param tereinek, azaz itt a sz ml l s a nevez polinomj nak egy tthat nak halmaz b l kiv lasszunk egy el re megadott rtelemben legjobb rt ket. Az identik ci s elj r s megkezd s nek els l p se az, hogy meghat rozzuk, hogy milyen modellt haszn lunk, s meghat rozzuk az a priori, azaz az el re ismert inform ci kat. Az a priori inform ci k alapvet en meghat rozz k az alkalmazand elj r sok halmaz t. A matematikai statisztik b l j l ismert a maximum likelihood becsl s, amelyet ebben az esetben line ris, id invari ns rendszerek rviteli f ggv ny nek parametrikus becsl s re haszn lunk. A m r si modellben szerepel a bemenetre, valamint a kimenetre szuperpon l d addit v komplex, k rszimmetrikus eloszl s zaj. Az addit v zajokr l felt telezz k tov bb, hogy korrel latlanok egym ssal s frekvencia f ggetlenek. Ezeket az a priori inform ci kat felhaszn lva a becsl si feladat a k vetkez k lts gf ggv ny minimaliz l sra vezet.

2 Ezt a k lts gf ggv ny a negat v likelihood egyenlet fel r sa ut n Lagrange multiplik toros elj r ssal sz rmaztathatjuk. R szletesen l sd [1]. FX jy m (j! k )D(j! k ; P ) U m (j! k )N (j! k ; P )j KML 2 = k=1 2 (! U k)jn (j! k ; P )j (! Y k)jd(j! k ; P )j 2 ahol P = [ no ; : : : ; 0; do ; : : : ; 0] t, s no, do a nevez, illetve a sz ml l foksz ma. Y m (j! k ), U m (j! k ) a ki- s bemenet Fourier-egy tthat ja a megfelel frekvenci n. N (j! k ; P ), D(j! k ; P ) a becs lni k v nt tviteli f ggv ny sz ml l ja, illetve nevez je. U (! k ) s Y (! k ) a bemenet, valamint a kimenet sz r sa a frekvencia f ggv ny ben. A fenti k lts gf ggv nnyel jellemzett becsl s tulajdons gai kedvez ek, azaz asszimpt tikusan torz tatlan s hat sos. A fenti kifejez s deriv ltja sajnos param tereiben nemline ris. Ez rt nemline ris minimaliz l elj r sokat kell alkalmazni. Ebben az esetben mi a gradiens alap elj r sokat haszn ljuk, mert ezek megfelel en gyorsak, s mint k s bb l tni fogjuk az esetek nagy r sz ben megtal lj k a glob lis minimumot. Term szetesen haszn lhatunk m s nemline ris sz ls rt k keres elj r st, p ld ul genetikus algoritmust, de ezekben az esetekben nem biztos tott a megfelel en gyors sz ls rt k keres s. Az alkalmazott gradiens alap sz ls rt k keres elj r sok csak felsorol sszer en: Gauss-Newton, Newton-Raphson, Levenberg-Marquardt. Gradiens alap sz ls rt k keres sn l fontos, hogy az iterat v elj r st megfelel en j kezdeti rt kb l ind tsuk. Abban az esetben, ha a kiindul si pont messze esik a glob lis minimum(ok)t l, akkor az elj r s lehet, hogy "leragad" egy lok lis minimumban. Ilyenkor a becsl s nagyon rossz is lehet, azaz az eredm ny valid l sakor nem fogadjuk el a modellt. Erre k s bb p ld t is mutatunk. Egy j l megv lasztott kezdeti rt kb l a gradiens ment n elindulva kev s iter ci s l p s alatt megtal ljuk a glob lis minimumot. Mit jelent a kezdeti rtek j megv laszt sa? Az mindenk ppen j strat gi nak t nik, hogy a kezdeti rt ket min l k zelebb v lasszuk a glob lis minimumhoz. Fontos tulajdons ga a kezdeti rt k sz m t snak, hogy legal bbis gyorsabb, mint a gradiens alap, iterat v elj r s. Ez rt a gradiens alap elj r s megkezd se el tt t bb kezdeti rt ket kisz m tunk, amelyeket sszehasonl tva d nt nk arr l, hogy honnan kezdj k el az iter ci t. 2. Kezdeti rt k be ll t sok Mint az el z r szben meg llap tottuk, a gradiens alap iterat v elj r sok tulajdons gai kritikusak a kezdeti rt k be ll t s szempontj b l. Ebben a r szben sszefoglaljuk, hogy milyen kezdeti rt k be ll t sokat alkalmazhatunk, ha line ris, id invari ns rendszerek becsl s n l. Fontos, hogy a v letlenszer en v lasztott kezdeti rt k, a k lts gf ggv ny bonyolult alakja miatt, ltal ban nem megfelel, azaz az onnan ind tott elj r s nem fog a glob lis minimumba konverg lni. A kezdeti rt k be ll t sok l nyeges tulajdons ga a kev s sz m t si id. Ez lehet v teszi, hogy az iter ci k megkezd se el tt k l nb z kezdeti rt keket hat rozzunk meg, majd ezek k z l valamilyen szempont szerint v lasszuk ki az optim list. Mivel minden kezdeti rt k be ll t s egy param ter vektort ad v geredm ny l, ez rt tekinthetj k gy is, hogy ezek is egy becsl st adnak az tviteli f ggv ny nevez j nek s sz ml l j nak egy tthat ira. Mint becsl seket tekintve a kezdeti rt k be ll t sokat jellemezhetj k ezeket a becsl s kvalitat v tulajdons gai alapj n. Az alkalmazott kezdeti rt k be ll t sok ilyen jellemz tulajdons gait a fejezet v g n tal lhat t bl zatban foglaltuk ssze.

3 1. t bl zat. A kezdeti rt k be ll t sok sszefoglal sa becsl konziszencia hat soss g torz t s a priori ismeret megjegyz s WLS nem gyenge igen nem r gz tett egy tthat Sanath. nem gyenge igen nem iterat v TLS nem gyenge igen nem r gz tett norma WTLS nem gyenge igen nem r gz tett norma GTLS igen gyenge nem igen r gz tett norma BTLS igen j nem igen iterat v A kezdeti rt k sz m t sokra, hasonl an a maximum likelihood becsl shez, fel rhatunk egy ekvivalens k lts gf ggv nyt. A c l v ltozatlanul az, hogy ezt a k lts gf ggv nyt minimaliz ljuk a param terek f ggv ny ben. Fontos k l nbs g, hogy a kezdeti rt k be ll t sok eset ben a minimum keres s egy line ris egyenlet rendszer megold s t vagy egy gyors, n h ny l p ses iter ci t jelent. Az iter ci s l p sek ekkor szint n egy gyors, line ris egyenlet rendszer megold s t jelenti. tekintve, hogy a kezdeti rt k be ll t sok eset ben c l a kev s sz m t si id, ez rt ez a tulajdons g nagyon l nyeges. A kezdeti rt k be ll t sok kisz m t sa eset n teh t egy line ris egyenlet rendszert kell megoldani. Az el z fejezetben fel rt maximum likelihood k lts gf ggv ny eset ben meg llap thatjuk sk lainvari ns, azaz K M L (P ) = K M L (P ), ahol 2 Rnf0g. Teh t egy rtelm megold shoz a P vektor valamelyik tagj t vagy a vektor norm j t el re r gz teni kell. Ez a megk t s befoly solja a line ris egyenletrendszer megold s t s gy a kapott kezdeti rt k be ll t st is. Az irodalomban elterjedt egy jel l s a k l nb z megold si m dszerekre. Ebben a dolgozatban ezeket a jel l seket fogjuk alkalmazni. Szem el tt kell tartani, hogy a k s bb bemutatott TLS becsl s l nyeg ben nem m s, mint a P vektor norm j nak r gz t se s a k s bb bemutatott line ris egyenlet rendszer megold sa. A korl tozott terjedelem miatt nincs lehet s g nk bemutatni a k l nb z kezdeti rt k be ll t sokat, ez rt az 1. t bl zatban sszefoglaljuk a legfontosabb tulajdons gaikat. A kezdeti rt k be ll t sok k z l fontos m g az approximate maximum likelihood (AML) m dszer, amely a maximum likelihood k lts gf ggv ny nevez j t approxim lja. Hat sos elj r s olyankor, amikor a becs lni k v nt rendszer sz less v, nagy dinamika tartom nnyal rendelkezik. (R szletesen l sd [5].) A numerikus elj r sokn l fontos k rd s a kondicion lts g. A kezdeti rt k be ll t sok line ris egyenletrendszerek megold s t jelentik, teh t ebben az esetben a m trixok kond ci sz ma az, amely befoly ssal van a numerikus stabilit sra. A numerikus stabilit s n vel se rdek ben a frekvencia tengelyt sk l zzuk. Ez l nyeg ben azt jelenti, hogy a m rt illetve a szimul lt adatokat eltoljuk a frekvencia tengely ment n, majd a becsl s elv gz se ut n visszatranszform lunk. A numerikus stabilit s n veli m g a Forsythe ortogon lis polinomok alkalmaz sa. (R szletesen l sd [9]) 3. Szimul ci s eredm nyek Fontos k rd s, hogy a sok lehet s g k z l melyik kezdeti rt k be ll t sokat sz m tsuk ki az iter ci s algoritmus el tt. Az aj nlott strat gia a k vetkez. Sz m tsuk ki n h ny

4 m dszer eredm ny t (TLS, GTLS, AML, stb.), majd az gy kapott param ter vektorokkal sz moljuk ki a maximum likelihood k lts g f ggv ny rt k t s az ezek k z l a legkisebbet v lasszuk a kezdeti rt k be ll t snak. Az esetek d nt t bbs g ben ezzel a strat gi val megtal ljuk a glob lis minimumot. Term szetesen van szimul ci s p lda arra is, amikor nem ez a helyzet. Ilyenkor ugyan megtal ljuk a glob lis minimumot a v lasztott kezdeti rt kb l, de nagys grenddel lassabban, mint ha egy m sikat v lasztottunk volna. Az els p lda egy szimul lt zajjal terhelt rendszer becsl se. Ez a rendszer nagyon rosszul kondicion lt, numerikus probl m k l pnek fel. A matematik b l ismert Wilkinson polinomokat haszn lunk. A rendszer elfogadhat becsl se csak, akkor elk pzelhet, ha m r az eml tett Forsythe f le ortogon lis polinomokat haszn lunk. A rendszer tviteli f ggv nye az 2-n a bal fels sarokban l that. A rendszer nagy foksz m, az br r l leolvashat, hogy 20 rezonancia, illetve 20 antirezonancia pontja van a rendszernek. A becsl s sor n ez rt 20/20 nevez, illetve sz ml l foksz mmal becs lt nk. A szimul ci sor n kapott eredm nyekb l meg llap thatjuk, hogy a maximum likelihood k lts gf ggv nyek rt ke alapj n az AML-lel sz molt kezdeti rt ket rdemes v lasztani. Az 2-n br zoltuk a TLS s az AML becsl s eredm nyeit. Meg llap thatjuk, hogy ezen becsl sek valid ci ja sor n az AML-t fogadjuk el. A gradiens alap, sz ls rt k keres, iter ci s algoritmus csak az AML seg ts g vel sz molt kezdeti rt k be ll t sb l tal lja meg a glob lis minimumot, a t bbi esetben az algoritmus leragad egy lok lis minimumba s hasonl an a TLS eredm ny hez teljesen elfogadhatatlan eredm nyt kapunk. A k vetkez p ld ban egy akusztikus m r s adatait haszn ljuk fel. A rep l g p kabin m r si adatai a 3. t bl zat bal fels sark ban l that. Az tviteli f ggv ny nemparametrikus becsl s t mutatja ez az bra. A m r si adatokb l l that, hogy a rendszer viszonylag magas foksz m. A k s rletez sek ut n azt llap tottuk meg, hogy a rendszert megfelel en 38/38 foksz mokkal tudjuk elfogadhat an becs lni. Ez rt a maximum likelihood el z ekben eml tett elj r sa eset ben fontos a kezdeti rt k j megv laszt sa. A jobb als br n ism t br zoltuk a maximum likelihood k lts gf ggv ny rt keit n h ny kezdeti rt k be ll t s eset n. Ebben az esetben, ahogy az br r l leolvashatjuk, t bb kezdeti rt k be ll t s is k r lbel l ugyanazt az eredm nyt adja. Az el z ekben v zolt algoritmus alapj n most is az AML-t v lasztjuk. Hasonl an a m sik br hoz itt is br zoltuk a LS s az AML algoritmusok eredm ny t. A k l nbs g j l l tszik. A maximum likelihood k lts gf ggv ny glob lis minimum t az AML-lel sz molt kezd pontb l indulva n h ny iter ci ut n megkapjuk, m g a LS eset ben az elj r s v geredm nyek nt egy lok lis minimumot kapunk. Ha nem az AML-b l, hanem p ld ul a TLS-szel sz molt kezd pontb l indulunk, akkor is megtal ljuk a glob lis minimumot. Ebben a p ld ban a l nyeges szrev tel nk az, hogy val s m r si eredm nyeket haszn lva is jelent s k l nbs gek vannak a kezdeti rt k be ll t sok k z tt. A k t bemutatott p ld ban az AML kezdeti rt k be ll t s volt a legjobb v laszt s. Term szetesen ez nincs mindig gy. Van olyan m r si- illetve szimul lt adatsor, ahol nem az AML a legjobb v laszt s. A dolgozat limit lt terjedelme miatt sajnos nincs lehet s g t bb p ld t bemutatni. A k t p ld t gy pr b ltuk meg kiv lasztani, hogy szeml letesen mutassa a k l nbs geket az egyes kezdeti rt k be ll t m dszerek k z tt.

5 4. sszefoglal s A dolgozatban megpr b ltuk bemutatni a line ris, id invari ns rendszerek maximum likelihood becsl s n l fell p kezdeti rt k be ll t si probl m kat. Egy gyors sszefoglal st adtunk a ma alkalmazott kezdeti rt k be ll t sokr l s azok tulajdons gair l. Majd v g l mutattunk k t p ld t arra az esetre, amikor a becsl st nagy m rt kben befoly solta a kezdeti rt k be ll t s. Terjedelmi korl tok miatt nem volt lehet s g bemutatni tov bbi p ld kat. A k lts gf ggv ny sk l zhat s ga miatt megk t seket kell alkalmazni a param ter vektorra. Egy lehets ges tov bbi vizsg lat a kezdeti rt k be ll t sokkal kapcsolatban ezeknek a megk t seknek, illetve kombin ci iknak a vizsg lata. Hivatkoz sok [1] Istv n Koll r,frequency Domain System Identication Toolbox, The Mathworks, Natick, [2] R. Pintelon et al.,parametric Identication of Transfer Function in the Frequency DomainA Survey, IEEE Transactions on Automatic Control Vol. 39. No. 11, pp , November [3] G. H. Golub and C. F. Van Loan, Matrix Computations, The John Hopkins University Press, [4] S. Van Huel and J. Vandewalle, The Total Least Squares Problem - Computational Aspects and Analysis, Society for Industrial and Applied Mathematics, [5] Yves Rolain, Generating Robust Starting Value for Frequency Domain Transfer Function Estimation, Submitted to Automatica, [6] Lennart Ljung, System Identication, Theory for the User,Prentice-Hall, [7] Stoyan Gisbert (szerkeszt ), MATLAB 4. s 5. verzi, TypoTex, [8] Schnell L szl (f szerkeszt ), Jelek s rendszerek m r stechnik ja, M egyetemi Kiad, [9] Yves Rolain, R. Pintelon, K.Q. Xu, and H. Vold, On the Use of Orthognal Polynomials in High Order Frequency Domain System Identication and its Application to Modal Parameter Estimation, Manuscript.

6 t bl zat. A Wilkinson t pus rendszer Az tviteli f ggv ny TLS-sel kapott eredm ny AML-lel kapott eredm ny a b c d e algoritmus K lts gf ggv ny rt kek 3. t bl zat. Rep l g p kabin akusztikus m r se A m rt tviteli f ggv ny LS-sel kapott eredm ny AML-lel kapott eredm ny 10 6 a b c d e K lts gf ggv ny rt kek