Iterativ algoritmusok kezdeti rt k be ll t sa Balogh L szl egyetemi hallgat BME Villamosm rn ki s Informatikai Kar Villamosm rn ki Szak A munka a BME M r stechnika s Inform ci s Rendszerek Tansz k n k sz lt, konzulense: Dr. Koll r Istv n egyetemi tan r. Kivonat A ma alkalmazott frekvenciatartom nybeli rendszeridentik ci s elj r sok egyik gyakran alkalmazott m dszere a maximum likelihood becsl s seg ts g vel fel rt negat v likelihood f ggv ny egyik glob lis minimum nak megtal l sa. A c l az, hogy ezt a k lts gf ggv nyt a param terek, amelyek jelen esetben a line ris, id invari ns rendszer tviteli f ggv ny nek egy tthat i, f ggv ny ben minimaliz ljuk. Mivel ez a lek pz s param tereiben nemline ris ez rt gradiens alap minimaliz l si m dszert alkalmazunk. Ismert, hogy egy komplex f ggv ny sz ls rt keinek meghat roz sa szempontj b l kritikus a gradiens alap m dszer kezdeti rt k nek megv laszt sa. Fontos szempont, hogy a megv lasztott kezd pontb l ind tott elj r s konverg ljon az egyik glob lis minimumba s kev s iter ci s l p st hajtson v gre. A dolgozatban a k l nb z kezdeti rt k be ll t sokat, valamint tulajdons gaikat bemutatjuk, s szimul lt, illetve m rt adatokon illusztr ljuk azokat. Kulcsszavak: rendszeridentik ci, maximum likelihood becsl s, TLS 1. A maximum likelihood becsl s A frekvenciatartom nybeli rendszeridentifk ci c lja, hogy a m rt objektum tviteli f ggv ny param tereinek, azaz itt a sz ml l s a nevez polinomj nak egy tthat nak halmaz b l kiv lasszunk egy el re megadott rtelemben legjobb rt ket. Az identik ci s elj r s megkezd s nek els l p se az, hogy meghat rozzuk, hogy milyen modellt haszn lunk, s meghat rozzuk az a priori, azaz az el re ismert inform ci kat. Az a priori inform ci k alapvet en meghat rozz k az alkalmazand elj r sok halmaz t. A matematikai statisztik b l j l ismert a maximum likelihood becsl s, amelyet ebben az esetben line ris, id invari ns rendszerek rviteli f ggv ny nek parametrikus becsl s re haszn lunk. A m r si modellben szerepel a bemenetre, valamint a kimenetre szuperpon l d addit v komplex, k rszimmetrikus eloszl s zaj. Az addit v zajokr l felt telezz k tov bb, hogy korrel latlanok egym ssal s frekvencia f ggetlenek. Ezeket az a priori inform ci kat felhaszn lva a becsl si feladat a k vetkez k lts gf ggv ny minimaliz l sra vezet.
Ezt a k lts gf ggv ny a negat v likelihood egyenlet fel r sa ut n Lagrange multiplik toros elj r ssal sz rmaztathatjuk. R szletesen l sd [1]. FX jy m (j! k )D(j! k ; P ) U m (j! k )N (j! k ; P )j KML 2 = k=1 2 (! U k)jn (j! k ; P )j 2 + 2 (! Y k)jd(j! k ; P )j 2 ahol P = [ no ; : : : ; 0; do ; : : : ; 0] t, s no, do a nevez, illetve a sz ml l foksz ma. Y m (j! k ), U m (j! k ) a ki- s bemenet Fourier-egy tthat ja a megfelel frekvenci n. N (j! k ; P ), D(j! k ; P ) a becs lni k v nt tviteli f ggv ny sz ml l ja, illetve nevez je. U (! k ) s Y (! k ) a bemenet, valamint a kimenet sz r sa a frekvencia f ggv ny ben. A fenti k lts gf ggv nnyel jellemzett becsl s tulajdons gai kedvez ek, azaz asszimpt tikusan torz tatlan s hat sos. A fenti kifejez s deriv ltja sajnos param tereiben nemline ris. Ez rt nemline ris minimaliz l elj r sokat kell alkalmazni. Ebben az esetben mi a gradiens alap elj r sokat haszn ljuk, mert ezek megfelel en gyorsak, s mint k s bb l tni fogjuk az esetek nagy r sz ben megtal lj k a glob lis minimumot. Term szetesen haszn lhatunk m s nemline ris sz ls rt k keres elj r st, p ld ul genetikus algoritmust, de ezekben az esetekben nem biztos tott a megfelel en gyors sz ls rt k keres s. Az alkalmazott gradiens alap sz ls rt k keres elj r sok csak felsorol sszer en: Gauss-Newton, Newton-Raphson, Levenberg-Marquardt. Gradiens alap sz ls rt k keres sn l fontos, hogy az iterat v elj r st megfelel en j kezdeti rt kb l ind tsuk. Abban az esetben, ha a kiindul si pont messze esik a glob lis minimum(ok)t l, akkor az elj r s lehet, hogy "leragad" egy lok lis minimumban. Ilyenkor a becsl s nagyon rossz is lehet, azaz az eredm ny valid l sakor nem fogadjuk el a modellt. Erre k s bb p ld t is mutatunk. Egy j l megv lasztott kezdeti rt kb l a gradiens ment n elindulva kev s iter ci s l p s alatt megtal ljuk a glob lis minimumot. Mit jelent a kezdeti rtek j megv laszt sa? Az mindenk ppen j strat gi nak t nik, hogy a kezdeti rt ket min l k zelebb v lasszuk a glob lis minimumhoz. Fontos tulajdons ga a kezdeti rt k sz m t snak, hogy legal bbis gyorsabb, mint a gradiens alap, iterat v elj r s. Ez rt a gradiens alap elj r s megkezd se el tt t bb kezdeti rt ket kisz m tunk, amelyeket sszehasonl tva d nt nk arr l, hogy honnan kezdj k el az iter ci t. 2. Kezdeti rt k be ll t sok Mint az el z r szben meg llap tottuk, a gradiens alap iterat v elj r sok tulajdons gai kritikusak a kezdeti rt k be ll t s szempontj b l. Ebben a r szben sszefoglaljuk, hogy milyen kezdeti rt k be ll t sokat alkalmazhatunk, ha line ris, id invari ns rendszerek becsl s n l. Fontos, hogy a v letlenszer en v lasztott kezdeti rt k, a k lts gf ggv ny bonyolult alakja miatt, ltal ban nem megfelel, azaz az onnan ind tott elj r s nem fog a glob lis minimumba konverg lni. A kezdeti rt k be ll t sok l nyeges tulajdons ga a kev s sz m t si id. Ez lehet v teszi, hogy az iter ci k megkezd se el tt k l nb z kezdeti rt keket hat rozzunk meg, majd ezek k z l valamilyen szempont szerint v lasszuk ki az optim list. Mivel minden kezdeti rt k be ll t s egy param ter vektort ad v geredm ny l, ez rt tekinthetj k gy is, hogy ezek is egy becsl st adnak az tviteli f ggv ny nevez j nek s sz ml l j nak egy tthat ira. Mint becsl seket tekintve a kezdeti rt k be ll t sokat jellemezhetj k ezeket a becsl s kvalitat v tulajdons gai alapj n. Az alkalmazott kezdeti rt k be ll t sok ilyen jellemz tulajdons gait a fejezet v g n tal lhat t bl zatban foglaltuk ssze.
1. t bl zat. A kezdeti rt k be ll t sok sszefoglal sa becsl konziszencia hat soss g torz t s a priori ismeret megjegyz s WLS nem gyenge igen nem r gz tett egy tthat Sanath. nem gyenge igen nem iterat v TLS nem gyenge igen nem r gz tett norma WTLS nem gyenge igen nem r gz tett norma GTLS igen gyenge nem igen r gz tett norma BTLS igen j nem igen iterat v A kezdeti rt k sz m t sokra, hasonl an a maximum likelihood becsl shez, fel rhatunk egy ekvivalens k lts gf ggv nyt. A c l v ltozatlanul az, hogy ezt a k lts gf ggv nyt minimaliz ljuk a param terek f ggv ny ben. Fontos k l nbs g, hogy a kezdeti rt k be ll t sok eset ben a minimum keres s egy line ris egyenlet rendszer megold s t vagy egy gyors, n h ny l p ses iter ci t jelent. Az iter ci s l p sek ekkor szint n egy gyors, line ris egyenlet rendszer megold s t jelenti. tekintve, hogy a kezdeti rt k be ll t sok eset ben c l a kev s sz m t si id, ez rt ez a tulajdons g nagyon l nyeges. A kezdeti rt k be ll t sok kisz m t sa eset n teh t egy line ris egyenlet rendszert kell megoldani. Az el z fejezetben fel rt maximum likelihood k lts gf ggv ny eset ben meg llap thatjuk sk lainvari ns, azaz K M L (P ) = K M L (P ), ahol 2 Rnf0g. Teh t egy rtelm megold shoz a P vektor valamelyik tagj t vagy a vektor norm j t el re r gz teni kell. Ez a megk t s befoly solja a line ris egyenletrendszer megold s t s gy a kapott kezdeti rt k be ll t st is. Az irodalomban elterjedt egy jel l s a k l nb z megold si m dszerekre. Ebben a dolgozatban ezeket a jel l seket fogjuk alkalmazni. Szem el tt kell tartani, hogy a k s bb bemutatott TLS becsl s l nyeg ben nem m s, mint a P vektor norm j nak r gz t se s a k s bb bemutatott line ris egyenlet rendszer megold sa. A korl tozott terjedelem miatt nincs lehet s g nk bemutatni a k l nb z kezdeti rt k be ll t sokat, ez rt az 1. t bl zatban sszefoglaljuk a legfontosabb tulajdons gaikat. A kezdeti rt k be ll t sok k z l fontos m g az approximate maximum likelihood (AML) m dszer, amely a maximum likelihood k lts gf ggv ny nevez j t approxim lja. Hat sos elj r s olyankor, amikor a becs lni k v nt rendszer sz less v, nagy dinamika tartom nnyal rendelkezik. (R szletesen l sd [5].) A numerikus elj r sokn l fontos k rd s a kondicion lts g. A kezdeti rt k be ll t sok line ris egyenletrendszerek megold s t jelentik, teh t ebben az esetben a m trixok kond ci sz ma az, amely befoly ssal van a numerikus stabilit sra. A numerikus stabilit s n vel se rdek ben a frekvencia tengelyt sk l zzuk. Ez l nyeg ben azt jelenti, hogy a m rt illetve a szimul lt adatokat eltoljuk a frekvencia tengely ment n, majd a becsl s elv gz se ut n visszatranszform lunk. A numerikus stabilit s n veli m g a Forsythe ortogon lis polinomok alkalmaz sa. (R szletesen l sd [9]) 3. Szimul ci s eredm nyek Fontos k rd s, hogy a sok lehet s g k z l melyik kezdeti rt k be ll t sokat sz m tsuk ki az iter ci s algoritmus el tt. Az aj nlott strat gia a k vetkez. Sz m tsuk ki n h ny
m dszer eredm ny t (TLS, GTLS, AML, stb.), majd az gy kapott param ter vektorokkal sz moljuk ki a maximum likelihood k lts g f ggv ny rt k t s az ezek k z l a legkisebbet v lasszuk a kezdeti rt k be ll t snak. Az esetek d nt t bbs g ben ezzel a strat gi val megtal ljuk a glob lis minimumot. Term szetesen van szimul ci s p lda arra is, amikor nem ez a helyzet. Ilyenkor ugyan megtal ljuk a glob lis minimumot a v lasztott kezdeti rt kb l, de nagys grenddel lassabban, mint ha egy m sikat v lasztottunk volna. Az els p lda egy szimul lt zajjal terhelt rendszer becsl se. Ez a rendszer nagyon rosszul kondicion lt, numerikus probl m k l pnek fel. A matematik b l ismert Wilkinson polinomokat haszn lunk. A rendszer elfogadhat becsl se csak, akkor elk pzelhet, ha m r az eml tett Forsythe f le ortogon lis polinomokat haszn lunk. A rendszer tviteli f ggv nye az 2-n a bal fels sarokban l that. A rendszer nagy foksz m, az br r l leolvashat, hogy 20 rezonancia, illetve 20 antirezonancia pontja van a rendszernek. A becsl s sor n ez rt 20/20 nevez, illetve sz ml l foksz mmal becs lt nk. A szimul ci sor n kapott eredm nyekb l meg llap thatjuk, hogy a maximum likelihood k lts gf ggv nyek rt ke alapj n az AML-lel sz molt kezdeti rt ket rdemes v lasztani. Az 2-n br zoltuk a TLS s az AML becsl s eredm nyeit. Meg llap thatjuk, hogy ezen becsl sek valid ci ja sor n az AML-t fogadjuk el. A gradiens alap, sz ls rt k keres, iter ci s algoritmus csak az AML seg ts g vel sz molt kezdeti rt k be ll t sb l tal lja meg a glob lis minimumot, a t bbi esetben az algoritmus leragad egy lok lis minimumba s hasonl an a TLS eredm ny hez teljesen elfogadhatatlan eredm nyt kapunk. A k vetkez p ld ban egy akusztikus m r s adatait haszn ljuk fel. A rep l g p kabin m r si adatai a 3. t bl zat bal fels sark ban l that. Az tviteli f ggv ny nemparametrikus becsl s t mutatja ez az bra. A m r si adatokb l l that, hogy a rendszer viszonylag magas foksz m. A k s rletez sek ut n azt llap tottuk meg, hogy a rendszert megfelel en 38/38 foksz mokkal tudjuk elfogadhat an becs lni. Ez rt a maximum likelihood el z ekben eml tett elj r sa eset ben fontos a kezdeti rt k j megv laszt sa. A jobb als br n ism t br zoltuk a maximum likelihood k lts gf ggv ny rt keit n h ny kezdeti rt k be ll t s eset n. Ebben az esetben, ahogy az br r l leolvashatjuk, t bb kezdeti rt k be ll t s is k r lbel l ugyanazt az eredm nyt adja. Az el z ekben v zolt algoritmus alapj n most is az AML-t v lasztjuk. Hasonl an a m sik br hoz itt is br zoltuk a LS s az AML algoritmusok eredm ny t. A k l nbs g j l l tszik. A maximum likelihood k lts gf ggv ny glob lis minimum t az AML-lel sz molt kezd pontb l indulva n h ny iter ci ut n megkapjuk, m g a LS eset ben az elj r s v geredm nyek nt egy lok lis minimumot kapunk. Ha nem az AML-b l, hanem p ld ul a TLS-szel sz molt kezd pontb l indulunk, akkor is megtal ljuk a glob lis minimumot. Ebben a p ld ban a l nyeges szrev tel nk az, hogy val s m r si eredm nyeket haszn lva is jelent s k l nbs gek vannak a kezdeti rt k be ll t sok k z tt. A k t bemutatott p ld ban az AML kezdeti rt k be ll t s volt a legjobb v laszt s. Term szetesen ez nincs mindig gy. Van olyan m r si- illetve szimul lt adatsor, ahol nem az AML a legjobb v laszt s. A dolgozat limit lt terjedelme miatt sajnos nincs lehet s g t bb p ld t bemutatni. A k t p ld t gy pr b ltuk meg kiv lasztani, hogy szeml letesen mutassa a k l nbs geket az egyes kezdeti rt k be ll t m dszerek k z tt.
4. sszefoglal s A dolgozatban megpr b ltuk bemutatni a line ris, id invari ns rendszerek maximum likelihood becsl s n l fell p kezdeti rt k be ll t si probl m kat. Egy gyors sszefoglal st adtunk a ma alkalmazott kezdeti rt k be ll t sokr l s azok tulajdons gair l. Majd v g l mutattunk k t p ld t arra az esetre, amikor a becsl st nagy m rt kben befoly solta a kezdeti rt k be ll t s. Terjedelmi korl tok miatt nem volt lehet s g bemutatni tov bbi p ld kat. A k lts gf ggv ny sk l zhat s ga miatt megk t seket kell alkalmazni a param ter vektorra. Egy lehets ges tov bbi vizsg lat a kezdeti rt k be ll t sokkal kapcsolatban ezeknek a megk t seknek, illetve kombin ci iknak a vizsg lata. Hivatkoz sok [1] Istv n Koll r,frequency Domain System Identication Toolbox, The Mathworks, Natick, 1994. [2] R. Pintelon et al.,parametric Identication of Transfer Function in the Frequency DomainA Survey, IEEE Transactions on Automatic Control Vol. 39. No. 11, pp. 2245-2260, November 1994. [3] G. H. Golub and C. F. Van Loan, Matrix Computations, The John Hopkins University Press, 1989. [4] S. Van Huel and J. Vandewalle, The Total Least Squares Problem - Computational Aspects and Analysis, Society for Industrial and Applied Mathematics, 1991. [5] Yves Rolain, Generating Robust Starting Value for Frequency Domain Transfer Function Estimation, Submitted to Automatica, 1999. [6] Lennart Ljung, System Identication, Theory for the User,Prentice-Hall, 1987. [7] Stoyan Gisbert (szerkeszt ), MATLAB 4. s 5. verzi, TypoTex, 1999. [8] Schnell L szl (f szerkeszt ), Jelek s rendszerek m r stechnik ja, M egyetemi Kiad, 1998. [9] Yves Rolain, R. Pintelon, K.Q. Xu, and H. Vold, On the Use of Orthognal Polynomials in High Order Frequency Domain System Identication and its Application to Modal Parameter Estimation, Manuscript.
10 3 2. t bl zat. A Wilkinson t pus rendszer 10 4 10 2 10 3 10 2 10 1 10 1 10 3 0 0.5 1 1.5 2 2.5 3 3.5 Az tviteli f ggv ny 0 0.5 1 1.5 2 2.5 3 3.5 10 50 TLS-sel kapott eredm ny 10 45 10 2 10 40 10 35 10 1 10 30 10 25 10 20 10 15 10 10 10 5 0 0.5 1 1.5 2 2.5 3 3.5 AML-lel kapott eredm ny a b c d e algoritmus K lts gf ggv ny rt kek 3. t bl zat. Rep l g p kabin akusztikus m r se 50 100 150 200 250 300 350 400 A m rt tviteli f ggv ny 50 100 150 200 250 300 350 400 LS-sel kapott eredm ny 10 11 10 10 10 9 10 8 10 7 50 100 150 200 250 300 350 400 AML-lel kapott eredm ny 10 6 a b c d e K lts gf ggv ny rt kek