A paramétereket kísérletileg meghatározott yi értékekre támaszkodva becsülik. Ha n darab kisérletet (megfigyelést, mérést) végeznek, n darab

Átírás

1 öbbváltozós regresszók Paraméterbecslés-. A paraméterbecslés.. A probléma megfogalmazása A paramétereket kísérletleg meghatározott y értékekre támaszkodva becsülk. Ha darab ksérletet (megfgyelést, mérést végezek, darab y f(,a +b +e,,..., (. egyelet adódk, ahol f(,a az -edk ksérletbe beállított j ksérlet feltételekek, (vagy azok valamely függvéyéek és az a paraméterekek leárs vagy emleárs kfejezése. A feladat aak a számított â paramétervektorak meghatározása, amely az (, aˆ 0, y f,..., (. kfejezést kelégít. Ha a potosság érdekébe több mérést végezek, mt amey a meghatározadó paraméterek p száma, azaz > p, az darab egyeletből álló y f(x,a+b+e (.3 egyeletredszer több egyeletet tartalmaz, mt az smeretleek száma, tehát túlhatározott lesz. A külöbözõ e és az esetleges b értékek matt azoba az egyeletek egymásak elletmodóak, kompatblsak, redszerük kozsztes.. A paraméterbecsléshez tehát lye tulajdoságú egyeletredszer megoldására alkalmas módszer kell. úlhatározott kozsztes egyeletekbõl több módo (pl. kozsztes egyeletek kválasztásával, egyeletek összeadásával állíthatók elõ kozsztesek. Ezek megoldása egymástól ylvávalóa külöbözek. Vozó lee az olya megoldás, amelyk potosa ugya em, de bzoyos szempotból optmálsa elégít k valamey, darab egyeletet.. Ikozsztes egyeletredszer megoldása Mvel a túlhatározott kozsztes egyeletredszer egyes egyeleteből számított â j paraméterek em elégítk k valamey egyeletet, a rezduáls maradékok ( X,aˆ d y yˆ y f (. vektora em zérusvektor, em csak 0 elemeket tartalmaz. Mél kevésbé jók a paraméterek, aál agyobbak a rezduáls maradékok. Kézefekvő olya paramétereket keres, amelyek a legrövdebb rezduáls vektort bztosítják, amelyekkel a rezduáls vektor hossza, (egyszerűség kedvéért aak égyzete, Q mmáls: d ( y f ( â Q d d m (.5 A godolatmeet a Q célfüggvéybe fellépő, égyzetre emelt külöbségek matt kapta a legksebb égyzetek elvéek evét. C:\O_MULIVARI\OLS_etc\_PARAMES.DOC

2 öbbváltozós regresszók Paraméterbecslés- A (.5 követelméyek megfelelő â paraméterek azok, amelyekkel 0 értékűek a Q célfüggvéy paraméterek szert derváltja: Q a k a k ( y ( ˆ f a 0 k,,...,p (.6 A (.6 egyeletek száma természetese megegyezk a paraméterek számával, gy azokból a célfüggvéyt kelégítõ, optmáls paraméterek kszámíthatók. Ha az f(x,a modell leárs, az egyeletek leársak, ha em, a paramétereket valamely, többyre umerkus, emleárs egyeletredszer megoldó módszerrel kell meghatároz. Példa Nemleárs modell paramétereek becslése [ ] függetle változó vektor mellett ksérletleg meghatározzuk az f (, a a + ep( a modellel leírható folyamatba megfgyelt y értékeket. Az y [3.. vektort kapjuk. A.9 ] mért-érték 3. a. a.9 a.0 a + ep(0.5* a + ep(.0 * a + ep(.5* a + ep(.0* a egyeletek egymásak elletmodaak. Mmál kell a Q ( y f (, a ( y a ep( a célfüggvéyt. A célfüggvéy paraméterek szert derváltja: Q da ( y a ep( a Q da ( y a ep( a ep( a A két megoldadó emleárs egyelet: ( y a ep( a 0 ( y a a ep( a 0 ep( C:\O_MULIVARI\OLS_etc\_PARAMES.DOC

3 öbbváltozós regresszók Paraméterbecslés-3 Az egyeletek teratív megoldása az a.066 és a 0.5 eredméyeket adta. Az llesztett paraméterekkel számított ŷ vektor: [ ], a rezduálsok vektora: [ ]. A rezduálsok égyzetösszege (Q.306. Feltéve, de meg em egedve, hogy a paramétereket két értékpárból számították vola k, természetese teljese eltérõ paraméterek adódtak vola. A legksebb égyzetek elvéek alapjá megfogalmazott (.5 célfüggvéy valamey y mért értéket egyeértékűkét kezel. Ha ksérlet okokból egyes y értékek potatlaabbak, vagy más, később tárgyalt okból em egyeértékűek, a célfüggvéybe az egyes rezduáls külöbségeket súlyoz lehet és a w d ( y f ( â Q wd wd w m (.7 követelméyt célszerű haszál. Szembe az eredet, em súlyozott legksebb égyzetes célfüggvéyel, utóbb a súlyozott legksebb égyzetes eljárás követelméye..3 Leárs modellek paraméterbecslése ektsük azt az esetet, amelybe a vzsgált redszert leárs modell ír le: f(x,a X.a (.8 (Bár ezt a jelölésekbe em emeljük k, emlékeztetük arra, hogy X mátr a függetle változók függvéyet s tartalmazhatja. Valójába paraméterekbe leárs modellek paraméterbecsléséről va szó. Redezzük az kísérletbe mért y értékeket méretû y oszlopvektorba. Redezzük a modell a k paraméteret p méretû a oszlopvektorba. Az kísérletbe beállított j függetle változókat redezzük mátrba. Ha a modell az a 0 álladó paramétert ( tegelymetszetet s tartalmazza, a mátr elsõ oszlopa egy csupa egyest tartalmazó oszlop. Ezzel az p méretû X mátr-szal a fetemlített többváltozós leárs modell tehát: y X a (.9 p p vagy részletesebbe: y..... y m m a. a. 0 p (.0 Mt smeretes, ez a túlhatározott egyeletredszer általába kozsztes, ezért megoldására célszerűe a. potba smertetett módszer alkalmazható. C:\O_MULIVARI\OLS_etc\_PARAMES.DOC

4 öbbváltozós regresszók Paraméterbecslés- Mmáljuk Q d d ( Xa - y ( Xa - y ( a - y (. rezduáls égyzetösszeget! A kfejezést kfejtve d d ( Xa y ( Xa y ( a X y ( Xa y a X Xa a X y y Xa + y y a X Xa y Xa + y y (. összefüggés adódk. Q mmuma aál az a-ál va, amelyél d(d d/da 0. d (d d da X Xa + a X Xda - y Xda a X Xda - y Xda 0 Ez a követelméy tömöre: ( a X X y X da 0 (.3 ahoa a X X y X (.5 Ez az egyelet traszpoálás utá X Xa X y alakú. Lévé X X em szgulárs esetbe vertálható, a keresett paramétervektor: ( X X X y a (.6 Megjegyezhető, hogy ez a súlyozatla legksebb égyzetes megoldás úgy s megkapható, hogy az Xa y egyeletet balról szorozzuk X traszpoált mátr-szal: X Xa X y majd az egyeletet a égyzetes X X verzével szorozzuk: a (X X - X y Példa öbbváltozós leárs paraméterbecslés A vzsgált redszer leírására az y a 0 +a * +a * modellt választjuk. kísérletbe, [ 3 ] [ 3 ] és beállított függetle változó értékekél meghatároztuk az y [ ] C:\O_MULIVARI\OLS_etc\_PARAMES.DOC

5 öbbváltozós regresszók Paraméterbecslés-5 az X X mátr: mért értékeket. A redszert leíró érvéyes egyeletredszer:.3 a o X.a a y 3 6. a X X mátr verze: Az (X *X - X mátr: Az (X *X - X y előírással számított a paraméterek: a a.6500 a.6000 A (.6 szert a becsült paraméterek: â [ ], a számított függõ változó vektor: ŷ [ , 6.8]. A mért és számított függetle változók külöbsége: d y - ŷ (I - Hy [ ] A rezduálsok égyzetösszege: RSS d d.85 A mért és számított y értékek átlaga C:\O_MULIVARI\OLS_etc\_PARAMES.DOC

6 öbbváltozós regresszók Paraméterbecslés-6 y yˆ.85 A modell okozta változások égyzetösszege: ( yˆ y ( yˆ MSS y A teljes égyzetösszeg ( y y ( y 775 SS y 9. A modell okozta változások égyzetösszege MSS/RSS 5.-szer agyobb, mt a véletle hbákak tulajdoítható valtozások égyzetösszege. Néháy, a példába elõforduló mátr: X X HA A becsült paraméterekkel számított y értékek (3.7 és (3. egyeletekbõl: yˆ X aˆ X X y (3.8 p p p p p p Nevezetes az ebbe az egyeletbe szereplõ méretû H X X (3.9 p p p p hat matr -ak evezett szgulárs mátr, amely szmmetrkus és dempotes (égyzete ömaga. A mért és számított y értékek külöbségéek, a rezduálsokak vektora: d y- yˆ y X p p p X p y I X p p p X p y ( I Hy (3.0 C:\O_MULIVARI\OLS_etc\_PARAMES.DOC

7 öbbváltozós regresszók Paraméterbecslés A legksebb égyzetek elve Ikozsztes egyeletredszert több módo s kozsztessé lehet te. Fölvetõdk a kérdés, mért éppe a (3.6 egyeletre vezetõ eljárást választották erre a célra? Más szavakkal az a kérdés. mlye tulajdoságú megoldást ad ez az egyeletredszer? Ez a megoldás egyezk a (3.7 összefüggéssel. Meg kell jegyez, hogy a (3.7 ll. (3.3 becslés akkor torzítatla, ha feáll az a körülméy, hogy az y vektor eleme, az y mért értékek függetleek és megegyezõ szórásúak. Az általáosabb esetekre a késõbbekbe még vsszatérük. C:\O_MULIVARI\OLS_etc\_PARAMES.DOC