Feladatok diszkriminancia anaĺızisre. A normált Fisher-féle lineáris diszkriminancia függvény a osztály esetén használatos alakja: az osztályozási kritérium: Lx c µ µ T Σ x µ ahol c µ T Σ µ µ ha Lx > Lµ ha Lx Lµ akkor az x megfigyelést az. osztályba soroljuk akkor az x megfigyelést a. osztályba soroljuk; b k osztály esetén használatos általános alakja: Lx L T x 3 ahol L l... l s a Σ B pozitív sajátértékeihez tartozó l T i Σl i -re normált jobboldali sajátvektoraiból álló mátrix k B a csoportok közötti négyzetösszeg mátrix : B µ i µ µ i µ T i az osztályozási kritérium: ha Lx L µ j min i...k Lx L µ i akkor az x megfigyelést az i. osztályba soroljuk feltesszük hogy az egyes osztályokban folytonosak az eloszlásfüggvények így valószínűséggel egyértelmű a minimumot adó index. Mutassuk meg hogy k esetén a diszkriminancia függvény két alakja előjeltől eltekintve ugyanazt a függvényt adja! Mutassuk meg hogy a két osztályozási kritérium is ugyanaz! Megoldás : Σ Σ p p a két osztálybeli eloszlás közös szórásnégyzet mátrixa µ és µ a két várhatóérték vektor µ µ + µ a teljes eloszlás várhatóérték vektora. A B definíciójába behelyettesítve µ-t: B µ µ µ µ T + µ µ µ µ T µ µ µ µ T. A teljes eloszlás itt az egyes osztálybeli eloszlások azonos tehát /k... /k súlyokkal vett keveréke azaz az a priori eloszlás most diszkrét egyenletes.
Mivel rangσ B rangb a Σ B-nek egy pozitív sajátértéke van tehát s azaz az L mátrix most egy oszlopvektor. Azt kell megmutatni hogy k -re a 3-beli L vektor és az -beli c Σ µ µ oszlopvektor ± tényezőtől eltekintve ugyanaz. Mivel Σ B cσ µ µ µ µ T Σ µ µ Σ µ µ µ µ T Σ µ µ λ c Σ µ µ ahol λ /c továbbá c Σ µ µ T Σ c Σ µ µ c µ µ T Σ µ µ az -beli l. c Σ µ µ tényleg az l T Σl módon normált jobboldali sajátvektora Σ B-nek így előjeltől eltekintve meg kell hogy egyezzen a a 3-beli L vektorral. Az osztályozási kritérium a b-beli diszkrimiminancia függvény használata azaz általános k esetén de most speciálisan k -re leírva: ha Lx L µ < Lx L µ ha Lx L µ Lx L µ akkor az x megfigyelést az. osztályba soroljuk akkor az x megfigyelést a. osztályba soroljuk. Mivel most az L függvény értéke a számegyenesen van Lx L µ < Lx L µ µ + µ Lx > L Lµ tehát az a-beli és a b-beli osztályozási kritérium k -re ugyanaz. Megjegyzés : Az előző feladatbeli ekvivalencia triviális ha azt is tanultuk hogy az a -beli és a b -beli diszkriminancia függvény is az osztály várhatóértékeket legjobban elkülönítő szórásnégyzetű lineáris függvény azaz mindkettő előjeltől eltekintve az ami maximalizálja a i E i l T ξ El T ξ E i l T ξ El T ξ T i l T T l T µ i l T µ l T µ i l T µ i T µ i µ µ i µ l l T B l kvadratikus formát a D l T ξ l T Σ l feltétel mellett.
. Fisher-féle lineáris diszkriminancia anaĺızis két osztály esetén Két azonos szórásnégyzet mátrixú kétdimenziós eloszlásból származó adatmátrix: X 3 X 6 5. 7 7 9 7 8 a Számoljuk ki a normált Fisher-féle tapasztalati lineáris diszkriminancia függvényt! b Az x 0 7 T megfigyelés melyik osztályba tartozik a Fisher-féle diszkriminancia kritérium szerint? c Normális eloszlásokat és azonos a priori osztályvalószínűségeket feltételezve az x 0 7 T megfigyelés esetén becsüljük az a poszteriori osztályvalószínűségeket! d Normális eloszlásokat és azonos a priori osztályvalószínűségeket feltételezve becsüljük a hibás osztályba sorolás valószínűségét! e Generáljunk SPSS-sel egy-egy n n 999 elemű mintát N µ Σ ill. N µ Σ eloszlásból ahol µ µ és Σ a fenti X és X mintákból becsült várhatóérték vektorok és közös szórásnégyzetmátrix! Az Analyze. Classify. Discriminant eljárással ellenőrizzük hogy jó eredményt adtunk-e az a b c d részekre! Segítség: tananyagnak adjuk meg a generált két osztálybeli 999-999 megfigyelést egy oszlopba egy másik oszlopba pedig a osztályt mutató változót. Az x 0 -t az. sorba írjuk be de természetesen osztályt ne adjunk meg hozzá! Megoldás : Az előző feladatbeli a módszert használjuk ez ui. valamivel egyszerűbb a b-nél. a Σ x 3 6 T x 5 8 T x 7 T n Sn 3 n Sn 3 6 n S n + n S n n + n x ĉ x T Σ x x Σ T A normált Fisher-féle tapasztalati lineáris diszkriminancia függvény: Lx l T x ĉ x x T Σ x x 0x x. b Mivel Lx L 7 T < L 7 T Lx 0 a osztályozási kritérium szerint az x 0 7 T megfigyelés az. osztályba tartozik. 3
c Vezessük be a következő eseményeket: Az a priori osztályvalószínűségek egyenlők azaz Az. ill. a. osztályban az eloszlások: A i. { x0 az i-edik osztályba tartozik } i. P A P A. x N µ Σ ill. x N µ Σ így az Lx l T x lineáris diszkriminancia függvény x-beli értékének eloszlásai az. ill. a. osztályba tartozó x esetén: Lx l T x N l T µ l T Σl N l T µ ill. Lx l T x N l T µ l T Σl N l T µ. A Bayes-tétel szerint az a poszteriori osztályvalószínűségek : P A Lx 0 f Nl T µ lt x 0 P A f Nl T µ i lt x 0 P A i i e l T x 0 µ e l T x 0 µ i i e l T x 0 µ e l T x 0 µ i i + e l T x 0 µ l T x 0 µ. A paraméterek helyére a becslésüket helyettesítve megkapjuk az a poszteriori osztályvalószínűségek becsléseit: P A Lx0 + e l T x 0 x P A Lx0 0.98 0.08. l Tx 0 x + e 0.98 3 5 + e d Legyen A i. { x az. osztályba tartozik } i. A hibás osztályba sorolás feltételes valószínűsége egy. osztálybeli x esetén: P x -et a. osztályba soroljuk A P Lx Lµ A P Lx L µ Lµ L µ A miatt Φ Lµ L µ Φ c µ µ T Σ µ µ Φ c
és szimmetria okok miatt ugyanennyi annak a valószínűsége hogy x -et az. osztályba soroljuk feltéve hogy a. osztályba tartozik. Így a teljes valószínűség tétellel a hibás osztályba sorolás valószínűsége: Φ /c. A paraméterek helyére beírva a becsléseiket a hibás osztályba sorolás az adott 3 3 megfigyelésből becsült valószínűségére a következőt kapjuk: Φ e Az SPSS program: c Φ ĉ Φ Φ 0.8 0.59. get file c:\temp\spssinput.sav /renamevar0000x. n 9999. compute x rv.normal0. compute x rv.normal0. matrix. get X /variablesx x. compute Sigma ;. call eigensigmavlambdav. compute AV*sqrtmdiaglambdav. compute XX*transposA. save X /outfile c:\temp\xmatrix. end matrix. get file c:\temp\xmatrix /renamecol colx x. /* A tananyag:. osztály a -5000. megfigyelesekbol all; /*. osztály az utana kovetkezo 999 megfigyeles; /* az. helyet szabadon hagyjuk a besorolando megfigyelesnek: do if <$casenum & $casenum<5000. compute osztaly. compute xx+3. compute xx+6. else if $casenum>5000. compute osztaly. compute xx+5. compute xx+8. end if. /* A besorolando megfigyeles: do if $casenum. /* az osztaly valtozo erteke a hianyzo ertek compute x. compute x7. end if. /* A kovetkezo parancsban a /statisticsraw ekvivalens a /*... Statistics. Function Coefficients. Unstandardized /* menu beallitassal ui. a masik lehetoseg a Fisher s az eredeti /* valtozokat standardizalja a diszkriminancia analizis elott: discriminant /groupsosztaly /variablesx x /analysis all /priors equal /statisticsraw crossvalid /plotcases0 /classifynonmissing pooled. 5
Az output vonatkozó részei: Canonical Discriminant Function Coefficients Function X.03 X -.08 Constant -3.95 Unstandardized coefficients az l nekünk l 0 jött ki de az előjelnek itt nincs értelme Casewise Statistics Original Case Number 3 5 6 7 8 9 0 Actual Group Highest Group Predicted PD>d Gg PGg Group p df Dd Squared Mahalanobi s Distance to Centroid ungrouped.9.983.03.867.838.08.9.89.005.363.5.87.956.866.003.8.98.57.95.890.00.609.73.6.579.956.308.90.85.03 Az x 0 7 T megfigyelés az osztályozási kritérium szerint az. osztályba kerül. Az. osztályba tartozás az. osztály a poszteriori valószínűségének becslése az x 0 7 T megfigyelés esetén: 0.983 Classification Results bc Original Cross-validated a Count % Count % CSOPORT.00.00 Ungrouped cases.00.00 Ungrouped cases.00.00.00.00 Predicted Group Membership.00.00 Total 0 798 999 79 08 999 0 8.0 6.0 00.0 5.8 8. 00.0 00.0.0 00.0 0 798 999 79 08 999 8.0 6.0 00.0 5.8 8. 00.0 a. Cross validation is done only for those cases in the analysis. In cross validation each case is classified by the functions derived from all cases other than that case. b. 8.% of original grouped cases correctly classified. c. 8.% of cross-validated grouped cases correctly classified. a jó osztályba sorolás valószínűsége Házi feladat : Az előző feladat megoldásában nem pontosan a maximum likelihood-becsléseket kaptuk. Mi ennek az oka? Hogy lehetne a maximum likelihood-becsléseket megkapni? Segítség: Mi a Σ maximum likelihood-becslése [normális eloszlás esetén ahogy a feladatban feltettük]? Használjuk a maximum likelihood-becslés invarianciáját! 6
3. Fisher-féle lineáris diszkriminancia anaĺızis több osztály esetén Három azonos szórásnégyzet mátrixú kétdimenziós eloszlásból származó adatmátrix: X 0 X 0 X 3 0. 5 3 6 0 a Számoljuk ki a Fisher-féle tapasztalati lineáris diszkriminancia függvényt! b Az x 0 3 T megfigyelés melyik osztályba tartozik a Fisher-féle diszkriminancia kritérium szerint? c Normális eloszlásokat és azonos a priori osztályvalószínűségeket feltételezve becsüljük az a poszteriori osztályvalószínűségeket az x 0 3 T megfigyelés esetén! d Generáljunk SPSS-sel három egyenként n n n 3 3333 elemű mintát N µ Σ N µ Σ ill. N µ 3 Σ eloszlásból ahol µ µ µ 3 és Σ a fenti X X és X 3 mintákból becsült várhatóérték vektorok és közös szórásnégyzet mátrix! Az Analyze. Classify. Discriminant eljárással ellenőrizzük hogy jó eredményt adtunk-e az a b c részekre! Segítség: tananyagnak adjuk meg a generált három osztálybeli 3333-3333-3333 megfigyelést egy oszlopba egy másik oszlopba pedig az osztályt mutató változót. Az x 0 -t az. sorba írjuk be de természetesen osztályt ne adjunk meg hozzá! e Ábrázoljuk a generált 3333-3333-3333 megfigyelést és a diszkriminancia kritériumok által meghatározott tartományokat! Megoldás : A Fisher-módszer k osztály esetén az. feladat b-beli módszer. x x x 3 0 0 x 3 n Sn n Sn 8 n 3 Sn 8 3 8 Σ n S n + n S n + n 3 S n3 3 n + n + n 3 3 3 Σ 3 35 3 B 3 i Σ B 35 x i x x i x T 6 3 3 3 6 75 98 5 89. 5 3 7
A Σ B sajátértékei: Σ 75 det B λi 35 det λ 98 35 5 35 89 35 λ λ 6 35 λ + 89 35 75 35 5 35 98 35 0 a hozzájuk tartozó l T Σ l -re normált jobboldali sajátvektorok: 0.385 0.938 l l 0.95 0. λ 5.73 λ.809 Az ezekből álló mátrix adja a Fisher-féle tapasztalati lineáris diszkriminancia függvényt: Lx L T 0.385 0.95 x x 0.938 0.. azaz L x l T x 0.385x + 0.95x L x l T x 0.938x 0.x az. lineáris diszkriminancia függvény a. lineáris diszkriminancia függvény. b 0.385 0.95.87 Lx 0 0.938 0. 3 0.60 L x 0.385 0.95.0 0.938 0. 3.7 L x 0.385 0.95.37 0.938 0. 0.9 L x 3 0.385 0.95 0 0.99 0.938 0. 0. Lx 0 L x.87. + 0.6 +.7.09 Lx 0 L x.87.37 + 0.6 0.9 0.6 Lx 0 L x 3.87 + 0.99 + 0.6 0. 8.3 8
Tehát Lx 0 L x -hez van a legközelebb így az x 0 3 T szerint a. osztályba tartozik. c Vezessük be a következő eseményeket: a Fisher-féle diszkriminancia kritérium Az a priori osztályvalószínűségek egyenlők azaz Az. a. ill. a 3. osztályban az eloszlások: A i. { x0 az i-edik osztályba tartozik } i 3. P A P A P A 3. x N µ Σ x N µ Σ ill. x N 3 µ 3 Σ. így az Lx L T x lineáris diszkriminancia függvény x-beli értékének eloszlásai az. a. ill. a 3. osztályba tartozó x esetén : Lx L T x N L T µ L T ΣL N L T µ I Lx L T x N L T µ L T ΣL N L T µ I Lx L T x N L T µ 3 L T ΣL N L T µ 3 I. A Bayes-tétel szerint az a poszteriori osztályvalószínűségek : P A Lx 0 f N L T µ IL T x 0 P A 3 f N L T µ i IL T x 0 P A i i P A Lx 0 f N L T µ IL T x 0 P A 3 f N L T µ i IL T x 0 P A i i e L T x 0 L T µ 3 e L T x 0 L T µ i i e L T x 0 L T µ 3 e L T x 0 L T µ i i P A 3 Lx 0 P A Lx 0 P A Lx 0. A paraméterek helyére a becslésüket helyettesítve: P A Lx0 L e T x 0 L T x 3 e.09 L T x 0 L T x i + e 0.6 + e 8.3 P A Lx 0 e i e 3 e i L T x 0 L T x e.09 0.6 e L T x 0 L T x i + e 0.6 + e 8.3 e.09 0.6 0.858 P A 3 Lx0 0.6 0.858 0.06. 9
d Az SPSS program: get file c:\temp\spssinput.sav /renamevar0000x. n 0000. compute x rv.normal0. compute x rv.normal0. matrix. get X /variablesx x. compute Sigma{ -/3; -/3 }. call eigensigmavlambdav. compute AV*sqrtmdiaglambdav. compute XX*transposA. save X /outfile c:\temp\xmatrix. end matrix. get file c:\temp\xmatrix /renamecol colx x. /* A tananyag: az. osztaly a -333. megfigyelesekbol all; /* a. osztaly a 3335-6667. megfigyelesekbol all; /* a 3. osztaly a 6668-0000. megfigyelesekbol all. /* Az. helyet szabadon hagyjuk a besorolando megfigyelesnek: do if <$casenum & $casenum<333. compute osztaly. compute xx-. compute xx+3. else if 3335<$casenum & $casenum<6667. compute osztaly. compute xx+. compute xx+. else if 6668<$casenum. compute osztaly3. compute xx+0. compute xx-. end if. /* A besorolando megfigyeles: do if $casenum. /* Az osztaly valtozo erteke a hianyzo ertek compute x. compute x3. end if. /* A /statisticsraw ekvivalens a /*... Statistics. Function Coefficients. Unstandardized menu beal- /* litassal ui. a masik lehetoseg a Fisher s az eredeti val- /* tozokat standardizalja a diszkriminancia analizis elott: discriminant /groupsosztaly 3 /variablesx x /analysis all /priors equal /statisticsraw /plotcases0 /classifynonmissing pooled. 0
Az output vonatkozó részei: Canonical Discriminant Function Coefficients Function X.370.90 X.98 -.0 Constant -.85.86 Unstandardized coefficients L Casewise Statistics Highest Group Second Highest Group Discriminant Scores Original Case Number 3 5 6 7 8 9 0 **. Misclassified case Actual Group Predicted PD>d Gg PGg Group p df Dd Squared Mahalanobi s Distance to Centroid ungrouped.87.857.73.6.0.0.8.895.903. 3.059 5.66 -.9 -.79 3**.068.658 5.376.3 6.683 -.55 -.898 **.68.699.760.5.78.659.5.930.909.5 3.09 5.998 -.030 -.76.80.9.66 3.05 7.37 -.59 -.976.60.973.698.06 9.95. -.8.85.98 3.379 3.050 9.6 -.876 -.98 3**.533.67.58. 3.5 -.700.8.656.687.8.307.5.85 -.83 Group PGg Dd Squared Mahalanobi s Distance to Centroid Function Function Az x 0 3 T megfigyelés az osztályozási kritérium szerint a. osztályba kerül. A. ill. az. osztályba tartozás a. ill. az. osztály a poszteriori valószínűségeinek becslései az x 0 3 T megfigyelés esetén: 0.857 ill. 0.6. e Mégegyszer futtassuk le a discriminant parancsot azzal a beálĺıtással amellyel ki lehet menteni a diszkriminancia anaĺızis által készített osztályozást. Az új osztályozást mutató változó neve legyen pl. becsoszt becsült osztály. Ezután ábrázoljuk a 9999 megfigyelést először az eredetileg megadott osztályokra bontva tehát a három normális eloszlású mintát majd a diszkriminancia anaĺızis által készített osztályokat! A program: discriminant /groupscsoport 3 /variablesx x /analysis all /saveclassbecscsop /priors equal /statisticsraw /plotcombined /plotcases0 /classifynonmissing pooled. graph /scatterplotbivarx with x by csoport. graph /scatterplotbivarx with x by becscsop.
Ilyen ábrákat kell kapni: 0 0 0 0 0 CSOPORT 0 Predicted Group for 3.00 3.00.00.00 X -0-6 - - 0 6.00 X -0-6 - - 0 6.00 X X Házi feladat : Lássuk be hogy az előző feladat megoldásában L T Σ L I azaz egységmátrix!