To bbva ltozo s adatelemze s

Átírás

1 To bbva ltozo s adatelemze s Ma rkus La szlo Valo szı nu se gelme leti e s Statisztika Tansze k, Eo tvo s Lora nd Tudoma nyegyetem

2 Az adatok Me rni vagy megfigyelni tudunk n-szer valamilyen X1,..., Xk mennyise geket. Ezeket a mennyise geket valva ltozo nak tekintju k. A me rt e rte kek ezek realiza cio i: az xi,j = Xi (ωj ) valo s sza mok. Adataink struktu ra ja a ko vetkezo. va ltozo k (variables) } X, X,... 1 x x... 1,1 1, x,1 x,... esetek(cases) xn,1 xn,... z { Xk x1,k x,k... xn,k (1) A va ltozo k ko zo tt a ltala ban van o sszefu gge s, gyakran ez az o sszefu gge s te rbeli struktu ra bo l sza rmazik, de ezt az egyszeru statisztikai elemze s esete n nem vesszu k figyelembe. Pl.: k ro gzı tett helyen az e v adott napja n me rt ho me rse klet adatok, n e vre visszatekintve. Az egyes esetek (= sorok) gyakran fu ggetlenek, ez sokkal egyszeru bben elemezheto. A fenti pe lda ban a ku lo nbo zo e vekben az adott napon a ho me rse klet azonos eloszla su nak e s fu ggetlennek tekintheto, teha t az esetek ilyenek. / 7

3 To bbdimenzio s adatok Ha viszont az adott helyeken az e v n egyma suta ni napja n me ru nk ho me rse kletet e s ebbo l sza rmazik az n eset, akkor ezek ma r nem fu ggetlen adatok e s az o sszefu gge si struktu ra t, (korrela cio t e s azon tu l) figyelembe kell venni. Az is lehet, hogy nem csak egy jelense get kı va nunk vizsga lni, pl. ho me rse klet mellett pa ratartalmat, napsu te st, sze lsebesse get, csapade kot. Ilyenkor ezeket az azonos helyen me rt e rte keket egy vektorban fogjuk o ssze teha t az adatba zisunk kap egy harmadik dimenzio t is, pl az elso sor elemei maguk is vektorok: x1,1, x1,,... x1,k. Ebben az esetben ma r to bbdimenzio s statisztikai mo dszereket kell haszna lni. 3 / 7

4 Egyszeru jellemzo k becsle se Va rhato e rte k EXj becsle se X j = 1 n 1 n xi,j, vagy X j = xi,j n i=1 n i=1 Szo ra sne gyzet D Xj = σj becsle se Sj = 1 n 1 1 xi,j X j = n 1 SS(Xj ) = n 1 SSj n 1 i=1 SS=Sum of Squares Kovariancia cov(x`, Xm ) becsle se c `, Xm ) = cov(x n xi,` X ` xi,m X m = n 1 SP(X`, Xm ) = n 1 SP`,m n 1 i=1 SP=Sum of Procucts Ez torzı tatlan becsle s. 4 / 7

5 Egyszeru jellemzo k becsle se Korrela cio s egyu tthato corr(x`, Xm ) becsle se SP`,m cd orr(x`, Xm ) = SS` SSm Ez ma r nem torzı tatlan becsle s, de aszimptotikusan igen. Ferdese g (Skewness) standardiza lt 3. momentum: 1 n 1 ni=1 xi,j X j Sj3 E(Xj EXj )3, σj3 3 Lapultsa g (Kurtosis) 4.kumula ns/(.kumula ns ne gyzete): 1 n 1 ni=1 xi,j X j Sj4 becsle se E(Xj EXj )4 σj4 3, becsle se 4 5 / 7

6 Variancia-kovariancia ma trix Az X = X1, X,..., Xk valo szı nu se gi vektorva ltozo jellemzo je a variancia-kovariancia ma trix, ami az egydimenzio s szo ra sne gyzet megfelelo je erre az esetre. Σ = E (X EX) (X EX)T Σ diagona lisa ban a vektor komponenseinek szo ra sne gyzetei, a felso ha romszo gben kovariancia i a llnak, e s a ma trix szimmetrikus. b Variancia-kovariancia ma trix becsle se Σ b A fentebbi formula kkal becsu lt szo ra sne gyzeteket e s kovariancia kat beı rjuk a Σ ma trix megfelelo helye re. Gyakran fontos a variancia-kovariancia ma trix saja te rte keinek becsle se, amit a b ma trix saja te rte keivel becslu nk. Σ 6 / 7

7 Hipote zisvizsga lat valo szı nu se gi vektorva ltozo ra A hipote zisvizsga lat valo szı nu se gi vektorva ltozo ra bonyolultabb, mert a parame terek sza ma jo val nagyobb, pl. egy to bb- (d-)dimenzio s norma lis eloszla st va rhato e rte k vektora e s variancia-kovariancia ma trixa jellemez, ez o sszesen d + d parame ter e s ı gy a nullhipote zis egyszerre to bb e rte kre vonatkozik. Lehetne egyese vel tesztelni a parame tereket, de ne zzu k meg mi to rte nne a hiba kkal. Legyen pl. d=10 e s a va ltozo k mind fu ggetlenek - ekkor csak 10 parame ter van. Ha minden egyes tesztben α = 0.05 szinten do ntu nk, akkor az egyu ttes do nte su nk elso faju hiba ja ı gy alakul: A 10 tesztbo l legala bb egyben te vesen elutası tom a 0-hipote zist. Ennek valo szı nu se ge P0 (Legala bb egy elutası ta s) = 1 P0 (mindet elfogadom) 1 (1 0.05)10 = 1 (0.95)10 = 0.4 ami elfogadhatatlanul nagy. (P0 a 0-hipote zis igaz volta mellett sza mı tott valo szı nu se g.) 7 / 7

8 Egyva ltozo s pro ba k proble ma i Az egyva ltozo s pro ba k teljesen figyelmen kı vu l hagyja k a valo szı nu se gi vektorva ltozo komponensei ko zo tti o sszefu gge seket, korrela cio kat. A to bbva ltozo s pro ba k aze rt is ero sebbek, mert az egyes va ltozo kon, komponenseken felle po kis hata sok, melyek o nmagukban elhanyagolhato k lenne nek, egyu ttesen ma r le nyeges, szignifika ns elte re sse a llnak o ssze. Az egyva ltozo s pro ba kkal az elfogada si tartoma ny csak egy te gla lehet (te glalap, te glatest, hiperte gla), mı g to bbva ltozo s pro ba k esete n ez tetszo leges alaku tartoma ny is lehet. 8 / 7

9 To bbdimenzio s norma lis eloszla s va rhato e rte k vektora ra pro ba k: ismert variancia-kovariancia ma trix Legyen X 1, X,... X n N(µ, Σ) eloszla su fu ggetlen d-dimenzio s minta. A H0 : {µ = µ0 } nullhipote zist tesztelju k teljes alternatı va mellett. Az U-pro ba megfelelo je az az eset, ha a variancia-kovariancia ma trix, Σ, ismert. (X µ ) A pro bastatisztika az egydimenzio s esetbeli n σ 0 analo gia ja ra ke szu lhetne, azonban az abban szereplo σ szo ra s megfelelo je t nem tudjuk egye rtelmu en megtala lni, hiszen ehhez gyo ko t kellene vonni Σ-bo l. Szerencse re a pro bastatisztika ne gyzete nek to bbdimenzio s analogonja val nincs ilyen proble ma, e s mivel maga a pro bastatisztika N(0, 1)-eloszla su eze rt (X µ ) ne gyzete n σ 0 χ1 eloszla su teha t ennek alapja n a pro bastatisztika ne gyzete vel is ke szı thetne nk az egydimenzio s U-pro ba t. Ezt a gondolatot lehet a tvinni a to bbdimenzio s esetre. 9 / 7

10 To bbdimenzio s norma lis eloszla s va rhato e rte k vektora ra pro ba k: ismert variancia-kovariancia ma trix Legyen a pro bastatisztika: Ud = n X µ0 T Σ 1 X µ0 Ha Σ = AAT e s Z = n A 1 X µ0, akkor egyfelo l Z egy d-dimenzio s standard norma lis vektor (fu ggetlen N(0, 1)-es komponensekbo l a ll), ma sfelo l Ud = Z T Z, teha t Ud χd -eloszla su. Pro bastatisztika nkat teha t a χd eloszla s kritikus e rte ke ellene ben kell tesztelni. Az alternatı v hipote zis igaz volta mellett is meg lehet adni a pro bastatisztika eloszla s lesz, ahol eloszla sa t, ez nem centra lis χd,ν ν = νµ = n (µ µ0 )T Σ 1 (µ µ0 ) az u.n. nemcentralita si parame ter. Ebbo l az ero fu ggve ny sza molhato. 10 / 7

11 Ismeretlen variancia-kovariancia ma trix Ugyan u gy mint az elo bb legyen X 1, X,... X n N(µ, Σ) eloszla su fu ggetlen d-dimenzio s minta. A H0 : {µ = µ0 } nullhipote zist tesztelju k teljes alternatı va mellett. Az ismeretlen Σ variancia-kovariancia ma trix esete a t-pro ba megfelelo je. A pro bastatisztika az egydimenzio s esetbeli ne gyzete nek megfelelo en ke szu l most is, csupa n az elo zo U-pro ba ban szereplo Σ helye re annak becsle se t ı rjuk be. T = n X µ0 T b 1 X µ0 Σ b = 1 n Xi X Xi X T. Megmutathato, hogy Σ b pozitı v definit, p ahol Σ n 1 i=1 va ltozo s Wishart eloszla st ko vet n 1 szabadsa gi fokkal. Hotelling hata rozta meg ennek alapja n a pro bastatisztika eloszla sa t (ezt Td,n 1 -nel szoka s jelo lni), eze rt a pro ba t Hotelling fe le T -pro ba nak hı vja k. A likelihood ha nyados pro ba norma lis eloszla s esete n a T -pro ba hoz vezet, ez legero sebb pro ba lesz, csaku gy mint a t ill. F pro ba k egy dimenzio ban. 11 / 7

12 Ismeretlen variancia-kovariancia ma trix A t-statisztika jelente se: ha nyszor szo ra snyira van egyma sto l a mintaa tlag e s a hipotetikus va rhato e rte k. A T -nek nincs ilyen szemle letes jelente se. Nagy mintasza mra van F-ko zelı te se a pro bastatisztika nak n d T Fd,n d, d(n 1) ami aze rt fontos, mert az F eloszla s sok szempontbo l jobban ismert mint a T. A Td,n 1 ferde eloszla s, nem u gy, mint pl. a t. Hata reloszla sa is van a Td,n 1 -nek: Td,n 1 n χd u gy, ahogy az va rhato, mivel a t eloszla s norma lis eloszla shoz tart eze rt ne gyzete χ -hez. Azonban ez a konvergencia jo val lassu bb mint a t eloszla s norma lis ko zelı te se: 30 szabadsa gi fok felett t ma r ele g jo l norma lis, azaz nincs le nyegi ku lo nbse g a becsu lt vagy az ismert szo ra s haszna lata ko zo tt, azonban pl. d = 5 esete n hasonlo precizita shoz ma r 100 ko ru li szabadsa gi fok vagyis mintaelem kell, teha t a becsu lt variancia-kovariancia ma trix jo val tova bb rontja a tesztet. 1 / 7

13 Ke t va rhato e rte k vektor o sszehasonlı ta sa Legyen X 1, X,... X n1 N(µ1, Σ), e s Y 1, Y,... Y n N(µ, Σ) ke t fu ggetlen d-dimenzio s norma lis eloszla su minta, amelyekben a variancia-kovariancia ma trix megegyezik, de nem ismert. A H0 : {µ1 = µ } nullhipote zist tesztelju k teljes alternatı va mellett. Mindenek elo tt mindke t minta bo l megbecsu lju k a variancia-kovariancia ma trixot, b1 = Σ T 1 n1 Xi X Xi X. n1 1 i=1 b = Σ T 1 n Yi Y Yi Y. n 1 i=1 Ezek uta n elke szı tju k a variancia-kovariancia ma trix o sszevont (pooled) becsle se t: 1 bpl = b1 + Σ b Σ Σ n1 + n 13 / 7

14 Ke t va rhato e rte k vektor o sszehasonlı ta sa A pro bastatisztika T = T 1 n1 n b X Y Σ pl X Y n1 + n Ebben az esetben is Hotelling fe le T eloszla su lesz a pro bastatisztika, me gpedig Td,n 1 +n. Irodalom (a lentebbiekhez is): T.W.Anderson: Introduction to Multivariate Statistical Analysis Wiley & Sons, New York, (pp.73-77,163,49, ) 14 / 7

15 A pa rosı tott megfigyele sek a ke zzel ı rottban vannak csak! 15 / 7

16 Variancia-kovariancia ma trixra pro ba k: ismert va rhato e rte k vektor Legyen megint X 1, X,... X n N(µ, Σ) eloszla su fu ggetlen d-dimenzio s minta, ismert µ-t va rhato e rte k vektorral. A H0 : {Σ = Σ0 } nullhipote zist tesztelju k teljes alternatı va mellett. Felhaszna lva az ismert va rhato e rte k vektort, megbecsu lju k a variancia-kovariancia ma trix n-1-szerese t, C = ni=1 (Xi µ) (Xi µ)t. Legyen λ= e dn n n 1 CΣ 1 0 exp tr(cσ0 )/ ezzel a pro bastatisztika: T = log(λ ) amelynek 0-hipote zis melletti eloszla sa T χd(d+1)/ 16 / 7

17 Variancia-kovariancia ma trixra pro ba k: ismeretlen va rhato e rte k vektor Va ltozatlanul fu ggetlen d-dimenzio s N(µ, Σ) eloszla su a minta, de most µ-t nem ismerju k. U jfent a H0 : {Σ = Σ0 } nullhipote zist tesztelju k teljes alternatı va mellett. Mivel a va rhato e rte k vektor nem ismert, csak a variancia-kovariancia ma trix b ta maszkodunk. becsle se re Σ-ra Legyen most n o n 1 b 1 n 1 b 1 exp n 1 d tr(σσ λ = (n 1)(1 d) ΣΣ 0 0 amivel a pro bastatisztika t va ltozatlan alakban kapjuk: T = log(λ ) e s amelynek 0-hipote zis melletti eloszla sa az ismert va rhato e rte kkel megegyezo en T χd(d+1)/ 17 / 7

18 Eloszla silleszkede s elleno rze se: Kolmogorov Szmirnov teszt A Kolmogorov Szmirnov teszttel 1 azt elleno rizzu k, hogy egy n elemu fu ggetlen minta nak ( pl. egy valo szı nu se gi va ltozo n-szeri fu ggetlen megfigyele se nek) csakugyan az az eloszla sa, amit felte teleztu nk, az eloszla st az eloszla sfu ggve nnyel megadva, (Egyminta s KS teszt), vagy ke t minta (pl. ke t valo szı nu se gi va ltozo n-szeri fu ggetlen megfigyele se) eloszla sa nak egyeze se ro l do ntu nk segı tse ge vel. (Ke tminta s KS teszt). A tapasztalati e s az elme leti eloszla sfu ggve ny abszolu t elte re se nek maximuma alapja n do ntu nk. A Glivenko te telbo l tudjuk, hogy tapasztalati eloszla sfu ggve ny tart elme letihez, teha t azt tesztelju k, hogy adott mintaelemsza m mellett az elte re su k tipikusnak mondhato, csak annyi, amennyit ez a mintasza m indokol, vagy enne l nagyobb. A pro ba t Andrej Nyikola jevics Kolmogorov dolgozta ki. 18 / 7

19 Kolmogorov Szmirnov teszt, a nullhipote zis Legyen X = X1, X,..., Xn a vizsga lt minta, aminek eloszla sa FX (x) nem ismert, de felte telezzu k, hogy megegyezik az F(x) eloszla sfu ggve nnyel megadott eloszla ssal. H0 : FX (x) = F(x) vs. H1 : FX (x) 6= F(x) bn (x) = P(X b < x) = 1 n I(Xi < x) Definia ljuk a tapasztalati eloszla sfu ggve nyt F n i=1 alapja n. A Glivenko te tel szerint a tapasztalati eloszla sfu ggve ny egyenletesen tart a valo di eloszla sfu ggve nyhez, teha t bn Fk = sup F bn (x) F(x) 0. dn = kf x 19 / 7

20 Kolmogorov Szmirnov teszt, a pro bastatisztika e s eloszla sa A szupre mumot terme szetesen csak a mintae rte kekre sza moljuk ki, de ehhez elo szo r sorbarendezzu k o ket, vagyis a rendezett minta helyein tekintju k a tapasztalati e s a hipotetikus eloszla sfu ggve ny ku lo nbse ge t. Ami nagyon fontos, hogy a ku lo nbse g szupre mum n-szerese nek eloszla sa nem fu gg az ismeretlen igazi mintaeloszla sto l, legala bbis, ha F(x) folytonos. Ez teszi leheto ve, hogy ezt va lasszuk pro bastatisztika nak: bn (x) F(x) Dn = n sup F x P(Dn < t) H(t) = 1 ( 1)i 1 e i t i=1 A hata reloszla s alapja n az α kvantilissel va laszthatjuk meg a kritikus e rte ket, e s a pro bastatisztika enne l nagyobb e rte keine l utası tjuk el a nullhipote zist. 0 / 7

21 Tova bbi tesztek az eloszla silleszkede s elleno rze se re Elso ke nt az Anderson Darling e s a Crame r von Mises teszteket emlı tju k meg, amelyek ugyancsak a tapasztalati e s az elme leti eloszla sfu ggve ny elte re se nek vizsga lata n alapulnak. A Kolmogorov Szmirnov teszt a ku lo nbse g szupre muma nak vizsga lata n keresztu l az eloszla s szoka sos, gyakori e rte kei ko ru l ko veteli meg a jo illeszkede st e s ezt elleno rzi. Ezt abbo l is la tjuk, hogy minden eloszla sfu ggve ny 0 a -ben e s 1 a + -ben, teha t nem va rhatjuk, hogy az elte re s szupre mum valahol errefele legyen, vagyis a nem tu l gyakori, sze lso se ges e rte kek ko zo tt. Egyenletesebb, nagyobb e rte ktartoma nyon megle vo illeszkede st ko vetelhetu nk meg, ha az elte re s ne gyzetintegta lja to l va rjuk el, hogy kicsi legyen. Ezt teszi a Crame r von Mises teszt. Ez viszont e rze ketlen a kis e rte ktartoma nyban megle vo jelento s va ltoza sra, pl. egy ugra sra a felvett e rte kek ko zo tt. Megfelelo su lyoza st bevezetve az integra la sban tova bb finomı thatjuk, hogy az e rte kek mely tartoma nya ban szeretne nk pontosabb illeszkede st elo ı rni, e s azt elleno rizni. Alkalmas su lyva laszta ssal a nagy (ritka, sze lso se ges) e rte kek illeszkede se is elo ı rhato, e s erre koncentra l jobban az Anderson-Darling teszt. 1 / 7

22 Az Anderson Darling e s a Crame r von Mises pro bastatisztika k Az a ltala nos alakban a w(x) su lyoza s mellett sza moljuk a ne gyzetintegra l elte re st: Z n bn (x) F(x)) w(x)df(x). (F A Crame r von Mises tesztben ez a w(x) su lyfu ggve ny egyszeru en 1, mı g az Anderson-Darling tesztben a sze lso se ges e rte keket jobban su lyozo w(x) = [F(x) (1 F(x))] 1, ahonnan a ne gyzetintegra l elte re s: Z n bn (x) F(x)) (F df(x). [F(x) (1 F(x))] Ezek uta n felhaszna lva a nullhipote zisbo l ismert eloszla sfu ggve nyt, u gy transzforma ljuk az adatot, hogy egyenletes eloszla su legyen, majd a rendezett minta val sza moljuk az ala bbi pro bastatisztika t: n k 1 A = n S, ahol S = ln(f(xk )) + ln 1 F(Xn+1 k ). n k=1 / 7

23 Vegyu k e szre, hogy a pro bastatisztika a tesztelendo eloszla sto l fu gg ahogy az A statisztika eloszla sa, e s eze rt a ra vonatkozo kritikus e rte k is. A statisztika e s a kritikus e rte kek va ltozatait a norma lis, exponencia lis, extre m-e rte k, Weibull, gamma, logisztikus, Cauchy, e s von Mises eloszla sokta pl. Stephens (1986) ko nyve ben meg lehet tala lni, de ma ma r to bb statisztikai programcsomag is szolga ltatja a p-e rte ket, sokszor a Q-Q plothoz kapcsoltan. (Pl. Statistica). Normalita selleno rze sre szoka sos me g a Jarque-Bera fe le goodness-of-fit teszt is amely az adat ferdese ge n (skewness: S ) e s lapultsa ga n (kurtosis: K) alapul. A teszt Carlos Jarque e s Anil K. Bera uta n van elnevezve. A teszt statisztika JB: n 1 JB = S + (K 3), 6 4 e s aszimptotikusan χ eloszla su. A teszt tu le rze keny, elutası t akkor is, mikor a null igaz, nagy az elso faju hiba ara nya. 3 / 7

24 Norma lis eloszla s va rhato e rte ke re pro ba k: ismert szo ra s Az U-pro ba (Z-test): Legyen X1, X,... Xn egy N(m, σ ) eloszla su fu ggetlen minta, melynek szo ra sa σ ismert, de igazi va rhato e rte ke m nem, viszont azt felte telezzu k ro la, hogy egy adott m0 e rte kkel egyenlo. A H0 : {m = m0 } nullhipote zist tesztelju k, vagy a H1 : {m > m0 } egyoldali, vagy a H1 : {m 6= m0 } ke toldali alternatı va mellett. A pro bastatisztika: X m0 U = n, σ azaz az a tlag standardiza lt elte re se a hipotetikus va rhato e rte kto l, ha igaz a nullhipote zis!!!. (Ne feledju k X szo ra sa: σn, ba rmi is az m, de a sza mla lo csak H0 mellett lesz 0 va rhato e rte ku.) Mivel a minta norma lis eloszla su, eze rt az a tlag is az, e s ı gy a pro bastatisztika is. Mivel standardiza ltuk ha igaz a nullhipote zis, eze rt a pro bastatisztika standard norma lis N(0, 1) eloszla su lesz H0 mellett. 4 / 7

25 Az U-pro ba kritikus tartoma nya A pro bastatisztika e rte ke t a standard norma lis eloszla shoz hasonlı tjuk. A kritikus tartoma ny az α szignifikancia szinten: Xk = {U uα } o n Xk = U u α az egyoldali, a ke toldali ellenhipote zis esete n, ahol uα a standard norma lis eloszla s 1 α-kvantilise, azaz P(U < uα ) = 1 α, illetve ma ske nt uα megolda sa a Φ(uα ) = 1 α egyenletnek melyben Φ a standard norma lis eloszla s eloszla sfu ggve nye. Pe lda ul u0.05 =1.645, mı g u0.05 =1.96, teha t ha 5%-os, azaz 0.05-o s szignifikancia szinten akarok do nteni a nullhipote zisro l az egyoldalu alternatı va val szemben, akkor ne l nagyobb pro bastatisztika e rte kekre utası tom azt el, mı g ha ke toldalu az alternatı va, akkor 1.96-na l nagyobb, vagy na l kisebb e rte kekre utası tom el. 5 / 7

26 Ke tminta s U pro ba Legyen X1, X,..., Xn1, valamint Y1, Y,..., Yn ke t N(m1, σ1 ) illetve N(m, σ ) eloszla su fu ggetlen minta, melynek szo ra sai σ1, σ ismertek. Az m1, m va rhato e rte kekro l azt felte telezzu k, hogy egyenlo ek. A H0 : {m1 = m } nullhipote zist tesztelju k, vagy a H1 : {m1 > m } egyoldali, vagy a H1 : {m1 6= m } ke toldali alternatı va mellett. Legyen a pro bastatisztika ekkor: X Y U=r σ1 n1 +, σ n A nullhipote zis igaz volta mellett ez ugyancsak standard norma lis eloszla su. Ennek megfelelo en innento l az elo zo ekben leı rt elja ra st ko vetve a kvantilisek segı tse ge vel meghata rozzuk a kritikus tartoma nyt e s ennek alapja n do ntu nk. 6 / 7

27 7 / 7