Regresszió és ANOVA. Freedman: fejezet. Freedman: fejezet. Freedman: fejezet

Átírás

1 Kabos: Statisztika II. Összefüggésvizsgálat 11.9 Slide 1 Slide 1 Slide 1 Összefüggésvizsgálat 2. Regresszió és ANOVA Összefüggésvizsgálat összehasonlítása 2. Regresszió és ANOVA Összefüggésvizsgálat összehasonlítása 2. Freedman: fejezet Regresszió és ANOVA összehasonlítása Freedman: fejezet Slide 2 Slide 2 Slide 2 Slide 3 Slide 3 Slide 3 Összehasonlító példák Freedman: fejezet áprilisi havi középhőmérsékletei áprilisi napi középhőmérsékletei Az Összehasonlító első példában példák a magyarázó változó 100 értéke mellett a függő áprilisi változó havi 100 középhőmérsékletei értékét (havi átlag) elemezzük áprilisi napi középhőmérsékletei Az Összehasonlító első példában példák a magyarázó változó 100 értéke mellett a függő áprilisi változó havi100 középhőmérsékletei értékét (havi átlag) elemezzük áprilisi napi középhőmérsékletei Az első példában a magyarázó változó 100 értéke mellett a függő változó 100 értékét (havi átlag) A második példában a magyarázó változó 100 értéke elemezzük. mellett 3000 nap (=100*30) adatait elemezzük, a magyarázó változó 100 értéke mellett ezért: A második csak az példában részt a magyarázó ábrázoltuk változó (a számítások 100 értékea többi mellett részre 3000is nap kiterjednek), (=100*30) adatait elemezzük, a magyarázó boxplot ábra: változó egymás 100 értéke mellémellett helyezett ezért: napi átlag, medián, A második csak az interkvartilis példában részt arange, magyarázó ábrázoltuk mintaterjedelem. változó (a számítások 100 értékea többi mellett részre 3000is nap kiterjednek), (=100*30) adatait elemezzük, a magyarázó boxplot ábra: változó egymás 100 értéke mellémellett helyezett ezért: napi átlag, medián, csak az interkvartilis részt range, ábrázoltuk mintaterjedelem. (a számítások a többi részre is kiterjednek), boxplot ábra: egymás mellé helyezett napi átlag, medián, interkvartilis range, mintaterjedelem.

2 Kabos: Statisztika II. Összefüggésvizsgálat Lineáris Regresszió April, Lineáris Regresszió April, years Az évek áprilisi Lineáris havi középhőmérsékleti Regresszió adatok és a (legkisebb négyzetek módszerével illesztett) regressziós egyenes. A megfigyelt adatokat 1900 zöld 1920 színű, April, 1940a regressziós egyenest 2000 piros pontok jelzik. years Az évek áprilisi havi középhőmérsékleti adatok és a Az egyenes (legkisebb elhelyezkedése négyzetek módszerével olyan, hogy illesztett) a "lehető regressziós legközelebb" egyenes. legyen A az megfigyelt összes megfigyelt adatokat zöld adathoz. színű, a A regressziós pont "távolsága" egyenest piros a regressziós pontok egyenestől jelzik. nem a mértani távolság szerint értendő. A mértanban az egyenesre merőlegesen kell mérni a távolságot, Az egyenes elhelyezkedése olyan, hogy a "lehető legközelebb" itt mindig legyen az az y-tengellyel összes megfigyelt párhuzamosan. adathoz. A pont "távolsága" a regressziós egyenestől nem a mértani távolság szerint értendő. A mértanban az egyenesre merőlegesen kell mérni a távolságot, itt mindig az y-tengellyel párhuzamosan (Intercept) (Slope) years (Intercept) A lineáris regressziós becslés szerint az egyenes meredeksége (Slope) Az évek áprilisi havi középhőmérsékleti adatok és a 0.05 szinten szignifikáns, értéke pozitív. (legkisebb négyzetek módszerével illesztett) regressziós egyenes. A lineáris megfigyelt regressziós adatokat becslés zöld színű, szerint a regressziós az egyenes egyenest meredeksége piros A számítás 0.05 pontok szinten SSQ jelzik. Y.R szignifikáns, és SSQ Y.W értéke értelmezésével pozitív. kezdődik: A Az számítás egyenes elhelyezkedése SSQ Y.R SSQolyan, Y.W értelmezésével hogy a "lehető kezdődik: legközelebb" legyen az összes megfigyelt adathoz. A pont "távolsága" a regressziós egyenestől nem a mértani távolság szerint értendő. A mértanban az egyenesre merőlegesen kell mérni a távolságot, itt mindig az y-tengellyel párhuzamosan. (Intercept) (Slope) A lineáris regressziós becslés szerint az egyenes meredeksége 0.05 szinten szignifikáns, értéke pozitív. A számítás SSQ Y.R és SSQ Y.W értelmezésével kezdődik:

3 Kabos: Statisztika II. Összefüggésvizsgálat április hónapjainak napi átlaghőmérsékletei, boxplot ábrázolásban. A szaggatott vonal a mintaterjedelem (range), a doboz az interkvartilis, a fekete csillag a medián helyét jelenti. A kiugró értéket különálló pont ábrázolja. A piros pont = havi átlaghőmérséklet. Regresszió: X az évek , Y: a 3000 áprilisi napi átlaghőmérséklet (Intercept) április hónapjainak napi átlaghőmérsékletei, 0 (Slope) boxplot ábrázolásban. A szaggatott vonal a mintaterjedelem R-squared: (range), F-statistic: a doboz az interkvartilis, on 1 and 2998 DF, a fekete p-value: csillag a medián helyét jelenti. A kiugró értéket különálló pont ábrázolja. A piros Regresszió: pont = X havi az évek átlaghőmérséklet , Y: a 100 áprilisi havi átlaghőmérséklet Regresszió: X Estimate az évek Std , Error t value Pr(> t ) (Intercept) Y: (Slope) a 3000 áprilisi napi átlaghőmérséklet R-squared: F-statistic: Estimate on 1 Std. and 98 Error DF, t p-value: Pr(> t ) (Intercept) (Slope) Az együtthatók becslése változatlan, de változik az SH, R-squared: a megmagyarázott szórásnégyzet aránya, a szignif szint. F-statistic: on 1 and 2998 DF, p-value: Regresszió: április X az évek hónapjainak , napi átlaghőmérsékletei, boxplot Y: a 100 ábrázolásban. áprilisi havi átlaghőmérséklet A szaggatott vonal a mintaterjedelem (range), a doboz az interkvartilis, a fekete csillag a medián helyét (Intercept) jelenti A kiugró értéket különálló pont 0 ábrázolja. A (Slope) piros pont = havi átlaghőmérséklet R-squared: F-statistic: on 1 and 98 DF, p-value: Regresszió: X az évek , Az Y: a együtthatók 3000 áprilisi becslése napi átlaghőmérséklet változatlan, de változik az SH, a megmagyarázott szórásnégyzet aránya, a szignif szint. (Intercept) (Slope) R-squared: F-statistic: on 1 and 2998 DF, p-value: Regresszió: X az évek , Y: a 100 áprilisi havi átlaghőmérséklet (Intercept) (Slope) R-squared: F-statistic: on 1 and 98 DF, p-value: Az együtthatók becslése változatlan, de változik az SH, a megmagyarázott szórásnégyzet aránya, a szignif szint.

4 Kabos: Statisztika II. Összefüggésvizsgálat Slide 4 Slide 4 Slide 4 Slide 5 Slide 5 Slide 5 Slide 6 Slide 6 Slide 6 Fontos tudni, hogy a regressziós becslések csak az átlagokon (piros pontok) alapulnak. Ez a becslés legkisebb négyzetes természete miatt van, az azonos x-hez Fontostartozó tudni, y-ok hogy(egy a regressziós hónaponbecslések belüli) belső csak az szórását átlagokon az(piros illesztésnél pontok) egyáltalán alapulnak. nemezveszi a becslés figyelembe. legkisebb négyzetes természete miatt van, az azonos x-hez Fontostartozó tudni, y-ok hogy(egy a regressziós hónaponbecslések belüli) belső csak az szórását átlagokon az(piros illesztésnél pontok) egyáltalán alapulnak. nemezveszi a becslés figyelembe. legkisebb négyzetes természete miatt van, az azonos x-hez tartozó y-ok (egy hónapon belüli) belső figyelembe. A példában a 3000 napi átlagra vett regressziós becslés azért egyezik meg a 100 havi átlagra vett regressziós becsléssel, mert minden x-hez ugyanannyi A(=30) példában y tartozik. a 3000Ha napi ez nem átlagra ígyvett lenne, regressziós akkor az becslés átlagokat azért a hozzájuk egyezik meg tartozó a 100 pontok havi számával átlagra vett regressziós súlyozottanbecsléssel, kell számolni. mert minden x-hez ugyanannyi A(=30) példában y tartozik. a 3000Ha napi ez nem átlagra ígyvett lenne, regressziós akkor az becslés átlagokat azért a hozzájuk egyezik meg tartozó a 100 pontok havi számával átlagra vett regressziós súlyozottanbecsléssel, kell számolni. mert minden x-hez ugyanannyi (=30) y tartozik. Ha ez nem így lenne, akkor az Az átlagokat összes apontot hozzájuk figyelembe tartozókell pontok venni számával az SH, r 2 és a szignifikancia súlyozottan kell számításánál. számolni. Mindkét példában a regresszió szignifikáns 0.05-on (a AzHösszes 0 hipotézist pontotel figyelembe kell utasítani). kell venni az SH, r 2 és a szignifikancia A számított regressziós számításánál. együttható az Mindkét átlaghőmérséklet példábanévenkénti a regresszió szignifikáns C fokos 0.05-on emelkedését (a AzHösszes 0 hipotézist pontot jelzi. el figyelembe kell utasítani). kell venni az SH, r 2 és a Megjegyezzük, szignifikancia A számított regressziós számításánál. hogy a meteorológiai együttható azkutatásban ennél Mindkét átlaghőmérséklet sokkal példában pontosabb évenkénti a regresszió modelleket szignifikáns Chasználnak. fokos 0.05-on emelkedését (a H 0 hipotézist jelzi. el kell utasítani). Megjegyezzük, A számított regressziós hogy a meteorológiai együttható azkutatásban ennél átlaghőmérséklet sokkal pontosabb évenkénti modelleket Chasználnak. fokos emelkedését jelzi. szórását az illesztésnél egyáltalán nem veszi Megjegyezzük, hogy a meteorológiai kutatásban ennél sokkal pontosabb modelleket használnak.

5 Kabos: Statisztika II. Összefüggésvizsgálat Slide 7 Slide 7 Slide 7 Slide 8 Slide 8 Slide 8 Slide 9 Slide 9 Slide 9 Ha az X magyarázó változó szám-értékű, akkor regressziós, ha kategória-értékű akkor ANOVA modell szerint számolunk. Ezt Ha az a főszabályt X magyarázó tiszteletben változó szám-értékű, tartva három akkor példában mutatjuk regressziós, be ha ugyanazokra kategória-értékű az adatokra akkor ANOVA párhuzamosan a modell regressziós szerint és számolunk. Ha az X magyarázó az ANOVA változómodell szám-értékű, számításokat. akkor Ezt a főszabályt tiszteletben tartva három példában regressziós, ha kategória-értékű akkor ANOVA mutatjuk be ugyanazokra az adatokra párhuzamosan modell szerint számolunk. a regressziós és az ANOVA modell számításokat. Ezt a főszabályt tiszteletben tartva három példában ANOVA mutatjukegyenlet: be ugyanazokra SSQ Y = azssq adatokra Y.B + SSQ párhuzamosan Y.W Az a regressziós ANOVA SSQ és az Y.B ANOVA : a modell modell által számításokat. megmagyarázott SSQ rész mindig nagyobb, mint a regressziónál ANOVA egyenlet: a megfelelő SSQ Y SSQ = SSQ Y.B + SSQ Y.W Y.R Ennek Az ANOVA az az SSQ oka, Y.B hogy : a a modell regressziónál által van egy plusz kikötés: megmagyarázott az azonos SSQ x-hez rész tartozók mindig átlagait nagyobb, egy mint a ANOVA egyenlet: SSQ Y = SSQ Y.B + SSQ Y.W egyenesre regressziónál vetítjük. a megfelelő Az eredmény SSQ Y.R Az ANOVA SSQ kétféle lehet: az Y.B : a modell által előbbi Ennek példában az az oka, ezhogy a feltétel a regressziónál rontott azvan illeszkedés egy plusz megmagyarázott SSQ rész mindig nagyobb, mint a szignifikanciáján, kikötés: az azonosaz x-hez utóbbiban tartozók javított. átlagait egy regressziónál a megfelelő SSQ Y.R egyenesre vetítjük. Az eredmény kétféle lehet: az Ennek az az oka, hogy a regressziónál van egy plusz előbbi példában ez a feltétel rontott az illeszkedés kikötés: az azonos x-hez tartozók átlagait egy szignifikanciáján, az utóbbiban javított. egyenesre vetítjük. Az eredmény kétféle lehet: az előbbi Ha csakpéldában két különböző ez a feltétel x van, rontott akkor azregressziós illeszkedés szignifikanciáján, egyenes átmegy mindkét az utóbbiban részmintánál javított. az átlagnak megfelelő ponton. Ha Ebben csak az két esetben különböző a regresszió x van, akkor és az ANOVA a regressziós négyzetösszegei egyenes átmegy egymással mindkét részmintánál megegyező értéket az átlagnak adnak, a megfelelő szab.fokok ponton. Ha csak két különböző és a szignifikancia x van, akkor is megegyezik. a regressziós Ebben az esetben a regresszió és az ANOVA egyenes átmegy mindkét részmintánál az átlagnak négyzetösszegei egymással megegyező értéket adnak, megfelelő ponton. a szab.fokok és a szignifikancia is megegyezik. Ebben az esetben a regresszió és az ANOVA négyzetösszegei egymással megegyező értéket adnak, a szab.fokok és a szignifikancia is megegyezik.

6 Kabos: Statisztika II. Összefüggésvizsgálat April, and 25-years-April averages April, and 25-years-April averages years Regresszió: X az értéktartomány a négy kvartilisközépe: 1913, 1938, 1963, 1988 April, Y: az X-hez tartozó and 25-years-April év április averages havi átlaghőmérsékletei Estimate Std. years Error t value Pr(> t ) (Intercept) (Slope) Regresszió: X az értéktartomány a négy kvartilisközépe: 1913, 1938, 1963, 1988 Y: az X-hez tartozó 25 év április havi átlaghőmérsékletei Multiple R-squared: F-statistic: on 1 and 98 DF, p-value: ANOVA: (Intercept) X és Y ugyanaz, mint fent, de a négy 0 kvartilisközéppontot (Slope) nem illesztjük egy egyenesre Multiple R-squared: Estimate Std Error t value Pr(> t ) (Intercept) F-statistic: on and 98 DF, p-value: factor factor factor középpontot nem illesztjük years egy egyenesre Multiple R-squared: F-statistic: Estimate on 3 Std. and Error 96 DF, t p-value: Pr(> t ) (Intercept) factor2 1913, 1938, 1963, A factor3 regresszió kevesebb négyzetösszeget magyaráz, de kevesebb factor4 szab.fokkal, ezért jobb az F szignifikanciája Multiple (Intercept) R-squared: F-statistic: (Slope) on 3 and DF, p-value: ANOVA: X és Y ugyanaz, mint fent, de a négy kvartilis- Regresszió: X az értéktartomány a négy kvartilisközépe: Y: az X-hez tartozó 25 év április havi átlaghőmérsékletei Multiple R-squared: A regresszió kevesebb négyzetösszeget magyaráz, de F-statistic: on 1 and 98 DF, p-value: kevesebb szab.fokkal, ezért jobb az F szignifikanciája. ANOVA: X és Y ugyanaz, mint fent, de a négy kvartilisközéppontot nem illesztjük egy egyenesre (Intercept) factor factor factor Multiple R-squared: F-statistic: on 3 and 96 DF, p-value: A regresszió kevesebb négyzetösszeget magyaráz, de kevesebb szab.fokkal, ezért jobb az F szignifikanciája.

7 Kabos: Statisztika II. Összefüggésvizsgálat November, and 25-years-November averages November, and 25-years-November averages years Regresszió: X az értéktartomány a négy kvartilisközépe: 1913, 1938, 1963, 1988 November, Y: az X-hez tartozó and 25-years-November év november averages havi átlaghőmérsékletei Estimate Std. years Error t value Pr(> t ) (Intercept) (Slope) Regresszió: X az értéktartomány a négy kvartilisközépe: 1913, 1938, 1963, 1988 Y: az X-hez tartozó 25 év november havi átlaghőmérsékletei Multiple R-squared: F-statistic: on 1 and 98 DF, p-value: ANOVA: (Intercept) X és Y ugyanaz, mint fent, de a négy 0 kvartilisközéppontot (Slope) nem illesztjük egy egyenesre Multiple R-squared: Estimate Std Error t value Pr(> t ) (Intercept) F-statistic: on and 98 DF, p-value: factor factor factor középpontot nem illesztjük years egy egyenesre Multiple R-squared: F-statistic: Estimate on 3 Std. and Error 96 DF, t p-value: Pr(> t ) (Intercept) , 1938, 1963, 1988 factor Az factor3 ANOVA több négyzetösszeget magyaráz, és noha több factor4 szab.fokkal, mégis jobb az F szignifikanciája Multiple (Intercept) R-squared: F-statistic: (Slope) on 3 and DF, 1.68 p-value: ANOVA: X és Y ugyanaz, mint fent, de a négy kvartilis- Regresszió: X az értéktartomány a négy kvartilisközépe: Y: az X-hez tartozó 25 év november havi átlaghőmérsékletei Multiple R-squared: Az ANOVA több négyzetösszeget magyaráz, és noha F-statistic: on 1 and 98 DF, p-value: több szab.fokkal, mégis jobb az F szignifikanciája. ANOVA: X és Y ugyanaz, mint fent, de a négy kvartilisközéppontot nem illesztjük egy egyenesre (Intercept) factor factor factor Multiple R-squared: F-statistic: on 3 and 96 DF, p-value: Az ANOVA több négyzetösszeget magyaráz, és noha több szab.fokkal, mégis jobb az F szignifikanciája.

8 Kabos: Statisztika II. Összefüggésvizsgálat April, and 50-years-April averages April, and 50-years-April averages years Regresszió: X 1 = 1926 (az középpontja) és X 2 =1976 (az Temperature tartomány monthly averages, középpontja) April, Y: az X-hez tartozó év április havi átlaghőmérsékletei and 50-years-April averages years (Intercept) factor Regresszió: X 1 = (az középpontja) és X 2 =1976 (az tartomány középpontja) Y: az X-hez tartozó év április havi átlaghőmérsékletei R-squared: F-statistic: on 1 and 98 DF, p-value: ANOVA: (Intercept) X és Y ugyanaz, mint a Regressziónál factor Df Sum Sq Mean Sq F value Pr(>F) factor Residuals R-squared: F-statistic: on 1 and 98 DF, p-value: ANOVA: X és Y ugyanaz, mint a Regressziónál SSQ Y.B = Df Sum 1940 Sq Mean 1960Sq F 1980 value 2000 Pr(>F) factor SSQ Y.W = years Residuals SSQ Y = Regresszió: X F = 7.086*98/ = 1926 (az középpontja) és = R 2 X= 2 = / (az = tartomány középpontja) Y: az X-hez tartozó év április havi átlaghőmérsékletei SSQ Y.B = SSQ Y.W = (Intercept) SSQ Y = F factor = 7.086*98/ = R 2 = 7.086/ = R-squared: F-statistic: on 1 and 98 DF, p-value: ANOVA: X és Y ugyanaz, mint a Regressziónál Df Sum Sq Mean Sq F value Pr(>F) factor Residuals SSQ Y.B = SSQ Y.W = SSQ Y = F = 7.086*98/ = R 2 = 7.086/ = Slide 10 ANOVA teljesen korrekt alkalmazásának feltételei: csoportonkénti normalitás, szórás-homogenitás, a csoportok függetlensége.

9 ANOVA teljesen korrekt alkalmazásának feltételei: csoportonkénti normalitás, Slide 10 szórás-homogenitás, ANOVA a csoportok teljesen függetlensége. korrekt alkalmazásának feltételei: csoportonkénti normalitás, Slide 10 szórás-homogenitás, Kabos: Statisztika II. Összefüggésvizsgálat a csoportok függetlensége. Slide 11 Slide 11 Slide 12 Slide 12 Robosztusság a matematikai statisztikában körültekintően (de bonyolultan) definiált fogalom, melyet a statisztikai ismeretterjesztők lazán, többféle értelemben Robosztusság használnak. a matematikai Az a módszer statisztikában robosztusabb, amelyik körültekintően kevésbé(de érzékeny bonyolultan) valamely definiált fogalom, (meghatározandó) melyet a statisztikai alkalmazási ismeretterjesztők feltétel lazán, megsértésére. többféle értelemben használnak. Az a módszer robosztusabb, amelyik kevésbé érzékeny valamely (meghatározandó) alkalmazási feltétel megsértésére. Az ANOVA robosztus a csoportonkénti normalitás feltételének megsértésére, közelítően korrekt módon használható a normálistól nem nagyon eltérő eloszlások Az ANOVAesetén. robosztus Vannak a csoportonkénti a normalitástnormalitás nem feltételező feltételénekanova megsértésére, alternatívák közelítően (pl Friedman-teszt), korrekt módon de használható ezek másodfajú a normálistól hibája általában nem nagyon lényegesen eltérő nagyobb, eloszlásokmint esetén. az ANOVA-nak, Vannak a normalitást midőn anem normálistól való feltételező eltérés ANOVA nem nagy alternatívák (lásd: Hipotézisvizsg. (pl Friedman-teszt), értékelése de ezek másodfajú előadás, kiugró hibája értékek). általában lényegesen nagyobb, mint az ANOVA-nak, midőn a normálistól való eltérés nem nagy (lásd: Hipotézisvizsg. értékelése előadás, kiugró értékek). Slide 13 Az ANOVA robosztus a csoportonkénti szórások homogenitásának megsértésére, közelítően korrekt módon használható a nem nagyon eltérő csoportonkénti szórások esetén. Azt meg kell jegyezni, hogy ismertek az ANOVA olyan alternatívái (pl. Welch-próba), melyek nem feltételezik a a szórások egyenlőségét, miközben a másodfajú hiba nem nő lényegesen. Slide 14 Az ANOVA alkalmazásában a csoportok mintavételi függetlensége fontos feltétel. Ha ez nem teljesül (pl. a férfiak és nők testmagasságának eltérését olyan mintán vizsgáljuk, ahol házaspárok vannak a mintában), akkor más eljárást kell használni (pl. páros próbák).

10 homogenitásának megsértésére, közelítően korrekt módon használható a nem nagyon eltérő Slide 13 csoportonkénti Az ANOVA robosztus szórásoka esetén. csoportonkénti Azt megszórások kell jegyezni, homogenitásának hogy ismertek megsértésére, az ANOVA közelítően olyan korrekt alternatívái módon használható (pl. Welch-próba), a nem nagyon melyek eltérő nem Slide 13 feltételezik csoportonkénti a a szórások egyenlőségét, esetén. Azt meg miközben kell a Kabos: Statisztika másodfajú jegyezni, hogy hiba II. ismertek nem nő az lényegesen. ANOVA Összefüggésvizsgálat olyan alternatívái (pl. Welch-próba), melyek nem feltételezik a a szórások egyenlőségét, miközben a másodfajú hiba nem nő lényegesen. Slide 14 Slide 14 Az ANOVA alkalmazásában a csoportok mintavételi függetlensége fontos feltétel. Ha ez nem teljesül (pl. a férfiak és nők testmagasságának eltérését olyan mintán Az ANOVA vizsgáljuk, alkalmazásában ahol házaspárok a csoportok vannak mintavételi a mintában), függetlensége akkor fontos más feltétel. eljárást Hakell ezhasználni nem teljesül (pl. (pl. páros a férfiak próbák). és nők testmagasságának eltérését olyan mintán vizsgáljuk, ahol házaspárok vannak a mintában), akkor más eljárást kell használni (pl. páros próbák). Slide 15 Slide 15 Nem keverendő össze a robosztusság kérdése, és az eljárások hatékonyságának kérdése. Például ha a csoportonkénti eloszlásoknak normalitástól való eltérése Nem keverendő nagy, össze akkoracsak robosztusság az egyik kedvezőtlen kérdése, és az jelenség, eljárásokhogy hatékonyságának az ANOVA elsőfajú kérdése. hibája Például meghaladja a az csoportonkénti előírt értéket, eloszlásoknak a másik az, hogy normalitástóla másodfajú valóhiba is eltérése jelentősen nagy, megnő. akkor csak az egyik kedvezőtlen jelenség, hogy az ANOVA elsőfajú hibája meghaladja az előírt értéket, a másik az, hogy a másodfajú hiba is jelentősen megnő. Slide 16 A Y = l(x) + ε lineáris regresszió teljesen korrekt alkalmazásának feltételei: Y l(x) normális eloszlású, l(x) lineáris Y -ben, Y szórása állandó X-ben, az Y -ra vett megfigyelések függetlenek. Slide 17 A lineáris regresszió a normalitás, a linearitás és a szórások állandósának megsértésére robosztus, közelítően korrekt módon használható ezeket a feltételeket nem nagyon sértő esetekben. Ha a megfigyelések függetlensége nem teljesül, más eljárásokat (pl idősor-elemzés) kell használni.

11 A Y = l(x) + ε lineáris regresszió teljesen korrekt alkalmazásának feltételei: Slide 16 Y l(x) normális eloszlású, A Y l(x) = l(x) lineáris + εylineáris -ben, regresszió teljesen korrekt alkalmazásának Y szórása állandó feltételei: X-ben, Slide 16 Yaz Y l(x) -ra vett normális megfigyelések eloszlású, függetlenek. Kabos: Statisztika l(x) lineáris II. Y -ben, Összefüggésvizsgálat Y szórása állandó X-ben, az Y -ra vett megfigyelések függetlenek. Slide 17 Slide 17 A lineáris regresszió a normalitás, a linearitás és a szórások állandósának megsértésére robosztus, közelítően korrekt módon használható ezeket a feltételeket A lineáris regresszió nem nagyon a normalitás, sértő esetekben. a linearitás és a Ha szórások a megfigyelések állandósának függetlensége megsértésére nem robosztus, teljesül, más eljárásokat közelítően korrekt (pl idősor-elemzés) módon használható kell használni. ezeket a feltételeket nem nagyon sértő esetekben. Ha a megfigyelések függetlensége nem teljesül, más eljárásokat (pl idősor-elemzés) kell használni. Slide 18 Slide 18 A lineáris regressziónak számos robosztus alternatívája ismert (pl. lokális regresszió), melyek alkalmazása mindig egyedi megítélést igényel, de általában A lineáris jelentősen regressziónak nő aszámos másodfajú robosztus hiba. Mint láttuk, alternatívája a linearitás ismert sérülése (pl. lokális esetén regresszió), a regresszió melyek kézenfekvő alkalmazásaalternatívája mindig egyedi azmegítélést ANOVA. igényel, de általában jelentősen nő a másodfajú hiba. Mint láttuk, a linearitás sérülése esetén a regresszió kézenfekvő alternatívája az ANOVA. Slide 19 Illeszkedésvizsgálat (kategória értékű változóra) Freedman: 28. fejezet 1-3. Slide 20 Egy képzeletbeli országban 10M ember lakik: 30% szőke, 10% barna, 60% fekete. N = 200 fős mintát vettünk, a mintabeli hajszín gyakoriságok: f szőke = 70, f barna = 25, f fekete = 105 a hajszín gyakoriságok várhatóértékei: e szőke = 60, e barna = 20, e fekete = 120

12 Slide 19 Illeszkedésvizsgálat (kategória értékű változóra) Illeszkedésvizsgálat (kategória értékű változóra) Slide 19 Kabos: Statisztika Freedman: II. 28. fejezet Összefüggésvizsgálat Slide 20 Slide 20 Freedman: 28. fejezet 1-3. Egy képzeletbeli országban 10M ember lakik: 30% szőke, 10% barna, 60% fekete. N = 200 fős mintát vettünk, a Egy mintabeli képzeletbeli hajszín országban gyakoriságok: 10M ember lakik: f 30% szőke szőke = 70,, 10% f barna barna = 25,, 60% f fekete. fekete = 105 a N hajszín = 200 fős gyakoriságok mintát vettünk, várhatóértékei: e a mintabeli szőke = 60, hajszín e gyakoriságok: barna = 20, e fekete = 120 f szőke = 70, f barna = 25, f fekete = 105 a hajszín gyakoriságok várhatóértékei: e szőke = 60, e barna = 20, e fekete = 120 Slide 21 Slide 21 S = (f szőke e szőke ) 2 e szőke + (f barna e barna ) 2 e barna + (f fekete e fekete ) 2 e fekete ez a statisztika mutatja, hogy megfelelően illeszkedik-e S = (f szőke e szőke ) 2 a mintabeli + (f barna e barna ) 2 e gyakoriság + eloszlás (f fekete e fekete ) 2 az szőke e barna e fekete alapsokasági eloszláshoz. ez a statisztika mutatja, hogy megfelelően illeszkedik-e a mintabeli gyakoriság eloszlás az alapsokasági eloszláshoz. Slide 22 Ha a minta EVM, akkor az S eloszlása χ 2 2 (szavakban: 2 szab.fokú khi-négyzet) melynek a táblázat szerint a 0.95 kvantilise = S = (70 60) (25 20) ( )2 120 = = = Slide 23 H 0 : a mintavétel EVM H 0 vizsgálatára a végzett khi-négyzet próbánál (0.05 szignifikancia szinten) az elfogadási tartomány felső határa = A próbastatisztika S = ezért a H 0 hipotézist elfogadjuk.

13 Slide 22 Ha a minta EVM, akkor az S eloszlása χ 2 2 (szavakban: 2 szab.fokú khi-négyzet) melynek a táblázat szerint a 0.95 kvantilise = Ha a minta EVM, akkor az S eloszlása χ 2 2 (szavakban: (70 60)2 2 szab.fokú (25 20)2khi-négyzet) ( )2 S = + + = melynek 60 a táblázat szerint 20 a 0.95 kvantilise 120 = Slide 22 Kabos: Statisztika = ( = )2 II. (25 20)2 Összefüggésvizsgálat ( ) S = + + = = = Slide 23 Slide 23 H 0 : a mintavétel EVM H 0 vizsgálatára a végzett khi-négyzet próbánál (0.05 szignifikancia szinten) az elfogadási tartomány H felső 0 : a határa mintavétel = EVM A H 0 próbastatisztika vizsgálatára a végzett S = khi-négyzet próbánál ezért (0.05 a szignifikancia H 0 hipotézist szinten) elfogadjuk. az elfogadási tartomány felső határa = A próbastatisztika S = ezért a H 0 hipotézist elfogadjuk. Slide 24 Slide 24 Megjegyezzük, hogy ha csak a fekete/nem-fekete eloszlást nézzük, akkor az N = 200 elemű EVM p = 0.6 alapsokasági arány mellett amegjegyezzük, várható gyakoriság = 120, ennek SHja = hogy ha csak a fekete/nem-fekete eloszlást nézzük, 200 akkor 0.6 az 0.4 N = elemű EVM p = 0.6 alapsokasági arány mellett a várható gyakoriság = 120, ennek SHja = = = miatt a 95%-os megbízhatósági tartomány: 120 ± Slide 25 A megfigyelt f fekete = 105 kívül esik e tartományon. Ha csak a fekete/nem-fekete komponenst vizsgáljuk (z-próbával), akkor 0.05 szignifikancia szinten a H 0 hipotézist elutasítjuk. Slide 26 Ugyanezt az eljárást egy másik példán megbeszéltük a z-próba kapcsán. Abban a példában (0.05 szignifikancia szinten) a komponensek egyenként vizsgálva a null-hipotézis elfogadására vezettek, miközben a khi-négyzet próba eredménye szignifikáns eltérést jelzett, a null-hipotézist el kellett utasítani. Azt látjuk, hogy a különböző statisztikai próbák a

14 = miatt a 95%-os megbízhatósági tartomány: 120 ± Slide = miatt a A megfigyelt f fekete = 105 kívül esik e tartományon. 95%-os megbízhatósági tartomány: 120 ± Ha csak a fekete/nem-fekete komponenst vizsgáljuk Slide 25 (z-próbával), akkor 0.05 szignifikancia szinten a H 0 Kabos: Statisztika hipotézist A megfigyelt elutasítjuk. II. f fekete = 105 kívülösszefüggésvizsgálat esik e tartományon Ha csak a fekete/nem-fekete komponenst vizsgáljuk (z-próbával), akkor 0.05 szignifikancia szinten a H 0 hipotézist elutasítjuk. Slide 26 Slide 26 Slide 27 Slide 27 Ugyanezt az eljárást egy másik példán megbeszéltük a z-próba kapcsán. Abban a példában (0.05 szignifikancia szinten) a komponensek egyenként vizsgálva Ugyaneztaaznull-hipotézis eljárást egy másik elfogadására példánvezettek, megbeszéltük miközben a z-próba akapcsán. khi-négyzet Abban próba a példában eredménye (0.05 szignifikáns eltérést szignifikancia jelzett, szinten) a null-hipotézist a komponensek el kellett egyenként utasítani. Azt vizsgálva látjuk, a null-hipotézis hogy a különböző elfogadására statisztikai vezettek, próbák a hipotézist miközben a más-más khi-négyzet szempontból próba eredménye ellenőrzik. szignifikáns eltérést jelzett, a null-hipotézist el kellett utasítani. Azt látjuk, hogy a különböző statisztikai próbák a hipotézist más-más szempontból ellenőrzik. Figyelem: a statisztikusok hanyag szóhasználatában a khi-négyzet próba nevet az illeszkedésvizsgálat mellett (több más, különböző próbával együtt) a most Figyelem: következő a statisztikusok khi-négyzethanyag függetlenségvizsgálatra szóhasználatábanis használjuk. a khi-négyzet próba nevet az illeszkedésvizsgálat mellett (több más, különböző próbával együtt) a most következő khi-négyzet függetlenségvizsgálatra is használjuk. Slide 28 Függetlenségvizsgálat kategória-értékű változókra Freedman: 28. fejezet Slide 29 Egy képzeletbeli országban 10M ember lakik. Tudjuk, hogy 68% kékszemű, 32% zöldszemű, 30% szőkehajú, 10% barnahajú, 60% feketehajú. Ezek az adatok leírják a szem- és a hajszín marginális eloszlását, de nem határozzák meg azt, hogy mi a szem- és hajszín együttes eloszlása.

15 Slide 28 Slide 28 Függetlenségvizsgálat kategória-értékű változókra Függetlenségvizsgálat kategória-értékű Freedman: változókra 28. fejezet Kabos: Statisztika II. Osszefüggésvizsgálat 2. Kabos: Statisztika II. Összefüggésvizsgálat Slide 29 Slide 29 Slide 30 Slide 30 Freedman: 28. fejezet Egy képzeletbeli országban 10M ember lakik. Tudjuk, hogy 68% kékszemű, 32% zöldszemű, 30% Egy képzeletbeli szőkehajú, 10% országban barnahajú, 10M ember 60% feketehajú. lakik. Ezek Tudjuk, az adatok hogy leírják a szem- és a hajszín marginális 68% kékszemű, eloszlását, 32% zöldszemű, de nem határozzák meg azt, hogy 30% szőkehajú, mi a szem- 10% és hajszín barnahajú, együttes 60% eloszlása. feketehajú. Ezek az adatok leírják a szem- és a hajszín marginális eloszlását, de nem határozzák meg azt, hogy mi a szem- és hajszín együttes eloszlása. Feltesszük, hogy a szem- és a hajszín függetlenek, miközben tiszteletben tartjuk a marginálisokról előbb mondottakat. AFeltesszük, szem- és hajszín hogy a szem- együttes és aeloszlása hajszín (ezer függetlenek, fő): miközben szem \ haj tiszteletben szőke tartjuk barna a fekete marginálisokról összesen előbb mondottakat. kékszemű A szem- és hajszín együttes eloszlása (ezer fő): zöldszemű szem \ haj 960 szőke 320 barna 1920 fekete 3200 összesen összesen kékszemű zöldszemű összesen Slide 31 Először a teljes lakosságra vetített arányszámokkal kitöltjük a marginális sort és oszlopot: szem \ haj szőke barna fekete összesen kékszemű 0.68 zöldszemű 0.32 összesen Slide 32 Ezután kitöltjük az üresen maradt cellákat a megfelelő marginálisaik szorzatával: szem \ haj szőke barna fekete összesen kékszemű zöldszemű összesen

16 Először a teljes lakosságra vetített arányszámokkal kitöltjük a marginális sort és oszlopot: szem \ haj szőke barna fekete összesen Slide 31 Először a teljes lakosságra vetített arányszámokkal kitöltjük kékszemű a marginális sort és oszlopot: 0.68 zöldszemű szem \ haj szőke barna fekete összesen 0.32 Slide 31 összesen Kabos: Statisztika kékszemű II. Összefüggésvizsgálat zöldszemű 0.32 összesen Slide 32 Slide 32 Ezután kitöltjük az üresen maradt cellákat a megfelelő marginálisaik szorzatával: szem \ haj szőke barna fekete összesen Ezután kitöltjük az üresen maradt cellákat a megfelelő kékszemű marginálisaik szorzatával: zöldszemű szem \ haj szőke barna fekete összesen 0.32 összesen kékszemű zöldszemű összesen Slide 33 Slide 33 A Szignifikanciapróbák összefoglalóban egy általános jelölés szerepel: X \ Y Y = 1 Y = 2 Y = 3 marginális A Szignifikanciapróbák összefoglalóban egy általános jelölés X = szerepel: 1 p 1,1 p 1,2 p 1,3 p 1,+ X = \ Y 2 Y p = 2,1 1 Y p = 2,2 2 Y p = 2,3 3 marginális p 2,+ marginális X = 1 p +,1 1,1 p +,2 1,2 p +,3 1,3 p +,+ 1,+ X = 2 p 2,1 p 2,2 p 2,3 p 2,+ marginális p +,1 p +,2 p +,3 p +,+ Slide 34 A függetlenség azt jelenti, hogy P {X = i Y = j} = P {X = i} azaz p i,j = p i,+ teljesül minden (i, j) párra p +,j Például i = 2 és j = 3 esetén P {zöldszemű feketehajú} = P {zöldszemű} p 2,3 = p +,3 0.6 = 0.32 = p 2,+ Slide 35 Ez azért megy ilyen szépen, mert az együttes eloszlás táblázatát a szorzási szabállyal készítettük, ezzel okoztuk a két változó függetlenségét. Ugyanezen marginális eloszlások tiszteletben tartása mellett tudunk nem-független együttes eloszlásokat is készíteni.

17 A függetlenség azt jelenti, hogy P {X = i Y = j} = P {X = i} azaz p i,j = p i,+ teljesül minden (i, j) párra p Slide 34 A +,j függetlenség azt jelenti, hogy Például = 2 és j 3 esetén P {X = i Y = j} = P {X = i} azaz P p i,j {zöldszemű feketehajú} = P {zöldszemű} = p 2,3 Slide 34 = i,+ teljesül minden (i, j) párra p +,j p +,3 0.6 = 0.32 = p 2,+ Kabos: Statisztika Például i = 2II. és j = 3 esetén Összefüggésvizsgálat P {zöldszemű feketehajú} = P {zöldszemű} p 2,3 = p +,3 0.6 = 0.32 = p 2,+ Slide 35 Slide 35 Slide 36 Slide 36 Ez azért megy ilyen szépen, mert az együttes eloszlás táblázatát a szorzási szabállyal készítettük, ezzel okoztuk a két változó függetlenségét. Ugyanezen Ez azért megy marginális ilyen szépen, eloszlások mert tiszteletben az együttes tartása eloszlás mellett táblázatát tudunk a szorzási nem-független szabállyal együttes készítettük, eloszlásokat ezzel is készíteni. okoztuk a két változó függetlenségét. Ugyanezen marginális eloszlások tiszteletben tartása mellett tudunk nem-független együttes eloszlásokat is készíteni. Az alapsokasági relatív gyakoriságokat megszorozzuk az alapsokaság létszámával (itt 10M), és így kapjuk a bevezetőben mutatott gyakoriság eloszlási kereszt-táblát. Az alapsokasági relatív gyakoriságokat megszorozzuk Az az alapsokaság alapsokasági létszámával relatív gyakoriságokat (itt 10M), és a így statisztikus kapjuk a szleng bevezetőben totál-százalékos mutatott gyakoriság táblának is eloszlási mondja, ezenkívül értelemszerűen kereszt-táblát. használják a sorszázalékos és oszlopszázalékos Az alapsokasági relatív tábla elnevezéseket gyakoriságokat is. a statisztikus szleng totál-százalékos táblának is mondja, ezenkívül értelemszerűen használják a sorszázalékos és oszlopszázalékos tábla elnevezéseket is. Slide 37 Két kategória-értékű változó függetlenségének vizsgálata khi-négyzet próbával Modell: az X változó alapsokaságbeli értékei X = 1, 2,.., I az Y változó alapsokaságbeli értékei Y = 1, 2,.., J Hipotézis: H 0 : X és Y függetlenek Minta: az (X, Y ) változópárra vett N elemű EVM. Az adatok a gyakoriság kereszt-táblázatban: X \ Y Y = 1... Y = J marginális Slide 38 X = 1 f 1,1... f 1,J f 1, f i,j... X = I f I,1... f I,J f I,+ marginális f +,1... f +,J N = f +,+ f i,j = az {X = i} és {Y = j} mintabeli együttes

18 vizsgálata khi-négyzet próbával Modell: Slide 37 az Két X kategória-értékű változó alapsokaságbeli változó értékei függetlenségének X = 1, 2,.., I vizsgálata az Y változó khi-négyzet alapsokaságbeli próbával értékei Y = 1, 2,.., J Modell: Hipotézis: H 0 : X és Y függetlenek Slide 37 az Minta: X változó az (X, alapsokaságbeli Y ) változópárra értékei vett N X elemű = 1, 2, EVM..., I Kabos: Statisztika az Az Y adatok változó II. a gyakoriság alapsokaságbeli kereszt-táblázatban: értékei Összefüggésvizsgálat Y = 1, 2,.., J Hipotézis: H 0 : X és Y függetlenek Minta: az (X, Y ) változópárra vett N elemű EVM. Az adatok a gyakoriság kereszt-táblázatban: X \ Y Y = 1... Y = J marginális Slide 38 Slide 38 Slide 39 Slide 39 X = 1 f 1,1... f 1,J f 1,+... X \ Y Y... = Y f = i,j J marginális... I X = 1 f I,1 1, f I,J 1,J f I,+ 1,+ marginális... f... +, f +,J i,j N = f... +,+ f i,j az {X = i} és {Y = j} mintabeli együttes X = I f I,1... f I,J f I,+ előfordulásainak gyakorisága. marginális f +,1... f +,J N = f +,+ f i,j = az {X = i} és {Y = j} mintabeli együttes előfordulásainak gyakorisága. Ha X és Y függetlenek, akkor f i,j várhatóértéke = e i,j = f i+ f +j f ++ várhatóértéke Ez Ha az X állítás és Y függetlenek, precízebben akkor fogalmazva: ha X és Y függetlenek, akkor e i,j torzítatlan becslés N p i,j -re. f i,j várhatóértéke = e i,j = f i+ f +j várhatóértéke Másrészt f i,j torzítatlan becslés f ++ N p i,j -re, akár Ez teljesül az állítás X és precízebben Y függetlensége, fogalmazva: akár nem. ha X és Y függetlenek, akkor e i,j torzítatlan becslés N p i,j -re. Másrészt f i,j torzítatlan becslés N p i,j -re, akár teljesül X és Y függetlensége, akár nem. Slide 40 A függetlenségvizsgálat próbastatisztikája: I J (f i,j e i,j ) 2 S = mely χ 2 (I 1) (J 1) i=1 j=1 e i,j (szavakban: (I 1) (J 1) szab.fokú khi-négyzet) eloszlású közelítőleg, ha H 0 igaz. Slide 41 A χ 2 közelítés javítására szolgál 2 2 tábláknál a Yates-korrekció (a technikai részleteket nem tanuljuk). Ha 2 2 táblánál a marginális eloszlások rögzítettek, akkor a Fisher egzakt teszt alkalmazása indokolt (ez a helyzet például a korábban említett két mintás medián próbánál). A Fisher egzakt teszt a visszatevés nélküli mintavételnél szerepelt hipergeometrikus eloszláson alapul (az egyéb

19 A függetlenségvizsgálat próbastatisztikája: I J (f i,j e i,j ) 2 S = mely χ Slide 40 2 (I 1) (J 1) e i=1 j=1 i,j A függetlenségvizsgálat próbastatisztikája: (szavakban: (I 1) (J 1) szab.fokú khi-négyzet) I J (f eloszlású közelítőleg, i,j e i,j ) 2 S = ha Hmely 0 igaz. χ Slide 40 2 (I 1) (J 1) e i=1 j=1 i,j Kabos: Statisztika II. Összefüggésvizsgálat (szavakban: (I 1) (J 1) szab.fokú khi-négyzet) Slide 41 Slide 41 eloszlású közelítőleg, ha H 0 igaz. A χ 2 közelítés javítására szolgál 2 2 tábláknál a Yates-korrekció (a technikai részleteket nem tanuljuk). Ha 2 2 táblánál a marginális eloszlások rögzítettek, A χ 2 közelítés akkor javítására a Fisher szolgál egzakt 2 teszt 2 tábláknál alkalmazása a indokolt Yates-korrekció (ez a helyzet (a technikai például részleteket a korábban nememlített két tanuljuk). mintásha medián 2 2próbánál). táblánál aamarginális Fisher egzakt eloszlások teszt arögzítettek, visszatevésakkor nélküli a Fisher mintavételnél egzakt teszt szerepelt alkalmazása hipergeometrikus indokolt (ez a helyzet eloszláson például alapul a korábban (az egyéb említett technikai két mintás részleteket medián próbánál). nem tanuljuk). A Fisher egzakt teszt a visszatevés nélküli mintavételnél szerepelt hipergeometrikus eloszláson alapul (az egyéb technikai részleteket nem tanuljuk). Slide 42 Slide 42 A megtévesztő szóhasználat miatt fokozott figyelem szükséges ahhoz, hogy mindig a feladatnak megfelelő khi-négyzet próbát használjuk. A megtévesztő szóhasználat miatt fokozott figyelem szükséges ahhoz, hogy mindig a feladatnak megfelelő khi-négyzet próbát használjuk.