Statisztika. Politológus képzés. Daróczi Gergely május 8. Politológia Tanszék

Átírás

1 Statisztika Politológus képzés Daróczi Gergely Politológia Tanszék május 8.

2 Outline 1 Mintaválasztás (ismétlés) 2 A változók közötti kapcsolatról 3 Korreláció Elméleti háttér Gyakorlat A korrelációs együttható korlátairól Gyakorlat 4 Kereszttábla Elméleti háttér Simpson paradoxon 5 Standardizálás és dekompozíció 6 Grafikonok Daróczi Gergely (PPKE BTK) Statisztika / 63

3 A mintaválasztás Valószínűségi vs. nem-valószínűségi mintavétel Nő Férfi Elméleti matematika Környezettudomány Rendezvényszervező Daróczi Gergely (PPKE BTK) Statisztika / 63

4 Kutatás egy általános iskolában Okos diákok nagy cipőben (példa) Egy mini-kutatást végeztünk a diákok cipőmérete és matematika felkészültségéről. A következő eredményeket kaptuk: Cipőméret Matematika eredmény Daróczi Gergely (PPKE BTK) Statisztika / 63

5 Kutatás egy általános iskolában Okos diákok nagy cipőben (példa) Result in math exam Shoe size Daróczi Gergely (PPKE BTK) Statisztika / 63

6 Kutatás egy általános iskolában Okos diákok nagy cipőben (példa) Egy mini-kutatást végeztünk a diákok cipőmérete, matematika felkészültségéről és életkoráról. A következő eredményeket kaptuk: Cipőméret Matematika eredmény Age Daróczi Gergely (PPKE BTK) Statisztika / 63

7 Kutatás egy általános iskolában Okos diákok nagy cipőben (példa) Result in math exam Shoe size Daróczi Gergely (PPKE BTK) Statisztika / 63

8 Kutatás egy általános iskolában Okos diákok nagy cipőben (példa) Result in math exam Age Daróczi Gergely (PPKE BTK) Statisztika / 63

9 Kutatás egy általános iskolában Okos diákok nagy cipőben (példa) Shoe size Age Daróczi Gergely (PPKE BTK) Statisztika / 63

10 Kutatás egy általános iskolában Okos diákok nagy cipőben (példa) Result in math exam Result in math exam Shoe size Shoe size Age Age Daróczi Gergely (PPKE BTK) Statisztika / 63

11 Kutatás egy általános iskolában Okos diákok nagy cipőben (példa) size math age 3 Daróczi Gergely (PPKE BTK) Statisztika / 63

12 Kutatás egy általános iskolában Okos diákok nagy cipőben (példa) size ** 0.67*** 0.93 *** math age Daróczi Gergely (PPKE BTK) Statisztika / 63

13 Kutatás egy általános iskolában Okos diákok nagy cipőben (példa) Parciális korreláció: r matek,cipo kor = 0.11 r matek,kor cipo = 0.87 r cipo,kor matek = 0.22 Daróczi Gergely (PPKE BTK) Statisztika / 63

14 Elméleti háttér Kovariancia x és y változók együttes szórása: COV(xy) = n i=1 emlkeztet : σ = n (x i x)(y i y) i=1 n 1 (x i x) 2 n Ezekiel, M. (1930) Methods of Correlation Analysis. Wiley. Stopping distance (ft) Daróczi Gergely (PPKE BTK) Statisztika / 63

15 Elméleti háttér Kovariancia Ezekiel, M. (1930): Methods of Correlation Analysis Speed (mph) Stopping distance (ft) Henderson & Velleman (1981): Building multiple regression models interactively Rear axle ratio Weight (lb/1000) Daróczi Gergely (PPKE BTK) Statisztika / 63

16 Elméleti háttér Kovariancia r xy = n (x i x)(y i ȳ) i=1 = (n 1)s x s y n i=1 (x i x)(y i ȳ) n (x i x) 2 n (y i ȳ) 2 i=1 i=1 Daróczi Gergely (PPKE BTK) Statisztika / 63

17 Elméleti háttér Kovariancia ˆr XY Z = N N i=1 r X,ir Y,i N i=1 r X,i N i=1 r Y,i N N i=1 r X,i 2 ( ) N i=1 r 2 X,i N N i=1 r Y 2,i ( N i=1 r Y,i ) 2 három változó esetén: ˆr XY Z = r XY r XZ r Y Z (1 r 2 XZ )(1 r 2 Y Z ) Daróczi Gergely (PPKE BTK) Statisztika / 63

18 Gyakorlat 1 Mit takar a korreláció és parciális korreláció kifejezés? 2 Határozza meg a korrelációs együtthatót az alábbi változó-párok esetében! 3 Mennyiben különbözik a parciális korreláció értéke? Érdemjegy (átlag) Ösztöndíj (HUF) Kiadás könyvekre (HUF) Daróczi Gergely (PPKE BTK) Statisztika / 63

19 Gyakorlat Megoldás Daróczi Gergely (PPKE BTK) Statisztika / 63

20 A korrelációs együttható korlátairól Korreláció és linearitás Korreláció és kauzalitás Lazarsfeld paradigma Daróczi Gergely (PPKE BTK) Statisztika / 63

21 A korrelációs együttható korlátairól Correlation does not imply causation! Forrás: Daróczi Gergely (PPKE BTK) Statisztika / 63

22 A korrelációs együttható korlátairól Correlation does not imply causation! - Elméleti háttér Arisztotelész: logika, szillogizmus if (A B)&(B C) A C David Hume: szkepticizmus only correlation can actually be perceived [not causality] l. holnap vajon felkel a nap? l. If I see a billiard ball moving towards another, on a smooth table, I can easily conceive to stop upon contact. Popper: falszifikáció Pearl, J. - Causality: Models, Reasoning, and Inference, Cambridge University Press, 2000 Daróczi Gergely (PPKE BTK) Statisztika / 63

23 A korrelációs együttható korlátairól Lazarsfeld paradigma Stouffer: The American Soldier Soldiers in branches with higher promotion rates are happier than soldiers in branches with lower rates of promotion. Daróczi Gergely (PPKE BTK) Statisztika / 63

24 A korrelációs együttható korlátairól Lazarsfeld paradigma Stouffer: The American Soldier H 0 : Soldiers in branches with higher promotion rates are happier than soldiers in branches with lower rates of promotion. Ámde: Soldiers in branches with higher promotion rates were more pessimistic about their own chances of being promoted than soldiers in branches with lower rates of promotion. Daróczi Gergely (PPKE BTK) Statisztika / 63

25 A korrelációs együttható korlátairól Lazarsfeld paradigma Stouffer: The American Soldier H 0 : Soldiers in branches with higher promotion rates are happier than soldiers in branches with lower rates of promotion. Ámde: Soldiers in branches with higher promotion rates were more pessimistic about their own chances of being promoted than soldiers in branches with lower rates of promotion. Kulcsszavak: referencia csoport, relatív depriváció Daróczi Gergely (PPKE BTK) Statisztika / 63

26 A korrelációs együttható korlátairól Linearitás Forrás: Anscombe, F. J. (1973) Graphs in statistical analysis. American Statistician, 27, Daróczi Gergely (PPKE BTK) Statisztika / 63

27 Gyakorlat The data was extracted from the 1974 Motor Trend US magazine, and comprises fuel consumption and 10 aspects of automobile design and performance for 32 automobiles ( models). mpg: Miles/(US) gallon cyl: Number of cylinders disp: Displacement (cu.in.) hp: Gross horsepower drat: Rear axle ratio wt: Weight (lb/1000) qsec: 1/4 mile time vs: V/S am: Transmission (0 = automatic, 1 = manual) gear: Number of forward gears carb: Number of carburetors Source: Henderson and Velleman (1981), Building multiple regression models interactively. Biometrics, 37, Daróczi Gergely (PPKE BTK) Statisztika / 63

28 0.44* Gyakorlat mpg *** 0.85 *** *** 0.68*** *** 0.42 * *** 0.60*** ** 0.55** cyl 0.90 *** 0.83 *** 0.70*** 0.78*** 0.59*** 0.81*** 0.52** 0.49** 0.53** disp 0.79*** 0.71*** 0.89 *** 0.43* 0.71*** 0.59*** 0.56*** 0.39 * hp 0.45** 0.66*** 0.71*** 0.72*** *** drat 0.71*** wt 0.71*** 0.70*** 0.55*** 0.69*** 0.58*** 0.43* qsec 0.74*** vs *** *** am 0.79*** gear 0.27 carb Henderson and Velleman (1981), Building multiple regression models interactively. Biometrics, 37, Daróczi Gergely (PPKE BTK) Statisztika / 63

29 Gyakorlat Sepal.Length Sepal.Width Petal.Length Petal.Width Edgar Anderson s Iris Data Anderson, Edgar (1935). The irises of the Gaspe Peninsula, Bulletin of the American Iris Society, 59, 2-5. Daróczi Gergely (PPKE BTK) Statisztika / 63

30 Gyakorlat #2 Sepal.Length Sepal.Width Petal.Length Petal.Width Edgar Anderson s Iris Data Anderson, Edgar (1935). The irises of the Gaspe Peninsula, Bulletin of the American Iris Society, 59, 2-5. Daróczi Gergely (PPKE BTK) Statisztika / 63

31 Gyakorlat #3 Valós asszociáció? Wind (miles per hour) Temperature (degrees Fahrenheit) Daróczi Gergely (PPKE BTK) Statisztika / 63

32 Gyakorlat #3 Valós asszociáció? Temp *** Wind Daróczi Gergely (PPKE BTK) Statisztika / 63

33 Gyakorlat #3 Valós asszociáció? May Jun Jul Aug Sep Oct date Temp May Jun Jul Aug Sep Oct date Wind Daróczi Gergely (PPKE BTK) Statisztika / 63

34 Gyakorlat #3 Valós asszociáció? date *** * Temp 0.46*** Wind Daróczi Gergely (PPKE BTK) Statisztika / 63

35 Kereszttábla Alacsony mérési szintű (kvalitatív) változók ID nem kedvenc szín 1 Female pink 2 Female pink 3 Female pink 4 Female pink 5 Female pink 6 Female pink 95 Male yellow 96 Male yellow 97 Male yellow 98 Male yellow 99 Male yellow 100 Male yellow Daróczi Gergely (PPKE BTK) Statisztika / 63

36 Kereszttábla Alacsony mérési szintű (kvalitatív) változók color green pink yellow Female Male gender Daróczi Gergely (PPKE BTK) Statisztika / 63

37 Kereszttábla Alacsony mérési szintű (kvalitatív) változók color green pink yellow gender Male Female Daróczi Gergely (PPKE BTK) Statisztika / 63

38 Kereszttábla Alacsony mérési szintű (kvalitatív) változók zöld piros sárga nők férfiak Daróczi Gergely (PPKE BTK) Statisztika / 63

39 Kereszttábla Alacsony mérési szintű (kvalitatív) változók zöld piros sárga nők férfiak Marginals Marginals N Daróczi Gergely (PPKE BTK) Statisztika / 63

40 Kereszttábla Alacsony mérési szintű (kvalitatív) változók zöld piros sárga nők férfiak Daróczi Gergely (PPKE BTK) Statisztika / 63

41 Kereszttábla Százalékok zöld piros sárga nők férfiak táblázat. Tapasztalt értékek zöld piros sárga nők 17 % 30 % 13 % 60 % férfiak 18 % 10 % 12 % 40 % 35 % 40 % 25 % 100 % 2. táblázat. Teljes százalék Daróczi Gergely (PPKE BTK) Statisztika / 63

42 Kereszttábla Sorszázalék zöld piros sárga nők férfiak táblázat. Tapasztalt értékek zöld piros sárga nők 28.3 % 50 % 21.7 % 100 % férfiak 45 % 25 % 30 % 100 % 35 % 40 % 25 % 100 % 4. táblázat. Sorszázalék Daróczi Gergely (PPKE BTK) Statisztika / 63

43 Kereszttábla Oszlopszázalék zöld piros sárga nők férfiak táblázat. Tapasztalt értékek zöld piros sárga nők % 75 % 52 % 60 % férfiak 51.4 % 25 % 48 % 40 % 100 % 100 % 100 % 100 % 6. táblázat. Oszlopszázalék Daróczi Gergely (PPKE BTK) Statisztika / 63

44 Kereszttábla Várható érték zöld piros sárga nők férfiak táblázat. Tapasztalt érték zöld piros sárga nők férfiak táblázat. Várható érték Daróczi Gergely (PPKE BTK) Statisztika / 63

45 Kereszttábla Khí-négyzet statisztika χ 2 = n i=1 (O i E i ) 2 E i where: χ 2 : Pearson-féle teszt statisztika, O i : tapasztalt érték, E i : várható éréték, n: cellák száma. H 0 : a tapasztalt és a várható érték megegyezik Követelmények? Daróczi Gergely (PPKE BTK) Statisztika / 63

46 Kereszttábla Khí-négyzet nők zöld piros sárga (17 21) 2 21 (18 14) 2 14 (30 24) 2 24 (10 16) 2 16 (13 15) (12 10) férfiak táblázat. Számított távolság a várt és tapasztalt értékek között χ 2 = n i=1 (O i E i ) 2 E i = szabadságfok: (3 1)(2 1) = 2 Daróczi Gergely (PPKE BTK) Statisztika / 63

47 Kereszttábla Khí-négyzet p = Daróczi Gergely (PPKE BTK) Statisztika / 63

48 Simpson paradoxon A Berkeley egyetem esete (Bickel et al.) Admitted admit Deny gender Male Female Daróczi Gergely (PPKE BTK) Statisztika / 63

49 Simpson paradoxon A Berkeley egyetem esete (Bickel et al.) Felvett Elutasított nők férfiak táblázat. Tapasztalt értékek Daróczi Gergely (PPKE BTK) Statisztika / 63

50 Simpson paradoxon A Berkeley egyetem esete (Bickel et al.) Felvett Elutasított nők férfiak táblázat. Tapasztalt értékek felvett elutasított nők 34.6 % 65.4 % 100 % férfiak 44.3 % 55.7 % 100 % 41 % 59 % 100 % 11. táblázat. Sorszázalék Daróczi Gergely (PPKE BTK) Statisztika / 63

51 Simpson paradoxon A Berkeley egyetem esete (Bickel et al.) Felvett Elutasított nők férfiak táblázat. Tapasztalt értékek felvett elutasított nők 34.6 % 65.4 % 100 % férfiak 44.3 % 55.7 % 100 % 41 % 59 % 100 % 11. táblázat. Sorszázalék χ 2 = ;d.f. = 1;p = e 26 Daróczi Gergely (PPKE BTK) Statisztika / 63

52 Simpson paradoxon A Berkeley egyetem esete (Bickel et al.) Jelentkezők Felvettek száma férfiak % nők % férfiak nők szak jelentkezők felvett jelentkezők felvett A % % B % 25 68% C % % D % % E % % F 272 6% 341 7% Daróczi Gergely (PPKE BTK) Statisztika / 63

53 Simpson paradoxon Baseball ütések Combined Runs/Outs % Runs/Outs % Runs/Outs % Derek Jeter 12/48 25 % 183/ % 195/ % David Justice 104/ % 45/ % 149/ % Melyikük a jobb játékos? Daróczi Gergely (PPKE BTK) Statisztika / 63

54 Standardizálás és dekompozíció Egy egyszerű példa Henderson & Velleman (1981): Building multiple regression models interactively Weight (t) Horsepower Daróczi Gergely (PPKE BTK) Statisztika / 63

55 Standardizálás és dekompozíció Egy egyszerű példa Henderson & Velleman (1981): Building multiple regression models interactively Standardized weight (t) Standardized horsepower Daróczi Gergely (PPKE BTK) Statisztika / 63

56 Standardizálás és dekompozíció Elméleti háttér Egy standardizált változó (z-values, z-scores, normal scores, standardized variables) azt mutatja, hogy hány szórásnyira esik az adott érték az átlagtól: z = x µ σ Diamonds Diamonds Frequency Frequency Price (USD) Price (standardized) Daróczi Gergely (PPKE BTK) Statisztika / 63

57 Standardizálás és dekompozíció Dekompozíció Daróczi Gergely (PPKE BTK) Statisztika / 63