Elemi statisztika fizikusoknak

Átírás

1 Elemi statisztika fizikusoknak Pollner Péter Biológiai Fizika Tanszék 1. oldal

2 6. Előadás A normális eloszlás 6-3 A normális eloszlás alkalmazásai 6-4 Statisztikák eloszlása és becslő függvények 6-5 A központi határeloszlás törvénye 6-6 A binomiális eloszlás közelítése normálissal 6-7 A normalitás vizsgálata Elemi Statisztika Fizikusoknak 2. oldal

3 A fejezet példája: Nemrég Baltimore belső kikötőjében elsüllyedt egy vízitaxi. A 25 rajta tartózkodó ember közül 5-en meghaltak, 16-an megsebesültek. A vizsgálat kimutatta, hogy a biztonságos össz utas tömeg 1600 kg lett volna. Feltéve, hogy egy utas átlagos tömege 64 kg, 25 utas felvétele volt engedélyezve. A 64 kg-os átlagot 44 évvel ezelőtt állapították meg, amikor az emberek sokkal könnyebbek voltak. (Az elsüllyedt hajó 25 utasának átlagos tömege 76 kg volt.) Az eset után az USA-ban a közlekedési eszközökön 80 kg-ra emelték. Így 1600 kg össztömeg esetén már csak 20 utast szabad felengedni. 3. oldal

4 6-3. fejezet A normális eloszlás alkalmazásai 4. oldal

5 Kulcsfogalmak Ebben a fejezetben átnézzük, hogy hogyan kell olyan normális eloszlásokkal dolgozni, amelyeknek nem 0 az átlaguk és nem 1 a szórásuk. A legfontosabb, hogy egyszerűen átkonvertálhatunk egy nem standard eloszlást úgy, hogy az eredmény standard normális eloszlás legyen és így a korábban használt módszereket alkalmazni tudjuk. 5. oldal

6 Konverziós formula (standardizálás) 6-2. képlet z = x µ σ x=µ+σ z 6. oldal

7 Konvertálás nem-standardból standardba z = x µ σ ábra 7. oldal

8 A hiba függvény 8. oldal

9 Példa a vízitaxi utasainak súlyeloszlása A fejezet elején a vízitaxi megengedett utas tömege 1600 kg volt és az átlagos utas tömegét 64 kg-nak feltételezték. Tegyük fel a legrosszabb esetet, hogy az összes utas férfi. És tegyük fel, hogy a férfiak tömege normális eloszlást követ 78 kg-os átlaggal és 13 kg szórással. Ha véletlenül választunk egyet, mi a valószínűsége annak, hogy tömege kisebb mint 80 kg? 9. oldal

10 Példa - folyt µ = 78 σ = 13 z = = µ = 78 x = ábra 10. oldal

11 Példa - folyt µ = 78 σ = 13 P ( x < 80 kg) = P(z < 0.15) = µ = 78 x = ábra 11. oldal

12 Példa A legkönnyebb és a legnehezebb A példa adatait használva határozzuk meg mekkora az a súly, ami a legkönnyebb 99.5%-ot elválasztja a legnehezebb 0.5%-tól? µ= oldal

13 Példa folyt x = µ + (z σ) x = 78 + ( ) x = 111,475 µ= oldal

14 Példa folyt. Kb. 111 kg a választópont a 99.5% legkönnyebb és a 0.5% legnehezebb között. µ= oldal

15 Összefoglalás Ebben a fejezetben megvitattuk: A nem standard normális eloszlást. A standard normálisba konvertálást. 15. oldal

16 6-4. fejezet A statisztikák eloszlásai és becslések 16. oldal

17 Kulcsfogalmak A fejezet célja, hogy bevezessük a statisztika eloszlását, ami az adott statisztika értékeinek eloszlása abban az esetben, amikor az értékeket a populációból kiválasztott minden lehetséges adott elemszámú mintára kiszámítjuk. Látni fogjuk, hogy bizonyos statisztikák jobbak mint mások a populáció paramétereinek becslésére. 17. oldal

18 Definíció A statisztika eloszlása (mint például a minta arány vagy a minta átlag eloszlása) a statisztika minden lehetséges értékének eloszlása abban az esetben, amikor értékét a populáció minden lehetséges n elemszámú mintájára kiszámítjuk. 18. oldal

19 Definíció Az arány eloszlása valami mintabeli arányának eloszlása, a populáció minden lehetséges n elemszámú mintájában. 19. oldal

20 Tulajdonságok A minta arányok a populációs arányhoz tartanak. (Azaz a lehetséges minták arányainak átlaga egyenlő az igazi populációs aránnyal.) Bizonyos feltételek mellett a mintabeli arányok eloszlása normális eloszlással közelíthető. 20. oldal

21 Definíció Az átlag eloszlása a minták átlagainak eloszlása abban az esetben, ha a populációból vett összes lehetséges n elemszámú mintát vesszük. (Az átlag eloszlását általában táblázatosan megadott valószínűség eloszlásként, hisztogramként vagy képlettel prezentáljuk.) 21. oldal

22 Definíció A statisztika értéke, mint például a minta átlag x, függ a mintába kerülő konkrét értékektől, és általában mintáról mintára változik. A statisztikának ezt a variabilitását minta variabilitásnak nevezzük. 22. oldal

23 Becslő függvények (becslések) Bizonyos statisztikák sokkal jobbak, mint mások a populáció paramétereinek becslésére. A következő példa ezt mutatja be. 23. oldal

24 Példa A populáció álljon az 1, 2, és 5 értékekből. Véletlenülszerűen, visszatevéssel választunk 2 elemszámú mintákat. Összesen 9 minta lehetséges. a. Minden mintára megkeressük az átlagot, a mediánt, a terjedelmet, a varianciát és a szórást. b. Mindegyik statisztikára számítsuk ki ezek átlagát. 24. oldal

25 25. oldal

26 Interpretáció Láthatjuk, hogy bizonyos statisztikák jók abban az értelemben, hogy a populáció paramétereihez tartanak. Az ilyen statisztikákat torzítatlan becsléseknek nevezik. Olyan statisztikák, melyek a populációs paraméterekhez tartanak: átlag, variancia, részarány Olyan statisztikák, melyek nem tartanak a populáció paramétereihez: medián, terjedelem, szórás 26. oldal

27 A populáció és a minta szórása közti különbség: az átlag ingadozása σ = 2 Σ (x - µ) N Elemi Statisztika Fizikusoknak 27. oldal

28 Elemi Statisztika Fizikusoknak 28. oldal

29 Összefoglalás Ebben a fejezetben megvitattuk: Statisztika eloszlását. Az arány eloszlását. Az átlag eloszlását. A minta variabilitását. Becsléseket. 29. oldal

30 6-5. fejezet A központi határeloszlás tétel 30. oldal

31 Kulcsfogalmak Ebben a fejezetben megalapozzuk a populáció paramétereinek becslését és a hipotézis vizsgálatokat, melyről a következő előadások szólnak majd. 31. oldal

32 Központi határeloszlás tétel Adott: 1. Az x véletlen változónak µ átlaga és σ szórással rendelkező eloszlása van (ami vagy normális vagy sem). 2. Egyszerű n elemszámú véletlen mintákat választunk a populációból. (A mintákat úgy választjuk, hogy bármely n elemszámú mintát ugyanazzal az eséllyel választunk ki.) A minták egymástól függetlenek. 32. oldal

33 Központi határeloszlás tétel Konklúziók: folyt. 1. A minta átlag eloszlása x, ahogy a minta méretét növeljük, a normális eloszláshoz tart. 2. A minta átlagok átlaga µ. 3. A minta átlagok szórása pedig σ/. n 33. oldal

34 Általános gyakorlati tanácsok 1. Általában ha a minta n mérete nagyobb mint 30, akkor a minta átlagok eloszlását meglehetősen jól lehet normális eloszlással közelíteni. A közelítés egyre jobb, ahogy n növekszik. 2. Ha az eredeti populáció maga is normális eloszlású, akkor a minta átlagok eloszlása mindig normális bármely n-re (nem csak a 30- nál nagyobb értékek esetén). 34. oldal

35 Jelölés a minta átlagok átlaga µ x = µ a minta átlagok szórása σ x = σ n (gyakran az átlag standard hibájának is nevezik) 35. oldal

36 Szimuláció véletlen számokkal Generáljunk 500,000 véletlen 0 és 9 közötti egész számot, csoportosítsuk 5000 mintába, mindegyikben 100 számmal. Keresd meg mindegyik minta átlagát! Annak ellenére, hogy az eredeti 500,000 szám egyenletesen oszlik el, az 5000 minta átlag eloszlása normális eloszlás lesz! 36. oldal

37 5000 db 100 elemű minta átlagainak eloszlása 37. oldal

38 Fontos felismerés Ahogy a minta nagyság nő, a minta átlag eloszlása egyre inkább normális lesz. 38. oldal

39 Példa vízitaxi biztonság A férfiak egy adott populációjának tömege normális eloszlású, átlagosan 78 kg a súlya 13 kg szórással, a) ha kiválasztunk egy férfit, mi a valószínűsége annak, hogy a tömege több mint 80 kg. b) ha 20 különböző férfit véletlenül választunk, számítsuk ki, hogy mi annak a valószínűsége, hogy átlagsúlyuk meghaladja a kritikus 80 kg-ot. 39. oldal

40 Példa folyt. a) egy embert kiválasztva határozzuk meg, hogy mi a valószínűsége annak, hogy tömege több mint 80 kg. z = 80 78= µ= 78 σ=13 x= oldal

41 Példa folyt b) ha 20 különböző férfit választunk véletlenül, számítsuk ki annak a valószínűségét, hogy átlagsúlyuk több mint 80 kg. z = = / 20=2, oldal

42 Példa folyt. a) egy véletlenül kiválasztott férfinál annak a valószínűsége, hogy 80 kg-nál nehezebb P(x > 80) = b) véletlenül kiválasztott 20 férfi esetén annak a valószínűsége, hogy átlagosan nehezebbek mint 80 kg P(x > 80) = Egyvalaki esetén sokkal valószínűbb, hogy 80 kg-nál nagyobb, mint hogy 20 férfi esetében az átlaguk nagyobb, mint 80 kg. 42. oldal

43 Az eredmények értelmezése Ha a biztonságos kapacitás 1600 kg, akkor elég nagy esélye van annak (24%-os valószínűsége), hogy 20 férfi tömege ezt meg fogja haladni! 43. oldal

44 Véges populációs korrekció Ha visszatevés nélkül mintavételezünk, és a minta n mérete nagyobb mint 5%-a a véges N elemű populációnak, akkor a mintaátlag szórását korrigálnunk kell az alábbi faktorral: N n σ x = σ n N 1 véges populációs korrekciós faktor 44. oldal

45 Összefoglalás Ebben a fejezetben megvitattuk: A központi határeloszlás tételt. Praktikus megfontolásokat. A mintaméret hatását. Véges populációs korrekciót. 45. oldal

46 6-6. fejezet A binomiális közelítése normálissal 46. oldal

47 Kulcsfogalmak Ebben a fejezetben megmutatjuk, hogy hogyan lehet egy binomiális eloszlást normális eloszlással közelíteni. Ha az np 5 és az nq 5 feltételek egyszerre teljesülnek, akkor a binomiális eloszlást egy μ = np átlagú és σ = npq szórású normális eloszlással jól közelíthető. 47. oldal

48 Példa Egy Boeing repülőn 213 ülőhely van. A nők átlag tömege 65 kg, a férfiaké 78 kg. Ha 122 férfinél több van, akkor vigyázni kell az utasok ültetésére Tegyük fel, hogy 50-50% a férfi és nő utasok valószínűsége Mi annak a valószínűsége, hogy legalább 122 férfi utas van a gépen. Az eloszlás binomiális, de nekünk most 92 esetre kellene kiszámítanunk 48. oldal

49 Áttekintés Binomiális eloszlás 1. A véletlen kísérletek száma állandó. 2. A kísérletek függetlenek. 3. Minden kísérletnek két kimenete van. 4. A siker valószínűsége állandó a kísérletek során oldal

50 A binomiális közelítése normális eloszlással np 5 nq 5 ekkor µ = np és σ = npq és a véletlen változó eloszlása (normal). 50. oldal

51 A binomiális normálissal való közelítése 1. Bizonyosodj meg, hogy np 5 és nq 5 tényleg fennáll. 2. Számítsd ki a µ és σ paraméterek értékeit a µ = np és σ = npq képlettel. 3. Azonosítsd x diszkrét értékeit (a sikerek számát). A diszkrét x értéket helyettesítsük az x 0.5 -től x ig intervallummal. (Ld. folytonossági korrekciók még ebben a fejezetben.) Rajzoljuk meg a normális görbét µ, σ, paraméterekkel. 51. oldal

52 A binomiális normálissal való közelítése Folyt. 4. Helyettesítsük x et vagy x 0.5 el, vagy x el, a feladatnak megfelelően. 5. Az x 0.5 vagy x értéket (a feladatnak megfelelően) használva x helyett, keresd meg a kívánt valószínűséget úgy, hogy először a megfelelő z értékhez kikeresed a tőle balra fekvő területet. 52. oldal

53 Példa A férfiak száma az utasok között A legalább 122 férfi valószínűségének meghatározása 213 utas esetén ábra 53. oldal

54 Definíció Amikor a normális eloszlást használjuk (ami egy folytonos eloszlás) arra, hogy a binomiálist közelítsük (ami pedig diszkrét), egy folytonossági korrekciót kell végrehajtanunk és a diszkrét egész x-et a x 0.5 -tól x ig intervallummal kell helyettesíteni (hozzá kell adni és levonni 0.5-öt). 54. oldal

55 A folytonossági korrekció menete 1. Ha a binomiálist normálissal közelíted, mindig használd a folytonossági korrekciót. 2. Először keresd meg a diszkrét egész x-et a binomiális problémánál. 3. Rajzolj egy normális eloszlást, µ átlag köré, és rajzolj egy függőleges x-re centrált sávot x 0.5 és x határokkal. Példánkban x = 122, rajzoljunk be egy sávot nél és nél. A berajzolt terület reprezentálja a diszkrét egész x érték valószínűségét. 55. oldal

56 - folyt. 4. Aztán gondold meg, hogy x maga benne van-e abban a valószínűségben, amit ki akarsz számítani. Utána gondold meg, hogy a legalább x, legfeljebb x, több mint x, kevesebb mint x, vagy pontosan x valószínűségére van-e szükséged. Satírozd be a sávtól balra vagy jobbra eső területet és a sávot magát is akkor, és csak akkor ha x maga is benne van. A teljes besatírozott terület adja a keresett valószínűséget, amit keresünk. 56. oldal

57 6-22. ábra x = legalább 122 (tartalmazza 122-t és felette) x = több mint 122 (nincs benne a 122) x = legfeljebb 122 (tartalmazza 122-t és alatta) x = kevesebb mint 122 (nem tartalmazza 122-t) x = pontosan oldal

58 Összefoglalás Ebben a fejezetben megvitattuk: A binomiális normálissal való közelítését. A normális közelítés procedúráját. A folytonossági korrekciókat. 58. oldal

59 6-7. fejezet A normalitás vizsgálata 59. oldal

60 Kulcsfogalmak Ebben a fejezetben meghatározzuk, hogy valamilyen eloszlás mikor tekinthető normálisnak. A kritériumok eddig: a hisztogram vizuális megfigyelése és a haranggörbével való összehasonlítása az outlierek azonosításan Most: a normális kvantilis-kvantilis plot módszer 60. oldal

61 Módszerek az adatok normalitásának vizsgálatára 1. Hisztogram: Készíts hisztogramot. Ha eltér a haranggörbétől, akkor vesd el a normalitást. 2. Outlierek: Keresd meg az outliereket. Ha több mint egyet találsz, vesd el a normalitást. 3. Normál QQ plot: Ha a hisztogram alapvetően szimmetrikus, és legfeljebb egy outlier van, készítsd el a normál QQ plotot az alábbi módon: 61. oldal

62 Definíció Normál QQ plot (vagy normál valószínűség plot) egy pontokból (x,y) álló grafikon, ahol az x érték az eredeti minta adatokból áll az y érték a standard normális eloszlásból származó kvantilis értéknek megfelelő z érték. 62. oldal

63 - folyt 3. Normál QQ plot a. Rendezd sorba az adatokat a legkisebbtől a legnagyobbik irányában. b. A n elemű minta esetén, minden érték a minta 1/ned részét jelenti. Használva az n értékét, határozd meg az 1/2n, 3/2n, 5/2n, 7/2n, területeket. Ezek lesznek a megfelelő minta értéktől balra esés valószínűségei. c. Felhasználva a standard normális eloszlást (táblázat, szoftver vagy kalkulátor) számítsd ki a fenti területekhez tartozó z értékeket. 63. oldal

64 - folyt d. Párosítsd a kiszámított z értékeket az x értékekkel, majd készítsd el az (x, y) grafikont, ahol x az eredeti adatok és y a megfelelő z érték. e. Vizsgáld meg az így készített QQ plotot az alábbi kritériumok alapján: Ha az adatok nem fekszenek egy egyenesen, vagy valamilyen szisztematikus, de nem egyenes alakzatot öltenek, akkor az adatok nem normális eloszlással rendelkező populációból származnak. Ha az adatok elfogadhatóan közel vannak egy egyeneshez, akkor a populáció normálisnak tűnik. 64. oldal

65 Példa Vegyünk emberek magasságának adatait Elég pl. 5-öt 178, 168, 182, 172, 175 n=5 minden adat 1/5-öde a teljesnek területek: 0.1,0.3,0.5,0.7 és 0.9 (nem 0-tól 1-ig megy, hanem 1/2n-től 1-1/2n-ig) z= -1.28, -0.52, 0, 0.52 és 1.28 (x,y)= (168, -1.28) (172, -0.52) (175,0) (178,0.52) (182, 1.28) 65. oldal

66 Példa Interpretáció: Mivel a pontok elfogadhatóan közel vannak egy egyeneshez és nem látszik bennük semmilyen más szisztematikus eltérés, arra következtetünk, hogy az eredeti adatok egy normális populációból származnak. 66. oldal

67 Összefoglalás Ebben a fejezetben megvitattuk: A normál QQ plotot. Azt a procedúrát, amivel eldönthetjük, hogy az adatok normális eloszlásúak-e. 67. oldal