Zavar (confounding): akkor lép fel egy kísérletben, ha a kísérletet végző nem tudja megkülönböztetni az egyes faktorokat.

Átírás

1 Zavar és mita Zavar (cofoudig): akkor lép fel egy kísérletbe, ha a kísérletet végző em tudja megkülöbözteti az egyes faktorokat.

2 Zavar és mita Zavar (cofoudig): akkor lép fel egy kísérletbe, ha a kísérletet végző em tudja megkülöbözteti az egyes faktorokat. Pl.: Idé midekitől levouk 1 potot, ha em jeleik meg az előadáso, javul-e a részvételi aráy? Tfh., hogy javul. De lehet, hogy tavaly reggel 8-kor volt az előadás, és azért em jártak. A két faktor em külöböztethető meg.

3 Zavar és mita Zavar (cofoudig): akkor lép fel egy kísérletbe, ha a kísérletet végző em tudja megkülöbözteti az egyes faktorokat. Pl.: Idé midekitől levouk 1 potot, ha em jeleik meg az előadáso, javul-e a részvételi aráy? Tfh., hogy javul. De lehet, hogy tavaly reggel 8-kor volt az előadás, és azért em jártak. A két faktor em külöböztethető meg. A kísérletet lehetőleg úgy kell megtervezi, hogy e lépje fel zavar.

4 Blokkosítás A zavar elkerülését segítheti a blokkosítás: és mita

5 Blokkosítás és mita A zavar elkerülését segítheti a blokkosítás: Felosztjuk a populációt olya alcsoportokra, melyekbe a kísérlet szempotjából fotos tulajdoságok megegyezek. Midegyik blokkba véletleszerűe választjuk ki a kezelteket.

8 Radomizált és kotrollált és mita Egy elterjedt módszer a teljese radomizált (véletleszerűsített) elredezés: Véletleszerűe választjuk ki azokat, akik kezelést kapak

9 Radomizált és kotrollált és mita Egy elterjedt módszer a teljese radomizált (véletleszerűsített) elredezés: Véletleszerűe választjuk ki azokat, akik kezelést kapak Egy másik megközelítés a szigorúa kotrollált elredezés: Nagyo körültekitőe kiválasztott egyedek, pl. ha véryomáscsökketőt tesztelük és az egyik blokkba va egy 30 éves túlsúlyos, cigarettázó férfi, aki szereti a sós és zsíros ételeket, akkor a másik blokkba is teszük ilyet.

10 és mita STATISZTIKUS SOKASÁG ÉS MINTA

11 és mita Defiíció: a statisztikai vizsgálat tárgyát képező egyedek összességét a hozzájuk tartozó (szempotukból érdekes) adatokkal együtt egy statisztikai ak vagy populációak hívjuk. Példák Magyarországi lakosok testmagassága, életkora, véryomása, stb. Folyó vízállása, közutak vagy routerek terheltsége, tőzsdei árfolyam, stb. Telefobeszélgetések hossza, hívások közti várakozási idő, kozmikus részecskék észlelése, stb.

14 Sokaság eloszlása és mita i eloszlása Ha a vizsgálat tárgyát képező egyedek száma N, akkor mide egyes egyed 1/N valószíűséggel fordul elő, illetve ha az egyedek egy A részhalmaza k egyedet tartalmaz, akkor aak valószíűsége k/n. Ezzel a statisztikai valószíűségi mezővé válik, az egyedekhez tartozó számértékek pedig egy X valószíűségi változóvá. Defiíció: az így kapott X eloszlását hívjuk a a statisztikai eloszlásáak. Ameyibe több számérték is érdekel miket egyedekét, a több dimezióssá válik, és a X 1, X 2,..., X együttes eloszlását evezzük a eloszlásáak.

18 és mita, mitavételezés Defiíció: ha a statisztikai ból kiválasztuk egyedet, akkor a hozzájuk tartozó x 1, x 2,..., x értékek egy elemű mitát adak. Defiíció: az x 1, x 2,..., x függetleek, ha visszatevéssel választottuk őket, (visszatevés élkül, de a mérete gyakorlatilag végtele). Ha a mita megegyezik a populációval, akkor cezusról beszélük.

19 és mita, mitavételezés Defiíció: ha a statisztikai ból kiválasztuk egyedet, akkor a hozzájuk tartozó x 1, x 2,..., x értékek egy elemű mitát adak. Defiíció: az x 1, x 2,..., x függetleek, ha visszatevéssel választottuk őket, (visszatevés élkül, de a mérete gyakorlatilag végtele). Ha a mita megegyezik a populációval, akkor cezusról beszélük.

20 vételezés Véletle mitavétel: a populáció mide tagjáak ugyaakkora esélye va a bekerülésre. és mita

21 vételezés és mita Véletle mitavétel: a populáció mide tagjáak ugyaakkora esélye va a bekerülésre. Egyszerű hosszúságú véletle mitavétel: mide hosszúságú mitáak ugyaakkora a kiválasztási esélye.

22 vételezés és mita Véletle mitavétel: a populáció mide tagjáak ugyaakkora esélye va a bekerülésre. Egyszerű hosszúságú véletle mitavétel: mide hosszúságú mitáak ugyaakkora a kiválasztási esélye. Szisztematikus mitavétel: valamilye kezdőpottól idulva kiválasztjuk mide K-adik elemet a populációból.

23 vételezés és mita Véletle mitavétel: a populáció mide tagjáak ugyaakkora esélye va a bekerülésre. Egyszerű hosszúságú véletle mitavétel: mide hosszúságú mitáak ugyaakkora a kiválasztási esélye. Szisztematikus mitavétel: valamilye kezdőpottól idulva kiválasztjuk mide K-adik elemet a populációból. Problémás lehet, ha a populáció is szisztematikusa va redezve.

24 vételezés és mita Kéyelmes mitavétel: haszáljuk azt a mitát, amit a legköyebb beszerezi.

25 vételezés és mita Rétegzett mitavétel: felosztjuk a populációt rétegekre (csoportokra), melyeke belül a kísérlet szempotjából fotos tulajdoságok azoosak vagy hasolók, majd mitát veszük midegyik rétegből.

26 vételezés és mita Klaszter mitavétel: felosztjuk a populációt valamilye természetes módo (pl. iráyítószám alapjá) klaszterekre, véletleszerűe választuk a klaszterek közül, majd a kiválasztott klaszter összes tagját haszáljuk.

27 Paraméter és statisztika és mita

28 Paraméter és statisztika és mita Paraméter A statisztikai ot (populációt) jellemző umerikus érték a sokáság egy paramétere.

29 Paraméter és statisztika és mita Paraméter A statisztikai ot (populációt) jellemző umerikus érték a sokáság egy paramétere. i következtetés Defiíció: ha a mita alapjá következtetük valamire valamilye valószíűséggel, az statisztikai következtetés, vagy rövide statisztika. Ezt szokták még becslések is evezi.

30 Paraméter és statisztika és mita Paraméter A statisztikai ot (populációt) jellemző umerikus érték a sokáság egy paramétere. i következtetés Defiíció: ha a mita alapjá következtetük valamire valamilye valószíűséggel, az statisztikai következtetés, vagy rövide statisztika. Ezt szokták még becslések is evezi. Példa A magyarországi lakosok magasságáak várható értéke egy paraméter, és pl. egy 1000 fős mitá a magasságok átlaga az egy ezzel kapcsolatos statisztika.

31 Paraméter és statisztika és mita populáció mita paraméter statisztika

32 Paraméteres becslés és mita Paraméteres és em paraméteres becslések Defiíció: egy statisztikai következtetés paraméteres becslés, ha ismerjük a X eloszlásáak típusát, és ez alapjá az eloszlás valamely paraméterére következtetük. (Pl. tudjuk, hogy biomiális, és meg akarjuk becsüli p-t). Ha em ismerjük az eloszlás típusát, akkor em paraméteres becslésről beszélük.

35 és mita függvéy Tegyük fel, hogy elemű, függetle miták va, x 1, x 2,..., x értékekkel. Eze belül mide mita elem 1/ valószíűségű. (Természetese több mita elemhez is társulhat ugyaaz az x érték). Defiíció: a mita empirikus eloszlásfüggvéye: F(x) = 1 1 {i xi < x} = i x i <x, azaz ha összese k olya mita elem va, melyekre x i < x, akkor F(x) = k/.

38 és mita Példa Tegyük fel, hogy a táblázatba látható cipőméreteket mértük egy 20 fős csoportba. Milye lesz a cipőméret empirikus eloszlásfüggvéye? méret háy? 38-as 1 39-es 2 40-es 4 41-es 4 42-es 7 43-as 2 = 20 F(x) x

39 Empirikus sűrűségfüggvéy és mita Mi lesz az empirikus sűrűségfüggvéy? Mivel az empirikus eloszlás midig diszkrét, szigorú értelembe itt is csak hisztogramról beszélhetük sűrűségfüggvéy helyett: felosztjuk az x tegelyt x agyságú itervallumokra, itervallumokét a hisztogram kostas; értéke, h egy adott [x, x + x], itervallumra: h x = k h = k x

42 Empirikus sűrűségfüggvéy és mita Példa Hogy fog kiézi a cipőméret eloszlás hisztogramja az előző példáál? (Itt x = 1 a természetes választás.) h(x) x

43 Empirikus sűrűségfüggvéy és mita Mi törtéik, ha hatváyszerűe lassa cseg le a sűrűségfüggvéy? Ameyibe ρ(x) x α, előfordulhat, hogy ha azoos méretű x-et haszáluk az előforduló x-ek teljes tartomáyá, akkor a agy értékek felé a hisztogram kilaposodik!

44 Empirikus sűrűségfüggvéy és mita Pl. a Magyar Wikipédia, mit hálózat fokszámeloszlásáak empirikus sűrűségfüggvéye kostas k = 1 eseté: h(k) k

45 Empirikus sűrűségfüggvéy Pl. a Magyar Wikipédia, mit hálózat fokszámeloszlásáak empirikus sűrűségfüggvéye kostas k = 1 eseté: 1 és mita h(k) k 100

46 Empirikus sűrűségfüggvéy Pl. a Magyar Wikipédia, mit hálózat fokszámeloszlásáak empirikus sűrűségfüggvéye kostas k = 1 eseté: 1 és mita h(k) k 100

47 Empirikus sűrűségfüggvéy és mita Ilyekor célszerű a kostas x helyett vagy expoeciálisa övekvő x-et haszáli, ez a logarithmic biig, (ami logaritmikus skálá tűik kostas méretűek), vagy előíri egy miimális esetszámot itervallumokét, és eze kritérium szerit beállítai egy diamikusa változó x-et.

48 Empirikus sűrűségfüggvéy és mita Ilyekor célszerű a kostas x helyett vagy expoeciálisa övekvő x-et haszáli, ez a logarithmic biig, (ami logaritmikus skálá tűik kostas méretűek), vagy előíri egy miimális esetszámot itervallumokét, és eze kritérium szerit beállítai egy diamikusa változó x-et.

49 Empirikus sűrűségfüggvéy és mita A Magyar Wikipédia, mit hálózat fokszámeloszlásáak empirikus sűrűségfüggvéye expoeciálisa övekvő k eseté: h(k) e 05 1e k

50 Empirikus sűrűségfüggvéy és mita Megjegyzés: ha csak a hatváyszerű lecsegés érdekel miket (pl. a hatváykitevő), akkor azt az empirikus eloszlásfüggvéy is megmutatja, (és ott em kell a x-ekkel vesződi): 1 F(k) F(k)~k α k

51 és mita

52 és mita érték Defiíció: Az empirikus várható érték a mita átlagával azoos: x = x1 + x2 + + x = 1 i=1 A agy számok törvéyei alapjá x X, (illetve ha X 4 korlátos, akkor erős értelembe is kovergál). P x i. Empirikus szóráségyzet Defiíció: Az empirikus szóráségyzet az empirikus átlagtól való égyzetes eltérés átlaga: S 2 = (x1 x)2 + (x 2 x) (x x) 2 = 1 i=1 (x i x) 2.

55 Mi az empirikus szóráségyzet várható értéke? és mita Empirikus szóráségyzet várható értéke

56 és mita Mi az empirikus szóráségyzet várható értéke? Korábba a szórás tárgyalásáál már levezettük, S 2 = 1 σ2 Empirikus szóráségyzet várható értéke

57 és mita Mi az empirikus szóráségyzet várható értéke? Korábba a szórás tárgyalásáál már levezettük, Korrigált empirikus szóráségyzet S 2 = 1 σ2 A fetiek alapjá a korrigált empirikus szóráségyzet: S 2 = 1 S2 = 1 1 i=1 (x i x) 2. Empirikus szóráségyzet várható értéke

58 és mita Mi az empirikus szóráségyzet várható értéke? Korábba a szórás tárgyalásáál már levezettük, Korrigált empirikus szóráségyzet S 2 = 1 σ2 A fetiek alapjá a korrigált empirikus szóráségyzet: S 2 = 1 S2 = 1 1 i=1 (x i x) 2. Eek várható értéke már megegyezik a szóráségyzetével, S 2 = 1 S2 = σ 2. Empirikus szóráségyzet várható értéke

59 és mita

60 Hogya lehete pl. a kvartiliseket megbecsüli a mita alapjá? és mita

61 Hogya lehete pl. a kvartiliseket megbecsüli a mita alapjá? és mita - Redezzük a mitákat érték alapjá,

62 Hogya lehete pl. a kvartiliseket megbecsüli a mita alapjá? és mita - Redezzük a mitákat érték alapjá, - és a mitaelemek első egyedéél lesz az alsó kvartilis,

63 Hogya lehete pl. a kvartiliseket megbecsüli a mita alapjá? és mita - Redezzük a mitákat érték alapjá, - és a mitaelemek első egyedéél lesz az alsó kvartilis, - (a feléél va a mediá),

64 Hogya lehete pl. a kvartiliseket megbecsüli a mita alapjá? és mita - Redezzük a mitákat érték alapjá, - és a mitaelemek első egyedéél lesz az alsó kvartilis, - (a feléél va a mediá), - és a háromegyedéél a felső kvartilis.

65 Boxplot és mita Egy adathalmaz 5-szám összesítője: 1) a miimum, 2) az alsó kvartilis, Q 1, 3) a mediá, Q 2, 4) a felső kvartilis Q 3, 5) a maximum. Ezeket egy ú. boxplot-ba szokás összefoglali: Az adathalmaz terjedelme (agolul rage) a maximum és miimum közti külöbség. Az iterkvartilis terjedelem (IQR): Q 3 Q 1.

66 Boxplot A boxplot éháy eloszlásfajta eseté: és mita

67 Boxplot A boxplot éháy eloszlásfajta eseté: és mita

68 Outlier A kiugró értékeket hívjuk outlier-ek: és mita

69 Outlier és mita A kiugró értékeket hívjuk outlier-ek: - outlier, ha Q 3-at meghaladja az IQR másfélszeresével, - outlier, ha Q 1-él több mit IQR másfélszeresével kisebb.

70 Outlier és mita A kiugró értékeket hívjuk outlier-ek: - outlier, ha Q 3-at meghaladja az IQR másfélszeresével, - outlier, ha Q 1-él több mit IQR másfélszeresével kisebb. Az outlier-ekek drámai hatása lehet az átlagra és a szórásra.

71 Outlier és mita A kiugró értékeket hívjuk outlier-ek: - outlier, ha Q 3-at meghaladja az IQR másfélszeresével, - outlier, ha Q 1-él több mit IQR másfélszeresével kisebb. Az outlier-ekek drámai hatása lehet az átlagra és a szórásra. Ezeket általába külö csillaggal jelöljük, és a maradék adatokra csiáluk box-plotot.

72 Boxplot A boxplot akkor igazá érdekes, ha több mitát hasolítuk össze egymással: és mita

76 és mita

77 és mita Külööse fotos az az eset, amikor a statisztikai ormális eloszlású, ami azt jeleti, hogy X eloszlása ormális, X N (µ, σ).

78 és mita Külööse fotos az az eset, amikor a statisztikai ormális eloszlású, ami azt jeleti, hogy X eloszlása ormális, X N (µ, σ). Természetese ilyekor az x i mitaelemekre is tekithetük úgy, mit µ várható értékű és σ szórású ormális eloszlású függetle változókra, x i N (µ, σ).

79 Tegyük fel tehát, hogy x i N (µ, σ). és mita

80 Tegyük fel tehát, hogy x i N (µ, σ). Mi lesz x eloszlása? és mita

81 és mita Tegyük fel tehát, hogy x i N (µ, σ). Mi lesz x eloszlása? Mivel a ormális eloszlás stabil, i=1 x N (µ, x i N (µ, σ), σ ) x = 1 x i i=1

82 Tegyük fel tehát, hogy x i N (µ, σ). Mi lesz S 2 eloszlása? és mita

83 Tegyük fel tehát, hogy x i N (µ, σ). Mi lesz S 2 eloszlása? és mita S 2 = 1 i x) i=1(x 2 = 1 i=1 xi 1 1 i=1 x 2 i 2xi x j + 1 j=1 2 j=1 1 1 i=1 i=1 x 2 i 2 2 i,j=1 x 2 i 2 2 i=1 j=1 x ix j ( 1 1 ) 2 x 2 i 2 2 i<j i=1 j=1 x j x 2 i + 2 x ix j i<j 2 x j = 2 = x 2 j + 2 x jx k j<k = x ix j = 1 1 j=1 i=1 x 2 j + 2 x jx k j<k = x 2 i 2 2 x ix j i<j

84 és mita Tegyük fel tehát, hogy x i N (µ, σ). Mi lesz S 2 eloszlása? S 2 = 1 1 i=1 x 2 i 2 2 x ix j i<j

85 és mita Tegyük fel tehát, hogy x i N (µ, σ). Mi lesz S 2 eloszlása? S 2 = 1 1 i=1 x 2 i 2 2 x ix j i<j Bevezetük egy új változót, melyek eloszlása stadard ormális, z i = xi µ σ x i = µ + σz i, z i N (0, 1),

86 és mita Tegyük fel tehát, hogy x i N (µ, σ). Mi lesz S 2 eloszlása? S 2 = 1 1 i=1 x 2 i 2 2 x ix j i<j Bevezetük egy új változót, melyek eloszlása stadard ormális, ezzel S 2 = z i = xi µ σ x i = µ + σz i, z i N (0, 1), 1 1 (µ 2 + 2µσz i + σ 2 z 2 i ) 2 i=1 2 (µ 2 + µσz i + µσz j + σ 2 z jz j ) = i<j 1 µ µσ z i ( 1) 2 i=1 µ 2 2 ( 1)µσ 2 i=1 σ2 z 2 i i=1 z i 2 2 σ2 z iz j i<j

87 és mita Tegyük fel tehát, hogy x i N (µ, σ). Mi lesz S 2 eloszlása? S 2 = 1 1 i=1 x 2 i 2 2 x ix j i<j Bevezetük egy új változót, melyek eloszlása stadard ormális, ezzel z i = xi µ σ S 2 = σ x i = µ + σz i, z i N (0, 1), i=1 z 2 i σ z iz j i<j

88 és mita Tegyük fel tehát, hogy x i N (µ, σ). Mi lesz S 2 eloszlása? S 2 = 1 1 i=1 x 2 i 2 2 x ix j i<j Bevezetük egy új változót, melyek eloszlása stadard ormális, ezzel z i = xi µ σ S 2 = σ x i = µ + σz i, z i N (0, 1), i=1 z 2 i σ z iz j i<j Bevezetük még egy új változót, y = S2 σ 2, melyre y = 1 i=1 z 2 i 2 z jz j = (1 1 i<j ) z 2 i 2 z iz j. i<j i=1

89 és mita Az y változó sűrűségfüggvéye és karakterisztikus függvéye: ρ(y) = dz 1 dz δ y (1 1 ) z 2 i 2 i<j ϕ y(t) = e z 1 2 e z 2 1 e z 2 2π 2π 2π ρ(y)e ity dy = 2 dz1 dz (2π) 2 i=1 z iz j e it(1 1 ) z 2 i 2it z i z j 1 2 z 2 i i=1 i<j i=1 Az expoesbe lévő kifejezés felfogható úgy, mit egy mátrix szedvicselés: it (1 1 ) i=1 z 2 i 2it z iz j 1 i<j 2 i=1 z 2 i = za z 1 it (1 1 ) it it 2 it 1 A = it (1 1 ) it 2 it it 1 2 it (1 1 )

90 és mita Az y változó sűrűségfüggvéye és karakterisztikus függvéye: ρ(y) = dz 1 dz δ y (1 1 ) z 2 i 2 i<j ϕ y(t) = e z 1 2 e z 2 1 e z 2 2π 2π 2π ρ(y)e ity dy = 2 dz1 dz (2π) 2 i=1 z iz j e it(1 1 ) z 2 i 2it z i z j 1 2 z 2 i i=1 i<j i=1 Az expoesbe lévő kifejezés felfogható úgy, mit egy mátrix szedvicselés: it (1 1 ) i=1 z 2 i 2it z iz j 1 i<j 2 i=1 z 2 i = za z 1 it (1 1 ) it it 2 it 1 A = it (1 1 ) it 2 it it 1 2 it (1 1 )

91 és mita Ezzel a ϕ y(t) karakterisztikus függvéy: ϕ y(t) = hisze A saját redszerére áttérve A v i = λ i v i, det A = ϕ y(t) = i=1 dz1 dz e za z = (2π) 2 i=1 λ i, du1 du (2π) 2 du 1 e λ 1u 2 1 2π 1 2π π λ i. e λ i u 2 i i=1 1 (2π) 2 π e αx2 = α = du 2 e λ 2u 2 2 2π π det A, du 2π e λu2 =

92 és mita Ezzel a ϕ y(t) karakterisztikus függvéy: ϕ y(t) = hisze A saját redszerére áttérve A v i = λ i v i, det A = ϕ y(t) = i=1 dz1 dz e za z = (2π) 2 i=1 λ i, du1 du (2π) 2 du 1 e λ 1u 2 1 2π 1 2π π λ i. e λ i u 2 i i=1 1 (2π) 2 π e αx2 = α = du 2 e λ 2u 2 2 2π π det A, du 2π e λu2 =

93 és mita Az A determiásáak meghatározásához először felbotjuk: A = ( 1 2 it) Ez alapjá egy tetszőleges v = v 1 v A v = ( 1 2 it) v + it + it eseté i=1 v i

94 és mita Az A determiásáak meghatározásához először felbotjuk: A = ( 1 2 it) Ez alapjá egy tetszőleges v = v 1 v A v = ( 1 2 it) v + it + it eseté i=1 v i

95 és mita Az A determiásáak meghatározásához először felbotjuk: A = ( 1 2 it) Ez alapjá egy tetszőleges v = Az A sajátvektorai: v 1 v A v = ( 1 2 it) v + it + it eseté i=1 v i

96 és mita Az A determiásáak meghatározásához először felbotjuk: A = ( 1 2 it) Ez alapjá egy tetszőleges v = Az A sajátvektorai: v 1 v A v = ( 1 2 it) v + it + it eseté i=1 v i Ha v i = 0 teljesül, akkor eze belül v tetszőleges lehet, azaz ez i=1 egy 1 dimeziós altér 1 darab λ = ( 1 it) sajátértékkel. 2

97 és mita Az A determiásáak meghatározásához először felbotjuk: A = ( 1 2 it) Ez alapjá egy tetszőleges v = Az A sajátvektorja: v 1 v A v = ( 1 2 it) v + it Ha v i 0 akkor a sajátvektor v = i=1 + it eseté i=1 v i , a sajátérték λ = ( 1 2 it) + it = 1 2

98 és mita Az A determiásáak meghatározásához először felbotjuk: A = ( 1 2 it) Ez alapjá egy tetszőleges v = Az A determiása: v 1 v A v = ( 1 2 it) v + it + it eseté i=1 v i det A = 1 2 ( 1 2 it)

99 és mita A ϕ y(t) karakterisztikus függvéy: 1 ϕ y(t) = (2π) 2 π det A = 1 (2π) 2 π 1 ( 1 = 2 2 it) 1 1 (1 2it) 1 2 Ez egy 1 szabadsági fokú χ 2 eloszlás karakterisztikus függvéye! ρ(y) = y Γ ( 1 2 ) e y 2,. Az empirikus szóráségyzet eloszlása A fetiek alapjá az S 2 eloszlása egy átskálázott, 1 szabadsági fokú χ 2 eloszlás, hisze S 2 = σ2 y χ 2 -eloszlás karakterisztikus függvéye Kofidecia itervallum