Kabos: Statisztika II. ROC elemzések 10.1 ROC elemzések Szenzitivitás és specificitás a jelfeldolgozás szóhasználatával A riasztóberendezés érzékeli, ha támadás jön, és ilyenkor riaszt. Máskor nem. TruePositiveAlarm: riaszt és támadás jön FalseNegativeAlarm: nem riaszt & támadás FalsePositiveAlarm: riaszt & nincs támadás TrueNegativeAlarm: nem riaszt & nincs támadás Riasztási esemény valószínűségek P 11 = P(riaszt és támadás jön) P 01 = P(nem riaszt és támadás jön) P 10 =P(riaszt és nincs támadás) P 00 =P(nem riaszt és nincs támadás)
Kabos: Statisztika II. ROC elemzések 10.2 Kétféle helyes működés van (TP és TN), és kétféle hibás (FN és FP). FalseNegative: a riasztás hibás elmulasztása, ez veszélyes hiba. FalsePositive: ok nélküli riasztás, ez nem annyira veszélyes, ámbár kellemetlen hiba. A statisztikai hipotézisvizsgálat szóhasználatával: H 0 : támadás jön. A jelfeldolgozó elsőfajú hibát akkor követ el, ha nem riaszt, miközben H 0 bekövetkezik, azaz támadás jön. Elsőfajú hibavalószínűség = = P(nem riaszt támadás jön) = 1- szenzitivitás P 01 P 01 + P 11
Kabos: Statisztika II. ROC elemzések 10.3 P 10 Másodfajú hibavalósz. = P 10 + P 00 = P(riaszt nincs támadás) = 1- specificitás Egyszerű eset, amikor mind a nullhipotézis, mind az ellenhipotézis egyértelműen (de egymástól eltérően) határozza meg a minta eloszlását. Az általunk vizsgált legtöbb próbánál a nullhipotézis ilyen egyszerű, de az ellenhipotézis összetett. Ilyenkor a matematikusok az ellenhipotézis által leírt összes lehetséges szituációra igyekeznek kiszámítani a másodfajú hibát. Ez sajnos nem mindig egyszerű. Ellentétben a fent írt matematikusokkal, mi önkényesen kiválasztunk egyet az ellenhipotézis által leírt eloszlások közül, és ebben a leegyszerűsített szituációban ROC görbével szemléltetjük az első- és másodfajú hibát.
Kabos: Statisztika II. ROC elemzések 10.4 Az ROC görbéink vízszintes tengelye a másodfajú hibavalószínűség (1-specificitás), a függőleges tengely az 1 - elsőfajú hibavalószínűség (szenzitivitás). Az ábrák úgy készültek, hogy véletlenszám generátorral 10000 ismétlésben szimuláltunk mintavételt. Az ábrák elméleti változatát is könnyű elkészíteni: a piros eloszláson alkalmazott elfogadási tartományt (mely a 0.05 szignifikancia szinthez tartozik) változtatni kell, miközben a hozzátartozó zöld csíkos tartomány területét kell nézni. Az ROC ábrán a függőleges tengely az 1-szignif.szintet, a vízszintes tengely a zöld csíkos területet jelenti. Az egymintás z-próba másodfajú hibáját a Minta ZH feladataiban bemutatott eljárással lehet kiszámolni. Válaszoljunk erre a kérdésre: hány SH a különbség a valódi és a hipotézisben feltett várhatóérték között? (a kérdésben a mintaátlag SH-ja szerepel) A válaszból megtudjuk, mekkora (és milyen irányú) eltolással keletkezik a zöld görbe a pirosból.
Kabos: Statisztika II. ROC elemzések 10.5 További ROC-elemzéseket azért nézünk, hogy a statisztikai próbák teljesítményét értékeljük. A kísérletekben a próbák olyan kérdést vizsgálnak, amire (az alapeloszlás általunk beálĺıtott paraméterei révén) mi tudjuk a helyes választ. Azt akarjuk kipróbálni, hogy melyik statisztikai próba milyen arányban vezet helyes és hibás döntéskre. Medián-próba Minta: N- elemű EVM X-re, M-elemű EVM -ra, a két mintavétel egymástól független Hipotézis: H 0 : Med(X) = Med( ) Próbastatisztika: legyen az N + M elemű minta mediánja. Megszámoljuk, melyik mintában hányan vannak -nél nagyobbak, hányan -nél kisebbek. N 1 olyan X van, ami N 2 olyan X van, ami > M 1 olyan van, ami M 2 olyan van, ami > táblázatban összefoglalva: X N 1 M 1 > N 2 M 2
Kabos: Statisztika II. ROC elemzések 10.6 A medián-próba táblázatánál az első oszlop összege = N a második oszlop összege = M A sorösszeg (mindkét sornál) = N + M 2 Ha H 0 igaz, akor a medián-próba táblázata független, de ennek statisztikai vizsgálatánál figyelembe kell venni, hogy a sorösszegek és az oszlopösszegek rögzítettek. A követendő eljárást egy következő órán fogjuk tárgyalni. Megjegyezzük, hogy a medián-próba semmi feltételt nem kíván meg X és eloszlására. Ámde amikor a kétmintás t-próba modell feltételei teljesülnek, akkor a medián-próba null-hipotézise ugyanazt jelenti, mint a kétmintás t-próba null-hipotézise. Ez indokolja, hogy az eddig bemutatott példákban a t-próba és a medián-próba úgy jelennek meg, mintha ugyanarra a hipotézisre vonatkoznának. A példák azt mutatják, hogy azonos elsőfajú hibavalószínűség mellett mindig a medián-próba másodfajú hibavalószínűsége a nagyobb, mely tulajdonságot így is mondunk: a t-próba az erősebb.
Kabos: Statisztika II. ROC elemzések 10.7 t- és medián próba összehasonĺıtása Kétmintás t-próba és medián-próba összehasonlítása szimulációval 0.0 0.2 0.4 0.6 0.8 0.0 1.0 0.2 0.4 0.6 0.0 0.8 0.2 1.0 0.4 0.6 0.8 1.0 N= 150, M= 200, dev= 0.1 Kétmintás t-próba és medián-próba összehasonlítása szimulációval összehasonlítása szimulációval 55% accepted at level ** 89% accepted at level ** N= 150, M= 200, dev= 0.1 A Welch t-próba modell feltétele az, hogy X N(µ X, σ 2 ) és N(µ, 0.0 0.4 X 0.8 σ2 ), és σ-kra nincs semmi feltétel. A medián-próbánál az eloszlásokra nincs semmi feltétel. t- és medián próba összehasonĺıtása 55% accepted at level ** 89% accepted at level ** HA 0 Welch (t-próbánál): t-próba µ modell X = µ feltétele az, hogy X N(µ H 0 (medián-próbánál): X, σ 2 ) és N(µ X Med(X), σ2 ), és σ-kra nincs semmi feltétel. = Med( ) A medián-próbánál az eloszlásokra nincs semmi feltétel. A két próbát szimulációval vizsgáljuk olyan szituációban, ahol H 0 (t-próbánál): µ 0 (mindkét próbánál) X = µ közelítőleg 55% accepted at level ** teljesül, 89% de accepted pontosan at level nem. ** HA X 0 Welch (medián-próbánál): változó t-próba alapsokaságbeli modellmed(x) feltétele = értékei az, Med( N(µ hogy X, σ 2 ) X X változó N(µ alapsokaságbeli értékei N(µ, σ 2 X, σ 2 két próbát szimulációval ) és N(µ vizsgáljuk, X σ2 ), és σ-kra ) nincs semmi feltétel. olyan szituációban, ahol A ahol medián-próbánál µ X = 0.1 és µ az = eloszlásokra 0.1 és nincs σ X = semmi σ = 1 feltétel. H 0 (mindkét próbánál) közelítőleg teljesül, de pontosan nem. Minta: N=150 elemű EVM X-re és M=200 elemű EVM -ra, H 0 (t-próbánál): µ X = µ egymástól X változó független alapsokaságbeli két mintavétel. értékei N(µ X, σ 2 ) X H változó alapsokaságbeli értékei N(µ, σ 2 Az ábra a két próba szimulált ROC-görbéjét 0 (medián-próbánál): Med(X) = Med( ) ahol µ mutatja. X = 0.1 és µ = 0.1 és σ X = σ = 1 Minta: A mintavételeket két próbát N=150szimulációval elemű 10000 EVM - 10000 vizsgáljuk X-realkalommal és M=200 olyanismételtük. elemű szituációban, EVM ahol -ra, level** egymástól H 0 (mindkét = 0.05 független próbánál) szignifikancia kétközelítőleg mintavétel. szint (= teljesül, 0.95 szenzitivitás) de pontosan nem. Az X változó ábra ábráról a két alapsokaságbeli leolvasható, próba szimulált hogy értékei 0.05 ROC-görbéjét N(µ szignifikanciaszint X, σ 2 ) mellett a X mutatja. másodfajú A mintavételeket változó alapsokaságbeli hibavalószínűség 10000-10000 értékei (H 0 elfogadása, alkalommal N(µ, σ 2 ) miközben ismételtük. nem igaz) level** ahol t-próbánál=0.55 µ X = 0.05 0.1 szignifikancia és µ a medián-próbánál=0.89 = 0.1szint és (= σ X 0.95 = σszenzitivitás) = 1 és Minta: mindenütt N=150a elemű t-próbaevm a kedvezőbb. X-re és M=200 elemű EVM -ra, Az egymástól ábrárólfüggetlen leolvasható, két mintavétel. hogy 0.05 szignifikanciaszint mellett a másodfajú hibavalószínűség (H 0 elfogadása, miközben nem igaz) Az a t-próbánál=0.55 ábra a két próbaa szimulált medián-próbánál=0.89 ROC-görbéjét mutatja. és A mintavételeket mindenütt a t-próba 10000a- kedvezőbb. 10000 alkalommal ismételtük. level** = 0.05 szignifikancia szint (= 0.95 szenzitivitás) 1 0.0 0.2 0.4 0.6 0.8 0.0 1.0 0.2 0.4 0.6 0.0 0.8 0.2 1.0 0.4 0.6 0.8 1.0 N= 150, M= 200, dev= 0.1 Kétmintás t-próba és medián-próba t- és medián próba összehasonĺıtása Az ábráról leolvasható, hogy 0.05 szignifikanciaszint mellett a másodfajú hibavalószínűség (H 0 elfogadása, miközben nem igaz) a t-próbánál=0.55 a medián-próbánál=0.89 1 és mindenütt a t-próba a kedvezőbb. 1
Kabos: Statisztika II. ROC elemzések 10.8 t- és medián próba összehasonĺıtása 0.0 0.2 0.4 0.6 0.8 0.0 1.0 0.2 0.4 0.6 0.8 1.0 N= 150, M= 200, dev= 0.15 N= 150, M= 200, dev= 0.15 20% accepted at level ** 69% accepted at level ** Az eredeti dev=0.1-hez képest 50%-kal növeltük a két eloszlás átlagának eltérését, 20% accepted ezzel at level mindkét ** másodfajú 69% accepted hibavalószínűség at level ** jelentősen csökkent, és a t-próba előnye továbbra is megmarad. Az eredeti dev=0.1-hez képest 50%-kal növeltük a két eloszlás átlagának eltérését, ezzel mindkét másodfajú hibavalószínűség jelentősen csökkent, és a t-próba előnye továbbra is megmarad. 20% accepted at level ** 0.0 0.2 0.4 0.6 0.8 0.0 1.0 0.2 0.4 0.6 0.8 1.0 N= 150, M= 200, dev= 0.15 69% accepted at level ** Az eredeti dev=0.1-hez képest 50%-kal növeltük a két eloszlás t-átlagának és medián eltérését, ezzel próba N= mindkét összehasonĺıtása 150, M= 200 másodfajú, dev= 0.2 hibavalószínűség jelentősen csökkent, és a t-próba előnye továbbra is megmarad. 0.0 0.4 0.8 N= 150, M= 200, dev= 0.2 4% accepted at level ** 42% accepted at level ** Az eredeti dev=0.1-hez képest 100%-kal Median-test növeltük testa két eloszlás 4% accepted at level ** 42% accepted at level ** átlagának eltérését, ezzel mindkét másodfajú hibavalószínűség tovább Az eredeti csökkent, dev=0.1-hez és a t-próba képest gyakorlatilag 100%-kal növeltük biztosan a két elkülöníti eloszlás a átlagának két eloszlást, eltérését, a medián ezzel próba mindkét nem. másodfajú A t-próba hibavalószínűség előnye megmarad. tovább csökkent, és a t-próba gyakorlatilag biztosan elkülöníti a két eloszlást, 4% a accepted medián at level próba ** nem. A 42% t-próba accepted at előnye level ** megmarad. N= 500, M= 300, dev= 0.1 23% accepted at level ** 89% accepted at level ** Visszatértünk eredeti dev=0.1-hez, de a mintanagyságokat meg- 23% accepted at level ** 89% accepted at level ** növeltük. A t-próba kedvezően reagált, de a medián-próba alig. A Visszatértünk két próba összehasonlításában eredeti dev=0.1-hez, a t-próba de a mintanagyságokat előnye jelentősen meg- nőtt. növeltük. A t-próba kedvezően reagált, de a medián-próba alig. A két próba összehasonlításában a t-próba 0.0 előnye 0.4 0.8 jelentősen nőtt. 0.4 0.6 0.8 1.0 0.0 0.2 0.4 0.6 0.8 0.0 1.0 0.2 N= 150, M= 200, dev= 0.2 Az eredeti dev=0.1-hez képest 100%-kal növeltük a két eloszlás átlagának eltérését, ezzel mindkét másodfajú hibavalószínűség N= 500, M= 300, dev= 0.1 tovább csökkent, és a t-próba gyakorlatilag biztosan elkülöníti a két eloszlást, a medián próba nem. A t-próba előnye megmarad. N= 500, M= 300, dev= 0.1 t- és medián próba összehasonĺıtása 23% accepted at level ** 89% accepted at level ** Visszatértünk eredeti dev=0.1-hez, de a mintanagyságokat megnöveltük. A t-próba kedvezően reagált, de a medián-próba alig. A két próba összehasonlításában a t-próba előnye jelentősen nőtt.
Kabos: Statisztika II. ROC elemzések 10.9 Kétmintás t-próba és medián-próba kiugró értékek esetén Normálistól Kétmintás t-próba eltérő eloszlások és medián-próba kiugró értékek esetén 2% accepted at level ** 0.6 0.8 1.0 0.0 0.2 0.4 56% accepted at level ** Az előbbi példához hasonló esetből indulunk ki. Két standard normális eloszlást transzformálunk, az egyikhez hozzáadjuk Median-test a 0.35 test értéket, a 2% accepted at level ** 56% accepted at level ** másikból kivonjuk. A választott két mintanagyság N=50 ill. M=100 Az Az ROC-görbén előbbi példához azt látjuk, hasonló hogy esetből a t-próba indulunk gyakorlatilag ki. Két standard tökéletesen normális megkülönbözteti eloszlást transzformálunk, a két eloszlást, az egyikhez viszont a hozzáadjuk medián-próba a 0.35 korántsem. értéket, a másikból kivonjuk. A választott két mintanagyság N=50 ill. M=100 Az ROC-görbén azt látjuk, hogy a t-próba gyakorlatilag tökéletesen megkülönbözteti a két eloszlást, viszont a medián-próba korántsem., manipulated by 5, manipulated by 5 12% accepted at level ** 59% accepted at level ** 0.4 0.6 0.8 1.0 0.0 0.2, manipulated by 10 N= 50, M= 100, dev= Median-test 0.35 test 12% accepted at level ** 59% accepted at level **, manipulated by 10 61% accepted at level ** 61% accepted at level ** 0.4 0.6 0.8 1.0 0.0 0.2 61% accepted at level ** 61% accepted at level ** A kiugró értékek, amit az alapeloszlásba keverünk, az előbbi ábrán ± 5 az utóbbi ábrán ± 10. Az előbbi esetben a t-próba teljesítménye romlani kezdett, A kiugró de továbbra értékek, amit is sokkal az alapeloszlásba kedvezőbb, mint keverünk, a medián-próba. az előbbi ábrán Azonban ± 5 a 10 az érték utóbbi alkalmazásákor ábrán ± 10. Az előbbi a t-próba esetben és a a medián-próba t-próba teljesítménye különbsége romlani eltűnik. kezdett, de továbbra is sokkal kedvezőbb, mint a medián-próba. Azonban a 10 érték alkalmazásákor a t-próba és a medián-próba különbsége eltűnik., manipulated by 15 97% accepted at level ** 60% accepted at level ** Amikor az alapeloszlásba kevert kiugró értékek ± 15 akkor a medián-próba kedvezőbb tulajdonságú, mint a t-próba. Megfigyelhetjük, hogy a mediánpróba az alapeloszlásba kevert kiugró értékekre szinte teljesen érzéketlen. 50 samples of normal vs 100 samples of normal shifted by 0.35, manipulated by 15.0 5.0 9.0 14.0
Kabos: Statisztika II. ROC elemzések 10.10 Normálistól eltérő eloszlások Az alapeloszlást megváltoztatjuk úgy, hogy a normális eloszlásba keverünk A. eset: a 5 értékeket B. eset: a 10 értékeket C. eset: a 15 értékeket Normálistól eltérő eloszlások A. eset: a t-próba teljesítménye romlani kezdett, de továbbra is sokkal kedvezőbb, mint a medián-próba. B. eset: a t-próba és a medián-próba különbsége eltűnik. C. eset: a medián-próba kedvezőbb tulajdonságú, mint a t-próba. Megfigyelhetjük, hogy a t-próba teljesítménye nagyon függ attól, mennyire van az alapsokasági eloszlás közel a normálishoz. A mediánpróba az alapeloszlásba kevert kiugró értékekre szinte teljesen érzéketlen.
Kabos: Statisztika II. ROC elemzések 10.11 Dobozmodell konstrukció a kiugró értékeket tartalmazó eloszlásra: a doboz 95% ban egy normális eloszlásból véletlenszerűen húzott számokból, ezenkívül 2.5% ban a +15 és 2.5% ban -15 értékekből áll. Ha ebből a dobozból veszünk mintát, a következő hisztogramon látható kiugró értékeket kapunk:, manipulated by 15 97% accepted at level ** 60% accepted at level ** Amikor az alapeloszlásba kevert kiugró értékek ± 15 akkor a medián-próba kedvezőbb tulajdonságú, mint a t-próba. Megfigyelhetjük, hogy a mediánpróba az alapeloszlásba kevert kiugró értékekre szinte teljesen érzéketlen. Kiugró értékek -15.0-9.0-4.0 1.0 5.0 9.0 14.0 50 samples of normal vs 100 samples of normal shifted by 0.35, manipulated by 15 30 20 10 0 10 20 30 40 Dobozmodell konstrukció a kiugró értékeket tartalmazó eloszlásra: a doboz 95%ban egy normális eloszlásból véletlenszerűen húzott számokból, ezenkívül 2.5%ban a +15 és 2.5%ban -15 értékekből áll. Ha ebből a dobozból veszünk mintát, a fenti hisztogramhoz hasonló eloszlású értékeket kapunk.