Módszertani dilemmák a statisztikában 40 éve alakult a Jövőkutatási Bizottság

Hasonló dokumentumok
Egy régi probléma újra előtérben: a nullhipotézis szignifikancia-teszt téves gyakorlata

Hipotézis STATISZTIKA. Kétmintás hipotézisek. Munkahipotézis (H a ) Tematika. Tudományos hipotézis. 1. Előadás. Hipotézisvizsgálatok

1. Adatok kiértékelése. 2. A feltételek megvizsgálása. 3. A hipotézis megfogalmazása

Bevezetés a hipotézisvizsgálatokba

Hipotézis vizsgálatok

Az MTA IX. Osztálya Statisztikai és Jövőkutatási Tudományos Bizottságának évi tevékenysége

Matematikai statisztika c. tárgy oktatásának célja és tematikája

Egy régi probléma újra elôtérben: a nullhipotézis szignifikanciateszt téves gyakorlata*

Hipotézis, sejtés STATISZTIKA. Kétmintás hipotézisek. Tudományos hipotézis. Munkahipotézis (H a ) Nullhipotézis (H 0 ) 11. Előadás

STATISZTIKA. Egymintás u-próba. H 0 : Kefir zsírtartalma 3% Próbafüggvény, alfa=0,05. Egymintás u-próba vagy z-próba

[Biomatematika 2] Orvosi biometria

Statisztika I. 9. előadás. Előadó: Dr. Ertsey Imre

STATISZTIKA. A maradék független a kezelés és blokk hatástól. Maradékok leíró statisztikája. 4. A modell érvényességének ellenőrzése

y ij = µ + α i + e ij

Oktatói önéletrajz. Dr. Síklaki István. Karrier. egyetemi docens

Gyakorlat 8 1xANOVA. Dr. Nyéki Lajos 2016

A statisztika oktatásának átalakulása a felsőoktatásban

TARTALOMJEGYZÉK. 1. téma Átlagbecslés (Barna Katalin) téma Hipotézisvizsgálatok (Nagy Mónika Zita)... 23

A mintavétel szakszerűtlenségeinek hatása a monitoring-statisztikákra

Hipotézis vizsgálatok

Egy régi probléma újra előtérben: a nullhipotézis szignifikancia-teszt téves gyakorlata 1

Hipotéziselmélet - paraméteres próbák. eloszlások. Matematikai statisztika Gazdaságinformatikus MSc szeptember 10. 1/58

Statisztika Elıadások letölthetık a címrıl

A Statisztika alapjai

[Biomatematika 2] Orvosi biometria. Visegrády Balázs

A pedagógiai szaksajtó, mint közéleti és tudományos fórum ( )

Adatok statisztikai értékelésének főbb lehetőségei

Statisztika. Politológus képzés. Daróczi Gergely április 17. Politológia Tanszék

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

90 Éves az MST. Kilencven éves a Statisztikai Szemle

STATISZTIKA. András hármas. Éva ötös. Nóri négyes. 5 4,5 4 3,5 3 2,5 2 1,5 ANNA BÉLA CILI 0,5 MAGY. MAT. TÖRT. KÉM.

GVMST22GNC Statisztika II. Keleti Károly Gazdasági Kar Vállalkozásmenedzsment Intézet

egyetemi jegyzet Meskó Balázs

az Általános Vállalkozási Főiskola tanszékvezető tanára, 2009 és 2010 között a KSH elnöke a Káldor díj és a Fényes Elek díj tulajdonosa

Hitelintézeti Szemle Lektori útmutató

Matematikai alapok és valószínőségszámítás. Statisztikai becslés Statisztikák eloszlása

Kiváltott agyi jelek informatikai feldolgozása Statisztika - Gyakorlat Kiss Gábor IB.157.

Publikációs stratégia, tudománymetria, open access, szakirodalmi adatbázisok április 11.

biometria II. foglalkozás előadó: Prof. Dr. Rajkó Róbert Matematikai-statisztikai adatfeldolgozás

Félidőben félsiker Részleges eredmények a kutatásalapú kémiatanulás terén

A TANTÁRGY ADATLAPJA

Kettőnél több csoport vizsgálata. Makara B. Gábor MTA Kísérleti Orvostudományi Kutatóintézet

BIOMETRIA (H 0 ) 5. Előad. zisvizsgálatok. Hipotézisvizsg. Nullhipotézis

Kutatásmódszertan és prezentációkészítés

Statisztikai alapismeretek (folytatás) 4. elıadás (7-8. lecke) Becslések, Hipotézis vizsgálat

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

Valószín ségszámítás és statisztika Gyakorlat (Kétmintás próbák)

SZAK MA AKTUALITÁSOK, KÖZÉLET, VITA SZAK-MA. Beszámoló a Módszeresen című rendezvénysorozatról. Bevezető

Horváth Krisztina Pécsi Tudományegyetem Közgazdaságtudományi Kar Regionális Politika és Gazdaságtan Doktori Iskola, III. évfolyam

Biomatematika 15. Szent István Egyetem Állatorvos-tudományi Kar. Fodor János

Zempléni gyümölcsalapú kézműves élelmiszerek fogyasztói magtartásának vizsgálata a nők körében

FIT-jelentés :: Weöres Sándor Általános Iskola, Gimnázium és Szakközépiskola - Gimnáziumtagintézmény. Telephelyi jelentés

Kabos: Statisztika II. t-próba 9.1. Ha ismert a doboz szórása de nem ismerjük a

JA45 Cserkeszőlői Petőfi Sándor Általános Iskola (OM: ) 5465 Cserkeszőlő, Ady Endre utca 1.

FIT-jelentés :: Hunyadi János Gimnázium és Szakközépiskola 9300 Csorna, Soproni út 97. OM azonosító: Telephely kódja: 001

A TANTÁRGY ADATLAPJA

A társadalomkutatás módszerei I.

Biostatisztika VIII. Mátyus László. 19 October

FIT-jelentés :: Árpád-házi Szent Erzsébet Középiskola 2500 Esztergom, Mindszenty tér 7. OM azonosító: Telephely kódja: 001

Biostatisztika Összefoglalás

Statisztika elméleti összefoglaló

Biostatisztika Összefoglalás

Az MTA IX. Osztálya Statisztikai ás Jövőkutatási Tudományos/Állandó Bizottságának évi tevékenysége

Statisztikai módszerek 7. gyakorlat

K oz ep ert ek es variancia azonoss ag anak pr ob ai: t-pr oba, F -pr oba m arcius 21.

A konfidencia intervallum képlete: x± t( α /2, df )

Kutatásmódszertan és prezentációkészítés

FIT-jelentés :: Telephelyi jelentés. 6. évfolyam :: Általános iskola

Könyvvizsgálói jelentés

Kettőnél több csoport vizsgálata. Makara B. Gábor

KÖVETKEZTETŐ STATISZTIKA

A biostatisztika alapfogalmai, hipotézisvizsgálatok. Dr. Boda Krisztina Boda PhD SZTE ÁOK Orvosi Informatikai Intézet

Az értékelés során következtetést fogalmazhatunk meg a

Kísérlettervezés alapfogalmak

y ij = µ + α i + e ij STATISZTIKA Sir Ronald Aylmer Fisher Példa Elmélet A variancia-analízis alkalmazásának feltételei Lineáris modell

Ribarics Ildikó PTE Klinikai Központ Ápolásszakmai Igazgatóság

Statisztikai alapfogalmak a klinikai kutatásban. Molnár Zsolt PTE, AITI

Biomatematika 13. Varianciaanaĺızis (ANOVA)

Az éghajlati modellek eredményeinek alkalmazhatósága hatásvizsgálatokban

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

Klinikai és Bírósági Alkalmazások Valószínűségszámítási Modellek BREUER-LÁBADY PÉTER

Hol terem a magyar statisztikus?

FIT-jelentés :: Vörösmarty Mihály Gimnázium 2030 Érd, Széchenyi tér 1. OM azonosító: Telephely kódja: 001. Telephelyi jelentés

Anyagvizsgálati módszerek Mérési adatok feldolgozása. Anyagvizsgálati módszerek

Intézményi jelentés. 6. évfolyam

Holl András - MTAK, MTA CsFK CsI Bilicsi Erika, MTMT. REAL adminisztrátor képzés 2012 november 27. / december 4.

Intézményi jelentés. 6. évfolyam

FIT-jelentés :: Német Nemzetiségi Gimnázium és Kollégium 1203 Budapest, Serény utca 1. OM azonosító: Intézményi jelentés.

A kutatási eredmények nyilvánossá tétele

FIT-jelentés :: Bányai Júlia Gimnázium 6000 Kecskemét, Nyíri út 11. OM azonosító: Telephely kódja: 001. Telephelyi jelentés

1/8. Iskolai jelentés. 10.évfolyam matematika

Matematikai alapok és valószínőségszámítás. Középértékek és szóródási mutatók

ALÁÍRÁS NÉLKÜL A TESZT ÉRVÉNYTELEN!

FIT-jelentés :: Árpád-házi Szent Erzsébet Középiskola 2500 Esztergom, Mindszenty tér 7. OM azonosító: Telephely kódja: 001

3. A mintavételi kockázat elfogadható szintjének meghatározása (pl. 5 vagy 10%)

Módszertani Intézeti Tanszéki Osztály. A megoldás részletes mellékszámítások hiányában nem értékelhető!

STATISZTIKA ELŐADÁS ÁTTEKINTÉSE. Matematikai statisztika. Mi a modell? Binomiális eloszlás sűrűségfüggvény. Binomiális eloszlás

STATISZTIKA I. Tantárgykódok. Oktatók. Időbeosztás. Tematika Előadás Bevezetés, a statisztika szerepe

I. Általános információk az előadásokról, szemináriumokról, szak- vagy laborgyakorlatokról

Kiválasztás. A változó szerint. Rangok. Nem-paraméteres eljárások. Rang: Egy valamilyen szabály szerint felállított sorban elfoglalt hely.

Átírás:

Módszertani dilemmák a statisztikában 40 éve alakult a Jövőkutatási Bizottság SZIGNIFIKANCIA Sándorné Kriszt Éva Az MTA IX. Osztály Statisztikai és Jövőkutatási Tudományos Bizottságának tudományos ülése MTA Székház, Budapest, 2016. november 18.

Miről lesz szó? Bevezetés A szignifikancia-teszt problémája A problémák okai és története Ajánlások Viták - Vélemények Összegzés 2016. 11. 19. 2

Bevezetés I. Egy régi probléma újra előtérben Időszerűsége: Basic and Applied Social Psychology folyóirat, szerkesztőségi állásfoglalás, 2015 Lényege: NHTSzTE (nullhipotézis szignifikancia teszt eljárásának betiltása, 2014 és 2015 közötti türelmi idő után Forrás: BASP, szerkesztői bevezető, 2015. február 2016. 11. 19. 3

Bevezetés II. Szakmai közvélemény értesülése Egy régi probléma újra előtérben: a nullhipotézis szignifikanciateszt téves gyakorlata c. tanulmány Szerzők: Bárdics Anna, egyetemi hallgató, ELTE Németh Renáta, egyetemi docens, ELTE Terplán Győző, egyetemi hallgató, ELTE Statisztikai Szemle, 94. évf. 1. szám 2016. év január 2016. 11. 19. 4

Bevezetés III. Szakmai vita: Száműzött szignifikanciatesztek c. tanulmány Szerzők: Hunyadi László, egyetemi tanár, BCE Vita László, egyetemi tanár, BCE Szignifikanciatesztek negyven éve hibás elemzéseket végzek és téveszméket tanítok? Szerző: Vargha András, egyetemi tanár, KGE, ELTE Statisztikai Szemle, 94. évfolyam 4. szám, 2016. április 2016. 11. 19. 5

A szignifikancia-teszt problémája I. Nézzünk egy tesztelést! Vizsgáljuk egy húsz elemű kísérleti és egy húsz elemű kontrollcsoportokban az átlagok egyenlőségére vonatkozó nullhipotézist, kétmintás t-próbával! A t-próba statisztikai eredménye t=2,7, az empirikus szignifikancia p=0,01. Forrás: Bárdits-Németh-Terplán: Egy régi probléma újra előtérben. Stat. Szemle, 94. évf. 1. szám 53. old. 2016. 11. 19. 6

A szignifikancia-teszt problémája II. Melyik állítás igaz? A nullhipotézist maradéktalanul cáfoltuk. Megtaláltuk annak valószínűségét, hogy a nullhipotézis igaz. A kísérleti hipotézist maradéktalanul cáfoltuk. 2016. 11. 19. 7 Forrás: Bárdits-Németh-Terplán: Egy régi probléma újra előtérben. Stat. Szemle, 94. évf. 1. szám 53. old.

A szignifikancia-teszt problémája III. Melyik állítás igaz? Az eredmények alapján ki tudjuk számolni annak a valószínűségét, hogy a kísérleti hipotézis igaz. Ha elutasítjuk a nullhipotézist ismerjük a valószínűségét annak, hogy rossz döntést hoztunk. 2016. 11. 19. 8 Forrás: Bárdits-Németh-Terplán: Egy régi probléma újra előtérben. Stat. Szemle, 94. évf. 1. szám 53. old.

A szignifikancia-teszt problémája IV. Melyik állítás igaz? Megbízható kísérleti eredményünk van abban az értelemben, hogy ha sokszor megismételnénk a kísérletet, az esetek 99 százalékában szignifikáns eredményt kapnánk. Válaszok, tévedések. Forrás: Bárdits-Németh-Terplán: Egy régi probléma újra előtérben. Stat. Szemle, 94. évf. 1. szám 53. old. 2016. 11. 19. 9

A szignifikancia-teszt problémája V. Tudományos problémák matematikai hibák a tesztek erejének figyelmen kívül hagyása a szignifikanciteszt használata kifejezetten nagy mintáknál a p-érték azonosítása a nullhipotézis valószínűségével ragaszkodás az öt százalékos küszöbhöz a teszt feltételeinek figyelmen kívül hagyása 2016. 11. 19. 10

A szignifikancia-teszt problémája IV. Tudományos problémák Interpretációs hibák a szubsztantív szakmai fontosság összetévesztése a statisztikai szignifinankiával A p-érték, mint egyetlen mutató azonosítása a hipotézissel kapcsolatos bizonyítékkal A hatásnagyság vizsgálatának elmaradása, dichotóm döntés p 5% alapján Tudományszociológiai háttetű problémák is lehetnek, pl. szignifinakciavadászat. 2016. 11. 19. 11

A problémák okai és története Lehetséges okok: oktatási gyakorlat szoftverek hibája hiányos módszertani felkészültsége a felhasználóknál leegyszerűsítés vágya (fekete/fehér) tudományszociológiai okok Történeti áttekintés 1988-2016 2016. 11. 19. 12

Ajánlások Szerkesztőségek javaslata a p-érték helyett leíró statisztikák, pontbecslés és megbízhatósági intervallum, stb. Amerikai Statisztikai Szövetség állásfoglalása szerint; a tudományos közösségnek szélesebb vitát kell folytatnia a statisztikai következtetési eljárásokról 2016. 11. 19. 13

Viták Vélemények I. Hunyadi-Vita: Száműzött szignifikanciatesztek Statisztikai Szemle, 94. évfolyam 4. szám Kerülendő a szakmai és a statisztikai szignifikancia szembeállítása...a modellek arra valók, hogy használjuk őket, nem pedig arra, hogy higgyünk bennünk. (Henri Theil) A próbák ereje, erőfüggvény, erőfüggvényértékelés nem várható el a felhasználóktól. A minta jelentősége. 2016. 11. 19. 14

Viták Vélemények II. Hunyadi-Vita: Száműzött szignifkanciatesztek Statisztikai Szemle, 94. évfolyam 4. szám Javaslatok A publikációs kényszer csökkentése a felsőoktatásban Lektorálási munka fejlesztése Statisztikai módszertan széleskörű oktatása Szoftverek fejlesztése (Pl. R-nyelv alkalmazása fejlesztésekben és kutatói együttműködésekben.) 2016. 11. 19. 15

2016. 11. 19. 16 Viták Vélemények III. Statisztikai Tudományos Albizottság ülése 2016. június 16-án. felkért hozzászólók: Singer Júlia (Klinikai Biostatisztikai Társaság): nem a betiltás a megoldás a kutatásokat meg kell tervezni módszertanilag is Vargha András: mit tanítunk?, hogyan tanítunk? a felsőoktatásban a statisztika oktatásának lehetőségei és hiányosságai Hunyadi László: klasszikus módszertan, átvett alkalmazások a következtető statisztika lényegét nem értik

Viták Vélemények IV. További észrevételek: meddig tart a statisztikus, honnan kezdődik a felhasználó? széles körben kellene lefolytatni a vitát oktassunk kevesebbet, de azt mélyebben állásfoglalásunk a cikkek olvasóihoz is szóljon a statisztikus közösségnek jobban kellen menedzselnie magát állásfoglalás készült 2016. 11. 19. 17

Állásfoglalás: Összegzés I. Tudományos cikkek, eredmények közlésekor kívánatos az empíria alkalmazása. Minták alkalmazásakor nem elegendő csupán a leíró statisztikák közlése. A tesztek alkalmazási feltételeinek teljesülése megkövetelendő.

Állásfoglalás: Összegzés II. Pusztán csak a p-értékek alapján történő merev küszöbértékek alapján a döntéshozatal nem elfogadható, az eredmények gazdagabb (például konfidencia-intervallumok, hatásnagyság vizsgálatok) bemutatása szükséges. A kutatóktól elvárt, hogy a minták tervezésekor a próbák erejére is fordítsanak figyelmet. A folyóiratokban megjelenő cikkek esetében szerkesztői és lektori felelősség, hogy a cikkben mi jelenik meg.

Célul tűztük ki: Összegzés III. A szignifikancia-teszt problémájának bemutatását Az okok feltárását, bemutatását A vélemények összefoglalását A folyamat ismertetését Az ajánlás közzétételét Eddig jutottunk, de nincs vége!

Összegzés IV. Folytassuk tovább, együtt!!

Köszönöm megtisztelő figyelmüket! kriszt.eva@uni-bge.hu 2016. 11. 19. 22