Kísérlettervezés alapfogalmak Rendszermodellezés Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék
Kísérlettervezés Cél: a modell paraméterezése a valóság alapján o Vagy absztrakt modell a konkrét modell alapján Információt kísérletek révén szerzünk o Pontosan mit szeretnénk tudni? o Ehhez milyen megfigyelést, hányszor kell elvégezni? o A kapott eredményekből mire lehet következtetni? (statisztikai) kísérlettervezés (Design of Experiment, DOE) o hatékony eljárás a kísérletek tervezésére és elemzésére o valós és objektív konklúziók levonásához Kísérletterv: még a kísérlet elvégzése előtt 2
Mire jó? Kísérlettervezés o Alternatívák közötti választás o Érzékeny paraméterek, kulcsfaktorok o Megfelelő célérték, változékonyság csökkentése o Robosztussá tétel Fontos: o Világos cél, egyértelmű eredmények o Kis méret, alacsony költség o Valós viszonyok 3
Számszerű jellemzők mérése Mérjük meg egy jellemző értékét! (1..5) 1 megfigyelés 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00 Mi van, ha az érték nem állandó? Véletlenszerű változás végezzünk több megfigyelést! 1 2 3 4 5 Mért érték: 4 4
Számszerű jellemzők mérése Mérjük meg egy jellemző értékét! (1..5) 5 megfigyelés 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00 1 2 3 4 5 Számított átlag: 3,6 5
Számszerű jellemzők mérése Mérjük meg egy jellemző értékét! (1..5) 10 megfigyelés 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00 1 2 3 4 5 Számított átlag: 3,3 6
Számszerű jellemzők mérése Mérjük meg egy jellemző értékét! (1..5) 15 megfigyelés 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00 1 2 3 4 5 Számított átlag: 3,4 7
Számszerű jellemzők mérése Mérjük meg egy jellemző értékét! (1..5) 30 megfigyelés 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00 Most már gyanúsan ismétlődik A várható érték alighanem 3,3 és 3,4 közötti 1 2 3 4 5 Számított átlag: 3,3 8
Számszerű jellemzők mérése Mérjük meg egy jellemző értékét! (1..5) 50 megfigyelés 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00 1 2 3 4 5 Számított átlag: 3,12 9
Számszerű jellemzők mérése Mérjük meg egy jellemző értékét! (1..5) 100 megfigyelés 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00 A tényleges várható érték 2,86 lenne 1 2 3 4 5 Számított átlag: 2,88 10
Ismétlés: tapasztalati átlag, szórás Valószínűségi változó: X (vizsgálandó jelenség) o Várható érték: m = E(X) (átlagos viselkedés) o Szórás: d = E X m 2 (eltérések mértéke) Mintavétel: x 1, x 2, x t (mérések, megfigyelések) o Tapasztalati átlag: x = x 1 + x 2 + +x t t o Szórásra NEM JÓ: x 1 x 2+ x 2 x 2+ x t x 2 t o Korrigált tapasztalati szórás: x 1 x 2+ x 2 x 2+ x t x 2 t 1 11
Ismétlés: tapasztalati átlag, szórás Görgetett átlagszámítás o Tapasztalati átlag t megfigyelésből: x t = x 1 + x 2 + +x t t o Tapasztalati átlag t+1 megfigyelésből, x t alapján: x t+1 = x 1 + x 2 + +x t +x t+1 t+1 t x t+1 1 + x 2 + +x t t Probléma + x t+1 t+1 = = x 1 + x 2 + +x t t+1 t x t+1 t + x t+1 t+1 o Tapasztalati átlag várható érték Tapasztalati szórás szórás + x t+1 t+1 = egy számot elég megjegyezni o Mintavétel eredménye x i valószínűségi változó a tapasztalati átlag is valószínűségi változó lesz! 12
Becslés tapasztalati átlaggal Módszer: számtani átlag képzése o Ismételt megfigyelések o Egymástól függetlenül o Azonos feltételek mellett Kérdések o Hány megfigyelést kell végezni? o A tapasztalati átlag mennyire jellemzi a valódi várható értéket? Először tisztázandó: o Tapasztalati átlag mint valószínűségi változó eloszlása 13
Tapasztalati átlag eloszlása Kísérlet = megfigyelések sorozata Megfigyelések sorozatának tapasztalati átlaga: o Egy jellemzőt t db. független megfigyeléssel mérve, Ökölszabály: ismert szórásnál t>30, o majd a mért értékeket átlagolva kapott eredmény Centrális ismeretlen határeloszlás szórásnál t>100 tételéből következik: után kezd elfogadható lenni a közelítés o Tetszőleges eloszlású X jellemző o (de legyen véges m várható értékű és d szórású) o tapasztalati átlaga t esetén közelítőleg o normális eloszlású, o μ = m várható értékkel és σ = d szórással t 14
A normális (Gauss) eloszlás Valószínűségsűrűség-függvénye: (nem kérdezzük) 1 x μ 2 f x = σ 2π e 2σ 2 Paraméterek o Várható értéke μ m a mi esetünkben o Szórása σ d t esetünkben 15
A normális (Gauss) eloszlás A várható érték körül koncentrálódik A magyarázó ábrát Petter Strandmark tette közzé Creative Commons Attribution 2.5 Generic licenc alatt A normális eloszlású változó o az esetek 68%-ában legfeljebb 1σ messze kerül μ-től o az esetek 95%-ában legfeljebb 2σ messze kerül μ-től o az esetek 99,7%-ában legfeljebb 3σ messze kerül μ-től o... 16
Konfidenciaintervallumok Ha tehát a tetszőleges eloszlású, d szórású vizsgált jellemzőről t db. (>30) megfigyelést végzünk A tapasztalati átlagáról o 68% biztonsággal kijelenthető, hogy legfeljebb d Konfidenciaintervallum Konfidenciaszint pontatlansággal becsli m értékét o 95% biztonsággal 2d o 99.7% biztonsággal 3d t t sugara (félszélessége) sugarú intervallumba esik t sugarú intervallumba esik És t növelésével gyökösen szűkül az intervallum 17
Megfigyelésszám növelése 18
Kísérlettervezés példa A várható értékre 30 megfigyelés Cél o Tapasztalati átlag: 2,3 s (jó-e ez? kell még mérni?) o Tapasztalati szórás: d = 1,1 s o 99.7%-os konfidenciaintervallum 0,6 s széles legyen Kísérlettervezés o Elvárt sugár (félszélesség) = 3σ = 3d < 0,3 s t (ez a σ az átlag szórása, nem az eredeti mért jellemzőé!) o Ezért t = 121 megfigyelés kell legalább 19
Kísérlettervezés példa tapasztalati átlag eloszlása t=1 megfigyelésnél (közelítés Gauss-eloszlással) tapasztalati átlag eloszlása t=121 megfigyelésnél (közelítés Gauss-eloszlással) 20
Kísérlettervezés példa A várható értékre 30 megfigyelés Cél o Tapasztalati átlag: 2,3 s (jó-e ez? kell még mérni?) o Tapasztalati szórás: d = 1,1 s o 99.7%-os konfidenciaintervallum 0,6 s széles legyen Kísérlettervezés o Elvárt sugár (félszélesség) = 3σ = 3d < 0,3 s t (ez a σ az átlag szórása, nem az eredeti mért jellemzőé!) o Ezért t = 121 megfigyelés kell legalább Hol a csalás? 21
Korrekció Többnyire a tényleges eloszlás paraméterei a priori ismeretlenek (különben minek mérnénk?) Így nem használható fel a tényleges d szórás Csak a tapasztalati szórás használható Gauss/normális helyett Student t-eloszlás o (más konfidenciaintervallumok) t esetén Student normális Ökölszabály: t>100 esetén használható a Gauss 22
Statisztikai próbák (ízelítő) Hipotézisek o Nullhipotézis: a világ X módon működik o Alternatív hipotézis: a világ nem X módon működik Kísérlet eredménye: Z Pl. o Ha X és az Y eltérés jellemző X-től független nem valószínűségi írható a véletlen változók; számlájára, akkor szignifikáns az eredmény vagy a vállalt SLA be van tartva p-próba (leegyszerűsítve) o p = Pr{X esetén a kísérletnek Z lesz az eredménye} o Ha p << 1, akkor a nullhipotézist cáfoltuk A nullhipotézis sosem igazolható o Vagy szignifikánsan cáfoltuk, vagy nem 23
A/B próba Statisztikai próbák (ízelítő) o A honlapterv esetén 300 mért látogatóból 4 vásárolt o B honlapterv esetén 50 mért látogatóból 2 vásárolt o Mondhatjuk-e, hogy az B jobb az A -nál? Szignifikancia: p=25% több mérés kell még (itt most a magasabb p érték jelzi a szignifikánsabb eredményt) http://web-tracking-guide.com/statistical-significance-calculator.html 24