Az R&R vizsgálatok tapasztalatai. Minősítése R&R a mindennapokban. Tóth Csaba László fizikus. Tóth László politológus. és benne egy különlegesség

Átírás

1 Az R&R vizsgálatok tapasztalatai és benne egy különlegesség Minősítése R&R a mindennapokban Tóth Csaba László fizikus Tóth László politológus

2 Miért végzünk R&R vizsgálatokat? Szabványkövetelmény A menedzsment mániája Szeretnénk megismerni a folyamatainkat 2

3 Melyik folyamat a jobb? János folyamata Teljes ingadozás (Észlelt ingadozás) Sári folyamata 2 s észlelt (teljes) 3

4 A mérés az adatainkba ingadozást visz be Valódi ingadozás Teljes ingadozás János folyamata 2 s Aktuális 2 s Mérőrendszer + = 2 s Észlelt teljes Sári folyamata Mérés ingadozása 4

5 A mérés eltolhatja a mért értéket Valódi átlag Átl. Észlelt átlag Átl. Átl. A mérés eltolása 5

6 Mi szükséges egy jó R&R vizsgálathoz? Megfelelő szoftver vagy excel tábla Jó mérő emberek és egy mérnök Megfelelő minták (?) Folyamatismerettel rendelkező szakember, aki kellőképpen jártas az MSA tudományában 6

7 Mikor kezdhetünk neki egy R&R vizsgálatnak? Stabilitás Felbontás Eltolódás (kalibráltság) Linearitás 7

8 A modellünk Eltérés a mérési eredményekben Mért termék okozta változás Mérőrendszer okozta változás Ismételhetőség (mérőeszköz) Reprodukálhatóság (operátor-technika) Operátor Operátor - termék kölcsönhatás s 2 total = s 2 termék + s 2 R&R s 2 total = s 2 termék + s 2 ismételhetőség + s 2 reprodukálhatóság s 2 total = s 2 termék + s 2 ism + s 2 operátor +s 2 khatás 8

9 Az operátor-mintadarab kereszthatás Definició: -Az operátorok közti eltérések nem konzisztensek minden darabra. -Az értékelők közötti eltérés attól függ, melyik darabot mérik. Munkadarabok Operátorok Professzor Kigyúrt Kutatóintézet + - Zongora hordár - + Dr. Nagy Attila 9

10 A mérés előkészítése Szükségünk van min két mérő emberre Általában 10 egységet mér Olyan minták használatáról kell gondoskodni, amelyek a teljes, de jellemző folyamatingadozást képviselik. (Ez nem jelenti csak a tűréstartományt, és nem sugallja egy kiveszem, amit akarok mintavételi terv használatát.) 3-3 minta a tűréshatárok közelében, 4 minta a specifikáció középső részéből Mindegyik egységet mindegyik operátor 2-3-szor méri Kritikus a véletlenszerűsítés

11 Terminológia Hozzájárulás-% (%Contribution): Egy összetevő vagy összetevők kombinációja által produkált ingadozás, a teljes észlelt ingadozás százalékában kifejezve. Tűrés-% (% Tolerance): Egy összetevő normális eloszlása 99,73%-ára becsült mérési összetevő által elfogyasztott darab-tűrés százaléka osztva a tűréssel (ismert mint precizitás/tűrés arány (Precision to Tolerance Ratio -P/T Ratio néven is) Diszkriminációs (Discrimination) Index: Az észlelt folyamatingadozás azon tartományainak száma, melyeket a mérőrendszer képes megkülönböztetni

12 A mérőrendszer elfogadhatóságának összegzése Hozzájárulás % Diszkriminációs varianciákra szórásokra index Tűrés % 9% 1% 30% 10% 5 10 X 30% 10% nem függetlenek Mindkét paraméter egyaránt fontos, együttesen figyeljük!

13 Egy R&R vizsgálat eredménye Problémák az ndc számmal ELLENTMONDÁS Feltételes elfogadás Kiváló megfelelés

14 ndc 2 s s 2 R& R % SV % 100 & SV R Part R s s Total 2 %SV ndc %SV ndc Dr. Wheeler (2006): 0,5 282, , , , , , , , , , , , , , , , , , , , , ,60 0 Sajnos, az alapján, amit szerző a gyakorlatban tapasztalt, sem a Discrimination Ratio, sem a Classification Ratio nem alkalmas egyszerű gyakorlati mérőszámnak..egyik sem definiálja a (valódi) megkülönböztethető kategóriák számát.

15 Mérőrendszer "javítás Elkövethetünk-e hibákat az R&R vizsgálatkor? Van egy mérőeszközünk, amely alkalmas 3 különböző méretű krumpli mérésére. Mindegyik méretű krumpliból van db, és van 2 operátorunk is. Mindegyik operátor leméri kétszer a különböző méretű krumplikat. Először a 30-as, utána az 50-es, legvégül a 110-es méretű krumplik mérésére csinálunk GR&R-t. Kérdés: milyen a mérőrendszer?

16 A 30-as méretű krumplik GR&R-ja

17 A 50-es méretű krumplik GR&R-ja

18 A 110-es méretű krumplik GR&R-ja

19 Jó-e a mérőrendszerem? NEM! "Javítsuk" meg a mérőrendszert! Egyesítsük a három mintát!

20 Az összes krumpli GR&R-ja

21 Mi változott meg? Semmi! Tanulság: A mérőrendszer elemzéshez használt minta kiválasztásánál figyelembe kell venni, ha túl nagy a különbség az egyes mintadarabok között, akkor az ugyanazon darab mérései közötti különbséget elmossa a minták mérete közötti különbség!! Volt ugye egy ajánlásunk a 3-3-4!

22 22

23 23

24 Milyen legyen a minta összetétele? Ez függ attól, hogy milyenek a specifikációs határok Egyoldalú határok esetén: Elfogadási tartomány Tűréshatár Elutasítási tartomány 30 % 25 % 25 % 20 % Kétoldalú határok esetén: Elutasítási tartomány TH Elfogadási tartomány Elutasítási tartomány TH 10 % 12,5 % 12,5 % 30 % 12,5 % 12,5 % 10 % 24

25 Biztos, hogy az eszközből jön a változás? Magasságmérés mérőszalaggal Var % Total R&r 1,47 Repeat 1,12 Reprod 0,35 25

26 R&R a mindennapokban Ne feledjük el a követelményeket! Stabilitás (összehasonlíthatóság miatt) Felbontás (differenciált választ tudjunk adni) Eltolódás (nem könnyű eset) Linearitás (a válasz skála lehetőségei) 26

27 Ön hogyan ítéli meg az Etető Kft. Szolgáltatását? Kiváló Elfogadható Elfogadhatatlan 27

28 28

29 29

30 Egy minősítéses adatokra vonatkozó linearitás példa Rögzítve:

31 Lineáris?

32 Ellenőrizze a felbontás és a linearitást! 32

33 33

34 Híres mintavételi hibák 1936: Alf Landon vs F. D. Roosevelt 6 % előnyből 25 % hátrány Literary Digest: 2/10 millió levél gépkocsinyilvántartások, telefonkönyvek George H. Gallup: néhány ezer, szociális momentumok alapján 1948: Thomas Dewey vs Harry Truman Dewey biztos befutó George H. Gallup: néhány ezer, szociális momentumok alapján 1940-es népszámlálás alapján Eredmény: 45,1% vs 49, 6 urbánus (demokrata) népesség megváltozott túlsúlya 34

35 Hogy vezet meg bennünket a média és a közvélemény-kutatók? Szlovák Nemzeti Tanács, 2016 március Probléma: 10 napos közvélemény-kutatási csend kvk1 kvk2 kvk3 exit eredmény kvátlag delta Smer 34,6 38,4 32,5 27,3 28,28 35,17-6,89 0,98 SaS 5,5 5,2 4 13,3 12,1 4,90 7,20-1,20 OL'aNO-NOVA 6,1 6,8 5 11,2 11,02 5,97 5,05-0,18 SNS 8,7 9,1 10,5 8 8,64 9,43-0,79 0,64 Kotleba-L'SNS 2,1 2,5 1,5 6,8 8,04 2,03 6,01 1,24 Sme Rodina 4,2 3,6 4,5 5,9 6,62 4,10 2,52 0,72 Most-Híd 8,2 9,2 7 7,3 6,5 8,13-1,63-0,80 Siet' 14 10,4 14,5 6,7 5,6 12,97-7,37-1,10 KDH 7 6, ,94 7,53-2,59-0,06 SMK-MKP 3, ,6 4,04 4,17-0,13 0,44 SDKÚ-DS 1 1,3 1 0,8 0,26 1,10-0,84-0,54 94,9 97,1 94,5 95,9 96,04 95,5 35

36 Az exit pollnak se hihetünk mindig Románia, elnökválasztás, 2009 december Probléma: az exit pollok csak Románia területén készültek A diaszpóra és a kettős állampolgárok döntöttek! Különbség: 70,048 szavazat, 0,67%!!! A 200,000 moldovai kettős állampolgár 94%-a Basescura szavazott 36

37 Mi a tanulság? A közvélemény-kutatások hasznosak, de tudni kell értelmezni! Nem közvélemény-kutatást kell nyerni, hanem választást! Id.: Kovács László, MSZP elnök, április 7., az urnazárás után Jól mértek, de nem jó következtetéseket vontak le! Gazsó Tibor (Századvég): Utólag vizsgálva, egyértelműen kiderült, hogy jók az adatok A pártválasztásukat eltitkolók is beazonosíthatók 37

38 Hihetünk-e a mandátumbecslésnek? Ismét kétharmadot kapna a Fidesz Honnan tudjuk? Valójában nem tudhatjuk, mert a mandátumok 53%-a egyéni körzetben (SMD) dől el A körzetek egy része erősen megtippelhető (ld. Vörös és Kék államok az Egyesült Államokban) A billegő körzetek dönthetnek jelentős részük háromesélyes A mandátumbecsléseket alapozó közvélemény-kutatások országosan reprezentatívak, ezek alapján lehetetlen a billegő körzetek megtippelése! Ezek a mandátum-becslések szemfényvesztések!!! 38

39 Zárásként egy friss példa: Horvát választások, 2015 november, 2016 szeptember 2015 koal % mandátum DK (HDZ) 33,36 56 HR (SDP) 33,2 56 Most 13,51 19 ZZ 4,24 1 B 365 (k) 3,32 2 IDS (k) 1,83 3 NS-Ref (k) 1,54 1 HDSSB 1,36 2 Σ 140 exit 2015 HR (SDP) 56 DK (HDZ) 57 Most 17 ZZ 3 IDS (k) 3 B 365 (k) 2 HDSSB 2 NS-Ref (k) koal % mandátum HDZ 36,27 59 NK (SDP) 33,82 54 Most 9,91 13 ZZ (k) 6,23 8 B 365 (k) 4,04 2 IDS (k) 2,29 3 PM/ZG (k) 2,06 0 HDSSB (k) 1,25 1 Σ 140 exit 2016 NK (SDP) 57 HDZ 57 Most 12 ZZ (k) 7 IDS (k) 3 B 365 (k) 2 HDSSB 1 PM/ZG (k) 1 Kis pártok mérésének a problémája: A regionális pártot pontosan méri, az országosnál háromszoros eltérés az exit pollnál! Itt sem arról van szó tehát, hogy rosszul mérünk, hanem az interpretációról! 39

40 Köszönöm megtisztelő figyelmüket!