MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATA

Átírás

1 MŐEGYETEM 178 MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATA DKTRI ÉRTEKEZÉS KÉSZÍTETTE: VÁGÓ EMESE TÉMAVEZETİ: DR. KEMÉNY SÁNDR BME, Vegyészmérnök és Bomérnök Kar, Kéma és Környezet Folyamatmérnök Tanszék Budapest 011

2

3 Köszönetnylvánítás Doktor képzésem során sok bátorítást és segítséget kaptam. Elsısorban Dr. Kemény Sándornak, témavezetımnek szeretném megköszönn gondos szakma vezetését és türelmét. Bármkor fordulhattam hozzá kérdésemmel. Önzetlen segítıkészsége és odafgyelése szakmalag és emebrleg s nagyon sokat adott nekem az elmúlt években. Köszönöm a tanszéken dolgozó kollégák segítségét. Külön szeretném kemeln Dr. Deák András szakma támogatását. Hálásan köszönöm dsszertácóm elıopponensenek, Dr. Reczgel Jenınek és Dr. Veress Gábornak dolgozatom alapos bírálatát. Javaslatak, észrevételek sokat segítettek abban, hogy dsszertácóm átteknthetıbb, pontosabb legyen. Különbözı szakma fórumokon hasznos tanácsokat, ötleteket kaptam a kutatómunkámmal kapcsolatban. Ezek közül szeretném kemeln Dr. Héberger Károly és Dr. Rajkó Róbert valamnt a Klnka Bostatsztka Társaság tagjanak segítségét. Köszönöm szülemnek és testvéremnek, hogy végtelen türelmükkel és szeretetükkel támogattak munkámban. 3

4 4

5 TARTALMJEGYZÉK JELÖLÉSEK JEGYZÉKE 9 1 BEVEZETÉS 11 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI 15.1 KERESZTSZTÁLYZÁSS MÓDSZER KAPPA-MÓDSZER LESZÁMLÁLÁSI MUTATÓK 19. A SZÜRKE ZÓNA SZÉLESSÉGÉNEK JELLEMZÉSE (SIGNAL DETECTIN APPRACH) 3.3 ANALITIKUS MÓDSZER 4 3 AZ AIAG-MÓDSZER KRITIKÁJA CHEN-KAPPA A KAPPA ISMÉTLÉSEK MIATTI HELYTELEN HASZNÁLATA A KAPPA MÓDSZER GYENGESÉGE ISMÉTLÉS NÉLKÜLI ESETBEN 9 3. DÖNTÉSI KATEGÓRIÁK INDKLATLAN ÖSSZEVNÁSA KNFIDENCIA-INTERVALLUM A LESZÁMLÁLÁSS MÓDSZERREL KAPTT MUTATÓKRA A BAYES-TÉTEL HELYTELEN HASZNÁLATA 3 4 IRDALMI JAVASLATK A MINİSÍTÉSES MÉRİRENDSZEREK ELEMZÉSÉRE KAPPA ALTERNATÍVÁI 35 A FEJEZETBEN BEMUTATTAM, HGY KAPPA ISMÉTELT MÉRÉSEK ESETÉN NEM ALKALMAZHATÓ, EZÉRT ITT CSAK AZ ISMÉTLÉS NÉLKÜLI ESETEKKEL FGLALKZM MÓDSÍTTT KAPPA KAPPA MUTATÓ KETTİNÉL TÖBB PERÁTR EGYÜTTES VIZSGÁLATÁRA KAPPA MUTATÓ KETTİNÉL TÖBB DÖNTÉSI KATEGÓRIÁRA AZ PERÁTRK EGYEZİSÉGÉNEK EGYÉB VIZSGÁLATI LEHETİSÉGEI AZ IRDALMI JAVASLATK ÁTTEKINTÉSE A MÉRÉSES MÉRİESZKÖZÖKNÉL HASZNÁLT FGALMAK ÉRTELMEZÉSE MINİSÍTÉSES MÉRİRENDSZEREKRE 43 5 A LGIT-MDELL LGISZTIKUS REGRESSZIÓ ISMÉTELT MÉRÉSEK ESETÉN LGISZTIKUS REGRESSZIÓ ISMÉTLÉS NÉLKÜLI MÉRÉSEKRE RIDGE REGRESSZIÓ A RIDGE MÓDSZER ALKALMAZÁSA LGIT-MDELLRE 5 5

6 6 A MÉRİESZKÖZ-KÉPESSÉG-GÖRBE MATEMATIKAI MDELLJE ÉS ALKALMAZÁSA MINİSÍTÉSES MÉRİRENDSZER ELEMZÉSÉRE A MÉRİESZKÖZ-KÉPESSÉG-GÖRBE MATEMATIKAI MDELLJE ÉS PARAMÉTEREI A LGIT-MDELL ALKALMAZÁSA A MÉRİESZKÖZ-KÉPESSÉG-GÖRBE LEÍRÁSÁRA A MÉRİESZKÖZ-KÉPESSÉG-GÖRBE MATEMATIKAI MDELLJÉNEK ALTERNATÍV FRMÁJA A LGIT-MDELL PARAMÉTEREINEK ÉRTELMEZÉSE (1. PÉLDA) A HIBÁS DÖNTÉS VALÓSZÍNŐSÉGE A HIBÁS DÖNTÉS VALÓSZÍNŐSÉGÉNEK SZÁMLÁSA A LGIT-MDELL SEGÍTSÉGÉVEL (1. PÉLDA FLYTATÁSA) 64 7 A HIBÁS DÖNTÉS VALÓSZÍNŐSÉGÉNEK BECSLÉSE A HIBÁS DÖNTÉS VALÓSZÍNŐSÉGÉNEK BECSLÉSI MÓDJAI GPC-ALAPÚ BECSLÉS AIAG-TÍPUSÚ BECSLÉS A BECSLÉSEK HIBÁJA A Pˆ( jó eu ) ÉS Pˆ( r elf ) FELTÉTELES VALÓSZÍNŐSÉGEK HIBÁJA GPC-ALAPÚ BECSLÉS ESETÉN 67 Az eloszlásparaméterek becslésébıl eredı bzonytalanság (a GPC-paraméterek állandók) 68 A GPC becslésébıl eredı bzonytalanság (az eloszlás paramétere állandók) A Pˆ( jó eu ) ÉS Pˆ( r elf ) HIBÁJA AIAG-TÍPUSÚ BECSLÉS ESETÉN A Pˆ( jó eu ) ÉS Pˆ( r elf ) HIBÁJÁNAK SZÁMSZERŐ VIZSGÁLATA GPC-ALAPÚ ÉS AIAG- TÍPUSÚ BECSLÉS ESETÉN (. PÉLDA) AZ MSE Pˆ( jó eu ) ÉS MSE Pˆ( r elf ) GPC-ALAPÚ BECSLÉS ESETÉN Az eloszlás-paraméterek becslésébıl eredı hba (a GPC-paraméterek állandók) A GPC-paraméterek becslésébıl eredı hba (az eloszlás-paraméterek állandók) MSE Pˆ( jó eu ) és P ˆ( ) a GPC- és az eloszlás-paraméterek bzonytalanságának együttes fgyelembevételével AZ MSE Pˆ( jó eu ) ÉS MSE Pˆ( r elf ) AIAG-TÍPUSÚ BECSLÉS ESETÉN AZ MSE Pˆ( jó eu ) ÉS P ˆ( ) ÖSSZEHASNLÍTÁSA GPC-ALAPÚ ÉS AIAG- TÍPUSÚ BECSLÉSNÉL A BAYES-TÉTEL HELYTELEN ALKALMAZÁSÁNAK KÖVETKEZMÉNYEI (3. PÉLDA) A RIDGE-MÓDSZER ALKALMAZÁSA A MÉRİESZKÖZ-KÉPESSÉG-GÖRBE BECSLÉSÉRE A MÉRİESZKÖZ-KÉPESSÉG-GÖRBE PARAMÉTEREINEK BECSLÉSE RIDGE-MÓDSZERREL (4. PÉLDA) 85 8 A MÉRİESZKÖZ-KÉPESSÉG-GÖRBE VÉLETLEN FAKTRS MEGKÖZELÍTÉSE A MÉRET MINT VÉLETLEN FAKTR AZ PERÁTR MINT VÉLETLEN FAKTR VÉLETLEN TENGELYMETSZET VÉLETLEN TENGELYMETSZET ÉS MEREDEKSÉG A P( jó eu ) ÉS P( r elf ) VÁRHATÓ ÉRTÉKÉNEK ÉS VARIANCIÁJÁNAK BECSLÉSE VÉLETLEN TENGELYMETSZET A becslés módszerek bemutatása (5a. példa) A becslés módszerek tulajdonsága (5b. példa) 98 6

7 A becslés módszerek hbája különbözı operátor-varancánál (5c. példa) A becslés hbák alakulásának magyarázata az 5c példában VÉLETLEN TENGELYMETSZET ÉS MEREDEKSÉG A becslés módszerek bemutatása (6a. példa) A becslés módszerek tulajdonsága (6b. példa) A becslés módszerek hbája (6c. példa) A VEGYES MDELL ALKALMAZÁSÁNAK EREDMÉNYEI 11 9 VERDISPERSIN (TÚLSZÓRÓDÁS) VERDISZPERZIÓ BINMIÁLIS ELSZLÁSNÁL VERDISZPERZIÓ MULTINMIÁLIS ELSZLÁSNÁL ÖSSZEFGLALÁS ÉS TÉZISPNTK A TÉMAKÖRBEN MEGJELENT SAJÁT PUBLIKÁCIÓK 16 1 IRDALMJEGYZÉK 18 7

8 8

9 JELÖLÉSEK JEGYZÉKE JELÖLÉSEK JEGYZÉKE Indexek e k függetlenség feltételezésével becsült érték darabok sorszáma A, B, C különbözı operátorok ndexe l smétlés sorszáma + az adott ndex szernt összegzést jelöl keresztosztályozásos táblázatoknál ^ Jelölések α P azt jelöl, hogy nem a tényleges, hanem a becsült érték szerepel a képletben GPC-paraméter, a lnearzált modell tengelymetszete GPC-paraméter, a lnearzált modell meredeksége, darab hatása GPC-paraméter, -edk operator hatása T P { * P,, * P α 1,.., m 1, γ1,.., γ m 1 } a GPC paraméterenek vektora j ε a GPC-paraméter vektor j-edk eleme véletlen hbák vektora γ GPC-paraméter, operátor-darab kölcsönhatás az -edk operátornál κ λ j λ * P Cohen-kappa T X X mátrx j-edk sajátértéke Posson paraméter µ skeres kmenetel (pl. fej dobás) valószínősége eu elf f(x) GPC GPC(x) elutasítás elfogadás a darabok referenca-értékének sőrőségfüggvénye (a folyamat eloszlása) mérıeszköz-képesség-görbe (az angol Gauge Performance Curve kfejezésbıl származó mozakszó) x referenca-értékő darab elfogadás valószínősége GZ ε, ε és 1-ε elfogadás valószínőségő darabok referenca-értéke közt távolság az - L(, X ) edk operátornál lkelhood függvény 9

10 JELÖLÉSEK JEGYZÉKE m MSE N N 1 N N1,..,N4 n n j p P1,..,P4 p l p(x) r SH W x operátorok száma közepes négyzetes hba mnısítések összes száma 1. mnta elemszáma. mnta elemszáma a 10. táblázat 1..4 kategórájában az elıfordulások száma darabonként smételt mnısítések száma, 9. fejezetben: kísérletek száma azon párosítások száma, ahol az egyk operátor y= (=0/1) mnısítést, a másk operátor pedg y=j (j=0/1) mnısítést adott a munkadarabnak. Nem csak operátoroperátor, hanem operátor referenca-döntés összehasonításánál s használt jelölés (3. táblázat). egy darab elfogadás valószínősége; keresztosztályozásos táblázatoknál: relatív elıfordulás gyakorság a leszámlálás eredményeket tartalmazó keresztosztályozásos táblázat fıátlóbel cellában a 10. táblázat 1..4 kategórájába esés valószínősége elfogadás valószínőség a tervmátrx l-edk sorában x referenca-értékkel rendelkezı darab elfogadás valószínősége rossz specfkácós határ (alsó) súlymátrx referenca-érték; az a folytonos jellemzı, am a kategorkus döntés hátterében áll nfl x GPC görbe nflexós pontjának helye az -edk operátornál, az a referenca-érték, y X tervmátrx Nrm h amhez 0,5 elfogadás valószínőség tartozk döntés kmenete, 1: elfogadás; 0: elutasítás 10

11 BEVEZETÉS 1 BEVEZETÉS A mérıeszközöket a mérés eredménye (a mérés skála) szernt két csoportba sorolhatjuk. Ha a mérés eredménye mennység skálán értelmezett (leggyakrabban egydmenzós pl. hossz, sőrőség, térfogat), méréses mérıeszközökrıl beszélünk. Ha a mérés célja a mért darabok kategórákba sorolása, mnısítéses mérıeszközöket használunk. Erre a leggyakorbb példa egy megy/nem megy domszer, ahol mndössze két lehetséges kmenetel van. Természetesen léteznek olyan eszközök s, melyekkel három vagy több kategórába sorolhatók a mért munkadarabok, de dsszertácómban csak a két kmeneteles esettel foglalkozom. A mérıeszköz képességvzsgálatának célja annak eldöntése, hogy az eszköz alkalmas-e az adott folyamat-jellemzı mérésére, amelyhez szükséges a mérırendszer bzonytalanságának jellemzése. Méréses mérıeszközök esetében a mérés bzonytalansága két részre bontható: smételhetıségre és reprodukálhatóságra. Ha egyazon operátor ugyanazt a munkadarabot többször lemér, az eredmények különbözıek lehetnek. Ennek az eltérésnek a mértéke jelent a mérés smételhetıségét. Ha két különbözı operátor mér le ugyanazt a darabot, az eredmények várható értéke különbözı lehet. Az ebbıl adódó bzonytalanság a reprodukálhatóság. A rossz reprodukálhatóság eredhet egyrészt az operátorok különbözıségébıl. Ez azt jelent, hogy az egyk operátor mndg a másk alá/fölé mér. A reprodukálhatóság másk forrása az operátor-darab kölcsönhatás, azaz hogy valamelyk operátor bzonyos darabokat ksebbnek, másokat nagyobbnak talál, mnt a másk. (Az operátor-darab kölcsönhatásról csak a méréses mérıeszközök esetén beszélnek.) Amkor a mérıeszközök képességvzsgálatáról beszélünk, az eszközön kívül a mérést végzı személyt s jellemezzük. A képességvzsgálat elvégzésekor azt s fgyelembe kell venn, hogy a mérés körülménye s hatással lehetnek az eredményre. A méréses mérıeszközök képességvzsgálata jól kdolgozott és széles körben alkalmazott módszer. Statsztka alapja az egyes bzonytalanság-források varancának becslése, és e varancák összehasonlítása. Mnısítéses mérıeszközök esetében a mérés eredménye nem folytonos, hanem dszkrét (az általunk vzsgált esetekben bnárs) változó, így a varancaanalízs nem alkalmazható, más megközelítésre van szükség. A felhasználót mnısítéses mérıeszközöknél nem a varancakomponensek érdeklk, hanem annak a valószínősége, hogy hbás döntés születk-e a mnısítés során. Lehetséges, hogy a vzsgált tulajdonság jellege matt valóban csak gen/nem típusú döntés hozható (pl. repedt-e egy munkadarab). Sok esetben azonban a vzsgált jellemzı folytonos 11

12 BEVEZETÉS skálán s mérhetı lenne (pl. átmérı, hosszúság), de lyen mérés kvtelezésére a gyártás ellenırzése során nncs mód (sokba kerülne a megvalósítás, vagy hosszú deg tartana stb.). Ha a kategorkus döntésnek két lehetséges kmenete van, akkor a döntés mögött álló folytonos változó lehetséges értéket három különbözı részre osztjuk: elfogadás-, elutasítás, és ún. szürke tartományra. Ha a folytonos változó értéke az elfogadás, lletve az elutasítás tartományban van, akkor a mérés eredménye mndg elfogadás, lletve elutasítás lesz. Ha a vzsgált jellemzı tényleges értéke a szürke tartományba esk, akkor a mérés eredménye véletlen változó, tt az elfogadás valószínősége a folytonos változó nagyságától függ. Ezt a modellt szemléltet az 1. ábra. Az angol nyelvő szakrodalomban a modellt leíró görbe Gauge Performance Curve néven smert, magyarul mérıeszköz-képesség-görbének, vagy mérıeszköz-jelleggörbének szokás nevezn. Rövdítése az angol elenevezésbıl származó GPC, dsszertácómban én s így hvatkozom rá, A modell egyoldal esetre vonatkozk. Kétoldal esetben különbséget teszünk a túl nagy és a túl kcs darabok között. A mérıeszköz vzsgálatánál ezt úgy kezeljük, mntha két egyoldal határnak való megfelelést vzsgálnánk. 1 P(elfogadás)) SH kétféle mnısítés 0 elutasítás tartomány, hbás munkadarab elfogadás tartomány, jó munkadarab méret 1. ábra Mérıeszköz-képesség-görbe Az deáls mérıeszköz képesség-görbéje egy ugrásfüggvény, ahol az ugrás a specfkácós határnál van. Ez azt jelent, hogy a specfkácós határ alatt darabokat mndg elutasítjuk, a specfkácós határ feletteket mndg elfogadjuk. A valóságban nem ugrás-, hanem S-alakú a görbe, az S-alak nflexós pontja feleltethetı meg az ugrás helyének. Ha ez eltolódott a specfkácós határhoz képest, a mérıeszköz torzít. Az nflexós pont annál a referencaértéknél van, ahol az elfogadás valószínősége 50%. 1

13 BEVEZETÉS A legfontosabb kérdés a mnısítéses mérıeszköz használata során, hogy mlyen valószínőséggel hozunk hbás döntést (egy tőrésen kívül darabot jónak, ll. egy tőrésen belült rossznak mnısítünk). E kérdés megválaszolását nehezít, hogy sok esetben a vzsgált folytonos jellemzı valód értéke nem smert (egyáltalán nem mérhetı, nem s létezk, vagy túl költséges lenne a mérés). A döntés hátterében álló folytonos jellemzı sok esetben valamlyen méret, de más típusú tulajdonság s lehet. Dolgozatomban referenca-érték néven hvatkozom erre a jellemzıre, részben azért, mert a szakrodalomban [1] s sokszor a reference value elnevezéssel lletk, részben pedg azért, mert ezzel s jelezn kívánom a leírtak általános nem csak méretre vonatkozó érvényességét. A mnısítéses mérıeszközzel vzsgált darabok referenca-értéke darabonként más és más. Ematt egy véletlenszerően választott darab referenca-értéke valószínőség változó, eloszlását az a folyamat határozza meg, amelybıl a darabok származnak. Ebbıl adódk az, hogy a referenca-értékek eloszlását sokszor folyamat-eloszlásnak nevezem, am összhangban áll az angol nyelvő szakrodalomban [1] használt process dstrbuton kfejezéssel s. A legelterjedtebben használt módszerek a mnısítéses mérıeszközök képességvzsgálatára az autópar beszállító cégek számára kdolgozott AIAG QS-9000 kváz-szabvány kézkönyvében [1] találhatók. (A dolgozat tovább részében erre a forrásra AIAG elırat néven hvatkozom.) A másodk fejezetben az AIAG elırat mérıeszköz képességvzsgálathoz használt módszeret mutatom be, emellett ktérek az elterjedtebb statsztka szoftverek nyújtotta elemzés lehetıségekre s. Az AIAG elıratban javasolt képességvzsgálat módszer több ponton s elvleg hbás, dsszertácóm harmadk fejezetében ezeket a hbákat smertetem. A negyedk fejezetben bemutatom, hogy az rodalom mlyen egyéb megközelítéseket javasol a feladat megoldására. A mnısítéses mérırendszerek képességvzsgálatára egy logt-modellt használó megközelítést javaslok. A logt-modellt és becslés módszerét (általánosságban) az ötödk fejezetben mutatom be. A hatodk fejezetben smertetem az új, modell-alapú megközelítést a mnısítéses mérırendszerek képességvzsgálatára. A javasolt módszer alapvetı újdonsága, hogy matematka modellt használ a mérıeszköz-képesség-görbe leírására. Dsszertácómban két feltételes valószínőség használatát javaslom a hbás döntések elıfordulásának jellemezésére, 13

14 BEVEZETÉS melyek a következık: annak valószínősége, hogy az elfogadott darabok között rossz van, lletve annak valószínősége, hogy az elutasított darabok között jó van. E valószínőségek nem csak az általam javasolt modell-alapú megközelítéssel becsülhetık, hanem az AIAG elıratot követve s. A két becslés mód hatékonyságát a hetedk fejezetben hasonlítom össze. A nyolcadk fejezetben a javasolt modell-alapú megközelítés egy másk változatát mutatom be. Itt nem rögzített, hanem véletlen faktoros megközelítést alkalmazok a modell felírásakor. Dsszertácóm utolsó, klencedk fejezetében az overdszperzó jelenségével foglalkozom. A téma az AIAG elırat kapcsán merült fel, de bonyolultsága matt külön fejezetben tárgyalom. 14

15 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI A legelterjedtebben használt módszerek a mnısítéses mérıeszközök képességvzsgálatára az AIAG elıratban találhatók. Az elırat három különbözı megközelítést ajánl, ezeket mutatom be a következı három alfejezetben..1 Keresztosztályozásos módszer Az AIAG elırat keresztosztályozásos módszerének célja annak jellemzése, hogy a mnısítéses mérırendszerrel hozott döntés mennyre helyes, lletve, hogy a különbözı mérı személyek döntése mlyen mértékben egyeznek meg. Az elemzés elvégzéséhez 50 elemő mntát vesznek abból a folyamatból, melynél a mérıeszközt a gyakorlatban s használják. Három operátor háromszor mnısít mndegyk munkadarabot. Az eredményeket a 1. táblázatban mutatott terv szernt rögzítk (a táblázatban 0 azt jelent, hogy a darabot rossznak, 1 azt, hogy jónak találja az operátor). A példa kétoldal vzsgálatot mutat be, a túl nagy és a túl kcs darabok egyaránt rossznak számítanak. A továbbakban az elırat nem különböztet meg ezt a két kategórát. (E megközelítés krtkájára késıbb térek k (3.. fejezet).).1.1 Kappa-módszer operátor sorszám A B C táblázat Mérés terv AIAG keresztosztályozásos módszer Az AIAG elırat a kappa [] mutatót az operátorok páronként egyezıségének vzsgálatára használja. Két operátor (A és B) összehasonlításához az általuk mért adatot párosítják. (Ez nncs explcte az elıratban, de a számolás módjából egyértelmően következk.) A párosításhoz az 1. táblázat adatat átrendezk olyan módon, ahogy az a. táblázatban látható. Az A operátor elsı mérés eredménye a B operátor elsı mérés eredményével alkot egy párt s..t. (a mérés eredmény tt valójában egy gen/nem bnárs kódot, egy döntést jelent). Tehát egyazon munkadarabra kapott eredmények a mérés sorrend 15

16 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI szernt vannak párba rendezve, így kapjuk a. táblázatot. A táblázat egy sorában lévı eredményeket az elırat összetartozónak teknt. y y, k = l = 1..3 Akl Bkl Ha a munkadarabot jónak mnısítk, y=1, ha a munkadarabot elutasítják, y=0. y alsó ndexe sorrendben az operátorra, a vzsgált darabra és az smétlés sorszámára vonatkoznak. A táblázatban szerepel a referenca-érték, amelyet tpkus mnısítéses vzsgálatnál nem smerünk, valamnt a helyes döntés (1: jó darab, 0: rossz darab). A példában az alsó tőréshatár 0,45, a felsı 0,55. E két érték közt referenca-értékkel jellemzett darabok jók, a több rossz. Sorszám Ismétlés perátor Ref. Referenca A B C érték -mnısítés , , , , , , , táblázat Mérés eredmények referenca-értékekkel AIAG keresztosztályozásos módszer A továbbakban leszámlálják, hogy hány olyan eset volt, amkor az A és B operátor s jónak mnısített egy darabot (n 11 ), amkor az A jónak, B rossznak mnısített egy darabot (n 10 ) s..t. A leszámlálás eredményét egy x-es keresztosztályozásos táblázatban foglalják össze (3. táblázat). B y=1 y=0 Σ A y=1 n 11 n 10 n 1+ y=0 n 01 n 00 n 0+ Σ n +1 n +0 N 3. táblázat Keresztosztályozásos táblázat leszámlálás eredménye n j : azon párosítások száma, ahol az A operátor y= (=0/1) mnısítést, a B operátor pedg y=j (j=0/1) mnısítést adott a munkadarabnak 16

17 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI + jelöl a megfelelı ndex szernt összegzést N: az összes megfgyelés (pár) száma Az elırat az operátorok páronként egyezésének mértékét a kappa (κ) mutatóval jellemz. e p p κ =, ahol (.1) e 1 p p: relatív elıfordulás gyakorság a leszámlálás eredményeket tartalmazó keresztosztályozásos táblázat (3. táblázat) fıátlóbel cellában p n + n N = (.) p e : relatív elıfordulás gyakorság a keresztosztályozásos táblázat fıátlóbel cellában, azzal a a feltételezéssel élve, hogy az operátorok mnısítése matematka értelemben függetlenek egymástól. (Az e fölsı ndex az expected, vagys a függetlenség feltételezésével becsült érték jelölése). A matematka értelemben vett függetlenség azt jelenet, hogy a relatív elıfordulás gyakorságok a margnálsokból becsülhetık. Ugyanez gaz a gyakorságokra s. Képlettel kfejezve: n e j n+ jn + = (.3) N e n j : azon párosítások függetlenség feltételezésével becsült száma, ahol az A operátor y=, a B operátor pedg y=j mnısítést adott a munkadarabnak. A becsült cellagyakorságok az elıbbhez hasonló alább, 4. táblázatba rendezhetık. B y=1 y=0 Σ A y=1 n e 11 n e 10 n 1+ y=0 n e 01 n e 00 n 0+ Σ n +1 n +0 N 4. táblázat Keresztosztályozásos táblázat - becsült cellagyakorságok, ha az operátorok között csak a véletlen matt van egyezés A 4. táblázat jelölésevel κ (.1) képletében szereplı e p az alább egyenlettel számolható: e e e n00 + n11 p = (.4) N 17

18 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI A valóságban azt reméljük, hogy a függetlenség feltételezésével becsült e p érték mnél jobban eltér a 3. táblázat leszámlálás gyakorságaból számolt p-tıl. Ezt vzsgálja (.1) egyenlettel adott κ mutató. A függetlenség ugyans azt jelent, hogy az operátorok döntése csak a véletlen matt egyeznek meg azokra a darabokra, melyek besorolása kétséges lehet. A κ statsztkát elsıként Cohen alkalmazta [] (több helyen Cohen-kappa néven hvatkoznak rá). Többféle módosítása smert, ezekre késıbb részben ktérek. Az elırat κ értékét nkább az operátorok közt egyezés mérıszámának teknt, mntsem statsztkának (valószínőség változónak), bár egyes szerzık varancát és így konfdencantervallumot s adnak hozzá. κ=1 tökéletes egyezést jelöl, κ=0 azt jelent, hogy az operátorok között egyezés nem jobb annál, mnt am véletlen mőveként s bekövetkezhetne. Az elırat heursztkus alapon κ=0,75 felett elfogadja, hogy jó az egyezés az operátorok között, míg κ=0,4 alatt ezt elutasítja. Kappa és az egyezıség mértéke között összefüggést más szerzık más heursztkák alapján határozzák meg. Lands és Koch [3] például az AIAG elıratban bemutatottnál részletesebb skálát használnak: hat különbözı kategórába sorolják az egyezés mértékét kappa értéke alapján (5. táblázat). A három operátor egyezése összesen három κ értékkel jellemezhetı (A-B, A-C, B-C). Kappa < Közel Gyenge Ks mértékő Meglehetıs Mérsékelt Jelentıs Egyezés tökéletes mértéke (Almost (Poor) (Slght) (Far) (Moderate) (Substantal) perfect) 5. táblázat Kappa és a mérırendszer mnısítése között kapcsolat Lands és Koch [3] szernt Az így számolt κ mutató nem ad nformácót arról, hogy a mérırendszer mlyen jól különböztet meg egymástól a jó és a rossz munkadarabokat. E kérdés megválaszolására megmérték a vzsgálatban résztvevı 50 munkadarab tényleges méretét (. táblázat Ref. érték oszlopa), ezzel eldönthetı, hogy egy adott darab valójában megfelelı-e vagy sem. Ezeket a referenca-döntéseket a. táblázat Referenca-mnısítés oszlopa tartalmazza. Így tovább keresztosztályozásos táblák készíthetık, melyek egyk kategorzálás szempontja az operátor döntése, a másk a helyes döntés (referenca). Például a B operátor megítélésének a referenca-értékekkel való egyezését a 6. táblázat mutatja. A táblázat cellának jelentése értelemszerően: n 00 : a B operátor által hozott elutasító mnısítések száma a hbás darabokra, n 01 : a B operátor által hozott elfogadó mnısítések száma a megfelelı darabokra s..t. A 18

19 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI táblázatokból számolt κ azt hvatott jellemezn, hogy mennyre egyezk az adott operátor döntése a referenca-értékkel, azaz mennyre dönt jól az adott operátor. Referenca y=1 y=0 Σ B y=1 n 11 n 10 n 1+ y=0 n 01 n 00 n 0+ Σ n +1 n +0 N 6. táblázat Keresztosztályozásos táblázat B operátor vs. referenca mnısítés Az elırat hangsúlyozza, hogy a κ heursztkus mutató. Igaz, léteznek rányelvek arra, hogy értéke mlyen határok között megfelelı (5. táblázat), de ezek nem statsztka alapokon, hanem egyén meggyızıdésen alapulnak. Mndezek ellenére a κ az egyk legszélesebb körben használt mutató mnısítéses merıeszközök képességvzsgálatakor. Érdekes megjegyezn, hogy az AIAG elıratban a fejezet címe hpotézsvzsgálat, de a valóságban nncs benne hpotézsvzsgálatról szó, még hangsúlyozzák s, hogy a κ nem statsztka. A κ részletesebb dszkusszójára a 4.1. fejezeteben térek k..1. Leszámlálás mutatók A referenca-értékek smeretében az egyes operátorok döntésenek helyessége ún. leszámlálás mutatókkal jellemezhetık. Ebben az alfejezetben az AIAG elıratban és a legelterjedtebb statsztka szoftverekben használt leszámlálás mutatókat smertetem. A mutatók értékét heursztkus határokhoz hasonlítják, és ez alapján mnısítk a mérıeszközöket jónak, rossznak vagy még éppen elfogadhatónak. A vzsgált adatok ugyanazok, mnt az elızı fejezetben. A. táblázat mutatja az adathalmaz egy részletét. Elsıként azt vzsgálják, hogy az operátorok döntése mennyre egyeznek meg egymással. A 6. táblázathoz hasonló elrendezésben (azzal a különbséggel, hogy az oszlopban nem a referenca, hanem egy másk operátor döntése szerepel) mnden lehetséges párosításban (A- B, A-C, B-C) összehasonlítják az operátorok döntéset. (A, B és C a három operátort jelöl.) Az operátorok döntéset nemcsak egymással, hanem a referenca döntéssel s összehasonlítják. A (.5) képlettel kapható meg a mérırendszer ún. hatékonysága (effectveness). A 6. táblázat jelöléset használva: Hatékonyság n + n N = (.5) 19

20 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI Az elırat Clopper-Pearson konfdencantervallumot s számol erre a relatív gyakorsággal becsült valószínőségre. Az összes döntés lehetıség a megvzsgált darabok számával (50) egyenlı. Vagys tt nem az operátorok egyes döntéset számoljuk le, hanem az lletı operátor által jónak vagy rossznak mnısített darabok számát. Helyes döntésnek azok az esetek mnısülnek, amkor a vzsgált operátor mndhárom döntése megegyezk a referenca-érték alapján hozandó döntéssel. Ha a számlálóba a mndegyk operátor mndegyk vzsgálatánál helyesen mnısített darabok számát írjuk, az egész mérırendszer hatékonyságát (tehát a reprodukálhatóságot s) jellemzı mutatót kapunk. Más források (mnt pl. a JMP [4] és a Statstca [5] programok) az AIAG elırattól kssé eltérı módon defnálják a hatékonyságot. tt a (.5) képlet nevezıjében ténylegesen az összes döntés lehetıség szerepel (tehát a darabok és az smétlések számának szorzata), a számláló pedg azon esetek száma, amkor az operátor döntése és a referencadöntés megegyezk. Az operátorok jellemzésére tovább két arányszám s szolgál, a téves elfogadások aránya (mss rate) és a téves elutasítások aránya (false alarm rate). Számolás módjuk nncs megadva az elıratban, a statsztka szoftverek eltérıen defnálják ezeket. A JMP szoftver [4] szernt csak a mnden esetben azonos (de hbás) mnısítést kapott darabok szerepelnek a defnáló képlet számlálójában: Téves elfogadások aránya Téves elutasítások aránya JMP JMP n 10 = (.6) n + 0 n 01 = (.7) n 0 + Ezzel szemben a Statstca program [5] azokat a darabokat s fgyelembe vesz, melyeket csak az esetek egy részében mnısítettek rosszul: Téves elfogadások aránya Téves elutasítások aránya Statstca Statstca n10 = n + n n01 = n + n (.8) (.9) A Statstca a mérırendszer torzítását (bas) az elıbb két leszámlálás mutató hányadosaként defnálja: Téves elutasítások aránya Torzítás = (.10) Téves elfogadások aránya 0

21 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI Ha a torzítás nagyobb, mnt 1, akkor a jó darabok elutasításának rányába tolódott el a mérırendszer. A Statstca program és az AIAG elırat - operátoronként külön-külön - számolja azon esetek arányát s, amkor az smételt mnısítések megegyeztek. (Ez teknthetı az smételhetıség jellemzésének egy adott operátorra.) azonos mnısítést kapott darabok száma Ismételhetıség = (.11) mntaelemszám A pontbecslés mellett konfdenca-ntervallumot s számol a program és az elırat a Clopper- Pearson módszer [6] szernt. Az AIAG elırat javasolja még a P( rossz elutasít ) és P( jó elfogad ) feltételes valószínőség használatát s. Ezek a véletlen mntából relatív gyakorságokkal becsülhetık. P( rossz elutasít ) a ténylegesen rossz darabok arányát adja meg az elutasított darabok között, P( jó elfogad ) pedg az elfogadott darabok között lévı ténylegesen jó darabok arányát jelöl. A mnısítéses mérıeszközök sajátossága, hogy ezek a valószínőségek függenek attól, mlyen darabokat mnısítünk (pontosabban a vzsgált darabok referencaértékének eloszlásától). Ez különbség a méréses esettel szemben, ahol a mérırendszer bzonytalanságát jellemzı varancakomponensek függetlenek a daraboktól, melyeket mérn kívánunk. Abban az esetben, ha a mnısített darabok eloszlása változk (ahhoz képest, am a mntavételkor volt, például a gyártás folyamaton javítottak), az elırat a Bayes-tételt javasolja P( rossz elutasít ) számolására. P( rossz elutasít) = P( elutasít rossz) P( rossz) P( elutasít rossz) P( rossz) + P( elutasít jó) P( jó) (.1) A képlet jobb oldalán szereplı feltételes valószínőségek egy adott operátorra a leszámlálás eredményekbıl becsülhetık. Pl. a B operátorra a relatív gyakorságok az 6. táblázat jelöléset használva: n00 P( elutasít rossz) = n + n n n + n 01 ; P( elutasít jó) = (.13) A P(rossz) és P(jó) valószínőségeket nem a mntából, hanem a sokaságra rendelkezésre álló nformácóból kell venn, a elırat a C P =1 feltétel alapján számolja, tehát: P(rossz)=0,007 és P(jó)=0,9973. (A P(rossz) és P(jó) valószínőségeket a bostatsztka rodalmat követve szokás a rossz lletve jó darabok prevalencájának nevezn.) 1

22 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI A 6.. fejezetben részletesen foglalkozom azon két feltételes valószínőség számolásával, hogy egy elfogadott darab rossz ( P( rossz elfogad ) ), lletve hogy egy elutasított darab jó ( P( jó elutasít ) ). Ezek s becsülhetık az elıbb gondolatmenetet követve a Bayes-tétel alapján: P( jó elutasít) = P( elutasít jó) P( jó) P( elutasít rossz) P( rossz) + P( elutasít jó) P( jó) (.14) P( rossz elfogad) = P( elfogad rossz) P( rossz) P( elfogad rossz) P( rossz) + P( elfogad jó) P( jó) (.15) A fent feltételes valószínőségek mndegyke becsülhetı a mntából relatív gyakorságok számolásával (feltéve persze, hogy véletlen mntáról van szó). A Bayes-tétel használata csak akkor jön szóba, ha a P(jó) és P(rossz) valószínőségek elızetesen smertek, és ezt az nformácót fgyelembe kívánjuk venn a számoláskor, lletve ha a folyamat eloszlása megváltozk. Ez utóbb eset azt jelent, hogy a gyártott darabok referenca-értékének eloszlása változk, és ezzel változk a mnısítendı darabok között a rosszak és a jók aránya s. Az tt tárgyalt leszámlálásos mutatókhoz nagyon hasonló statsztkákat használnak a bostatsztka területén a dagnosztka tesztek értékelésére [7]. Ekkor valamlyen mérhetı jellemzı alapján vonnak le következtetést egy betegség fennállásával kapcsolatban. A teszt jellemzésére a következı mutatókat szokták használn: 1) Szenztvtás: annak valószínősége hogy a teszt poztív eredményt mutat, feltéve hogy a betegség ténylegesen jelen van. Szenztvtás=1-Téves elfogadások aránya= P( elutasít rossz ) ) Specfctás: annak valószínősége hogy a teszt negatív eredményt mutat, feltéve hogy a vzsgált egyed nem beteg. Specfctás=1-Téves elutasítások aránya= P( elfogad jó ) 3) Poztív predktív érték: Annak a valószínősége, hogy az egyed beteg, feltéve hogy a teszt poztív. Poztív predktív érték= P( rossz elutasít ) 4) Negatív predktív érték: Annak valószínősége, hogy a betegség nncs jelen, feltéve hogy a teszt negatív. Negatív predktív érték= P( jó elfogad ) Ezek a feltételes valószínőségek leszámlálás arányokkal becsülhetık.

23 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI A hbás besorolás a gazdaság- és társadalomtudományok területén s fontos és sokat tárgyalt jelenség ([8]-[10]). Itt félreosztályozás (msclassfcaton) néven hvatkoznak rá. A félreosztályozás valószínőségén egy feltételes valószínőséget értenek, pl. P( elutasít rossz ), P( elfogad jó ) stb.. A szürke zóna szélességének jellemzése (sgnal detecton approach) Az AIAG elıratban sgnal detecton approach néven közölt módszer a vzsgált folytonos jellemzı referenca-értékenek smeretében a szürke tartomány szélességére ad becslést. Az AIAG elırat példájában a szürke tartomány az alsó és felsı elfogadás határok körül két részbıl áll. Az alsó elfogadás határnál a szürke tartomány szélessége: d a = a legnagyobb olyan munkadarab mérete, amelyet mndegyk operátor mnden smétléskor elutasított mínusz a legksebb olyan munkadarab mérete, amelyet mndegyk operátor mnden smétléskor elfogadott. Az így defnált d a az alsó elfogadás határnál lévı szürke tartomány szélességét jelöl az AIAG elıratban. A felsı elfogadás határnál lévı szürke tartomány szélessége analóg módon számítandó. A két szélesség átlagát az elırat a folytonos mérıeszközök képességvzsgálatánál használt GRR=5,15*σ GRR becslésének teknt. A GRR mozakszó a mérırendszer smételhetıségét és reprodukáhatóságát jelöl folytonos mérıeszközöknél (gauge repeatablty and reproducblty). σ GRR az a varanca, mely együttesen jellemz a mérırendszer smételhetıségébıl és reprodukálhatóságából eredı bzonytalanságot. Ez úgy értelmezhetı folytonos mérırendszereknél, hogy ha egy tetszıleges darabot véletlenszerően választott operátorok mérnek le, akkor a mérés eredmények például 99%-os valószínőséggel az 5,15*σ GRR ntervallumban találhatók. A képletben szereplı szorzó határozza meg, hogy a mérıeszköz matt bzonytalanság mlyen valószínőségő konfdencantervallumát becsüljük. 5,15 esetén 99%-os ez az ntervallum, a szakrodalomban szokásos még a 6-os szorzó használata s, ez 99,73%-os ntervallumot jelent. Azzal, hogy az AIAG elırat az alsó és felsı elfogadás határnál lévı szürke tartomány szélességének átlagát teknt 5,15*σ GRR becslésének, az smételhetıséget és a reprodukálhatóságot egyszerre jellemz a szürke zóna szélességével. A szürke zóna szélessége joggal hozható kapcsolatba az smételhetıséggel. (Errıl részletesebben a 4.4. fejezetben írok.) Az operátorok matt különbözıség (azaz reprodukálhatóság) s szerepet játszk az elıratban javasolt mutatóban, mvel a szürke zóna szélességének megállapításakor 3

24 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI az összes operátor döntését fgyelembe veszk (lásd d a defnícója). A javasolt számolás mód azonban azt eredményez, hogy mnél több operátor vesz részt a képességvzsgálatban, annál szélesebb lesz a szürke zóna szélességének becsült értéke, és így GRR s. Ennek oka a döntés hbák valószínőségének nflácója amatt, hogy egyszerre több döntést kell fgyelmebe venn. (Bonferron egyenlıtlenség, [11]) Ematt a kapott becslés értelmezésekor fgyelembe kell venn a vzsgálatban résztvevı operátorok számát s. (Erre az elırat nem hívja fel a fgyelmet.).3 Analtkus módszer Az AIAG elırat Analytc method néven smertetett eljárásának célja a mérırendszer smételhetıségének és torzításának meghatározása. Az eljárás egyaránt érvényes olyan mérırendszerek esetén, ahol az elfogadás tartománynak alsó és felsı határa van (a szürke tartomány két részbıl áll), és olyanoknál s, amelyeknél a szürke tartomány csak egy részbıl áll. A továbbakban csak az alsó elfogadás határ esetét vzsgáljuk. Az elemzett adatok egyetlen operátor által végzett mérés eredménye, tehát a módszer nem ad nformácót a mérırendszer reprodukálhatóságáról. A számoláshoz elengedhetetlenül szükséges a referenca-értékek smerete. A képességvzsgálatban résztvevı darabok kválasztása az alább módon történk. Több darabot mnısít egy operátor m=0-szor smétléssel. A vzsgált darabok közül lesznek olyanok, melyeket mnden esetben elfogadott vagy elutasított az operátor, és olyanok s, melyek vegyesen kaptak elfogadó és elutasító mnısítést. A képességvzsgálathoz szükség van () hat olyan darabra, mely vegyes mnısítéseket kapott (Lehetıleg olyan darabokat kell választan, melyek mérete egyenletesen oszlk el a vzsgált tartományban.) () egy olyan darabra melyet mnden mnısítésnél elfogadtak, és egy olyanra melyet mnden mnısítésnél elutasítottak. Ez utóbb két darabot úgy választják k, hogy - veszk a mndg elutasítottak közül a legnagyobbat, - és a mndg elfogadottak közül a legksebbet. A mnta elemere az alább képletekkel becsüljük az elfogadás valószínőséget: a + 0,5 a ha < 0,5, a 0 m m a 0.5 a P a = ha > 0, 5, a 0 m m a 0,5 ha = 0,5 m (.16) 4

25 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI A választott mndg elutasított darab P a értéke 0,05 a mndg elfogadotté 0,975. P a -t a referenca-érték (X) függvényében ábrázolva a mérıeszköz-képesség-görbét kapjuk (1. ábra). A görbe egyetlen operátorra érvényes. Az smételhetıség és torzítás pontosabban becsülhetı egy Gauss háló jellegő ábra elkészítésével (. ábra). Ezen az ábrán az X referenca-érték függvényében változatlanul a P a elfogadás valószínőséget ábrázoljuk, de a függıleges tengely úgy transzformált, mntha egy Gauss háló tengelye lenne. Tehát a hoz tartozó u~n(0,1) eloszlású valószínőség változóra nézve lneárs a skála, de a tengelyen nem u, hanem P a látszk. Az így ábrázolt pontokra egyenest llesztenek. Az elırat a mérıeszköz torzításán az X( P a = 0,5) pont és a specfkácós határ távolságát ért (ez a Gauss háló jellegő ábráról leolvasható). Ideáls esetben a torzítás nulla. torzítás= X ( P = 0,5) Specfkácós Határ (.17) a P a - P a X(P a =0.005) torzítás SH X(P a =0.995) X. ábra A GPC lnearzált alakja az AIAG elırat analtkus módszere szernt Az analtkus módszer az smételhetıséget a szürke zóna szélességével hozza kapcsolatba. Az smételhetıséget defnáló egyenletben (.18) szereplı konstans korrekcós faktor (1.08) eredetérıl annyt közölnek, hogy m=0 esetén érvényes, és szmulácókkal határozták meg. Használatának okát nem ndokolják. 5

26 A MINİSÍTÉSES MÉRİESZKÖZÖK KÉPESSÉGVIZSGÁLATÁNAK MÓDSZEREI X ( P a = 0, 995) X ( P a = 0, 005) smételhetıség = (.18) 1,08 A (.18) egyenletben szereplı X(P a = 0,995) és X(P a = 0,005) értékeket a Gauss háló jellegő ábráról olvassák le (. ábra). Az elırat a torzítás vzsgálatára a (.19) egyenlet szernt próbastatsztkát javasolja. A szabadság fok a vzsgált smétlésszámnál (m=0) 19. (A képletben szereplı konstans eredetérıl és szükségességérıl ezúttal semmlyen nformácót nem közöl.) 31,3 torzítás t = (.19) smételhetıség 6

27 AZ AIAG-MÓDSZER KRITIKÁJA 3 AZ AIAG-MÓDSZER KRITIKÁJA 3.1 Cohen-kappa A kappa smétlések matt helytelen használata A keresztosztályozásos számolás módszer (.1. fejezet) elsı lépése, hogy a mért adatokat a mérés sorrend szernt párokba rendez. Ezzel azt feltételez, hogy a mérések az smétlés sorrendje szernt összefüggenek. Elvleg elképzelhetı olyan sztuácó, mkor számít az smétlések sorrendje. Például ha a mérıberendezés vagy a darab állapota változk a használat során (bemelegszk), vagy ha a mérı személy fárad stb. Mnıstéses vzsgálatoknál azonban - a vzsgálat egyszerősége folytán - joggal feltételezhetjük, hogy lyesm nem fordul elı. Az smételt mérések éppen hogy függetlenek egymástól. Tehát pl. az A operátor elsı darabon végzett elsı mérését épp annyra jogos a B operátor elsı darabon végzett elsı mérésével párosítan, mnt a másodk vagy a harmadk smétléssel. Az lyen párosításnak nncs értelme. Mndössze annyt mondhatunk, hogy az egy darabon végzett smétlések eredménye összetartoznak. Ha a darabokat csak egyszer mérk le az operátorok, akkor ezek a mérés eredmények valóban párba rendezhetık, lyenkor ndokolt a κ használata. Amkor az smételt mérésekre számolnak κ-t, úgy értelmezk az adatokat, mntha 150 különbözı darab mnısítésébıl származnának. Az alább két konstruált példa szemléltet, hogy az így kapott κ érték mlyen félrevezetı lehet. Harmnc munkadarabot vzsgál meg három operátor háromszor smétléssel. Az eredmények két lehetséges kmenetét a 7a. és a 8a. táblázat tartalmazza. Az elsı esetben egyértelmő, hogy a mérırendszer nem alkalmas a tulajdonság mérésére a rossz smételhetıség matt, hszen mnden operátor elıször elfogadja, majd elutasítja a vzsgált darabot (egy darab kvételével). Tehát használhatatlan mérıeszközrıl van szó. Az AIAG elırat számolás módszere azonban az adatokat mérés sorrendjük szernt párosítja. Így a különbözı operátorok 30*3=90 mérés sorrend szernt párosított mérés eredménye majdhogynem tökéletes egyezést mutat, am gen jó κ értéket eredményez (7b. táblázat). A másodk esetben az operátorok közt egyezés elég jó, mndhárom operátor csak egyszer téveszt, az AIAG elırat szernt számolt kappa mégs kcs (8b. táblázat). A mérırendszer természetesen ebben az esetben sem lenne alkalmas a vzsgált változó mnısítésére, mert nem tud különbséget tenn a vzsgált darabok között. Ahhoz, hogy lyen helyzet álljon elı, 7

28 AZ AIAG-MÓDSZER KRITIKÁJA arra s szükség van, hogy olyan darabokat vzsgáljunk, melyek mndg egyforma mnısítést kapnak. (Nagyon jó vagy nagyon rossz darabok.) Mvel a vzsgált darabokat véletlenszerően választjuk k, elképzelhetı hogy -ha nem s lyen szélsıséges, de- hasonló eset álljon elı. Sorszám perátor A B C a. táblázat Mérés eredmények A B C A - 0,95 0,98 B 0,95-0,98 C 0,98 0,98-7b. táblázat Számított κ értékek 8

29 AZ AIAG-MÓDSZER KRITIKÁJA sorszám operátor A B C a. táblázat Mérés eredmények A B C A - -0,01-0,01 B -0, ,01 C -0,01-0,01-8b. táblázat Számított κ értékek 3.1. A kappa módszer gyengesége smétlés nélkül esetben Ha nncsenek smételt mnısítések, nem lép fel a mért adatok párosításának problémája sem. Tehát smétlés nélkül esetben ndokolt κ használata, de a mutató értékébıl levonható következtetés ekkor s bzonytalan. Az rodalom több helyen s tárgyalja ezt a jelenséget pl. 9

30 AZ AIAG-MÓDSZER KRITIKÁJA [1]-[14]. A probléma érzékeltetésére szolgál a következı hpotetkus példa. 80 munkadarabot mnısített két operátor (egyszer-egyszer). 70 munkadarabot megegyezıen mnısítettek, 10 esetben eltértek az eredmények. A 9. táblázat azt mutatja, hogy az elfogadott és elutasított darabok különbözı aránya esetén mennyre eltérı κ értéke. A 3. ábrán κ-t az elfogadott és elutasított darabok aránya függvényében ábrázoltam. A B B A κ = 0,709 κ = 0,375 a) b) 9. táblázat Két lehetséges kmenet kappa log (elfogadott/elutasított) 3. ábra Kappa értéke a fıdagonálsbel elemek arányának függvényében A 3. ábra jól mutatja, hogy annak ellenére, hogy κ az operátorok egyezıségének jellemzésére szolgál, értéke erısen függ az elfogadott és az elutasított darabok arányától s. κ-t a fıdagonálsbel elemek arányán kívül a x-es táblázat egyéb olyan tulajdonsága s befolyásolják, melyek zavarják a mutató értelmezését. Több megközelítés s létezk az rodalomban a κ-val kapcsolatos paradoxonok megoldására ([13], [17], [18]), ezekrıl a fejezetben számolok be. 3. Döntés kategórák ndokolatlan összevonása Az AIAG elırat keresztosztályozásos módszere csak azt vzsgálja, hogy az operátor elfogadta vagy elutasította az adott darabot. A bemutatott feladatban azonban az alsó és felsı tőréshatár s adott, így különbséget lehet tenn túl nagy és túl kcs darabok között. Tehát az elutasított kategóra az elıbb két lehetséges kmenet egyesítésébıl származk. Ez az 30

31 AZ AIAG-MÓDSZER KRITIKÁJA egyszerősítés nformácóvesztéshez vezet. A példában valójában nem kettı, hanem három döntés kategóra létezk (megfelelı, túl nagy, túl kcs ), lyen esetekben más megközelítés szükséges a mérırendszer vzsgálatához. (Ezzel részletesebben a és 4.. fejezetekben foglalkozom.) Egy lehetséges megoldás az, ha az alsó és felsı tőréshatárra külön-külön végezzük el a képességvzsgálatot. 3.3 Konfdenca-ntervallum a leszámlálásos módszerrel kapott mutatókra Ahogy azt a.1. részben bemutattam, az rodalomban szokás konfdenca-ntervallumot számoln a leszámlálásos módszerrel kapott mutatókra. Ilyenek például az smételhetıséget jellemzı relatív gyakorság ((.11) egyenlet) és az operátor-referenca döntés egyezését ((.5)egyenlet) mérı mutatók. A konfdenca-ntervallum számolása során több ndokolatlan egyszerősítéssel s élnek. Az elsı, hogy a helyes-, lletve hbás döntést bnárs változóként kezeljük. Valójában ennél összetettebb a helyzet, mert hbás és helyes döntés s kétféle létezk (még egyoldal tőréshatár esetén s). Tehát összesen négy kmenetel lehetséges: 1) Elfogadott jó darab ) Elfogadott rossz darab 3) Elutasított jó darab 4) Elutasított rossz darab Jó darab Rossz darab Elfogad 1 Elutasít táblázat A döntés lehetséges kmenetele Tehát például a helyes döntés valószínősége a két eltérı valószínőségő kmenetel valószínőségének összegével egyenlı: P = P1 + P4, ahol (3.1) Egyezés P1, P4 az 1) és 4) kategórákba esés valószínőségét jelöl (a valószínőségek egyúttal a multnomáls változó paramétere). A (3.1) egyenlettel kapott összeg nem bnomáls eloszlású, tehát a Clopper-Pearson konfdencantervallum-számolás nem adekvát módszer az egyezés bzonytalanságának jellemzésére. (Ahogy semmlyen más módszer sem lenne megfelelı, am bnomáls eloszlást feltételez.) 31

32 AZ AIAG-MÓDSZER KRITIKÁJA Azt, hogy P Egyezés eloszlása mlyen mértékben tér el a bnomálstól, varancájának vzsgálatával jellemezhetjük. Az egyezés becsült valószínőségének varancája bnomáls valószínőségeloszlás feltételezése esetén a (3.) egyenlettel számolható. PEgyezés (1 PEgyezés ) Var P Egyezés = (3.) N Ha fgyelembe vesszük, hogy az egyezés valójában két nem független multnomáls változó összegeként adódk, a varanca: P1(1 P1) P4(1 P4) P1P 4 Var P Egyezés = Var[ P1 + P4] = + N N N PEgyezés (1 PEgyezés ) P1P 4 = + N N (3.3) A (3.) és (3.3) egyenletekkel kapott varancák különböznek. Mnél nagyobb P1 és P4 értéke, annál jelentısebb a különbség. A konfdenca-ntervallum számolásánál alkalmazott másk ndokolatlan egyszerősítés az, hogy a jó darabokat megegyezınek teknt (ugyanez gaz a rossz darabokra s). Valójában a jó darabok s különböznek egymástól, tehát az elıbb megközelítést követve az elfogadott jó darab, lletve elutasított jó darab események valószínősége s darabról-darabra különbözıek lesznek. Ezen felül, ha egy darabot már kválasztottunk, akkor az a négy lehetséges kategóra közül már csak kettıbe tartozhat, attól függıen, hogy aktuálsan jó vagy rossz darabról van-e szó. Tehát ha például jó darabot választunk P=P4=0, P1 a darab referenca-értékének függvénye (a mérıeszköz-képesség-görbe értelmében), és P3=1-P1. Tehát a multnomáls paraméterek valószínőség változók, és ez az rodalomból smert overdszperzó jelenséghez vezet, am növel a varancát. Errıl bıvebben a 10. fejezetben lesz szó. 3.4 A Bayes-tétel helytelen használata A mérıeszköz mnısítésének fontos célja a hbás döntés valószínőségének meghatározása. Ez mnısítéses esetben erısen függ a folyamat eloszlásától (4. ábra). (A folyamat eloszlásán a mnısítendı munkadarabok méretének eloszlását értem.) Ha a folyamat eloszlása olyan, hogy sok darab származk a mérıeszköz szürke tartományából, akkor nagy lesz a hbás döntés valószínősége (az állításnak természetesen az ellenkezıje s gaz). Ezért a leszámlálás mutatókat csak a folyamatból vett véletlen mnták mnısítés eredménye 3

33 AZ AIAG-MÓDSZER KRITIKÁJA alapján lehet számoln. (Pontosabban olyan mntára van szükség, mely a folyamat eloszlását tükröz, akár véletlen mntavétel útján érjük ezt el, akár másképp.) p(elfogad) 1 GPC p(elfogad) 1 GPC 0 Méret 0 Méret Szürke zóna Szürke zóna f(méret) Folyamat eloszlás f(méret) Folyamat eloszlás Méret Méret Rossz darabok Jó darabok Specfkácós határ Rossz darabok Jó darabok Specfkácós határ 4. ábra A folyamat eloszlás hatása a hbás döntés valószínőségére Gyakorlat szempontból a P( jó elutasít ) és P( rossz elfogad ) feltételes valószínőségek a legérdekesebbek, mvel ezekhez konkrét költséget,veszteséget lehet rendeln, ezek alapján lehet majd megmondan, hogy alkalmas-e a mérıeszköz az adott mnısítés feladathoz. E feltételes valószínőségek becsülhetık a leszámlálásos mutatókkal a (.8) és (.9) egyenletek szernt. Például P( jó elutasít ) a Téves elfogadások aránya. (A számoláshoz a referencaértékek smerete szükséges.) Az AIAG elırat elgondolását követve, ha a folyamat eloszlása megváltozk, akkor a P( jó elutasít ) és a P( rossz elfogad ) valószínőségek a Bayes-tétel segítségével számolhatók ((.14) és (.15) egyenletek). Az egyenletek jobb oldalán szereplı P( elutasít rossz ), P( elutasít jó ) feltételes valószínőségeket az elırat az 50 elemő véletlen mnta alapján becsül. A P(jó) és P(rossz) valószínőségek egy másmlyen eloszlású feltételezett folyamatból származnak. Az AIAG példájában C p =1 feltételezés alapján számolták a P(jó) és P(rossz) valószínőségeket. Ez a számolás mód nem vesz fgyelembe, hogy a mérıeszköz bzonytalan tartományában az elfogadás valószínősége függ a mnısített munkadarab méretétıl. Képzeljük el, hogy a gyártás folyamat úgy változk, hogy a selejtarány jelentısen ksebb lesz! Ez alsó egyoldal tőréshatár esetén úgy lehetséges, hogy vagy a folyamat-eloszlás várható értéke mozdul feljebb az elfogadás határhoz képest (erre látható példa a 4. ábrán), vagy a folyamat varancája csökken le, esetleg mndkét változás 33

34 AZ AIAG-MÓDSZER KRITIKÁJA egyszerre történk. Ha lyen módon szőkül, vagy felfelé tolódk a folyamat ngadozása, akkor a folyamatban keletkezı rossz darabok nem lesznek annyra rosszak, mnt elızıleg voltak, azaz nemcsak, hogy kevesebb lesz belılük, de nem s lesznek olyan távol a specfkácós határtól. Ezért, ha ebbıl a jobb folyamatból veszünk véletlen mntát, akkor a rossz darabokat ksebb valószínőséggel mnısítjük rossznak, mert méretük közelebb esk a mérıeszköz szürke tartományának felsı határához. Tehát a P( elutasít rossz ), P( elutasít jó ) valószínőségek a folyamattól (a darabok méret-eloszlásától) függenek, ezért ha a folyamat (és ezzel P(jó) és P(rossz) s) változk, e feltételes valószínőségek értéke s más lesz. A Bayes-tétel helytelen használatából eredı hbát egy konstruált példában számszerő eredményekkel s szemléltetem. A példában a számolás során olyan összefüggéseket s felhasználok, melyeket a dsszertácó késıbb részében kerülnek bevezetésre. Ezért a példát nem tt, hanem a megoldásához szükséges eszközkészlet smertetése után közlöm a 7.4. fejezetben. 34