- mit, hogyan, miért?

Átírás

1 - mit, hogyan, miért? Dr. Bélavári Csilla VITUKI Nonprofit Kft., Minőségbiztosítási és Ellenőrzési Csoport évi záróértekezlet - VITUKI, MECS 1

2 I. Elfogadott érték megállapítása II. Elfogadhatósági kritérium megállapítása (teljesítményértékelésre használt szórás, SDPA ) III. Teljesítménymutatók kiszámítása a beküldött eredményekre IV. (Teljesítménymutatók vs. elfogadhatósági kritérium: minősítés) évi záróértekezlet - VITUKI, MECS 2

3 Egységes gyakorlat hiánya: ISO 13528:2005 (5+ különböző eljárás) IUPAC Technical Report 2006 ISO/TS 20612:2007 ASTM Guide E1301 CoEPT: jártasságvizsgálók jártasságvizsgálata azonos adathalmazok kiértékelése azonos minták kiosztása és értékelése Σ: 70-90%-os egyezés! >< Eltérések oka: SDPA választása Boley et al(2006), Accred. Qual. Assur. 11 ( ) évi záróértekezlet - VITUKI, MECS 3

4 Elméleti érték - bemérésből Tanusított referenciaérték - CRM tanusítványból Referenciaérték - CRM-mel való összemérésből Konszenzusos érték szakértői laboratóriumok eredményeiből Konszenzusos érték valamennyi laboratórium eredményéből egyszerű olcsó problémás komponenseknél is jól alkalmazható és ha nincs konszenzus? torzítottság évi záróértekezlet - VITUKI, MECS 4

5 Nem robusztus számítási módszerek átlag (számtani közép) kiugró értékek elhagyásával számolt átlag Robusztus számítási módszerek medián Huber-becslő, A algoritmus (ISO 13528, robusztus átlag ) Hampel-becslő(ISO/TS robusztus átlag ) évi záróértekezlet- VITUKI, MECS 5

6 évi záróértekezlet - VITUKI, MECS 6

7 Nem robusztus számítási módszerek átlag (számtani közép) kiugró értékek elhagyásával számolt átlag Robusztus számítási módszerek medián Huber-becslő, A algoritmus (ISO 13528, robusztus átlag ) Hampel-becslő(ISO/TS robusztus átlag ) Robusztus = robusztus eljárással számolt! (Robusztus eljárás: érzékelten a valószínűségi modellhez tartozó feltevésektől való kicsiny eltérésekre) évi záróértekezlet - VITUKI, MECS 7

8 Torzítatlanság Egy adott adathalmazból ismételten mintát véve az egyes mintákra számolt elfogadott értékek átlaga mennyiben tér el az összes adatból számoltátlagtól Hatékonyság Egy adott adathalmazból ismételten mintát véve az egyes mintákra számolt elfogadott értékek szórása mennyire közelít az elméleti minimumértéket Modellezhető! M. Koch et al. (2008, 2009): EURACHEM training course for PT/EQA providers évi záróértekezlet - VITUKI, MECS 8

9 Tökéletes Gauss-eloszlású adathalmaz esetén: torzítatlanság: egyforma(kismértékű) hatékonyság: medián gyengébb Kiugró adatokat tartalmazó adathalmaz esetén: nagyban függ az adathalmaztól! (számítások: néhány Gausstól kismértékben eltérő eloszlásra) torzítatlanság: medián Hampel-becslő Huber-becslő ( rob. átlag ) >> átlag hatékonyság: Hampel-becslő Huber-becslő ( rob. átlag ) > medián > átlag évi záróértekezlet - VITUKI, MECS 9

10 Torzítatlanság: többi alternatívához hasonló vagy jobb teljesítmény Hatékonyság: tipikusan gyengébb,mint a többi robusztus eljárással Gyengébb hatékonyság => nagyobb bizonytalanság (u X ) Feltétel (ISO 17043, normatív): u X 0,3 * SDPA Teljesítményértékeléshez használt szórás (SDPA) megfelelő megválasztásával vesszük figyelembe évi záróértekezlet - VITUKI, MECS 10

11 Előírás pl. jogszabály Elvárható szint pl. szakmai fórum, irodalmi adatok, "célnak való megfelelőség" Általános modell alapján pl. Horwitz-görbe Körvizsgálat adataiból számolt sokféle használatos: tapasztalati szórás, kiugró értékek elhagyásával számolt szórás, IQR, MAD, A algoritmus (ISO 13528, rob. szórás ), Q algoritmus (ISO/TS 20612) változó -összehasonlítás? túl kicsi/túl nagy szórás egyaránt problémás Több körvizsgálat eredménye alapján idősorok: saját koncentrációszint-tapasztalati szórás görbe S algoritmus: szuperrobusztus szórás évi záróértekezlet - VITUKI, MECS 11

12 Időbeni összehasonlíthatóság Előre ismert résztvevők számára Szélsőséges adathalmazok esetén különösen hasznos Szubjektivitás? "Célnak való megfelelőség": kinek? Jövőbeni tervek: több körvizsgálat eredménye alapján évi záróértekezlet - VITUKI, MECS 12

13 Eltérés az elfogadott értéktől (abszolút érték vagy %) Sorrend (abszolút érték vagy %) z-érték z = (mért-elfogadott érték)/sdpa z'-érték, ξ-érték, E n szám, E z szám az elfogadott és/vagy a mért érték bizonytalanságát is figyelembe veszik kötelezően használandók, ha u X 0,3 * SDPA nem teljesül ha fenti feltétel teljesül, alkalmazásuknak előnye nincsen évi záróértekezlet - VITUKI, MECS 13

14 Két fokozat: megfelelő - nem megfelelő 1 kritikus szint célszerű, ha SDPA körvizsgálaton kívülről származik 95,4% 99,7% Három fokozat: megfelelő - kérdéses - nem megfelelő 2 kritikus szint célszerű, ha SDPA körvizsgálat adataiból, belülről származik tipikus kritikus szintek: első szint: 95,4%-os statisztikai biztonság második szint: 99,7%-os statisztikai biztonság évi záróértekezlet - VITUKI, MECS 14

15 Hazai Duna-medencei Teljesítménymutató %-os eltérés z-érték Minősítés két fokozatú három fokozatú Miért? - Hagyomány, értelmezhetőség évi záróértekezlet - VITUKI, MECS 15

16 x: mért érték X: elfogadott érték Elf(%): elfogadható %-os eltérés SDPA(z): z-értékszámításához használt szórásérték Hazai körvizsgálatokban : x X Elf (%) X azaz: x X X Elf (%) Duna-medencei körvizsgálatokban : azaz: x X SDPA( z ) x X 2 2 SDPA( z) A kettő azonos eredményt ad, ha: SDPA( z ) Elf (%) 2 X évi záróértekezlet - VITUKI, MECS 16

17 Elfogadott érték SDPA Teljesítménymutató Minősítés Medián (feltüntetjük a "robusztus átlagot" is) Előre meghatározott elvárható szint (feltüntetjük a "robusztus szórást" is) %-os eltérés az elfogadott értéktől illetve z-érték Két- illetve háromfokozatú évi záróértekezlet - VITUKI, MECS 17

18 Statisztikai jelentőség Szakmai jelentőség Statisztikai jelentéktelenség Szakmai jelentéktelenség évi záróértekezlet - VITUKI, MECS 18

19 évi záróértekezlet - VITUKI, MECS 19