- mit, hogyan, miért? Dr. Bélavári Csilla VITUKI Nonprofit Kft., Minőségbiztosítási és Ellenőrzési Csoport c.belavari@vituki.hu 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 1
I. Elfogadott érték megállapítása II. Elfogadhatósági kritérium megállapítása (teljesítményértékelésre használt szórás, SDPA ) III. Teljesítménymutatók kiszámítása a beküldött eredményekre IV. (Teljesítménymutatók vs. elfogadhatósági kritérium: minősítés) 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 2
Egységes gyakorlat hiánya: ISO 13528:2005 (5+ különböző eljárás) IUPAC Technical Report 2006 ISO/TS 20612:2007 ASTM Guide E1301 CoEPT: jártasságvizsgálók jártasságvizsgálata azonos adathalmazok kiértékelése azonos minták kiosztása és értékelése Σ: 70-90%-os egyezés! >< Eltérések oka: SDPA választása Boley et al(2006), Accred. Qual. Assur. 11 (391-399) 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 3
Elméleti érték - bemérésből Tanusított referenciaérték - CRM tanusítványból Referenciaérték - CRM-mel való összemérésből Konszenzusos érték szakértői laboratóriumok eredményeiből Konszenzusos érték valamennyi laboratórium eredményéből egyszerű olcsó problémás komponenseknél is jól alkalmazható és ha nincs konszenzus? torzítottság 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 4
Nem robusztus számítási módszerek átlag (számtani közép) kiugró értékek elhagyásával számolt átlag Robusztus számítási módszerek medián Huber-becslő, A algoritmus (ISO 13528, robusztus átlag ) Hampel-becslő(ISO/TS 20612 robusztus átlag ) 2011.02.10. 2010. évi záróértekezlet- VITUKI, MECS 5
2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 6
Nem robusztus számítási módszerek átlag (számtani közép) kiugró értékek elhagyásával számolt átlag Robusztus számítási módszerek medián Huber-becslő, A algoritmus (ISO 13528, robusztus átlag ) Hampel-becslő(ISO/TS 20612 robusztus átlag ) Robusztus = robusztus eljárással számolt! (Robusztus eljárás: érzékelten a valószínűségi modellhez tartozó feltevésektől való kicsiny eltérésekre) 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 7
Torzítatlanság Egy adott adathalmazból ismételten mintát véve az egyes mintákra számolt elfogadott értékek átlaga mennyiben tér el az összes adatból számoltátlagtól Hatékonyság Egy adott adathalmazból ismételten mintát véve az egyes mintákra számolt elfogadott értékek szórása mennyire közelít az elméleti minimumértéket Modellezhető! M. Koch et al. (2008, 2009): EURACHEM training course for PT/EQA providers 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 8
Tökéletes Gauss-eloszlású adathalmaz esetén: torzítatlanság: egyforma(kismértékű) hatékonyság: medián gyengébb Kiugró adatokat tartalmazó adathalmaz esetén: nagyban függ az adathalmaztól! (számítások: néhány Gausstól kismértékben eltérő eloszlásra) torzítatlanság: medián Hampel-becslő Huber-becslő ( rob. átlag ) >> átlag hatékonyság: Hampel-becslő Huber-becslő ( rob. átlag ) > medián > átlag 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 9
Torzítatlanság: többi alternatívához hasonló vagy jobb teljesítmény Hatékonyság: tipikusan gyengébb,mint a többi robusztus eljárással Gyengébb hatékonyság => nagyobb bizonytalanság (u X ) Feltétel (ISO 17043, normatív): u X 0,3 * SDPA Teljesítményértékeléshez használt szórás (SDPA) megfelelő megválasztásával vesszük figyelembe. 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 10
Előírás pl. jogszabály Elvárható szint pl. szakmai fórum, irodalmi adatok, "célnak való megfelelőség" Általános modell alapján pl. Horwitz-görbe Körvizsgálat adataiból számolt sokféle használatos: tapasztalati szórás, kiugró értékek elhagyásával számolt szórás, IQR, MAD, A algoritmus (ISO 13528, rob. szórás ), Q algoritmus (ISO/TS 20612) változó -összehasonlítás? túl kicsi/túl nagy szórás egyaránt problémás Több körvizsgálat eredménye alapján idősorok: saját koncentrációszint-tapasztalati szórás görbe S algoritmus: szuperrobusztus szórás 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 11
Időbeni összehasonlíthatóság Előre ismert résztvevők számára Szélsőséges adathalmazok esetén különösen hasznos Szubjektivitás? "Célnak való megfelelőség": kinek? Jövőbeni tervek: több körvizsgálat eredménye alapján. 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 12
Eltérés az elfogadott értéktől (abszolút érték vagy %) Sorrend (abszolút érték vagy %) z-érték z = (mért-elfogadott érték)/sdpa z'-érték, ξ-érték, E n szám, E z szám...... az elfogadott és/vagy a mért érték bizonytalanságát is figyelembe veszik kötelezően használandók, ha u X 0,3 * SDPA nem teljesül ha fenti feltétel teljesül, alkalmazásuknak előnye nincsen 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 13
Két fokozat: megfelelő - nem megfelelő 1 kritikus szint célszerű, ha SDPA körvizsgálaton kívülről származik 95,4% 99,7% Három fokozat: megfelelő - kérdéses - nem megfelelő 2 kritikus szint célszerű, ha SDPA körvizsgálat adataiból, belülről származik tipikus kritikus szintek: első szint: 95,4%-os statisztikai biztonság második szint: 99,7%-os statisztikai biztonság 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 14
Hazai Duna-medencei Teljesítménymutató %-os eltérés z-érték Minősítés két fokozatú három fokozatú Miért? - Hagyomány, értelmezhetőség. 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 15
x: mért érték X: elfogadott érték Elf(%): elfogadható %-os eltérés SDPA(z): z-értékszámításához használt szórásérték Hazai körvizsgálatokban : x X Elf (%) X azaz: x X X Elf (%) Duna-medencei körvizsgálatokban : azaz: x X SDPA( z ) x X 2 2 SDPA( z) A kettő azonos eredményt ad, ha: SDPA( z ) Elf (%) 2 X 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 16
Elfogadott érték SDPA Teljesítménymutató Minősítés Medián (feltüntetjük a "robusztus átlagot" is) Előre meghatározott elvárható szint (feltüntetjük a "robusztus szórást" is) %-os eltérés az elfogadott értéktől illetve z-érték Két- illetve háromfokozatú 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 17
Statisztikai jelentőség Szakmai jelentőség Statisztikai jelentéktelenség Szakmai jelentéktelenség 2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 18
2011.02.10. 2010. évi záróértekezlet - VITUKI, MECS 19