ÉRTÉKELÉSI MÓDOK 2012

Átírás

1 ÉRTÉKELÉSI MÓDOK 2012

2

3 Értékelési módok /21 BEVEZETÉS A diagnosztikai bizonytalanságot alapvetően két összetevő, a véletlen + rendszeres hibából adódó mérési bizonytalanság (analitikai hiba), és az adott paraméter biológiai variabilitása határozza meg, melyek közül a laboratórium az analitikai hiba mértékét tudja befolyásolni pontosabb, megbízhatóbb munkájával, a megfelelő reagensek, kalibrátorok, kontrollok, módszerek és műszerek (in vitro diagnosztikai eszközök = IVD MDs) megválasztásával. A külső minőségértékelés (External Quality Assessment = EQA) kapcsán lehetőség nyílik a rendszeres hiba utólagos becslésére is, melyet a visszavezethetőség, a különböző minőségű kalibrátorok, mérőberendezések és matrix érzékenység szignifikánsan befolyásol. A laboratóriumok minőségbiztosításában szükséges, hogy megfelelően tudják értelmezni és az analitikai teljesítmény javítására felhasználni az EQA programok értékelési adatait. Ehhez kívánunk hozzájárulni a különböző értékelési módok jellemzőinek összefoglalásával, továbbá a QualiCont által nyújtott értékelések bemutatásával. Bízunk abban, hogy kiadványunk segítséget ad az értékelések értelmezésében, áttekintésében, ezáltal a laboratórium és az IV MDs teljesítményének megítélésében. FOGALMAK A kiadványban szereplő legfontosabb fogalmak összefoglalása: Analit: A kontrollmintában lévő, vizsgálattal meghatározandó (megmérendő, analizálandó) összetevő, más szóval paraméter. EQA: External Quality Assessment, külső minőségértékelés EQA program: külső minőségértékelési körvizsgálat EQAS: External Quality Assessment Scheme, külső minőségértékelési körvizsgálat, program IVD MD(s): In Vitro Diagnostic Medical Device(s), in vitro diagnosztikai orvosi eszköz(ök), gyakran röviden in vitro diagnosztikai eszközökként fordul elő. Körkísérlet, körvizsgálat: A külső minőségértékelés megvalósításának gyakorlati eszköze, mely során az azonos körvizsgálati típust (programot) igénylő valamennyi résztvevőnek azonos időben, többnyire azonos meghatározandó kontrollmintákat küld meg a Társaság. Ily módon az azonos minták egy meghatározott időintervallumon belüli csoportos vizsgálata történik (Lásd még: Program). Körvizsgálati ciklus: A Programajánlatban meghatározott időközönként ismétlődő körvizsgálatok rendje, mely során az egyes körvizsgálati típusokhoz, programokhoz tartozó minták kerülnek kiküldésre (Lásd még: Program). Paraméter: A Paraméter jelöli azt a tulajdonságot, mely egy adott vizsgálattal meghatározásra kerül. Definíciója a következő elemeket tartalmazza: a vizsgálattal meghatározható összetevőt, analitot, valamint azt a rendszert, közeget, amelyben a vizsgálatot végezzük, amelyre az eredményt vonatkoztatjuk. A gyakorlatban általában az analit és paraméter fogalmat egymással azonos értelemben használjuk a kontrollmintában lévő megmérendő összetevőre.

4 Értékelési módok /21 Program: A Társaság éves Tájékoztatójában részletezett, számmal és névvel azonosított körvizsgálati típus. A Társaság által nyújtott szolgáltatás egysége, mely magában foglalja az adott körvizsgálati típushoz tartozó minták megküldését, az eredmények értékelését és az értékelés alapján kiküldött dokumentumokat. Ebben a tekintetben a körvizsgálat szóval jelölt fogalommal azonos értelemben használatos. Egy-egy program (körvizsgálat) a diagnosztika szakmai, analitikai szempontok, mintatípusok, diagnosztikai célok szerinti, meghatározott területét fogja át. Általános értelemben a fogalom alatt a QualiCont Nonprofit Közhasznú Kft. in vitro külső minőségellenőrzési szolgáltatásai értendők, a körvizsgálatok azon választékát, amit nyújtani tud. ÉRTÉKELÉSI MÓDOK Az eredmények értékelése a program típusától függően lehet: I. mennyiségi, II. minőségi és III. szöveges (interpretív) értékelés. I. A MENNYISÉGI ÉRTÉKELÉS során konkrét, valamely mértékegységben megadott mérési eredmények statisztikai mérőszámokkal kifejezhető összehasonlító elemzése történik. II. MINŐSÉGI ÉRTÉKELÉSről azon programok esetében beszélhetünk, amelyben az eredmény egy minősítés (minőségi kategória: pozitív, negatív, kétes) vagy egy adott paraméter jelenlétére, ill. hiányára utal. Ekkor a célérték is minőségi kategóriát megtestesítő szám, vagy jel. Az eredményességi mutatók (pl. találati arány) ekkor is meghatározásra kerülhetnek. III. SZÖVEGES ÉRTÉKELÉS Szakértőink a körvizsgálatok tapasztalatait, eredményességét szöveges véleményben fogalmazzák meg. Ezen szakértői vélemények a mérési és diagnosztikai hatékonyságot befolyásoló általánosítható érvényű szakmai megállapításokat, következtetéseket tartalmaznak, segítő, képző, továbbképző szándékkal. Az eredményességi mutatókat alapvetően két tényező befolyásolja: a célérték és az elfogadási tartomány ill. azok képzése és megadásának módja. A célérték típusai A CÉLÉRTÉK MEGÁLLAPÍTÁSÁNAK MÓDJA SZERINT a célérték lehet: RMV (Reference Method Value) típusú Referens módszerrel nyert célérték, röviden referens célérték. AV (Assigned Value) típusú kell célérték: módszer/mérőrendszer specifikus konszenzus érték Referens vagy szakértői laboratóriumban nyert mérési eredményekből képzett érték. a körvizsgálati eredményekből nyert konszenzus érték A körvizsgálatok eredményeiből valamely számítógépes algoritmus szerint automatikusan, vagy szakértők/szakértői csoportok által képzett célérték. A CÉLÉRTÉKEK RÖGZÍTÉSÉNEK, MEGADÁSÁNAK MÓDJA SZERINT beszélhetünk: 1. Külső célérték típusú, amelyben az eredményeket a referens, kell vagy szakértők/eqa szervezet által megállapított konszenzus célértékhez viszonyítják, ill 2. Konszenzusérték típusú értékelésről, amely során az eredményeket az azokból automatikusan, valamilyen meghatározott szoftver segítségével minden külső beavatkozás nélkül képzett átlagértékhez, konszenzus értékhez viszonyítják.

5 Értékelési módok /21 Az értékelés jellemzői az eredmények összehasonlításának alapjául szolgáló célérték alapján RMV, AV célérték konszenzusérték az értékek megadása 1. referens célérték (RMV): - referens anyagra kalibrált referens módszerrel ún. referens laboratóriumokban határozzák meg 2. kell célérték: - ha a különböző módszerek célértékei között diagnosztikailag számottevő különbség van, akkor ún. kell célérték laboratóriumok statisztikailag értékelhető számú mérés alapján határozzák meg metodikánként - a mért csoporteredményekből a külső minőségellenőrzést végző szerv állapítja meg - az eredményekből valamilyen meghatározott szoftver minden külső beavatkozás nélkül automatikusan képezi (módszerfüggő konszenzus érték, primer referens anyag és referens módszer nem áll rendelkezésre) értékelhető eredmények száma - egyetlen résztvevő eredménye is kiértékelhető - statisztikailag feldolgozható számú résztvevő eredménye szükséges

6 Értékelési módok /21 QualiCont értékelések Az értékelés során a célértékek rögzítése után a QualiCont által kifejlesztett saját értékelő szoftverrel történik a mérési eredmények egymáshoz és a célértékhez történő összehasonlítása, az egyedi értékelések és a különböző összesítések elkészítése. A QualiCont értékeléseiben a célértékek egy része RMV (Reference Method Value) érték (ahol lehetséges), más részük referens vagy szakértői laboratóriumban nyert mérési eredményekből képzett módszer/mérőrendszer specifikus konszenzus értékek, ún. kell érték (AV: Assigned Value). A célértékeket a szállító garantálja. Egyes programok/paraméterek esetében a célértéket 212., 211., 613., 221. és 222. program (APTI és TI ráta) a QualiCont szakértői csoportja állapítja meg a nemzetközi javaslatok alapján (ISO Guide 43-1:1997, ILAC G13: 08/2007, MSZ EN :2004) a körvizsgálati eredményekből. A célértékek típusai és az elfogadási tartományok kiadásra kerültek a Hírmondókban ill. a honlapon is megtalálhatóak (Szakmai tájékoztató/hírmondók). A célértékek nem a mérési eredményekből automatikusan képzett értékek! Az értékeléshez a Német Szövetségi Orvosi Kamara által elfogadott méréshatárokat (RILIBÄK) alkalmazzuk, melyhez a Népjóléti Minisztérium 1996-ban hozzájárult. A QualiCont az eredményeket papír alapon és digitális formában is fogadja és az értékeléseket is hasonlóan papír alapon és digitális formában közli. A digitális eredményközlés és értékelés színtere az ún. I-QC program, amit a QualiCont Nonprofit Közhasznú Kft. honlapjáról az e-ügyintézés/e- Eredményközlés menüpont alatt talál meg. Az I-QC programmal az eredményközlés és az értékelés is elektronikus úton zajlik. A résztvevő laboratóriumok egyéni kóddal hozzáférhető Internetes felületen keresztül közölhetik eredményeiket, majd tekinthetik meg az Egyedi és Összesített értékeléseket, a honlapon az e-ügyintézés/grafikonok menüpont alatt elérhető szolgáltatás, ahol a grafikus értékeléseket tekinthetik meg a résztvevők. Figyelem! Minden laboratóriumnak függetlenül attól, hogy a kommunikáció mely típusát választotta van egyedi belépési kódja az internet alapú értékelő és eredményközlő (I-QC), valamit a grafikus értékeléseket megjelenítő rendszerhez. Mind a két rendszerhez ugyanazokat a kódokat kell használni. Amennyiben elfelejtette, vegye fel a kapcsolatot az Irodánkkal! Aki az elektronikus eredményközlés mellett dönt, eredményeit papír alapon ne küldje be irodánkba! Az elektronikus úton eredményt közlő laboratóriumok az eredményközlő lapokat, az értékeléseket nem kapják meg papír alapon.

7 Értékelési módok /21 I. MENNYISÉGI ÉRTÉKELÉS Mi látható az értékelő lapokon? Egyedi kiértékelés (1. ábra) - a laboratórium neve, kódszáma - a kiküldés és az eredmény beérkezésének dátuma - a program kódszáma és neve - a vizsgálat neve és mértékegysége - a laboratórium által közölt eredmény a hozzá tartózó módszer-, reagens-, vagy műszerkóddal - a megfelelő célérték az elfogadási tartománnyal - az eredmény eltérése a célértéktől %-ban - az elfogadási tartományt reprezentáló sáv az eredmény helyét megjelenítő karikával - a tartományon kívül eső eredmény esetén egy felkiáltójel Összesítés (2. ábra) - a program kódja és neve - a kiküldött minták és a beérkezett eredményközlő lapok száma - az adott paraméter célértéke az elfogadási tartománnyal: 1.) referens célérték esetén az összes módszer és reagens egy értékelési csoportba kerül 2.) kell célérték esetén módszer ill. reagens/műszer szerinti csoportokba kerülnek az eredmények - az egy csoportba került eredmények átlaga, szórása (VK%-ban kifejezve) és száma - a mintánkénti és az együttes jó mérések %- ban 1. ábra

8 Értékelési módok /21 kör azonosító 2. ábra

9 Értékelési módok /21 1. REFERENS célérték esetén: Mi nem látható az értékelő lapokon? Egy célérték tartozik valamennyi módszerhez és reagenshez, vagyis egy csoportban kerül értékelésre valamennyi eredmény (a csoport együttes összesített eredménye található meg az értékelésen), ezért NEM látható külön, valamennyi különböző reagens, mérőrendszer teljesítménye. 2. KELL célérték esetén: Különböző módszerekhez különböző célérték tartozik, ezért NEM látható minden esetben a különböző reagensekkel/műszerekkel mért eredmények összesítése, az összesített over all átlag, szórás. Ezen adatsorok ismerete az értékelést végző szakértőket segíti munkájukban. Módszer-, műszer-, és reagensfüggő szisztémás hibákra derülhet fény, amit kommentárjaikban közölnek a résztvevőkkel. Kérésre - vélhető szisztémás hiba gyanúja esetén - a résztvevő laboratóriumok rendelkezésére bocsátjuk valamely konkrét paraméter, konkrét reagens/műszer csoportjának összesített értékelését, szükség esetén az egyedi eredménysorokat, a többi résztvevő azonosításának lehetősége nélkül. Hosszútávú értékelés A QualiCont által alkalmazott, a laboratóriumoknak kiadott értékelések sora 2002-től új elemmel bővült, az Egyedi hosszútávú értékeléssel, melynek célja egy adott paraméter mérésének eredményességi áttekintése egy meghatározott időintervallumon belül. Az értékelés használatával az egyes paraméterekre, ill. a program egészére vonatkozóan egy hosszabb időszak eredményessége, az analitikai teljesítmény változása tekinthető át, olyan szisztémás eltérésekre, tendenciákra figyelhet fel a laboratórium, amely korábban elkerülte a figyelmét. Egyedi: melyen mindenki a saját mérési eredményeinek a célértéktől való eltérését láthatja. Hosszútávú: mely több körvizsgálati ciklus eredményeinek értékelését sűríti össze. Valójában egy program paramétereinek külső minőségértékelési quality control kártyája. Azok a vizsgált paraméterek láthatóak, amelyekből az adott időszakon belül eredményt közöltek és az értékelésre került. Ábrázolásra kerül az adott paraméter mért értékének eltérése a célértéktől (%-ban) az adott időszakon belül. Ezt a fajta értékelést csak azon programoknál végezzük el és küldjük meg, amelyek esetében mennyiségi értékelést végzünk (3. ábra). A minőségi módon értékelt programok esetében nem (Pl.: 171. Vizelet rutin: kvalitatív, 212. Minőségi vérkép, 411. Bakteriológia stb.)!

10 Értékelési módok /21 Az ábrázolás tartalma A vizsgált időszak: első és utolsó körvizsgálati ciklus/kör, amelyet felölel az értékelés [1] Csak azon körvizsgálati ciklusok vannak feltüntetve, ahol legalább két minta került értékelésre és amelyből eredmény, ill. értékelés született! A vízszintes tengelyen (abszcisszán) egymás mellett sorakoznak évszámmal, ciklusszámmal a körvizsgálatok [2]. Eltérő színmélységű oszlopok jelenítik meg az egy cikluson belül értékelt két (ill. több) mintát. A függőleges tengelyen (ordinátán) egy lineáris skála segítségével a célértéktől való %-os eltérés látható [3]. Egyedi hosszútávú kiértékelés Laboratórium neve 000 [1] [1] [10] [9] [8] [3] [4] eltérés 0 Szisztémás eltérés [7] A viszonylag nagy oszlop elfogadott eltérést reprezentál [7] [5] [3] [6] Javuló tendencia Véletlen, robusztus eltérés [2] [2] A viszonylag kicsi oszlop felett ott lehet a jel [5] 3. ábra

11 Értékelési módok /21 Jellegzetességei Csak azon körvizsgálati ciklusok és azon belül csak azon paraméterek vannak feltüntetve, amelyekben, ill. amelyekből eredményt közölt a laboratórium, ill. az értékelésre is került! Egy lapon 8 paraméter elemzése fér el, minden paraméter értékelésére azonos terület áll rendelkezésre. Egy egy oszlop magassága a %-os eltérés értékéig nyúlik. Amennyiben az eltérés 0 volt, vagyis a közölt eredmény a célértékkel megegyezett, úgy az oszlop magassága is 0, vagyis egy vízszintes vonal reprezentálja az adott ciklusban ezt a mintát [4]. A vízszintes vonal tehát nem azt jelenti, hogy abban a körben nem vett részt, nem küldött eredményt a laboratórium, vagy nem került értékelésre az eredménye. Ezek a hiányzó ciklusszámból láthatók. Ha az eredmény az elfogadási határokon kívül esett, azt egy szimbólummal jelöljük, amely az adott mintát megjelenítő oszlophoz kerül, függetlenül attól, hogy az eltérés milyen irányú volt [5]. Mivel a mért érték %-os eltérése is nagyon eltérő lehet pl [6], és a rendelkezésre álló terület állandó, a lineáris skála léptéke is többnyire különböző! Ebből következik, hogy a különböző paraméterek esetén ugyanazon számszerű eltérést különböző méretű oszlop reprezentálhat, ill. előfordulhat, hogy egy viszonylag nagy oszlop egy elfogadott eltérést reprezentál [7], míg egy viszonylag kicsi oszlop felett ott lehet a szimbólum [5]. Mivel csak azon körvizsgálati ciklusok vannak feltüntetve, amelyekhez értékelt eredmény is tartozik, előfordulhat, hogy kevesebb, de jóval szélesebb oszlopok jelennek meg az egyik paraméter esetében, mint a másiknál [8]. További adatok Átlageltérés % [9]: a paraméter neve mellett, jelenti annak, adott időszakon belüli átlagos %-os eltérését a célértéktől. Átlageltérés % [10]:a vizsgált időszak mellett van jelölve, jelenti a programban közölt valamennyi paraméter %-os eltérésének átlagát az adott vizsgált időszakon belül, az adott laboratórium esetében.

12 Értékelési módok /21 Grafikus értékelés Az esetleges hibák feltárása utáni hibajavító intézkedés annál sikeresebb, minél hamarabb kap információt a laboratórium a teljesítményéről. A grafikus értékelések óriási előnye, hogy igen hamar, egy ránézésre több, komplex információ nyerhető belőlük. A QualiCont 2011-ben kifejlesztette azt a szoftvert, amelynek segítségével a laboratórium egyedi belépési kódjait használva az interneten különböző opciók választásával részletes elemzéseket, tetszőleges kombinációban kérdezhet le. Mód van a laboratórium saját eredményén túl a csoporteredmények és más mérőrendszerek által nyert eredmények megjelenítésére Youden Plot és hisztogram formájában, továbbá a szokásos statisztikai mérőszámok mellett elérhetőek a z-score adatok is. A Youden Plot megjelenítés tartalmazza az elfogadási tartományt reprezentáló területet, és sűrűségi függvény is hozzá van rendelve az ábrához. Azon résztvevőknek, akik a papír alapú kommunikációt választották, a lehetséges lekérdezések és elemzések közül egyet küldünk meg kinyomtatva: Hisztogram/Youden Plot elfogadási tartománnyal, eredményességi mutatókkal. Elérési és használati útmutató A grafikus értékelések a címről érhetőek el az e-ügyintézés menüpont alatt. Ide belépve az alábbi képet látjuk: 4. ábra A sötétkék menüsávban a Grafikonok menüpont alatt kétféle grafikus kimutatási lehetőség közül választhatunk: az eredményeket Hisztogram (6. ábra) vagy Youden-plot (7. ábra) segítségével jeleníthetjük meg. A lila almenü sávban találhatjuk meg az említett két választási lehetőséget, valamelyik menüpontra kattintva elvezet a kívánt megjelenítéshez az alábbiak szerint.

13 Értékelési módok /21 Mindkét diagramtípusnál a diagram felett található szűrési lehetőséggel választhatjuk ki, hogy melyik körvizsgálat, melyik programjának, melyik paraméterét szeretnénk megjeleníteni. Majd a megfelelő gombra kattintva (Hisztogram vagy Youden-Plot attól függően, hogy a lila almenüben mit választottunk) megjelenik a kívánt ábra vagy ábrák. 5. ábra Megjelenítheti a z-score szerinti értékeket a z-score kiválasztó elem (checkbox) bejelölésével, továbbá megjelenítheti a Hisztogramok Gauss eloszlás szerinti közelítését és a statisztika készítésekor irrelevánsnak ítélt kieső eredményeket is. A saját csoport kékkel, míg az összes eredmény szürkével jelölt az ábrán, valamint a saját eredmény színe narancssárga. A saját csoport mellett más csoportok megjelenítése is lehetséges. A csoportok a 'Saját csoport megjelenítése' és 'Más csoport megjelenítése' szekciókban kiválasztott elemek szerint képződnek. Lehetőség van az ábrák PDF-ként való letöltésére a 'Letöltés PDF-ként' hivatkozásra kattintva. A help/segítség oldalakon megtalálja a szoftver leírását.

14 Értékelési módok /21 Hisztogram 6. ábra

15 Értékelési módok /21 Youden-Plot 7. ábra

16 Értékelési módok /21 II. MINŐSÉGI ÉRTÉKELÉS Azon programok esetében beszélhetünk minőségi értékelésről, amelyben az eredmény - egy minősítés (minőségi kategória): pozitív, negatív, kétes pl Vizelet rutin, kvalitatív, 344. Vírus szerológia: Hepatitis B vírus (8. ábra). - vagy egy adott paraméter jelenlétére, ill. hiányára utal: pl Vércsoport szerológia, Kell antigén (9. ábra). A minőségi típusú körvizsgálatoknál Egyedi kiértékelést és Összesítést kapnak a laboratóriumok. kör azonosító 8. ábra kör azonosító 9. ábra

17 Értékelési módok /21 A laboratóriumok teljesítményének értékelésére a Hisztotechnológiai és Immunhisztokémiai programok esetében több, egymástól független szakértők értékeléséből kialakított pontrendszert (score) alkalmazunk (10. ábra). B- sejt marker, saját metszeten 10. ábra Egyes programoknál kis létszámú csoportok esetén az eredményeket egy összefoglaló táblázatban közöljük módszerenként, illetve reagensenként csoportosítva, az eredmények összevethetősége érdekében: 176. Vizelet drog, 720. Allergia diagnosztika, Széklet vér (11/a - c ábra). (kör azonosító) 11/a. ábra

18 Értékelési módok /21 A 720. Allergia diagnosztika, laboratóriumok által közölt eredmények (kör azonosító) 11. minta Mértékegység Paraméter Elf.tart Elf.tart Ló hámantigén quanti - 1,18 2,32 2,33-37,4 e03 RAST Nyír quanti 4,73 5,97 8,67 7,68 34,48 50,63 t03 RAST Lándzsás útifű quanti 3,84 3,04 4,32 4,61 9,5 14,75 w09 RAST B Darázs quanti 0,59 0,55 0,42 0,565 3,54 5,03 i03 RAST Méh quanti 1,3 0,85 1,31 1,35 6,27 7,49 i01 RAST Módszer 4. ELISA 3. EIA Teszt/gyártó/ műszer Reagens: BIOCHEM IMMUNOSYSTEM/ADALTIS (SO) QC: 52: PERSONAL LAB ALLERGY HC 11/b. ábra Széklet vér vizsgálat Magyar résztvevők eredményeinek összefoglaló táblázata (kör azonosító) 11/c. ábra III. SZÖVEGES (INTERPRETÍV) ÉRTÉKELÉS Szöveges értékelést bizonyos programokhoz (pl. minőségi vérkép, csontvelő citológia, mikrobiológia, patológiai programok) rendszeresen adunk a további mennyiségi, minőségi értékeléshez kapcsolódóan. Ezen szakértői vélemények a mérési és diagnosztikai hatékonyságot

19 Értékelési módok /21 befolyásoló általánosítható érvényű szakmai megállapításokat, következtetéseket tartalmaznak, segítő, képző, továbbképző szándékkal.

20 TARTALOM BEVEZETÉS FOGALMAK ÉRTÉKELÉSI MÓDOK A célérték típusai Az értékelés jellemzői QualiCont értékelések I. MENNYISÉGI ÉRTÉKELÉS Egyedi kiértékelés és Összesítés Hosszútávú értékelés Grafikus értékelés II. MINŐSÉGI ÉRTÉKELÉS III. SZÖVEGES ÉRTÉKELÉS

21 In Vitro Diagnosztikai Minőségellenőrzési Nonprofit Közhasznú Kft. A QualiConttal kapcsolatos aktualitásokat keresse web-oldalunkon: Szeged, Somogyi u Szeged Pf.: 910 Tel.: 62/ ; Fax.: 62/ mail@qualicont.com