A. AZ AJÁNLÁS TÉMAKÖRE, CÉLJA(I) (1-3) 88% 1 S1 1. Az ajánlás célját világosan meghatározták S1 2. Az ajánlás által tárgyalt klinikai problémakört pontosan meghatározták S1 3. Az ajánlás által érintett klinikai célcsoportokat (ellátottak és ellátók) pontosan meghatározták. B. ÉRINTETTEK BEVONÁSA AZ AJÁNLÁSOK FEJLESZTÉSÉBE (4-6) 0% S1 4. Az ajánlást fejlesztő csoport munkájába az érintett szakterületek, ellátási szintek képviselőit bevonták. S2 5. Az ajánlás fejlesztésében az ellátottak szempontjait is figyelembe vették. X S2 6. Ha az ellátásban alapvetően érintett más, az egészségügyi ellátáson kívüli szakterület is (pl. szociális ellátás, oktatás), képviselőik véleményét kikérték C. AZ AJÁNLÁS FEJLESZTÉSÉNEK FOLYAMATA (7-11) 0% S3 7. Szisztematikus módszereket alkalmaztak az adaptálandó irányelv(ek) illetve egyéb bizonyítékok felkutatására S3 8. Szisztematikus módszereket alkalmaztak az adaptálandó irányelv(ek), egyes ajánlások illetve egyéb bizonyítékok kiválasztására S2 9. Az ajánlások kialakításakor a bizonyítékokon alapuló orvoslás elvei szerint jártak el S2 10. Az ajánlást megjelenése előtt független szakértői csoport véleményezte. S1 11. Az ajánlás érvényességét, frissítésének módját megadják D. VILÁGOS MEGFOGALMAZÁS, ÁTTEKINTHETŐ DOKUMENTÁ- CIÓ (12-16) 87% S1 12. Az ajánlások specifikusak és egyértelműek S1 13. Az ellátás során felmerülő döntéshelyzeteket egyértelműen jelenítették meg. S1 14. A legfontosabb ajánlások könnyen azonosíthatóak. X S1 15. Az ajánlás szerkezete a használhatóságot támogatja S2 16. Az ajánlás szerkezete megfelel az EüM által kiadott formai követelményeknek E. GYAKORLATI ALKALMAZHATÓSÁG (17-19) 0% S2 17. Az ajánlás a bevezetését támogató eszközöket tartalmaz. X S1 18. Az ajánlások megvalósításához szükséges szervezeti feltételeket meghatározták S3 19. A felülvizsgálathoz illetve auditáláshoz szükséges szempontokat megadták. F. KIADÓI FÜGGETLENSÉG (20) 0% S3 20. A fejlesztés során igénybe vett külső támogatás, szponzor függetlenségéről és elfogulatlanságáról nyilatkoznak. Az EüM Protokoll Fejlesztési Projekt keretében, az AGREE és DELBI kérdőívek alapján kialakított értékelő kérdőív az EüM és a TUDOR-hálózat szellemi terméke. 1 1 = erős nem megfelelés : ha az irányelv nem foglalkozik az adott szemponttal, vagy nincs róla releváns információ, vagy nem megfelelően foglalkozik az adott szemponttal, vagy pedig egyáltalán nem teljesíti a vizsgált szempontot; 2 = nem megfelelés : a vizsgált szemponttal csak részben foglalkozik az irányelv, ahhoz fontos információk még hiányoznak, illetve a szempont alig teljesül; 3 = megfelelés : a szempont értékeléséhez még hiányoznak információk, de a szempont teljesülése még éppen vagy részben elfogadható; 4 = erős megfelelés : a szempont kiválóan értékelhető, illetve nagyon jól teljesül. - : a kérdés nem releváns az értékelt témában Dátum: 2007. 08. 19. 1/8
Az ajánlás KÉRDŐÍV ORVOS-SZAKMAI AJÁNLÁSOK KRITIKUS ÉRTÉKELÉSÉHEZ fenntartások nélküli elfogadását javaslom ÖSSZEFOGLALÓ ÉRTÉKELÉS elfogadását a hiányok pótlását követően javaslom átdolgozását javaslom elfogadását nem javaslom Az ajánlás megjelentetését az alábbi kategóriában javaslom: Javasolt közlési kategória (Bizonyítékokon alapuló) szakmai irányelv* (Bizonyítékokon alapuló) Nemzeti útmutató/betegellátási eljárásleírás X Jelölje X-szel Indoklás Szakmai állásfoglalás/ módszertani levél * X A bizonyítékokon alapuló irányelv/protokoll fejlesztés elemei pontosan nem dokumentáltak. Egyéb (kérjük megadni!): * kérjük a megfelelőt bekarikázni, vagy aláhúzni A dokumentumból nem derül ki egyértelműen: melyik szakmai kollégium készítette, ill. kik a szerzők, és milyen szakterületet képviselnek, mikor veszti érvényét, hogyan és mikor kell felülvizsgálni. Nem nyilatkoznak arról, hogy milyen tárgyi, személyi és képzési feltételek szükségesek. Hiánypótlást kérünk az alábbiakra: Ld. megjegyzések az értékelésben. Pontosítást kérünk az alábbiakban: Az ajánlások forrása, az irodalomjegyzéknek a szövegben való hivatkozásával. További javaslatok: Az irányelv kritikus értékelését végezték: TUDOR munkacsoport Készült: 2007. 08. 19. Dátum: 2007. 08. 19. 2/8
MUNKA DOKUMENTUM ÉS SZEMPONTOK AZ ÉRTÉKELÉST VÉGZŐK SZÁMÁRA A. AZ AJÁNLÁS TÉMAKÖRE ÉS CÉLJA (1-3) 1. Az ajánlás célját világosan meghatározták Pontszám:4 S1 1.1. Az ajánlás témaválasztása indokolt. S1 1.2. Az ajánlás fejlesztésének célja meghatározott. 2. Az ajánlás által tárgyalt klinikai problémakört pontosan meghatározták Pontszám:4 S1 2.1. Az ajánlás címe tükrözi a tárgyalt klinikai problémakört. Betűhiba van a címben: MEDDŐSÉG ELLÁTÁS - ASSZTÁLT REPRODUKCIÓ- In Vitro Fertilizáció 3. Az ajánlás által érintett klinikai célcsoportokat (ellátottak és ellátók) pontosan meghatározták Pontszám:3 S1 3.1. Az ajánlás által érintett ellátotti csoport(ok) jellemzőit pontosan meghatározták (beleértve az életkort, nemet, klinikai jellemzőket, komorbiditást stb.) S2 3.2. Jól körülírták azon ellátotti csoport(ok) jellemzőit, melyek teljesülése esetén az ajánlások nem használhatók S1 3.3. Az ajánlás által érintett ellátói kör(öke)-t / szint(ek)et pontosan meghatározták. Nem határoznak meg pontos ellátói szinteket. Kérjük pótolják. B. ÉRINTETTEK BEVONÁSA AZ AJÁNLÁSOK FEJLESZTÉSÉBE (4-6) 4. Az ajánlást fejlesztő csoport munkájába az érintett szakterületek, ellátási szintek képviselőit bevonták. S1 4.1. Az ajánlás megadja a fejlesztőcsoport összetételét, a véleményezésben résztvevő szakterületeket. S1 4.2. A fejlesztésbe a hazai ellátási gyakorlat alapján elsődleges ellátási felelősséggel bíró szakterület(ek), ellátói szint(ek) képviselőit bevonták (elsődleges ellátói célcsoportok). S2 4.3. Az ajánlást véleményeztették minden, az ellátásban konzultatív jelleggel résztvevő szakterület, ellátói szint képviselőjével (másodlagos ellátói célcsoport) is. Nem adnak információt a fejlesztők szakmai hovatartozásáról. Nem derül ki, hogy a dokumentumot mely szakmai társaság felügyelete alatt adták ki. Kérjük pótolják. Nincs információ a 4.2. és a 4.3. ponthoz. 5. Az ajánlás fejlesztésekor az ellátottak szempontjait is figyelembe vették. S2 5.1. Az érintett ellátotti kör preferenciáit meghatározták és figyelembe vették. S3 5.2. Ha a protokoll által tárgyalt témakörben működik betegszervezet, annak véleményét kikérték. Nincs információ. Dátum: 2007. 08. 19. 3/8
6. Ha az ellátásban alapvetően érintett más, az egészségügyi ellátáson kívüli szakterület is (pl. szociális ellátás, oktatás), képviselőik véleményét kikérték S2 6. Egyéb, az ellátásban az egészségügyi szakterületen kívül érintettek véleményét is kikérték. Nincs információ. C. AZ AJÁNLÁS FEJLESZTÉSÉNEK FOLYAMATA (7-11) 7. Szisztematikus módszereket alkalmaztak az adaptálandó irányelv(ek) illetve egyéb bizonyítékok felkutatására S2 7.1. Adaptálásra alkalmas irányelvet a legismertebb irányelv honlapok és az adott szakterület legelfogadottabb forrásain keresztül kerestek. S3 7.2. Amennyiben szükséges volt, szisztematikus módszertant alkalmaztak egyéb, a lehető legmagasabb szintű bizonyítékok (szisztematikus irodalmi áttekintés, metaanalízis, evidencia tábla, evidence summary, technical review, stb.) felkutatására. Bár van irodalomjegyzék, de nem írják le, hogy milyen módszereket alkalmaztak a bizonyítékok felkutatására. Kérjük pótolják. 8. Szisztematikus módszereket alkalmaztak az adaptálandó irányelv(ek), egyes ajánlások illetve egyéb bizonyítékok kiválasztására S3 8.1. Megadták a felhasznált bizonyítékok (szakmai irányelv ill. egyéb irodalom) kiválasztásának kritériumait? S3 8.2. A fellelt irányelv(ek)et szisztematikus módszerekkel, kritikusan értékelték (pl. AGREE kérdőívvel). S3 8.3. Az egyéb bizonyítékokat szisztematikus kiértékelés alapján vették figyelembe. Nincs információ, adat arra vonatkozóan, hogy milyen kritériumok szerint választották ki a hivatkozott irodalmat, valamint arról sem nyilatkoznak, hogy ezeket milyen módszer szerint értékelték. Kérjük pótolják. 9. Az ajánlások kialakításakor a bizonyítékokon alapuló orvoslás elvei szerint jártak el S3 9.1. Az ajánlások besorolási fokozatát megadták. S2 9.2. A felhasznált bizonyítékok és az ajánlások között eplicit összefüggés van S2 9.3. Jó minőségű ajánlás vagy bizonyíték hiányában az ajánlás kialakításakor az adott szakterület szakértőinek konszenzussal kialakított véleményét használták fel. S2 9.4. A felhasznált ajánlás illetve bizonyíték saját ajánlássá alakítását a helyi viszonyok figyelembe vételével végezték el. S3 9.5. A nem ajánlott, de gyakorlatban előforduló, vagy bizonyítottan káros eljárásokat külön kiemelték. Bár az irodalomjegyzék felsorolása előtt megadják, hogy a cikkek evidencia szintjének besorolása az ACOG 2005-os Compendium 276-278. oldalán leírtaknak megfelelően történt, de nagy hiányosság, hogy közvetlenül a szövegben nincsenek citálva azok a dokumentumok/cikkek, amelyekre az ajánlásokat alapozzák. Az evidencia szintek alatti magyarázat ( Azokban az esetekben, amikor meta-analízisről, összefoglaló cikkről vagy tudományos társaságok álláspontjáról van szó vagy Level I. vagy Level III.-as besorolás történt. Amennyiben a cikk többnyire randomizált tanulmányokra épül akkor I-es, ha nem akkor III-as besorolást kapott. ) sem ad egyértelmű támpontot a bizonyítékokon alapuló orvoslás elvei szerinti értelmezéshez. Nincs információ a 9. 5. ponthoz. Dátum: 2007. 08. 19. 4/8
10. Az ajánlást megjelenése előtt független szakértői csoport véleményezte. S2 10. Az ajánlást független szakértők véleményezték ( peer review ) Nincs információ. 11. Az ajánlás érvényességét, frissítésének módját megadják S1 11.1. Az ajánlás felelős kiadója és a kiadás dátuma dokumentált S1 11.2. Az ajánlás érvényességi ideje, és a felülvizsgálat határideje meghatározott. S3 11.3. Az ajánlás frissítésének módját leírták. Sem a kiadás dátuma, sem az ajánlás felelős kiadója nem dokumentált. Kérjük határozzák meg a protokoll érvényességi idejét, a felülvizsgálat határidejét és az ajánlás frissítésének módját is. D. VILÁGOS MEGFOGALMAZÁS, ÁTTEKINTHETŐ DOKUMENTÁCIÓ (12-16) 12. Az ajánlások specifikusak és egyértelműek Pontszám:3 S1 12.1. Az ajánlások pontosan meghatározzák, milyen körülmények között, mely betegcsoportban, mely beavatkozások a leginkább megfelelőek. S2 12.2. Ha adott ellátási helyzetre nincs egyértelmű ajánlás, azt külön megjelölik. S1 12.3. Az ajánlások egymással logikai kapcsolatban vannak, egymásnak nem mondanak ellent. A 12.1 ponthoz: A III. A. és B. 1., 2. és 3. pontjában utalnak a Meddőség kivizsglás I/4; I/6 és I/8 részére, de nem adják meg, hogy ez pontosan milyen dokumentum ill., hogy hol érhető el. Kérjük pótolják. Kérjük térjenek ki arra, ha az adott helyzetre nincs egyértelmű ajánlás. 13. Az ellátás során felmerülő döntéshelyzeteket egyértelműen jelenítették meg Pontszám:4 S1 13.1. Meghatározták az ellátás során felmerülő döntéshelyzeteket. S1 13.2. A döntéshelyzetekben ajánlott eljárások választási szempontjait világosan megfogalmazták 14. A legfontosabb ajánlások könnyen azonosíthatóak Pontszám:4 S1 14. A kulcsajánlások könnyen azonosíthatóak. 15. Az ajánlás szerkezete a használhatóságot támogatja Pontszám:4 S1 15.1. Az ellátási folyamatot a klinikai döntéshozatal menetét logikusan követő algoritmussal (pl. ábra vagy szöveg formátumban) írták le. S1 15.2. Jól tagozódó, átlátható szerkezet 16. Az ajánlás szerkezete megfelel az EüM által kiadott formai követelményeknek Pontszám:3 S1 16.1. Az ajánlás témakörének megfelelő releváns elemekkel rendelkezik (pl. diagnosztika, terápia és elemei, gondozás, rehabilitáció). S1 16.2. Az ajánlás által tárgyalt alapvető fogalmakat meghatározták. S2 16.3. Az EüM által előírt egyéb formai elemek (pl. alapvető megfontolások, irodalomjegyzék, melléklet) megtalálhatóak. Dátum: 2007. 08. 19. 5/8
E. GYAKORLATI ALKALMAZHATÓSÁG (17-19) 17. Az ajánlás a bevezetését támogató eszközöket tartalmaz. S2 17.1. Megfogalmazzák az adott ajánlás helyi viszonyok között történő implementálásának lehetőségeit S3 17.2. Az ajánlások bevezetéséhez segédanyagok, javaslatok állnak rendelkezésre. Kérjük térjenek ki az ajánlások helyi viszonyok között történő implementálásának lehetőségeire. 18. Az ajánlások megvalósításához szükséges szervezeti feltételeket meghatározták. S1 18.1. Az ajánlások megvalósításához szükséges személyi feltételeket meghatározták S1 18.2. Az ajánlások megvalósításához szükséges tárgyi/dologi feltételeket meghatározták S2 18.3. Az ajánlások megvalósításához szükséges képzési (szakmai és beteg) feltételeket meghatározták S1 18.4. Az ellátási szintek feladatait, hatáskörét pontosan meghatározták A személyi-, tárgyi, ill. képzési feltételeket, valamint az ellátási szintekhez köthető hatásköröket nem írják le. Kérjük pótolják. 19. A felülvizsgálathoz illetve auditáláshoz szükséges szempontokat megadták. S3 19.1. Audit standardokat, kritériumokat, indikátorokat megadtak Nincs információ. F. KIADÓI FÜGGETLENSÉG (20) 20. A fejlesztés során igénybe vett külső támogatás, szponzor függetlenségéről és elfogulatlanságáról nyilatkoznak. S3 20.1. Nyilatkoznak-e a fejlesztést támogató szponzorról, vagy annak hiányáról? S3 20.2. Szponzorálás esetén a fejlesztőcsoport tagjai nyilatkoztak-e elfogulatlanságukról? Nincs információ. Dátum: 2007. 08. 19. 6/8
ÉRTÉKELÉSI ÚTMUTATÓ A KRITIKUS ÉRTÉKELÉST VÉGZŐKNEK A kérdőív használata: Az első oldalon található az az összefoglaló kérdőív, melyet a 2. oldalon található szöveges értékeléssel együtt az EüM-nek, majd az érintett kollégiumoknak visszaküldünk. A 3-6. oldalon található az a részletes értékelő sablon, mely segít az első oldalon feltett fő kérdések megválaszolásában és objektívebb értékelésében. Ez a részletes kérdőív csak az értékelő munkáját segíti a fő kérdések pontszámának a kialakításában. A részletes kérdőív alkérdéseire adott pontszámokból alakul ki a fő kérdés pontszáma, melyet át kell vezetni majd az első oldalon levő összesítő kérdőívre. Az alkérdések pontszámaiból átlagolással lehet a legegyszerűbben a fő kérdés pontszámát meghatározni. Belátjuk, hogy ezzel elveszhet az alkérdések súlya egy adott főkérdésen belül. Ezért itt némi szubjektív mérlegelésre is szükség lehet, melyet azzal próbálunk támogatni, hogy minden egyes alkérdést S1-3-ig súlyoztunk (S1 alacsony S2 közepes S3 magas színvonal elérését jelenti). Különösen, ha átlagolással határértéket állapítotok meg, a kérdések súlyozása és az adott alkérdés pontszáma segíthet a döntésben, hogy lefelé vagy felfelé kerekítsétek-e a fő kérdés pontszámát. Javasoljuk, hogy a megjegyzésbe írjátok be, miért adtátok az adott pontokat. Így utólag is lehet ellenőrizni hogy mi volt a döntés alapja, és ezek a megjegyzések segítenek benneteket is a végső szöveges értékelés megírásában. Szempontrendszerek összesített pontszáma Egyes szempontrendszer csoportok (ún. domainek: A-F) összesített pontszámát úgy kell kiszámítani, hogy összeadjuk az első oldalon lévő összesítő lapon az egy domain-en belüli egyedi főkérdésekre adott pontokat, majd meghatározzuk a standardizált pontszámot az elérhető maimum pontszám százalékában. Például az első szempontrendszer ( A: Az ajánlás témaköre és célja ) kapcsán 4 értékelő esetén az alábbi eredmények születtek (értelemszerűen ez az értékelők száma alapján korrigálható): 1. szempont 2. szempont 3. szempont Összesen értékelő 1 2 3 3 8 értékelő 2 3 3 4 10 értékelő 3 2 4 3 9 értékelő 4 2 3 4 9 Összesen 9 13 14 36 Maimálisan elérhető pontszám: 4 (erős megfelelés) 3 (szempont) 4 (értékelő) = 48 Minimálisan elérhető pontszám: 1 (erős nem megfelelés) 3 (szempont) 4 (értékelő) = 12 A szempontrendszer csoport standardizált pontszáma: További megjegyzések: elért pontszám minimálisan elérhető pontszám maimálisan elérhető pontszám minimálisan elérhető pontszám 36 12 24 48 12 36 A 6 szempontrendszer csoport pontszáma (ú.n. domain score) egymástól független és nem egyesíthető egyetlen végső minőségértékelési pontszámban. Bár a domain score felhasználható különböző irányelvek összehasonlítására és az adott irányelv használhatóságára vonatkozó döntések során, nem lehet azonban egyértelmű pont küszöbértéket megadni a jó vagy rossz irányelv jellemzésére. Ennek kiküszöbölésére kísérletet tettünk az adott kérdések és kérdéscsoportok súlyozására, és az ajánlások közlési kategóriái szerinti osztályozására, figyelembe véve a hazai ajánlások jelenlegi módszertani színvonalát. = = = 0,67100 = 67% Dátum: 2007. 08. 19. 7/8
S1-gyel jelöltük azokat a kérdéseket, melyeknek való megfelelés még a leggyengébb módszertani minőségű ajánlások (pl. a régi módszertani levelek) esetén is elvárható. S2-vel jelöltük azokat a kérdéseket, melyek többségének teljesítése esetén az ajánlások nemzeti útmutatóként/eljárás leírásként használhatók. S3-mal jelöltük azokat a kritériumokat, melyeknek a legjobb módszertannal kifejlesztett ajánlások felelnek meg, és ezek állnak legközelebb az evidence-based szakmai irányelvek fogalmához. Természetesen az S3 kategóriába sorolt anyagok esetén elvárt, hogy az S1 és S2 kritériumok is többségükben maradéktalanul teljesüljenek. Az AGREE Training Manual szerint, ha a kérdések nagy részére 3-4-est adtunk, és a domain score-ok többsége 60% feletti, akkor jó minőségű ajánlással állunk szemben. Ha közel azonos az 1-2 és 3-4-es osztályzatot kapott kérdések száma és a domain score-ok 30-60% közöttiek, akkor közepes minőségű ajánlással van dolgunk. Ha az osztályzatok többsége 1-2 és a domain score-ok 30% alattiak, akkor gyenge minőségű az ajánlás. A fenti kategorizálás egyelőre fejlesztés alatt áll, ezért várjuk a pilot teszt tapasztalatait és az értékelők javaslatait a kérdőívvel és a kategóriákkal, illetve a súlyozással kapcsolatban. Az összefoglaló értékelésben azonban mindenképpen célszerű lenne már most meghatározni az EüM számára, hogy az értékelő mely minőségi és közlési kategóriába sorolja az értékelt anyagot. Erre azért van szükség, hogy annak közlésekor már a címben is megfogalmazható legyen, hogy mit is tart az olvasó a kezében (irányelvet, nemzeti útmutatót, helyi protokollt, módszertani levelet, stb?). Ezt egyébként az S1-3 szint nélkül is valamelyest meg lehet ítélni (pl. a közlés módja, stílusa, formája alapján), de a vélemény kialakításakor mindenképpen kérjük az indoklást is. Dátum: 2007. 08. 19. 8/8