A cukorbetegség szemszövődményeinek szűrésére alkalmas képfeldolgozó rendszer kifejlesztése DRSCREEN projekt Török Zsolt Astrid Research Hajdu András Debreceni Egyetem, Informatikai Kar 12. Gyires Béla Informatikai Nap, 2009. december 18, Debreceni Egyetem, Informatikai Kar Diabétesz - Áttekintés DM: inzulin hiányos állapot, magas vércukorszint Epidemiológia: 2000-ben 171 millió beteg, a lakosság 2,8%-a (WHO) USA, 60-évesnél idősebbek 18,3%-a = 8,6 millió (American Diabetes Association) Növekvő prevalencia, 2030-ra ~ 300 millió beteg Leggyorsabb növekedés, Afrika, Ázsia A 2000 után születettek harmadának alakul ki élete során diabétesz (CDC) DM szövődményei: vese, ér, ideg, szem - diabéteszes retinopátia (DR) Projekt célja: automata DR szűrő rendszer kifejlesztése 2 Diabéteszes retinopátia Digitális retina szűrőprogramok Oka: az ideghártya kis erei falának károsodása Tünetei: eleinte tünetmentes, majd gyors látásromlás, vakság (globálisan 40millió, DR 5%, de cataracta 50%) 10 éve fennálló diabétesz esetén 80% DR Tünetek az esetek 90%-ában kezelhetőek (visszafordítható v. stabilizálható) Jelentős betegségteher 3 NIH National Eye Institute 4 Mo.-on rendszeres kontroll Digitális retina szűrő programok: English National Screening Programme for Diabetic Retinopathy (UK) Vanderbilt Ophthalmic Imaging Center (USA) DRScreen Projekt Anatómiai képletek Egészséges DR, makula ödéma, hard exudátumok, bevérzések, aneurizmák 5 6 Egészséges-anatómia 1
Mikroaneurizmák Bevérzések 7 8 Exudátumok Egyéb alkalmazási területek 9 10 Biobankolás - fenotípus kvantifikáció Progresszió követése - terápiás hatás ellenőrzése Adatbányászat, (biológiai markerek/klinikai adatok) Szakértői rendszerek - szűrés, diagnosztika, prognosztika Technológiai korlátok: a technológiában rejlő lehetőségek kihasználása, ha ez kevés, technológiaváltás, vagy különböző technológiák együttes használata 11 DRSCREEN rendszer elemei Előszűrés Előfeldolgozás Anatómiai képletek detektálása Érhálózat Fő temporális érív Látóidegfő (vakfolt) Látógödör (sárgafolt/fovea) Elváltozások detektálása Aneurizmák/vérzések Exudátumok Döntéshozatal, diagnosztika Előszűrés Antal Bálint (PhD hallgató) 2
Képek osztályozása Képek osztályozása Nem retina képek Rossz minőség kiértékelhetetlen Abnormális retina 13 14 Képek osztályozása Előszűrő algoritmus Feldolgozandó Sajátságkinyerés Inhomogenitás Szórás Osztályozás Gépi tanítás SVM, knn, Naive Bayes 15 16 Előszűrési eredmények Előfeldolgozás 17 3
Adaptív hisztogramkiegyenlítés Adaptív hisztogramkiegyenlítés 19 20 Gépi tanulás alapú Érhálózat detektálása Harangozó Roland (V. PTM), Kovács György (PhD hallgató) 2009, Debrecen, Hungary 22 Gépi tanulás (mintavételezés) Rejtett Markov mezős (saját) 23 24 4
Sárgafolt keresése Vakfolt és sárgafolt detektálása a fő temporális érív alapján Csősz Ignác (V. PTM), Hornyik Dávid (III. GI) 26 Görbeillesztés a fő érívre Közelítő modellek 27 AIC érték alapján rangsoroltuk a görbe modelleket: Négy-paraméteres modellek Sorszám Illesztett modell Átlagos AIC 1. Harmadrendű polinomiális a*x 3 + b*x 2 + c*x + d 33 463.875 2. Fél ellipszis (d 2 * (1 - (x - a) 2 / c 2 ) + b) 0.5 34 226.011 Három-paraméteres modellek 3. a*x 3 + b*log(x) 2 + c 34 390.211 4. a*x 2.5 + b*x 0.5 *log(x) + c 34 407.671 5. a*x 2.5 + b*x 0.5 + c 34 428.254 6. a*x 2 *log(x) + b*x/log(x) + c 34 438.833 7. a*x 3 + b*x 0.5 + c 34 443.034 8. Parabola a*x 2 + b*x + c 34 447.561 Finomított modellek Finomított három-paraméteres modellek Sorszám Illesztett modell Átlagos AIC 1. a*x 3.28 + b*log(x) 1.71 + c 34 369.481 2. a*x 3.27 + b*x 0.15 + c 34 369.712 3. a*x 3 + b*x 0.3 + c 34 374.218 4. a*x 3 + b*x 0.2 *log(x) + c 34 374.462 5. a*x 2.5 *log(x)+b*x 0.62 /log(x)+c 34 394.397 6. Finomított parabola a*x 2.5 + b*x 0.62 + c 34 404.796 Elfajuló érkereszteződések javítása Hornyik Dávid (III. GI), Szakács József (V. PTM) Tomán Henrietta (KK tanszék) 5
Elfajulás Elméleti modell Digitális kereszteződés Digitális kereszteződés váza Két ér kereszteződésének geometriai modellje Elméleti modell Az algoritmus lépései Felezővonalakon alapuló kereszteződések (nagy k értékre) Parabolákon alapuló kereszteződések (kis k értékre) Vékony erek Vastag ér Az erek két részre bontása Az algoritmus lépései Az algoritmus lépései A részelemek vázának kinyerése A képek uniója 6
Az algoritmus lépései Az erek újraegyesítése Vágható kereszteződések (47/130) Vázkijelölés Hagyományos Javasolt Teljes DD hiba (pixel): 140.0 72.0 Átlagos DD hiba (pixel): 3.11 1.6 Elfajulás mértéke: 51.4286 % Összes kereszteződés (130/130) sikertelen vágás 85 jobb eredmények a javasolt módszerrel 29 azonos eredmények 14 roszabb eredmények a javasolt módszerrel 2 További kutatási lehetőségek Vakfolt detektálása Harangi Balázs (V. PTM), Rashid Jalal Quereshi (PostDoc kutató) kombinálása kombinálása 7
kombinálása kombinálása DRIVE DiaretDB0 DiaretDB1 DRIVE DiaretDB0 DiaretDB1 Algorithms Detection Rate Accuracy Detection Rate Accuracy Detection Rate Accuracy Algorithms Accuracy 45 pixels Accuracy 45 pixels Accuracy 45 pixels Pyramidal Decomposition [6] 51/61 83% 115/130 88% 79/89 89% Pyramidal Decomposition [6] 82% 56% 50% Edge Detection [6] 60/61 98% 100/130 77% 68/89 76% Edge Detection [6] 96% 32% 23% Entropy Filter [7] 60/61 98% 125/130 96% 84/89 94% Entropy Filter [7] 96% 83% 83% Fuzzy Model [8] 39/61 64% 8/130 6% 5/89 5% Fuzzy Model [8] 60% 1% 1% Hough transformation[10] 51/61 83% 103/130 80% 67/89 75% Hough transformation[10] 83% 71% 65% Proposed Combination 61/61 100% 126/130 97% 86/89 96% Proposed Combination 98% 95% 96% kombinálása Sárgafolt detektálása Kovács László (V. PTM), Nagy Brigitta (V. PTM), Rashid Jalal Quereshi (PostDoc kutató) Többségi szavazás Egyedi algoritmusok pontossága A PDS algoritmus fovea jelöltjeinek eloszlása HotSpot a) Fovea jelöltek egy képre vetítve b) Sűrűségbecslés a makulán 8
Egyedi algoritmusok pontossága Egyedi algoritmusok pontossága Az SNN algoritmus fovea jelöltjeinek eloszlása Az FPGOS algoritmus fovea jelöltjeinek eloszlása a) Fovea jelöltek egy képre vetítve b) Sűrűségbecslés a makulán a) Fovea jelöltek egy képre vetítve b) Sűrűségbecslés a makulán Jelöltek súlyozott kombinálása Egyedi algoritmusok torzítatlan jelöltjei optimálisan súlyozott eloszlása Kétféle hibamérés 1. Sárgafolt hibafüggvény 2. Látógödör hibafüggvény a) Fovea jelöltek egy képre vetítve b) Sűrűségbecslés a makulán Sárgafolt hibája Látógödör hibája Egyedi algoritmusok Kombinált rendszer Diaretdb1 76 % 74 % 78 % 94 % 94 % Drive 75 % 80 % 53 % 92 % 97 % Tesztadatbázisok PDS SNN FPGOS Egyszerű Súlyozott átlag átlag Diaretdb0 75 % 63 % 83 % 86 % 85 % Egyedi algoritmusok Kombinált rendszer Tesztadatbázisok PDS SNN FPGOS Egyszerű átlag Súlyozott átlag (PCA) Diaretdb0 és 24 20 32 19 16 Diaretdb1 Összes kép 75% 69% 78% 90,2% 90,7% A makula megtalálásának pontossága az egyedi algoritmusok, illetve azok kombinálása esetén (Makula hiba) A fovea megtalálási pontosságának további javítása főkomponens analízissel kapott súlyozott átlag használatával (Fovea hiba) 9
Jelöltek kiválasztása Elváltozások detektálása Antal Bálint (PhD hallgató), Kovács György (PhD hallgató), Lázár István (PhD hallgató), Rashid Jalal Quereshi (PostDoc kutató) 56 Jelöltek kiválasztása Mikroaneurizma detektálása normalized cut-alapú 57 58 Mikroaneurizma detektálása normalized cut-alapú Klinikai protokollnak megfelelő döntés 59 10
Klinikai protokoll (Moorefields) Klinikai protokoll (Moorefields) 61 62 Metaadat leírás (XML) Döntési szabályok (schematron) <sch:report test="(haemorrhage/detectable) or (microaneurysm/detectable)"> Diagnosis: Background retinopathy (R1). </sch:report> <sch:report test="((haemorrhage/detectable) or (microaneurysm/detectable)) and ((venousbeading/detectable) or (venousloop/detectable) or (venousreduplication/detectable) or (cottonwoolspot/detectable) or (IRMA/detectable) or (count(haemorrhage/detectable/location) >=2))"> Diagnosis: Pre-proliferative retinopathy (R2). </sch:report> <sch:report test="((haemorrhage/detectable) or (microaneurysm/detectable)) and ((newvessel/detectable) or (haemorrhage/detectable/location[@type='pre-retinal']) or (haemorrhage/detectable/location[@type='vitreous']) or (fibrosis='pre-retinal') or (detachement='tractional')"> Diagnosis: Proliferative retinopathy / rubeosis iridis (R3). </sch:report> 63 64 Köszönjük a figyelmet! 11