Képelemzési módszerek. Automatikus retina képelemzési módszerek 3/3/2011. MI módszerek a képelemzésben. A retina analízis digitális képei

Átírás

1 Képelemzési módszerek Mesterséges Intelligencia II. előadás Dr. Nyúl László Szegedi Tudományegyetem Képeld MI módszerek a képelemzésben Képjavítás Képszegmentálás Alakelismerés Képleírás (jelenet leírás) Tudás reprezentáció Osztályozás Döntés támogatás Klasszikus döntések Statisztikai módszerek Neurális hálózatok Gráelméleti megközelítések k Fuzzy elmélet 1 2 Automatikus retina képelemzési módszerek A retina analízis digitális képei Digitális színes undus ényképek Scanning Laser Ophtalmoscopy (SLO) Optical Coherence Tomography (OCT) 3 4 Vizsgált betegségek és szemenék régiók Diabéteszes retinopátia (DR) Mikroaneurizmák, bevérzések, exudátumok Időskori makula-degeneráció (AMD) Makula (sárgaolt) régió Krónikus magas vérnyomás Vérerek alakja, görbületei HT DR [Court. MedicineNet.com] AMD Automatikus glaukóma detektálás színes undus képekből Glaukóma (zöldhályog) Artériás/vénás erek viszonya Papilla (vakolt, látóidegő) környéke Szemenék sejtrétegeinek változása GL 5 6 1

2 Motiváció A glaukóma világviszonylatban a vakság 2. vezető oka (50 év alattiaknál 1:200, 80 év elettieknél 1:10) A glaukóma nem gyógyítható, de ha időben diagnosztizálják, lassítható az előrehaladása A undus képeken már a unkcionális zavarok megjelenése előtt láthatók elváltozások Fontos szempont: megelőző v. gyógyító orvostan Hatékony szűrővizsgálatok csökkenthetik a szakorvosok terhelését a szükségtelen vizsgálatok kiszűrésével Elképzelés Olyan szűrővizsgálati rendszer, amely lehetővé teszi a glaukóma speciikus elváltozások gyors, robusztus, automatikus detektálását, képes megbecsülni a glaukóma rizikó ikó nagyságát, hétköznapi környezetben is alkalmazható (pl. bevásárló központokban). 7 8 Digitális undus kamera [Court. NIH National Eye Institute] [Court. Kowa Company Ltd.] A jelen technikák problémái A legtöbb glaukóma értékelés retina struktúrák szegmentálásán és a szegmenseken végzett méréseken alapul A szegmentálás gyakran manuális! Az ilyen technikák továbbviszik a lokalizálás és/vagy körülhatárolás hibáit a mérési eredményekbe és így a diagnózisba is Nem glaukóma Glaukóma eset 9 10 Képek szegmentálása Struktúrák automatikus szegmentálására esetenként szükség van A eladatok egy része könnyű a szakértőnek mégis nehéz rá számítógépes algoritmust készíteni Képalkotó modalitásoktól és a vizsgált struktúráktól üggően eltérő módszerekre van szükség Fontos: kétirányú kapcsolat A szakértő tudás reprezentálása számítógépes algoritmusokban alkalmazható módon A kiszámított eredmények / értékek segíthetik a szakértőket diagnosztikai / döntéshozó munkájukban A javasolt rendszer Digitális undus ényképeket alkalmaz automatikus glaukóma szűrésre Eddig nem igazán alkalmazták erre a eladatra A vizuális értékelés természetes bemenete, eleve rendelkezésre álló képek Utánozza (számítógépes algoritmusokkal) a szakorvos értékelési módszerét A lényeges struktúrákat (pl. látóidegő) úgy vizsgálja, hogy más részleteket (pl. véredények, zaj, megvilágítási artiaktumok) implicit igyelmen kívül hagy Nehéz eladat

3 Megjelenés-alapú osztályozás Adat-vezérelt megközelítés Teljes régiókat, a pixel értékeket és számított textúra jellemzőket használ Nem ügg konkrét struktúra-szegmentálástól és méréstől Magas dimenziójú tulajdonságtereken robusztus osztályozás Az automatikusan kiszámított paraméterek, mint új jellemzők alkalmazhatók a szokásos szűrővizsgálati protokollokban Automatikus Glaukóma Rizikó Index kiszámítási olyamata Az előeldolgozás lépései Megvilágítás korrekció Véredények eltávolítása Papilla normalizálás Megvilágítás korrekció (, ) (, ) (, ) log (, ) = log ( (, ) (, )) = log (, ) + log (, ) = ( ) I x y = L x y R x y I I xy Lxy Rxy L xy R xy i W S c log log ( ) { } N S N n m c W w w, =,, = diag, 0,1 r = i S c log n m N Véredények eltávolítása Területi jellemzők (adaptív küszöbölés) Határ jellemzők (Canny éldetektor) Struktúrális jellemzők (vékony, hosszú, párhuzamos élekkel határolt, ) Validálás (illesztett szűrő válasza alapján) Morológiai igazítások Véredények beestése Eredeti színes undus énykép

4 Eredeti zöld színcsatorna Adaptív küszöbölés és Canny éldetektálás Kis objektumok elhagyása Objektumoktól távoli éldarabok elhagyása Élekkel nem jól határolt objektumok elhagyása Több irány szerint illesztett szűrők válasza

5 Potenciális véredény kezdő pontok Validált potenciális véredény pontok Rekonstruált objektum morológiai zárás után Képek beestése (inpainting) Nem kívánatos objektumok, artiaktumok eltávolítása Eredetileg a képrestaurálásban és videoeldolgozásban használták Ötlet: a hiányzó adatok helyére iteratívan inormációt szivárogtatni a környező régiókból Matematikai háttér Magasabb rendű parciális dierenciálegyenletek Textúra szintézis Térbeli diúzió Eredeti színes undus énykép Durván szegmentált véredény maszk

6 Véredény régiók beestve Eredeti kép a látható véredényekkel Papilla normalizálás A detektált papilla 3-szoros sugarú négyzetes környezete 128x128 pixelre skálázva Tulajdonságvektorok Pixel intenzitás (128x128 kép) FFT együtthatók (valós rész) B-spline együtthatók (4. okú) raw t spline Dimenzió csökkentés PCA-val 30 őkomponens mindegyik tulajdonságvektorból FFT együtthatók M N ux vy j2 M N ( x, y) F( u, v) e π + = u= 0 v= 0 B-spline együtthatók n m d pxy (, ) = ckl (, ) β ( x ky, l) k= 0 l= 0 T 1 1 ( xy, ) < T 1 β ( xy, ) = ( xy, ) = otherwise d β ( x k, y l) = β β β ( x, y) ( d + 1) times

7 Osztályozás Support Vector Machines (Bayes és knn osztályozókat is próbáltuk) 2-lépcsős osztályozás (Tulajdonság kiválasztást (pl. AdaBoosting) is próbáltuk) 1. lépcső: = ( p ( G), p ( G), p ( G) ) prob raw t spline Validálás / Kiértékelés A javasolt módszert az egyes komponensek és különéle kombinációik részletes vizsgálatával alakítottuk ki Először az előeldolgozást vizsgáltuk, majd rögzítettünk egy elogadható műveletsort Kiválasztottuk a legbíztatóbb jellemzőket Összehasonlítottunk különéle osztályozási módszereket 2. lépcső: GRI = p ( G) prob Több száz valódi undus képen teszteltük A valós ( ground truth ) osztályozást szakorvos végezte a standard glaukóma szűrés összes paraméterének igyelembevételével Eredmények Új automatikus glaukóma osztályozó rendszer, kizárólag kép-alapú jellemzőket használ A GRI siker rátája (86%) összemérhető a szakértők teljesítményével hasonló körülmények között Alkalmas lehet széleskörű szűrővizsgálatokra (automatikus és egy egyszerű, olcsó modalitás) Az automatikusan kiszámított jellemzők az adatok újszerű reprezentációját adják, ami az orvosok számára új és segíthet a betegség megértésében Erlangen Glaucoma Matrix Erlangen Glaucoma Matrix Amiről szó esett... MI módszerek a képelemzés területén Képszegmentálási és osztályozási eladatok a retina analízis körében Papilla, vérerek, idegrost réteg, makula, mikroaneurizmák, exudátumok,... Fontos dolgok! Módszerek kvantitatív kiértékelése nagy adathalmazokon Automatikus tulajdonság kinyerők Megbízható, automatikus osztályozók Szűrővizsgálati protokollok Komoly párbeszédek orvos és inormatikus között