A KÉPFELDOLGOZÁS KUTATÁSA A SZEGEDI TUDOMÁNYEGYETEMEN

A KÉPFELDOLGOZÁS KUTATÁSA A SZEGEDI TUDOMÁNYEGYETEMEN RESEARCH IN IMAGE PROCESSING AT THE UNIVERSITY OF SZEGED Balázs Péter, Erdőhelyi Balázs, Katona Endre, Kató Zoltán, Máté Eörs, Nagy Antal, Nyúl László, Palágyi Kálmán, Tanács Attila Szegedi Tudományegyetem (SZTE), Természettudományi és Informatikai Kar (TTIK), Képfeldolgozás és Számítógépes Grafika Tanszék Összefoglaló A digitális képfeldolgozás kutatásának a Szegedi Tudományegyetem Természettudományi és Informatikai Karán, az Informatikai Tanszékcsoport Képfeldolgozás és Számítógépes Grafika Tanszékén közel négy évtizedes hagyománya van. A Tanszék valamennyi munkatársa nemzetközileg elismert kutatómunkát folytat, melyet már több száz rangos publikáció fémjelez. Számos, a képfeldolgozás kutatásában vezető egyetemmel és kutatóintézettel építettünk ki szoros kapcsolatot és folytattunk eredményes kutatómunkát, aktív résztvevői vagyunk a hazai és a nemzetközi tudományos közéletnek. A legfontosabb, jelenleg is folyó kutatásaink: orvosi képek feldolgozása, diszkrét tomográfia, képszegmentálás, térinformatika, távérzékelés, képregisztráció, vázkijelölés, műtéti tervezés. Kulcsszavak digitális képfeldolgozás, orvosi képek feldolgozása, diszkrét tomográfia, képszegmentálás, térinformatika, képregisztráció, vázkijelölés, műtéti tervezés Abstract The research in the field of digital image processing has a tradition of about four decades at the Department of Image Processing and Computer Graphics, Faculty of Science and Informatics, University of Szeged. All faculty members are involved in internationally recognized research, which is indicated by the several hundred prestigious publications. We have established fruitful research collaborations with several leading universities and research centers, and we actively take part in the life of the national and international image processing community. The current research fields cover a wide disciplinary spectrum. The most important ones are listed as follows: medical image processing, discrete tomography, image segmentation, geoinformatics, remote sensing, image registration, skeletonization, surgical planning. Keywords digital image processing, medical image processing, discrete tomography, image segmentation, geoinformatics, image registration, skeletonization, surgical planning 1

1. Aktív kutatási témák A közel négy évtizedes múltra visszatekintő és szerteágazó kutatási témáinkból terjedelmi korlátok miatt most csak a legfrissebbek rövid bemutatására vállalkozunk. Valamennyi kutatásunkról részletes ismertető található a www.inf.u-szeged.hu/ipcg/ oldalon. 1.1. Digitális terepmodellezés A terepmodellezés a térinformatika egyik fontos kutatási-alkalmazási területe. A két fő megközelítés, a háromszögrácsra épülő TIN (Triangulated Irregular Network) és a raszteres DEM (Digital Elevation Model) közül az utóbbival foglalkoztunk. Vékonylemez (thin plate) modellre épülő variációs spline interpolációt alkalmazunk, amelynek lényege: olyan felületet keresünk, amely az ismert magasságú pontokra illeszkedik, és valamely energiafüggvény szerint minimális értéket vesz fel. Az optimum megtalálása lineáris egyenletrendszerre vezethető vissza, amelyet iteratív úton célszerű megoldani, a konvergencia multigrid módszerrel gyorsítható. Az eljárás jellemző hibája, hogy amennyiben adatforrásként szintvonalas fedvényt alkalmazunk, a szintvonalak mentén a generált terepmodellben jellegzetes teraszosság lép fel. Ezért az alapmódszert kiegészítettük egy szintvonalritkító eljárással (Katona, 2007), amelyet a multigrid módszer redukciós fázisában alkalmazunk, és amelynek hatására a teraszosság minimálisra csökken. 1.2. Színes képek automatikus szegmentálása RJMCMC mintavételező segítségével A képszegmentálás a képfeldolgozás egyik legfontosabb alapproblémája, mely a hasonló tulajdonságú pixelek homogén területekbe történő csoportosításával foglalkozik. A legegyszerűbb statisztikai képmodell nyilvánvalóan a pixel-osztályok valószínűségeiből áll. A szomszédos pixelek közötti összefüggések Markov mezőkkel modellezhetőek, az így kapott modellek sokkal hatékonyabban, bár a Markov modell paramétereinek meghatározása nem egyszerű feladat. Amennyiben a pixel-osztályokat jelölő címkék különböző modellekkel reprezentálhatók, az input képet tekinthetjük egy mintának, amelyet az ismeretlen címkemezőből (vagyis szegmentálásból) mintavételeztünk. A mi megközelítésünk (Kato, 2004; Kato, 2008) lényege, hogy egy Markov mezőt használó Bayes-i színes képszegmentáló modellt konstruálunk, ahol a bemeneti kép pixeleit egy normális eloszlás keverékének tekintjük, míg a pixelek közötti függőségek azonos címkéket preferálnak a szomszédos pixelekben. Az optimális szegmentálást, valamint az ehhez szükséges modellparaméterek értékeit, beleértve a szükséges címkék számát, az a posteriori eloszlás szerinti legvalószínűbb értékek adják. Ennek kiszámításához klasszikusan MCMC módszereket használnak. A mi esetünkben azonban a klasszikus mintavételező eljárások nem alkalmazhatóak, mivel a címke-szám meghatározásához szükségünk van többféle címkeszám melletti mintavételezésre is. A P. Green által javasolt RJMCMC mintavételező azonban pontosan ilyen problémák megoldására lett kifejlesztve. Ebben a projektben kiterjesztettük az eredeti RJMCMC módszert többdimenziós normális eloszlások kezelésére és sikerrel alkalmaztuk azt színes képek teljesen automatikus szegmentálására. A módszert teszteltük a jól ismert Berkeley szegmentálási adathalmazon, amely 300 valós képet és azok emberi szegmentálását tartalmazza. Az eredmények megtekinthetők a http://www.inf.u-szeged.hu/~kato/research/rjmcmc/benchmark/html/main.html oldalon. 2

1.3. Retina-képek elemzése A glaukóma a szerzett vakság egyik leggyakoribb oka és az öregedő társadalmat tekintve egyre fontosabb. Mivel a retina elhalt idegrostjai nem pótolhatók, a megelőzés és a betegség korai felismerése különösen fontos. Ehhez nélkülözhetetlenek a kiterjedt szűrővizsgálatok, melyek azonban csak megfelelő automatizálással kivitelezhetők. Ilyen automatikus kiértékelő módszerek kidolgozása a fő célja az erlangeni egyetem alakfelismerés tanszékén az ottani szemklinika specialistáival közösen folytatott kutatásnak, mely munkába tanszékünk több tagja is bekapcsolódott. A fejlesztés fókuszában álló automatikus, képanalízisen alapuló kiértékeléshez nem szükséges precíz képszegmentálás, hanem a glaukóma státuszának megítélése megjelenés-alapú jellemzőkből egy többlépcsős osztályozóval történik. Az előfeldolgozáshoz és kiértékeléshez kidolgozott módszereinket több orvosi és informatikai konferencián mutattuk be (Bock et al., 2007; Meier et al., 2007). 1.4. Orvosi képek szegmentálása A legtöbb képelemzési feladatban szükség van a képek szegmentálására, a fontosnak tartott régiók elkülönítésére. Az orvosi képfeldolgozásban gyakran 3 dimenziós képeken szerveket, elváltozásokat kell beazonosítani diagnosztikai és terápia támogatási célokra. Egy kutatási projekt keretében a GE Health Care Clinical Software Engineering részlegével együttműködve vizsgáltunk és dolgoztunk ki módszereket konkrét szervek szegmentálására 3D CT (komputertomográf) képekből radioterápiás kezelés tervezéséhez. A gerincvelő szegmentálására egy 2D aktív kontúr alapú eljárás 3D kiterjesztését, a máj és lép szegmentálására 3D felszín alapú algoritmusokat, a vesékhez alakzat információkkal kiegészített 3D felszín modellt, míg a szem és látóideg régiókhoz 3D geometriai modell alapú megközelítést használtunk. Módszereinket konferenciákon ismertettük, egy részüket az ipari partner beépítette piaci szoftvertermékébe és több szabadalom tárgyát képezik. (Nyúl et al., 2005; Bekes et al., 2007) Egy másik munkában, a Graz-i orvosi egyetem munkatársaival együttműködve szintén 3D spirál-ct képekből a légúti traktus szegmentálására és légútszűkületek automatikus felismerésére és osztályozására dolgoztunk ki eljárást. (Sorantin et al., 2002) 1.5. Affin alakzat-deformációk parametrikus becslése A regisztráció kulcsfontosságú lépés minden olyan képfeldolgozó probléma esetén, ahol különböző nézőpontokból és/vagy különböző képalkotó berendezésekkel készült képeket kell összehasonlítani vagy egymással kombinálni. Tipikus alkalmazási területei többek között a vizuális ellenőrzés, tárgykövetés videó képsorozaton, szuperfelbontás, vagy az orvosi képek elemzése. Vizsgálatunk tárgya egy ismert bináris alakzat és annak deformált megfigyelését legjobban illesztő lineáris transzformáció meghatározása. Az ilyen típusú regisztrációs feladatok szokásos megoldása az, hogy a két kép között megfeleltetéseket keresünk, majd ezek között határozzuk meg az optimális transzformációs paramétereket. Mi olyan új megközelítési módot javaslunk, amelyben a pontos transzformációt vagy egy polinomiális egyenletrendszer (Domokos et al., 2008), vagy egy kovariáns függvényekből konstruált lineáris egyenletrendszer megoldása adja (Domokos, Kató, 2008). Mindkét módszert sikeresen teszteltük 2D szintetikus adatokon, valamint alkalmaztuk őket csípőprotézisről készült röntgenképek regisztrációjára (1. ábra). A megoldási javaslataink előnye a gyorsaság, a lineáris időkomplexitás, az egyszerű megvalósíthatóság, valamint az a tény, hogy egyértelmű és egzakt megoldást biztosítanak a transzformáció nagyságától függetlenül, megfeleltetések meghatározása nélkül. 3

1. ábra Csípőprotézisről készült 2D röntgen képpár, valamint a fuzionált regisztrációs eredmény (jobb szélső kép). 1.6. Medence-környéki CT-képek transzformálása közös referencia-térbe A korábban kidolgozott 3D képillesztő módszerünket átalakítottuk úgy, hogy alkalmas legyen különböző betegek medencecsont-környéki CT felvételeinek közös referenciatérbe transzformálására. A képi adatokat a GE Medical Systems cég bocsátotta rendelkezésünkre. A regisztráció egy összetettebb képszegmentálási feladat két előkészítő lépésében játszik szerepet. Az első esetben összegyűjtött CT képek alapján a referencia térben lehetőség nyílik statisztikai atlasz vagy akár deformálható szervmodellek készítésére. A második feladat a klinikai szoftverben a szegmentálandó képen a statisztikai atlasz vagy szervmodellek kezdeti elhelyezése. Ezen feladatok megoldásához nincs szükség tökéletes illeszkedésre. A lényeg az, hogy a szeméremcsont környéke jól illeszkedjen (itt találhatók a szegmentálás célterületei, a prosztata és a húgyhólyag) és gyors legyen az illesztés. A kritériumoknak megfelelően egy kétlépéses módszert dolgoztunk ki (Tanács, Máté, Kuba, 2005). Az első lépésben elforgatási, eltolási és tengelyek menti különböző mértékű skálázási paraméterekkel végzünk globális illesztést. A második lépésben rögzítjük a korábban megkapott skálázó paramétereket, és a referenciaképen kijelölt, szeméremcsont környéki lokális területen a forgatási és eltolási paramétereket finomítjuk tovább. A 26 CT képből álló adatbázisunkon tesztelve azt az eredményt kaptuk, hogy a lokális finomítás eredményeként a prosztata régiók szignifikánsan közelebb kerülnek egymáshoz. 1.7. Magasabb rendű aktív kontúrok - a `Gas of Circles' alakzatmodell A gas of circles (GOC) modell (Horváth et al., 2006; Horváth et al., 2006a) segítségével közel azonos sugarú körök halmaza írható le. A modell a magasabb rendű aktív kontúrok (HOAC) családjába tartozik, a kontúr paramétereinek megfelelő beállítása mellett stabil köröket eredményez. A GOC modellnek sok potenciális alkalmazási területe van a biotechnológiában, nanotechnológiában, orvosi képek elemzésében illetve a távérzékelésben. A projekt keretében a távérzékelés témakörébe tartozó problémára alkalmaztuk a modellt: A feladat fakoronák detektálása volt légifelvételeken. A fő kihívást a fakoronák összemosódó koronái jelentették, melyeket csak a GOC alakzatmodell segítségével sikerült hatékonyan elkülöníteni (2. ábra). A feladat megoldásához kétféle adatmodellt használtunk fel: az egyik a többcsatornás képek egyetlen csatornájának képi gradiensét illetve az intenzitásértékekre alkalmazott egyváltozós normális eloszlást használta fel. A másik adatmodell ezzel szemben mindhárom CIR csatornát felhasználta és a pixelértékeket többváltozós normális eloszlással modellezte (Horváth, 2007). Az így kapott aktív kontúr modell kitűnően megbirkózott a kitűzött feladattal, az eredmények minősége lényegesen jobb volt, mint a hagyományos, alakzatmodell nélküli aktív kontúrokkal elérhető szegmentálási eredmények. 4

2. ábra Légifelvétel (bal) és a detektált fakoronák (jobb). 1.8. A vázkijelölés és alkalmazásai A váz a szegmentált objektumok általános alakját jellemzi. A vázkijelölés egyik gyakran használt módszere az objektumok iteratív redukciója, a vékonyítás (Palágyi, Kuba, 1999). Vékonyító algoritmusainkat orvosi képekre, légcső és vérerek átmérőjének meghatározására, vastagbél virtuális boncolására (Palágyi et al., 2001; Sorantin et al., 2002) és a légút-fa kvantitatív vizsgálatára (Palágyi et al., 2006) alkalmaztuk (3. ábra). 3. ábra CT vizsgálatból szegmentált légút-fa (bal), a vékonyítással meghatározott középvonal (középső) és a formális fa (jobb). 1.9. Műtét-tervezés A projekt célja egy olyan szoftver kifejlesztése, amely alkalmas bonyolult csontműtétek esetén a műtéti terv elkészítésére és annak biomechanikai viselkedésének elemzésére. A beteg CT képeiből indulva a rendszer szegmentálja a különböző csont darabokat, majd előállítja ezek 3D felületi modelljét. A tervezési fázisban van lehetőség az elmozdult csont darabok visszahelyezésére, ill. a rögzítéshez használt csavarok és lemezek behelyezésére. A biomechanikai szimulációt véges elemes analízissel végezzük (4. ábra). A tervezés során akár több különböző rögzítési módszer is kipróbálható és összehasonlítható. Ezen információk nagyban segítik az orvost, hogy ki tudja választani a legmegfelelőbb műtéti tervet. (Erdőhelyi et al., 2007) 5

4. ábra CT vizsgálatból szegmentált medencecsont felszíne (bal), műtéti terv 4 csavarral és egy rögzítő lemezzel (közép) biomechanikai deformációk és anyagi feszültségek (jobb). 1.10. Diszkrét tomográfia területei és alkalmazásai A rekonstrukciós tomográfia feladata 3 dimenziós tárgyak 2 dimenziós keresztmetszeti képeinek előállítása az objektum vetületi képeinek segítségével. A diszkrét tomográfia azokban az esetekben alkalmazható, amikor az előállítandó kép csak néhány, előre ismert szürkeségi értéket tartalmazhat (pl.: angiográfiás, elektronmikroszkópos felvételek, nemroncsoló anyagvizsgálat). Ezzel a többlet-információval a gyakorlati szempontból kielégítő minőségű képek megalkotásához szükséges vetületek száma több százról 2-10-re csökkenthető. Tanszékünk a diszkrét tomográfia kutatásában a nemzetközi élmezőnybe tartozik, a jelenleg futó projekt a tomográfia új irányzatait és alkalmazási lehetőségeit kutatja. Legújabb eredményeink a következő területekre vonatkoznak: geometriai információn alapuló rekonstrukció (Balázs, 2006; Balázs, 2007; Balázs, 2008), emissziós diszkrét tomográfia (Kuba et al., 2004; Kuba, Nivat, 2005), neutron tomográfia és alkalmazása a nemroncsoló tesztelésben (Kuba et al., 2005), rekonstrukció legyezőnyaláb vetületekből (Nagy, Kuba, 2006). Az újonnan kidolgozott eljárásokat folyamatosan integráljuk a tanszéken fejlesztett DIscrete REConstruction Techniques (DIRECT) programba. A projekt tagjai részt vettek a 2005-ben New Yorkban megrendezett Workshop on Discrete Tomography and Its Applications konferencián, legjelentősebb eredményeink a válogatott konferenciaanyagot tartalmazó könyvben jelentek meg (Herman, Kuba, 2007). Irodalomjegyzék [1] Balázs, P. (2006) The number of line-convex directed polyominoes having the same orthogonal projections. In Proc. 13th Int. Conf. Discrete Geometry for Computer Imagery (DGCI), Lecture Notes in Computer Science 4245, Springer Verlag, 77-85. [2] Balázs, P. (2007) Decomposition algorithms for reconstructing discrete sets with disjoint components. In Herman, G.T., Kuba, A. (eds.) Advances in Discrete Tomography and Its Applications, Birkhauser, 153-173. 6

[3] Balázs, P. (2008) On the number of hv-convex discrete sets. In Proc. 12th Int. Workshop on Combinatorial Image Analysis (IWCIA), Lecture Notes in Computer Science 4958, Springer Verlag, 112-123. [4] Bekes Gy., Fidrich M., Nyúl L.G., Kuba A., Máté E. (2007) 3D segmentation of liver, kidneys and spleen from CT images. International Journal of Computer Assisted Radiology and Surgery, Springer Verlag, vol. 2, S45-S47. [5] Bock R., Meier J., Michelson G., Nyúl L.G., Hornegger J. (2007) Classifying Glaucoma with Image-based Features from Fundus Photographs. In Proc. Annual Symposium of the German Association for Pattern Recognition (DAGM), Lecture Notes in Computer Science 4713, Springer Verlag, 355-364. [6] DIscrete REConstruction Techniques (DIRECT): http://www.inf.u-szeged.hu/~direct [7] Domokos Cs., Kató Z., Francos J.M. (2008) Parametric Estimation of Affine Deformations of Binary Images. In Proc. IEEE Int. Conf. Acoustics, Speech and Signal Processing, 889-892 [8] Domokos Cs., Kató Z. (2008) Binary Image Registration Using Covariant Gaussian Densities. In Proc. Int. Conf. Image Analysis and Recognition, Lecture Notes in Computer Science, Springer Verlag, to appear [9] Erdőhelyi B., Varga E., and Kuba A. (2007) Surgical Planning Tool with Biomechanical Simulation. In Proceedings of the International Conference on Computer Assisted Radiology and Surgery (CARS), volume 2 of International Journal of Computer Assisted Radiology and Surgery, pages S262-S263 [10] Herman, G.T., Kuba, A. (eds.) (2007) Advances in Discrete Tomography and Its Applications, Birkhauser [11] Horváth P., Jermyn I., Kató Z., Zerubia J. (2006) A Higher-Order Active Contour Model for Tree Detection. In Proc. IEEE Int. Conf. Pattern Recognition, vol. 2, 130-133 [12] Horváth P., Jermyn I., Kató Z., Zerubia J. (2006) An improved `gas of circles' higherorder active contour model and its application to tree crown extraction. In Proc. Indian Conf. Computer Vision, Graphics and Image Processing, Lecture Notes in Computer Science 4338, Springer-Verlag, 152-161 [13] Horváth P. (2007) A Multispectral Data Model for Higher-Order Active Contours and its Application to Tree Crown Extraction. In Proc. Advanced Concepts for Intelligent Vision Systems, Lecture Notes in Computer Science 4678, Springer-Verlag, 200-211 [14] Kató Z. (2004) Reversible Jump Markov Chain Monte Carlo for Unsupervised MRF Color Image Segmentation. In Proc. British Machine Vision Conference, volume 1, Kingston, UK, 37-46 [15] Kató Z. (2008) Segmentation of Color Images via Reversible Jump MCMC Sampling, Image and Vision Computing, 26(3), 361-371 [16] Katona, E. (2007) Contour line thinning and multigrid generation of raster-based digital elevation models. International Journal of Geographical Information Science, 21, 71-82. [17] Kuba, A., Nagy, A., Balogh, E. (2004) Reconstruction of hv-convex binary matrices from their absorbed projections. Discrete Applied Mathematics, 139(1-3), 137-148. 7

[18] Kuba, A., Nivat, M. (2005) A sufficient condition for non-uniqueness in binary tomography with absorption. Theoretical Computer Science, 346(2-3), 335-357. [19] Kuba A., Rodek L., Kiss Z., Ruskó L., Nagy A., Balaskó M. (2005) Discrete tomography in neutron radiography. In Proc. Int. Topical Meeting on Neutron Radiography, volume 542 of Nuclear Instruments and Methods in Physics Research, 376-382 [20] Meier J., Bock R., Michelson G., Nyúl L.G., Hornegger J. (2007) Effects of Preprocessing Eye Fundus Images on Appearance Based Glaucoma Classification. In Proc. Int. Conf. Computer Analysis of Images and Patterns (CAIP), Lecture Notes in Computer Science 4673, Springer Verlag, 165-172. [21] Nagy A., Kuba A. (2006) Parameter settings for reconstructing binary matrices from fan-beam projections. Journal of Computing and Information Technology, 14(2):100-110, [22] Nyúl L.G., Kanyó J., Máté E., Makay G., Balogh E., Fidrich M., Kuba A. (2005) Method for Automatically Segmenting the Spinal Cord and Canal from 3D CT Images. In Proc. Int. Conf. Computer Analysis of Images and Patterns (CAIP), Lecture Notes in Computer Science 3691, Springer Verlag, 456-463. [23] Palágyi, K., Kuba, A. (1999) A parallel 3D 12-subiteration thinning algorithm. Graphical Models and Image Processing, 61, 199-221. [24] Palágyi, K., Sorantin, E., Balogh, E., Kuba, A., Halmai, Cs., Erdőhelyi, B., Hausegger, K. (2001) A sequential 3D thinning algorithm and its medical applications. In Proc. Int. Conf. Information Processing in Medical Imaging (IPMI), Lecture Notes in Computer Science 2082, Springer Verlag, 409-415. [25] Palágyi, K., Tschirren, J., Hoffman, E.A., Sonka. M. (2006) Quantitative analysis of pulmonary airway tree structure. Computers in Biology and Medicine, 36, 974-996. [26] Sorantin, E., Halmai, Cs., Erdőhelyi, B., Palágyi, K., Nyúl, L.G., Ollé, L.K., Geiger, B., Lindbichler, F., Friedrich, G., Kiesler, K. (2002) Spiral-CT-based assessment of tracheal stenoses using 3-D-skeletonization, IEEE Transactions on Medical Imaging 21, 263-273. [27] Tanács A., Máté E., Kuba A. (2005) Application of Automatic Image Registration in a Segmentation Framework for Pelvic CT Images. Proc. Int. Conf. Computer Analysis of Images and Patterns (CAIP),, Lecture Notes in Computer Science 3691, Springer Verlag, 628-635. 8