Orvosi diagnosztikai célú röntgenképfeldolgozás

Átírás

1 Orvosi diagnosztikai célú röntgenképfeldolgozás Önálló labor zárójegyzkönyv Lasztovicza László VII. évf. vill. szakos hallgató Konzulens: dr. Pataki Béla docens Méréstechnika és Információs Rendszerek Tanszék

2 Feladatkiírás Az orvosi diagnosztikában nagy jelentsége van különböz képalkotó eljárásokkal (röntgen, ultrahang, CT, stb.) nyert képek diagnosztizálásának. A diagnózis egyik tipikus lépése, hogy a képen valamilyen - általában rosszul definiált - alakzatot, mintázatot keresünk: ennek jelenléte, esetleg környezetével való kapcsolata hordoz diagnosztikai jelentséggel bíró információt. A feladatot nehezíti, hogy az alakzat nagy egyéni szórást mutathat, ugyanakkor sem pozíciója, sem iránya, sem mérete nem ismert elre. Az Önálló Labor során speciális orvosi szrést szolgáló röntgenképek diagnosztikus vizsgálata a cél. Rendelkezésre áll, illetve beszerezhet nagyobb számú mintakép, amelyekhez ismert a diagnózis, és ismert, hogy mely képrészlet hordozza a keresett információt. A feladat megoldása során egy képadatbázist kell megalkotni, majd különböz eljárásokat megvizsgálni ezen adatbázis segítségével. Ehhez egyrészt méret-, pozíció- és irányfüggetlen paraméterek elállító algoritmusok keresését, megvalósítását és tesztelését kell elvégezni, illetve közvetlenül a kép alapján dolgozó diagnosztizáló eljárásokat megvizsgálni. A feladathoz klasszikus 2D képfeldolgozó eljárások, a mesterséges intelligencia körébe tartozó eljárások, általános kétdimenziós jelfeldolgozási módszerek alkalmazására egyaránt szükség lehet, de tág tere van az egyéni ötleteknek is.

3 Tartalomjegyzék BEVEZETÉS... 4 DIGITÁLIS KÉTDIMENZIÓS KÉPFELDOLGOZÁS... 5 KÉPJAVÍTÁS... 5 Fényességi érték transzformációk... 5 Lokális eljárások (ablakozó technikák)... 7 KÉPANALÍZIS Élek detektálása Morfológiai eljárások Hough transzformáció ELFELDOLGOZÁSI FELADATOK AZ EML ELKÜLÖNÍTÉSE AZ EGYÉB KÉPELEMEKTL A MELLIZOM ÉS AZ EML HATÁRVONALÁNAK MEGHATÁROZÁSA A MELLBIMBÓ HELYÉNEK MEGHATÁROZÁSA MIKROKALCIFIKÁCIÓK FELISMERÉSE ARCHITEKTÚRA A RENDSZER MKÖDÉSE Paraméter térkép piramis felépítése Neurális hálózatok Tanítás FORRÁSOK... 27

4 Bevezetés Napjainkban a daganatos megbetegedések és halálozások egyik vezet oka a nk körében az emlrák. Az emlrák megelzésére jelenleg nem ismert módszer, a gyógyítás egyetlen útja a betegség minél elbbi felfedezése. A mammográfia feladata az emlrák felfedezése a betegség korai szakaszában. A mammográfia az emlk lágyrész röntgenvizsgálatát jelenti. A diagnózis a röntgenfelvételek alapján történik. A diagnózis során a röntgenfelvételeken különböz elváltozásokat keresnek, amelyek a daganatra, vagy annak kialakulását megelz állapotokra utalhatnak. Az orvosi diagnosztikában egyre nagyobb jelentséggel bírnak a különböz számítógépes módszerek (CAD), amelyek lehetvé teszik a gyors feldolgozást, biztosítják az adatok könny tárolását és segítik a szakemberek közötti információáramlást. A mammográfia területén igen intenzív kutatás folyik napjainkban, amely a röntgenfelvételek elemzését segít módszerek kidolgozását tzte ki célul. Az 1. ábrán egy tipikus CAD rendszer [1] felépítését láthatjuk. Digitalizált mammogram Elfeldolgozás Képanalízis Statisztikus vagy neurális osztályozás Diagnózis 1. ábra tipikus CAD rendszer felépítése A digitalizált röntgenképeket egy elfeldolgozási lépés során megtisztítjuk a felesleges, zavaró, a további feldolgozás számára érdektelen részektl. Az elfeldolgozó lépés során általában általános célú képfeldolgozási eljárásokat alkalmazunk. A szakemberek a képek elemzése során olyan területeket keresnek, amelyek különböz elváltozásokra utalhatnak. A képanalízis feladata olyan eljárások kidolgozása, amelyek ezeket az érdekes területeket felfedezik a képeken. A képanalízis tehát különböz analitikus vagy heurisztikus eljárásokat felhasználva kiszri azokat a területeket, amelyek valamilyen szempontból gyanúsnak tekinthetek. Az alkalmazott módszerek általában igen érzékenyek, vagyis jóval több területet jelölnek meg, mint amennyi valóban gyanúsnak tekinthet, ezért a következ lépésben, az osztályozás során, megpróbáljuk ezek közül kiszrni a valóban elváltozást mutató területeket. Az osztályozás során a leggyakrabban statisztikus vagy neurális módszerekre épít eljárásokat használunk. Az önálló laboratórium során végzett munkám három részre bontható. Elsként a mammográfiával és a képfeldolgozás alapjaival ismerkedtem meg. A következkben olyan eljárások kifejlesztésével foglalkoztam, amelyek a további feldolgozási feladatok számára elfeldolgozási lépésként szolgálhatnak, a témából TDK dolgozat is készült, amelybl részleteket a zárójegyzkönyvben is felhasználok. Utolsóként pedig az egyik tipikus elváltozással, a mikrokalcifikációk felismerésével foglalkoztam.

5 Digitális kétdimenziós képfeldolgozás A digitális képfeldolgozás szokásos feladatai a képjavítás és képhelyreállítás, illetve a képanalízis [2, 3]. A digitalizálás során a mintavételez és kvantáló rendszerek hibákkal terhelik a képeket, amelyek kiküszöbölése és az eredeti kép minél pontosabb visszaállítása a képhelyreállítás feladata. A vizuális látvány javításával, a képek jellemz tulajdonságainak kiemelésével a különböz képjavító eljárások foglalkoznak. A képfeldolgozás végs célja a képeken található információ értelmezése. Ezzel a képanalízis foglalkozik. A digitális képfeldolgozás területén alkalmazott eljárások sok esetben empirikus jellegek, vagyis olyan paraméterekkel operálnak, amelyek kísérletezéssel, próbálgatással állíthatóak be az optimális értékre. Kevés olyan eljárás van továbbá, amely általánosan használható egy adott feladat megoldására, a legtöbb esetben (és a valós alkalmazások szinte kivétel nélkül ilyenek) a feladatok megoldása több eljárás együttes alkalmazásával illetve az egyes eljárásoknak a feladathoz való alakításával lehetséges. Képjavítás A képjavítás feladata a kép vizuális, illetve a további feldolgozás szempontjából lényeges tulajdonságainak javítása. A vizuális tulajdonságok javítása elssorban a képek megjelenítésénél hasznos, de a további feldolgozást nem feltétlenül segíti. Ezzel szemben a további feldolgozás szempontjából lényeges tulajdonságok nem feltétlenül hordoznak vizuális információt. A terület eljárásainak tipikus képviseli a kontraszt javítása, vagy az élek élesítése. Fényességi érték transzformációk A fényességi érték transzformációk a legegyszerbb eljárások, egyben a legáltalánosabbak is, ezért gyakran használatosak más eljárások részeként. A kimenetet a bemeneti fényességi értékek különböz átviteli függvényekkel megadott átskálázásával kapjuk meg, vagyis a bementi és kimeneti értékek között egy (nem feltétlenül egy-egy értelm) leképezés jön létre: ( u) v = f, ahol v a kimeneti fényességi értéket, míg u a bemenetit jelöli. A következkben következzék néhány példa a fényességi érték transzformációkra. A kontraszt javítása Az alacsony kontraszt általában a nem megfelel megvilágítás, vagy a képalkotó berendezésben keletkezett fényveszteség eredménye. A kontraszt javításra egy példa a 2. ábrán látható.

6 Hisztogram alapú eljárások 2. ábra Kontrasztjavítás (baloldalon a kiindulási kép) A hisztogram megadja a fényességi értékek gyakoriságát egy adott képen, így a valószínségi változóként értelmezett fényességi érték srségfüggvényének tekinthet. A hisztogram kiegyenlítés célja a kép normalizálása, azaz a fényességi értékek egyenletes eloszlásának megteremtése. Tekintsük tehát a fényességi értéket (u ) valószínségi változónak. Az u bemeneti változó vehessen fel L különböz értéket. Legyenek Ekkor az egyes fényességi értékek gyakoriságai, p u ( x i ) szerint határozhatók meg: ( x ) h ( x ) i p u i = L 1, i = 0,1,..., L 1 h( xi ) i= 0 x ezek az értékek ( i = 0,1,..., L 1 ). i, a hisztogram alapján az alábbiak A kimeneti fényességi értékek meghatározása ez után úgy történik, hogy: v = u xi = 0 p u ( x ) v v min v ' = Int ( L 1) + 0, 5, 1 vmin Az eljárás elnye, hogy automatikus, nem kell sok paramétert állítani, viszont némely esetben nem az elvárásoknak megfelel eredményt ad. A 3. ábrán a hisztogram kiegyenlítésre láthatunk példát. i

7 3. ábra Hisztogram kiegyenlítés (baloldalon a kiindulási kép) Lokális eljárások (ablakozó technikák) A lokális eljárások a kép egy adott pontját, illetve annak környezetét vizsgálják. A vizsgált pont és környezete együttes elnevezése ablak. Az ablakban található értékek reprezentálhatóak egy mátrix segítségével. A vizsgálatokat az ablak méretének megfelel vizsgáló mátrix (más néven maszk) segítségével végezzük. A bemeneti kép összes képpontjára elvégezve az adott maszk által definiált mveletet kapjuk meg az eredmény képet. A könnyebb vizsgálhatóság miatt az ablak mérete általában páratlan. Az eljárások tulajdonképpen a konvolúció elméletén alapulnak. A képet egy eltolás invariáns operátorral (a maszkkal) konvolálva kapjuk meg az eredményt. Átlagolás A legegyszerbb ablakozó eljárás az átlagolás. Az átlagolás, mint ahogy a neve is jelzi, a vizsgált területen található képpontok átlagát képzi, és ezzel az átlaggal helyettesíti a vizsgált képpontot. Az eljárás eredményeképpen a kép elmosódott lesz, ugyanakkor a képen található zaj is csökken. Az eljárás képlettel az alábbiak szerint fejezhet ki: v 1 N ( k, l) = u( m k, n l) W ( k, l W ) A képlet a konvolúció diszkrét formájából kis átalakítás után megkapható. A konvolúciós mátrix (vagyis a maszk) elemeinek értéke megegyezik, és összeadva az egységet adják. Az átlagolás tulajdonképpen alulátereszt szrként fogható fel, mivel a magasabb frekvenciájú képrészleteket (tipikusan az éleket) elnyomja, így a kép elmosódottá válik. Az eljárás eredménye a 4. ábrán látható, az alkalmazott ablak mérete 11x11 képpont volt.

8 4. ábra Átlagolás (baloldalon a kiindulási kép) Statisztikus szrések A statisztikus szrk egy nemlineáris leképezést valósítanak meg a kiindulási és az eredményül kapott kép pontjai között. Az eljárások a vizsgált terület képpontjait rendezik, majd a szrés típusától függen kiválasztanak egy elemet, amely a vizsgált képpont új értékét adja. Az egyik legelterjedtebb képviseljük a medián szr. Egyéb gyakrabban használatos típusok a minimum és maximum szr, amelyeknél a rendezés után kapott vektor minimumát illetve maximumát választjuk ki. Medián szréskor a maszk rendezése után kiválasztjuk a középs elemet, amellyel a vizsgált képpontot helyettesítjük. Az eljárás alkalmas az impulzus jelleg zajok kiszrésére, azonban az éleket az ablak méretétl függen torzítja. A 5. ábrán egy 5x5-ös ablakkal végzett medián szrés eredményét láthatjuk. 5. ábra Medián szrés (baloldalon a kiindulási kép)

9 Élek élesítése (unsharp masking) Az eljárás alapja, hogy egy az életlen vagy alulátereszt szrvel szrt képpel arányos képet kivonunk az eredetibl. Általánosságban az eljárás a következképpen írható le: ( m, n) u( m, n) + λg( m n) v =,, ahol > 0 m n m, n pontban. Gyakran használatosak gradiens függvényként a diszkrét Laplace függvény változatai: λ és g (, ) egy alkalmasan definiált gradiens az ( ) g 1 4 ( m, n) = u( m, n) [ u( m 1, n) + u( m, n 1) + u( m + 1, n) + u( m, n + 1) ] Az eljárás eredményeként kapunk egy olyan képet, amelyen az élek jobban látszanak, mint az eredeti képen. A 6. ábrán láthatunk egy példát. Inverz kontraszt-arány transzformáció 6. ábra Unsharp masking (baloldalon a kiindulási kép) Az emberi látás azon képessége, amellyel egy objektumot az egyenletes fényeloszlású háttértl el tud különíteni, az objektum méretétl és a kontraszt-aránytól függ. A kontrasztarány definíciója a következ: σ γ =, µ ahol µ az objektum átlagos fénysrsége, σ pedig az objektum és környezete fénysrségének szórása.

10 Az inverz kontraszt-arány transzformáció célja, hogy az objektumokat a képen kiemelje a háttérbl. Alkalmazása tulajdonképpen az alacsony kontrasztú éleket javítja. A transzformáció a következképpen adható meg: v ( m, n) ( m, n) ( m, n) µ =, σ ahol µ ( m,n) a fényességi értékek egy adott ablakon vett átlaga (ld. még fent), míg ( m,n) fényességi értékek ugyanezen ablakon számolt szórása. µ ( m, n) és ( m, n) szerint számolhatóak: σ µ 1 N ( m, n) = u( m k, n l) 1 N W ( k, l) W ( m, n) [ u( m k, n l) µ ( m, n) ] = W ( k, l) W σ a σ az alábbiak Az eljárásra példa a 7. ábrán látható. Az ablakozó mveleteket egy 3x3-as ablakra végeztem el. Képanalízis 7. ábra Inverz kontraszt-arány transzformáció (baloldalon a kiindulási kép) A képanalízis célja, hogy a képeken található objektumok jellegzetes tulajdonságait meghatározza, majd ezekbl következtessen a képen található objektumok minségi, vagy mennyiségi jellemzire. Ezekbl a jellemzkbl azután lehetségessé válik a képen látható objektumok értelmezése, a kép információtartalmának elemzése. A képanalízis teszi lehetvé például a mholdak által készített képek értelmezését, segítve a meteorológia, a térképészet munkáját, vagy éppen a röntgenfelvételek diagnosztikai vizsgálatát. A képanalízis módszerei tehát a képek objektumainak jellegzetes tulajdonságait szeretnék meghatározni, mint amilyenek az élek, az objektumok határai, a közöttük látható összefüggések. A kép részekre bontása után megállapíthatjuk az egyes objektumok jellemzit,

11 a képelemek közötti összefüggések elemzésével pedig kép információtartalmát nyerhetjük ki. A képanalízis jellemz feladatai a lényegkiemelés, a szegmentálás és osztályozás. Élek detektálása Az élek detektálása alapvet feladat, hiszen az élek jellemzik az objektumok határait. Hasznosak lehetnek például az objektumok szegmentálásánál, de a felismerést és az értelmezést is segíthetik. Az élek úgy képzelhetek el, mint a fényességi értékek hirtelen változásai. Egy folytonos képet tekintve élet akkor találunk, ha a kép egy adott pontbeli iránymenti deriváltja lokális maximumot vesz fel, vagyis az élek detektálására használhatjuk a gradienst. Az els derivált mellett használható a második derivált is, amely eljelet vált ott, ahol az els derivált maximumot vesz fel, így a második derivált nulla-átmeneteit elemezve is detektálhatjuk az éleket. A továbbiakban csak az els deriváltra épül módszerekkel foglalkozunk. Ha egy r görbe mentén θ irányban mérjük a g gradienst, az alább megadott: g r g x g y = + = g x cosθ + g y sinθ x r y r g kifejezés a maximális értékét akkor veszi fel, amikor = 0, amibl θ r g 1 y g + = = x sinθ g g y cosθ g 0 θ g tan g x g 2 2 = g x + g y r max A fenti koncepciókra építve kétféle éldetektálási módszer használatos, amelyekben a deriváltakat különböz maszkokkal közelítjük. Gradiens operátorok A gradiens operátorok két operátormátrix segítségével reprezentálhatóak, amelyek a kép két ortogonális irányában mérik a gradienst. A gradiens nagysága és iránya a konvolúció elvégzése után kapott mátrixokból az alábbiak szerint határozható meg: 2 2 ( m, n) = g ( m, n) g ( m n) g, θ g ( m, n) 1 + = tan 1 g g ( m, n) ( m, n) A gradiens operátorokkal való éldetektálásra a 8. ábrán látható példa. A példákban az élek tagjaként felismert pontok 5%-át tekintettem valóban valamilyen élhez tartozónak.

12 Morfológiai eljárások 8. ábra Gradiens éldetektálás (baloldalon a kiindulási kép) A morfológia kifejezés sok tudományterületen elfordul, de a jelentése mindenütt hasonló. Az alakzatok, formák vizsgálatát jelenti. A képfeldolgozásban ez a képen megjelen objektumok struktúrájának, formájának vizsgálatát jelenti. A morfológiai eljárások általában a halmazelméletbl kölcsönzik a mveleteket, ami azt jelenti, hogy a képeken található objektumokon egy elre megadott halmazzal különböz halmazmveleteket végezve kapjuk az eredményt. A területnek két alapvet operátora van. Tekintsünk a képen egy objektumot egy X halmaznak és adjunk meg egy B halmazt. B x jelölje B olyan transzlációját, amikor B középpontja az x pontban van. Az els operátor, amit megadunk az erózió (erosion). X eróziója B-vel mindazon x pontok halmaza, amelyekre X tartalmazza B -et, azaz: { x } X B B X Az erózió tehát az objektum méretének csökkenéséhez vezet. A másik alapmvelet a kiterjesztés (dilation), ennek az ellenkezje, vagyis az objektum méretének növekedését eredményezi. Definíció szerint a kiterjesztés mindazon x pontok halmaza, amelyekre B x és X metszete nem üres halmaz. X B { x : B x X } A morfológiai mveletek közül két további mveletet mutatok be, amelyeket a késbbiek során használni is fogok. Az els a határvonal keresése, amely egy olyan mvelet, amelyben az objektum határán lév pontok maradnak csak meg. Képlettel kifejezve a mvelet a következ: X = X X B : x x

13 A B halmaz ebben az esetben lehet például egy 3x3-as mátrix, amelynek minden elemét figyelembe vesszük a halmazmveletek során. A mvelet tehát veszi az objektum azon pontjait, amelyekre a B mátrixot X tartalmazza, majd kivonja az X halmazból. A második mvelet a felnyitás, amely a mveleti halmaztól függen szétválaszt egy objektumot több részre. A felnyitás definíciója: B = ( ) X X B B Elször tehát vesszük mindazon pontokat, amelyekre X tartalmazza a B halmazt, majd az eredményhalmazhoz hozzávesszük mindazon pontokat, amelyekre a metszete B-vel nem üreshalmaz. A 9. ábrán a határok megkeresésére láthatunk egy példát. A példában a megadott vizsgáló halmaz egy 3x3-as egységmátrix volt, és minden 0-nál nagyobb fényességi érték képpontot valamilyen objektumhoz tartozónak tekintettem. Hough transzformáció 9. ábra Objektumok határának megkeresése (baloldalon a kiindulási kép) A Hough transzformáció segítségével egyeneseket deríthetünk fel a képen. Kiindulásként tekintsük az egyenes alábbi formában megadott egyenletét: s = xcosθ + ysinθ amely megadja az origótól s távolságra lév, az origóval szöget bezáró normálissal rendelkez egyenes pontjait. A Hough transzformáció során az egyenes pontjait az ( s,θ ) térbe képezzük, aminek eredményeként az egyenes ebben a térben egy pont formájában jelenik meg. A transzformációt ezek után úgy képzelhetjük el, hogy a képen meghatározzuk például egy objektum határait, amint a 14. ábrán látható, de végezhetünk éldetektálást is, x, pontot leképezünk az ezután az s és a paraméter néhány kvantált értékére minden ( ) i y i

14 ( s,θ ) térbe, a tér minden pontjához egy ( s,θ ) C számlálót rendelünk, amelyet növelünk, ha a leképezés az adott pontba történt. A számláló lokális maximumai adják ezek után a különböz pontokon át húzható egyeneseket. A 10. ábrán látható egy példa az eljárásra. A példában az elz pontban megadott algoritmust használtam fel a határok képzésére. A leképezés után azokat az egyeneseket jelöltem meg, amelyekre a hozzájuk tartozó számlálónál mérhet lokális maximum meghaladta a globális maximum 10%-át. 10. ábra Hough transzformáció (baloldalon a kiindulási kép)

15 Elfeldolgozási feladatok Az eml elkülönítése az egyéb képelemektl A röntgenfelvételeken sok esetben láthatóak különböz feliratok, címkék, illetve a digitalizálás során keletkezett különféle hibák. A további feldolgozás szempontjából ezek a képelemek feleslegesek, esetleg zavarhatják is a további feldolgozást, ezért érdemes lehet ket eltávolítani. A feladat tehát egy olyan algoritmus kidolgozása volt, amelynek segítségével az eml elkülöníthet a képeken található egyéb objektumoktól. További elnye ennek az algoritmusnak, hogy segítségével az eml helyzete pontosan meghatározható a képen. A kidolgozott algoritmus leírása az alábbiakban látható. 1. lépés A bemeneti képmátrixot kibvítjük olyan módon, hogy minden szélén felveszünk egyegy újabb sort, illetve oszlopot és azt 0 értékekkel töltjük fel. Az algoritmus során így nem kell ellenriznünk, hogy a mátrix határain belül mozgunk-e. Ha szükséges több sorral is kiegészíthetjük a mátrixot. 2. lépés A kép összes 15-nél nagyobb fényességi érték pontját megvizsgáljuk, van-e olyan szomszédja, amelynek fényességi értéke kisebb, mint 15. Ha van, akkor annak a pontnak a fényességi értékét 25-re növeljük. A képeken elforduló rendellenességek között található olyan, amelynek eredményeképpen az eml egyes részei nagyobb fényességi értéken vizsgálva elválnak az emltl, aminek eredménye, hogy az algoritmus egy késbbi lépésben kizárja ezeket a képpontokat a további vizsgálatból. A rendellenesség megjelenési formája egy sötét csík (az alkotó pontok fényességi értéke kisebb, mint 15), amely végighúzódik az emln. 3. lépés A képen található összes, 25-nél nagyobb fényességi érték képpontokat tartalmazó tartomány határán található képpontok értékét 0-ra állítjuk. Ezt egy egyszer morfológiai eljárással meg tudjuk tenni (ld pont). A határpontok megkereséséhez egy 3x3-as vizsgálómátrixot alkalmazunk. A kép 25-nél nagyobb fényességi érték pontjai összefügg tartományokat alkotnak, amelyeket halmazoknak tekinthetünk. A tartományok mint halmazok, és a vizsgálómátrix mint halmaz között egy-egy értelm megfeleltetést próbálunk létrehozni, vagyis a vizsgált képpontot a vizsgálómátrix középpontjával, környezetét pedig a mátrix megfelel elemével vetjük össze, és ha minden elem párosítható, azaz a vizsgált képpont és a környezetében található képpontok fényességi értéke 25-nél nagyobb, akkor nem teszünk semmit, ellenkez esetben a képpont fényességi értékét 0-ra állítjuk. A lépés eredményeként a képen található tartományok egyértelmen elkülönülnek, illetve a vékony vonallal összekötött tartományok több részre esnek szét. 4. lépés Meghatározzuk az egy tartományba tartozó képpontok halmazait. A 25-nél nagyobb fényességi érték képpontok esetén megvizsgáljuk, hogy valamely szomszédjuk már tagja-e valamelyik tartománynak, ha igen, akkor a képpontot megjelöljük, mint a tartomány tagját, ha nem, akkor új tartományt hozunk létre. Ha vannak olyan szomszédai, amelyek két külön tartományba tartoznak, akkor a tartományokat megjelöljük, mint szomszédos tartományokat.

16 A szomszédos tartományok egy tartománynak minsülnek, így a képpontok vizsgálata után a szomszédosnak minsített tartományokat összevonja az algoritmus egy tartományba. 5. lépés A legnagyobb tartomány kiválasztása a tartományokba tartozó képpontok megszámlálásával. Az algoritmus nem veszi figyelembe, ha két maximális pontszámú tartomány van, ez ugyanis a kiindulási feltevéseknek ellentmondana. A legnagyobb tartomány pontjai megadják az eml pontjait, kivéve a 25 fényességi érték alatti pontokat. A következkben tehát megismételjük a 3-5-ig lév lépéseket, de most 15-ös fényességi értéket választva határként, ezáltal finomítva a megoldást. 6. lépés Utolsó lépésként a kapott tartomány bvítése következik. A kapott tartomány határpontjait 5 pixellel kitoljuk, így finomítva a felbontást és kiküszöbölve egy olyan jelenséget, amely akkor jelentkezik, ha az eml határán vannak olyan kisebb tartományok, amelyeket a 25-ös határnál külön tartományként érzékelt az algoritmus, és törölte ket. Opcionálisan lehetséges választani, hogy a megtalált tartományon kívül es képpontokat törölje a program, vagy a megtalált tartományt írja körül. Az algoritmus alkalmazásának eredményét a 11. ábrán láthatjuk. A baloldali kép a kiindulási kép, mellette az eredményül kapott kép látható, az algoritmus által feleslegesnek ítélt részek törlésével. Látható, hogy az algoritmus az emlvel teljesen összefügg idegen elemek eltávolítására nem képes. 11. ábra Az algoritmus alkalmazása egy képen Az algoritmust egy az internetrl szabadon letölthet mammográfiai adatbázison [4] teszteltem. Az adatbázisban 322 db kép található. A tesztelés során az eredmény szempontjából 3 csoportot különböztettem meg. a. Hibátlan mködés Az eml pontos felismerése. Megjegyzend, hogy a 15-ös fényességi érték határ miatt, az eml szélén található, ezen érték alatti fényességi érték képpontokat az algoritmus nem tekinti az eml részeinek.

17 b. Az eredményt jelentsen nem befolyásoló hibás mködés Az ide tartozó hibáknak további három típusát különböztettem meg: 1) Pontok törlése az emlbl Akkor fordulhat el ez a hiba, ha a 25-ös fényességi érték határú vizsgálatnál az eml szélén néhány képpont önálló tartományként jelenik meg. Ekkor az algoritmus törli ezt a tartományt, vagyis információt vesztünk. 2) Idegen képelemek hozzávétele az emlhöz Az algoritmus olyan képpontokat is az emlhöz tartozónak ismer fel, amelyek nem tartoznak hozzá. Történhet a zaj miatt, illetve okozhatják az eml felett elhelyezked címkék, feliratok. 3) Az emlhöz tartozó részek elhagyása A felvételeken néhány esetben az eml alatti testfelület visszahajlik a képre. Ez szorosan nem tartozik az emlhöz, így elhagyása sem minsül súlyos hibának. c. Hibás mködés Az algoritmus hibásan mködik, ha az emlt nem ismeri fel. A vizsgált képek tulajdonságai: 1024x1024 képpont; 8 bites színmélység, vagyis 256 db szürke árnyalat. A tesztelés eredményei az 1. táblázatban láthatóak. A b. esetet több részre osztottam az itt elforduló hibák típusa szerint. Hibátlan mködés 301 (93,48%) Az eredményt jelentsen nem befolyásoló hibás mködés 1. típusú 2. típusú 3. típusú 5 (1,55%) 8 (2,485%) Hibás összesen: 21 (6,52%) 8 (2,485%) Hibás mködés 0 (0%) 1. táblázat - Teszteredmények

18 A mellizom és az eml határvonalának meghatározása A mellizom a képeken az eml részeként jellegzetes lefelé keskenyed háromszög alakban jelenik meg. Az eml vizsgálata során a mellizom területe nem hordoz információt, míg a mellizom és az eml határán elfordulhatnak elváltozások. A célunk tehát ketts, egyrészt leválasztani az emlrl a felesleges területet, másrészt a határvonal segítségével plusz információhoz jutunk, amely vagy bizonyos elváltozások célzott vizsgálatát, vagy pedig pozicionálási feladatok megoldását segítheti. A kidolgozott algoritmus az alábbiakban látható. 1. lépés A kép méretét eredeti méretének 25%-ára csökkentjük. Az újraméretezés egyszer algoritmus szerint történik. A képet felosztjuk az újraméretezés nagyságának megfelel négyzetekre (esetünkben 4x4-es), majd ezeket átlagoljuk. Az új képben a kapott átlag lesz egy képpont a megfelel helyen. A képbl természetesen részletek vesznek el, de ez a feldolgozás további menetét nem befolyásolja. 2. lépés A mellizom megkereséséhez csak az emlre van szükségünk, a kép további részei szükségtelenek, ezért azokat eltávolítjuk. Ez a mvelet az elzleg már megismert algoritmus segítségével történik. Az algoritmus segítségével az eml elhelyezekedésére nézve is információkhoz jutunk, amelyek a késbbiekben kihasználunk. 3. lépés A képen gradiens alapú élkeresést végzünk. 4. lépés Az elz lépés eredményeként kapott képen Hough transzformációt hajtunk végre, amely eredményeképpen megkapjuk a képpontokra fektethet egyenesek paramétereit. A Hough transzformáció általános leírása a korábbiakban megtalálható, a következkben a megvalósított algoritmust ismertetem, amelynek a feladat jellegébl adódóan van néhány speciális vonása. 5. lépés - Hough transzformáció algoritmusa A Hough transzformáció a képpontok terébl az (,θ ) s térbe képez. Ez a kétdimenziós tér az egyenes alább megadott egyenletének paramétertere: s = xcosθ + ysinθ, ahol minden egyenes egy ponttal leírható. A transzformáció végrehajtásához elször a paraméterek terét kvantálni kell. A megvalósított algoritmusban a felosztás finomsága a kép szélességének mértékével egyezik. A kvantálást csak a paraméterre végezzük el úgy, hogy a 2 szögtartományt felosztjuk az elzekben megadott finomságú részekre. Az s paraméter felosztása ezáltal adott, maximális értéke pedig nem lehet nagyobb, mint a kép átlójának hossza, hiszen akkor egy olyan egyenest ad meg, amely nem tartozik a képhez. Ezek után C s,θ számlálót adja. létrehozunk egy a felosztásnak megfelel méret tömböt, amely a ( )

19 A felosztás meghatározása után az algoritmus kitölt egy szinusz illetve koszinusz táblázatot, hogy ne kelljen minden cikluslépésben elvégezni ezek kiszámítását, ami jelentsen gyorsítja az algoritmust. A következ lépésben minden 0-nál nagyobb fényességi érték képpont koordinátáit behelyettesítjük az egyenes fenti egyenletébe, amely megadja az s paraméter értékét (ezért nem kell az s paraméter felosztását megadnunk). Ha a kapott érték nem nagyobb a kép átlójának hosszánál, akkor a számláló tömbben az ( s,θ ) párosnak megfelel értéket egyel növeljük. A számlálóban található értékek megadják, hogy egy adott paraméter egyeneshez hány képpontot lehet hozzárendelni. A ciklus végén meghatározzuk a számlálók maximális értékét, de csak azokat a paramétereket vizsgálva amelyekre az origóból (a kép bal alsó sarka) az egyeneshez húzott merleges x tengellyel bezárt szöge, vagyis a paraméter a [10, 80 ], illetve [100, 170 ] tartományba esik. Ezzel csökkentjük a hibás detektálás esélyét, hiszen a mellizom és eml határát megadó egyeneshez az origóból húzható merleges x tengellyel bezárt szöge minden esetben ebbe a tartományba esik. Ezután kiválasztjuk a paramétertér azon elemeit, amelyekhez tartozó számláló a maximális érték 90%-át eléri, vagyis a legtöbb pontra fektethet egyeneseket. Az így kapott pontokra még végrehajtunk egy lokális maximum keresést, amelynek végén megkapjuk a szóba jöhet egyeneseket. Az egyeneseket vektoroknak véve, meghatározzuk az összegvektorukat, amely megadja az algoritmus által az eml és a mellizom határának detektált egyenest. Az eredmény ellenrzéséhez az eredményül kapott egyenest megjeleníthetjük az eredeti képen. Az algoritmus egy futásának eredménye látható a 12. ábrán. 12. ábra Az algoritmus futásának eredménye Az algoritmust az elzekben már említett adatbázison teszteltem. A tesztelés eredményei a 2. táblázatban láthatóak. Az eredmények szempontjából 3 csoportot különböztettem meg, amelyeket nagyrészt egyértelmen el lehetett különíteni egymástól:

20 a. Pontos felismerés A felismerést akkor tekintem pontosnak, ha az algoritmus az eml és a mellizom határvonalát pontosan, vagy nagyon kicsiny hibával találta meg. A nagyon kicsi hiba ebben az esetben azt jelenti, hogy az eltérés a tényleges vonaltól szabad szemmel még nem zavaró. b. Pontatlan felismerés Minden olyan eset, amikor az algoritmus által eredményül adott egyenes a mellizom területén belülre esik. Az ebbe a csoportba tartozó eseteket a hiba mértékétl függen 2 további csoportba osztottam. Az els csoportba a kevésbé súlyos pontatlanságok tartoznak. Ezek a határvonal közelében találhatóak, vagy párhuzamosak azzal, vagy kis szögben elhajlanak tle. A második csoportba a súlyosabb pontatlanságok tartoznak, amelyek a határvonaltól zavaróan messze vannak. c. Hibás felismerés Azok az esetek tartoznak ide, amikor az algoritmus által eredményül adott egyenes érinti az emln területét, függetlenül attól, hogy ez mennyire lehet zavaró egy esetleges további feldolgozó eljárás szempontjából. A kérdéses eseteket, tehát ahol nem volt eldönthet, hogy az eml területét érinti-e az egyenes, szintén ebbe a csoportba soroltam. A hibás felismerések között szintén két csoportot különböztettem meg. Az egyik esetben az algoritmusok a határvonalat felismerték, de valamilyen pontatlanság következtében az egyenes kissé belecsúszik az eml területébe. A második esetben az algoritmusok a határvonaltól teljesen eltér egyenest adtak meg. Pontos felismerés 233 (72,36%) Pontatlan felismerés Hibás felismerés 1. típusú 2. típusú 1. típusú 2. típusú 13 (4,04%) 14 (4,35%) Hibás összesen: 89 (27.64%) 35 (10,87%) 27 (8,38%) 2. táblázat Az algoritmus teszteredményei

21 A mellbimbó helyének meghatározása A mammográfiás vizsgálatok során sokszor hasonlítják össze a készített felvételt korábbi vizsgálatok során készített felvételekkel. A számítógépes összehasonlítás során szükségünk lehet olyan pontokra, amelyek segítségével az eltér körülmények között készült felvételeket egymáshoz lehet igazítani. Ilyen kiindulási pontot jelenthet a mellbimbó. A kidolgozott algoritmus leírása az alábbiakban látható. 1. lépés Az els lépés a 3.1. pontban megadott algoritmussal az eml kiemelése a képbl. Ez megadja egyben az eml határpontjait is. Az eml határának elemzésével az eml állásának, maximális és minimális kiterjedésének meghatározása (A részletes algoritmus a pontban elsként ismertetett megoldás 3. lépésében található.). 2. lépés Az algoritmus ezután a kép magasságának 1/5-öd részétl a 4/5-öd részéig vizsgálja a határpontok környezetét. A vizsgált környezet magassága és szélessége megegyezik a kép magasságának 1/30-ad részével. A környezet minden egyes sorának középpontja a megfelel y magassághoz tartozó határpont. A környezet középs sorának középs eleme a vizsgált pont, tehát a környezet nem négyzetes, hanem idomul az eml határvonalához. A vizsgált környezetben található képpontok fényességi értékébl átlagot képzünk, amely átlagot súlyozunk a vizsgált pontnak a legszéls ponttól vett távolsága szerint. A súlyozáshoz használt függvény a Gauss-függvény. Mivel a mellbimbó várható helye, az eml csúcsán van, ezért minél távolabbi a vizsgált pont ettl a helytl, annál valószíntlenebb, hogy lesz a keresett pont. Ez megakadályozza azt is, hogy a fényességi értékekben tapasztalható anomáliák nagyon megzavarják az algoritmust. A határpontokon kapott átlagok maximumának megkeresésével az algoritmus kiválaszt egy határpontot, amely szerinte a mellbimbó közelében van, és ezt adja megoldásként. Az algoritmus egy futási eredménye a 13. ábrán látható. 13. ábra Az algoritmus egy futási eredménye

22 Az eredmények 3 csoportját különböztettem meg. a. Elfogadható találat Az elfogadható találtnak azokat az eseteket vettem, amikor az algoritmus által megjelölt terület, illetve a mellbimbó tényleges területe találkoznak. b. Hibás találat Hibás találat minden olyan az algoritmus által adott megoldás, amelynek területe nem találkozik a mellbimbó területével. A hibás találatokat további két csoportra bontottam. Az els csoportba azok a találatok tartoznak, amelyeknél a megjelölt terület majdnem találkozik a mellbimbó tényleges területével, vagyis az eltérés csak néhány képpont. A második csoportba a teljesen rossz találatok tartoznak. c. A mellbimbó nem látható A képek elzetes elemzésekor volt néhány olyan kép, amelyen nem tudtam egyértelmen megállapítani a mellbimbó helyét. Ezeket a képeket soroltam ebbe a csoportba. A tesztek során kapott eredmények a 3. táblázatban láthatóak. Elfogadható találat 176 (54,66%) Hibás találat 1. típusú 2. típusú 40 (12,42%) Hibás összesen: 107 (33,23%) 67 (20,81%) A mellbimbó helye nem állapítható meg 39 (12,11%) 3. táblázat Az algoritmus teszteredményei

23 Mikrokalcifikációk felismerése Architektúra A rendszer felépítése a 14. ábrán látható. A rendszer bemeneteként olyan képrészletek szolgálnak, amelyek tartalmazhatnak mikrokalcifikációkat. A rendszer szempontjából lényegtelen, hogy ezek a képrészletek honnan származnak. A bemeneti képbl egy piramist képzünk, amely a megvalósított esetben három szint, az eredeti kép mellett annak felére illetve negyedére kicsinyített változatát tartalmazza. A piramis legalsó szintje a legkisebb felbontás. A piramis egyes szintjein található képekbl irányítható szrkkel paraméter térképeket képzünk. A paraméter térképek a képpek megegyez nagyságú mátrixok, amelyek a képre jellemz tulajdonságokat tartalmaznak. Lehetséges képi reprezentációjuk is, amely a 2. ábrán látható. A lényegkiemelés célja, hogy olyan paramétereket állítsunk el a képbl, amelyek lehetség szerint jellemzik a mikrokalcifikációkat. Az esetünkben elállított paraméterek az irányítható Kirsch operátor alkalmazásával keletkeztek. A különböz szinteken képzett paraméter térképek az egyes szinteken található neurális hálózatok bemeneteként szolgálnak. A hierarchia alsóbb szintjein elhelyezked hálózatok kapcsolódnak a felettük lév szinten elhelyezked hálózatok bemenetére is, így továbbítva a felsbb szintekre a kisebb felbontásokon kinyert információkat. Bemeneti képek (piramis) Lényegkiemelés (Kirsch operátor) Neurális hálózatok Eredmény MLP 100 MLP 50% 25% MLP 14. ábra A eljárás architektúrája A rendszer mködése Paraméter térkép piramis felépítése A piramis építése egyszeren a bemeneti kép felére illetve negyedére kicsinyítésével történik. A piramist alkotó képekbl a paraméter térképek képzése a Kirsch operátor alkalmazásával történik. A Kirsch operátor irányítható szrként [5] képzelhet el, amelynek

24 képzeletbeli északi irányú formája a 15. ábrán látható. A különböz irányú szrket a mátrixnak a középpontja körüli elforgatásával kapjuk ábra Kirsch operátor ( északi irány) Az operátor az irányának megfelel élekre ad maximumot, így tulajdonképpen éldetektálásra használhat. Az alkalmazáskor tehát minden képpontban kapunk egy értéket, amely azt mutatja, hogy az adott képpont környezetében milyen mérték fényességi érték változások vannak. A kapott értéket négyzetre emelve energiaszer mennyiséget képezhetünk. A paraméter térkép kialakítása úgy történik, hogy minden képpontban meghatározzuk a maximális energiájú irányt (), amely természetesen képpontonként eltér lehet. Ezután további két paraméter térképet képzünk, amelyek pontjaiban a -45 illetve -90 irányú szrés eredményei lesznek. Az így képzett paraméter térképek szolgálnak az egyes szinteken található neurális hálózatok bemeneteiként. A 16. ábrán néhány példa látható a paraméter térképekre (a megjelenítés érdekében a paraméter térkép értékkészletét a kép által megjeleníthet tartományba normáltuk). Neurális hálózatok 16. ábra Paraméter térképek (balról, -45, -90 irányok) A használt neurális hálózatok egyszer elrecsatolt hálózatok (MLP Multi-Layer Perceptron), egy rejtett réteggel, amely 5 neuront tartalmaz (17. ábra).

25 W 1 W 2 X1 X2 y X3 17. ábra MLP hálózat felépítése Az egyes neuronok a bemenetük súlyozott összegzését végzik: = N s i= 0 Ebbl a neuron kimenetét az összeg szigmoid nemlinearitáson való átengedésével kapjuk: 1 y = f ( s) =. s 1+ e A hálózatok hierarchikus felépítést követnek, amely mind a tanítás, mind a mködés során megnyilvánul. A hálózatok bemenetét az egyes paraméter térképek adják, amihez a hierarchiában fentebb elhelyezked hálózatok esetében hozzájön az alattuk elhelyezked hálózat rejtett rétegének neuronjainak kimenete. A hierarchiában legalul elhelyezked hálózat bemeneteit tehát a legkisebb felbontású paraméter térképek adják, így három bemenete lesz. A felette lév szinten elhelyezked hálózat bemenetét az ezen a szinten található paraméter térképek, illetve a legalsó szinten található hálózat rejtett rétegének neuronjainak kimenetei adják, azaz nyolc bemenettel fog rendelkezni. A harmadik szinten elhelyezked hálózat kimenete adja a teljes rendszer kimenetét. A rendszer kimenete egy valószínségi térkép, amely megadja, hogy az egyes képpontokban a rendszer milyen valószínséggel jelez mikromeszesedést. Az elváltozások végs helyét a valószínségi térkép küszöbölésével kapjuk. A hálózatok bemeneteire az egyes paraméter térképek értékei egyenként, sorfolytonosan érkeznek. Tanítás A tanítás felügyelt módon történik. A tanító minta-párok olyan képek, amelyeken az elváltozások helyzete ismert, szakember által meghatározott, a bemeneti kép az eredeti kép, a kimenet pedig egy bináris kép, amelyben 1-essel vannak jelölve az elváltozások helyei. A tanítás során egyszer négyzetes hibafüggvényt használtunk, a tanítást a Levenberg- Marquardt eljárással végeztük. A tanításhoz mammográfiás röntgenfelvételek részleteit használtuk. A röntgenfelvételeken szakember határozta meg az elváltozások helyét, amelybl bináris térképet készítettünk, a tanító minták létrehozásához. A bemeneti képeket ezután pontról pontra adtuk a hálózat bemenetére, ahol az elvárt kimenet függvényében egyszer négyzetes hibát képeztünk, majd ezzel tanítottunk. A tanításhoz rendelkezésre álló tanító minták száma viszonylag kevés volt, aminek bvítése a további feladatok közé tartozik. w i x i

26 A 18. ábrán néhány példa látható a módszer alkalmazására. 18. ábra Eredmények (balról specimen részlet, specimen részlet, normál (MIAS)) Az 4. táblázatban láthatjuk a 100 képrészletre lefuttatott algoritmus összesített eredményeit. A táblázat tartalmazza azon képek számát, amelyek nem tartalmaztak mikrokalcifikációt, illetve azokét, amelyek tartalmaztak. Látható, hogy a mikrokalcifikációk közül (nem a mikrokalcifikációt tartalmazó képek közül) hány százalékot ismert fel a rendszer, illetve hány százalék a fals pozitív felismerések aránya. Az 5. táblázat tartalmazza azt, hogy a képek közül hány esetben talált egyáltalán elváltozást, illetve hány esetben nem. Képek száma Felismert mikrokalcifikációk Fals pozitív 11 (nem tartalmaz mikrokalcifikációt) - 3% 89 (tartalmaz mikrokalcifikációt) 62% 16% 4. táblázat Felismerések a mikrokalcifikációk számához viszonyítva Képek száma Talált a képen mikrokalcifikációt Fals pozitív 11 (nem tartalmaz mikrokalcifikációt) - 54,55% (6 esetben) 89 (tartalmaz mikrokalcifikációt) 94,38% (5 esetben nem talált) 48,31% (43 esetben) 5. táblázat Felismerések a képek számához viszonyítva

27 Források 1. P. Sajda and C Spence (in press) Learning Contextual Relationships in Mammograms using a Hierarchical Pyramid Neural Network, IEEE Transactions on Medical Imaging. 2. Anil K. Jain: Fundamentals of Digital Image Processing. Prentice-Hall International Bernd Jähne: Digital Image Processing, Springer-Verlag Berlin Heidelbelg J Suckling et al (1994) "The Mammographic Image Analysis Society Digital Mammogram Database" Exerpta Medica. International Congress Series 1069 pp W.T. Freeman and E.H. Adelson, "The design and use of steerable filters," IEEE Trans. Pattern Anal. Mach. Intell., vol. 13, pp , 1991