Önálló laboratórium 2016 tavasz

Budapesti Műszaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatikai Kar Méréstechnika és Információs Rendszerek Tanszék Önálló laboratórium 2016 tavasz Orvosi képfeldolgozás és döntéstámogatás: tüdő szegmentálás mellkas tomoszintézis felvételeken Tilk Bence Konzulens: Dr. Horváth Gábor

Tartalomjegyzék Tartalomjegyzék... 2 Bevezetés... 3 Digitális Tomoszintézis... 4 Eljárás bemutatása... 6 Szín alapú szegmentálás... 6 Gradiens alapú szegmentálás... 8 Konkáv tüdőforma felismerése... 10 Képek közötti átfedés kezelése... 11 Középső szeletek... 11 Szélső szeletek... 12 Simítás... 13 Eredmények... 13 Továbbfejlesztési lehetőségek... 16 Irodalomjegyzék... 17 Függelék... 17

Bevezetés A témával való foglalkozást 2015 októberében kezdtem, amely során először a képfeldolgozással (az itt említett alapeljárások megtalálhatóak a Digital Image Processing[1] könyvben) és az orvosi képek jellemzőivel ismerkedtem meg, majd ezt követően a témában elérhető cikkek feldologozása után a legjobbnak ítélt eljárások implementálása következett. Az eredmények bíztatóak voltak, de keresni kellett egy kiértékelési módszert, amivel ellenőrizhetőek az eredmények, ezzel foglaloztam a félév első felében. Kiértékelés után az eljárást tovább javítottam a kapott metrikák segítségével. A tüdőrák manapság a leggyakoribb daganatos elváltozástípus, emiatt vezető halálokok között tartják számon. Korai felismerésével a beteg túlélési esélyei jelentősen javulnak, ezért fontos, hogy legyen egy olyan szűrővizsgálatként használható módszer, amellyel az elváltozásokat nagy pontossággal lehet felismerni, miközben a vizsgálat sugárdózisa és ideje a lehető legkisebb. Erre egy bevált eszköz a PA röntgenfelvétel készítése, ugyanakkor ezeken a képeken a tumor fölismerése egy gyakorlott radiológus számára sem rutin feladat. Felmerül további lehetőségként a CT használata, de szűrővizgálatként nem állja meg a helyét, mind a sugárterhelés, mind a vizsgálati idő túlmutat egy szűrővizsgálaton (gyanú esetén további vizsgálatok végzéséhez használják elsősorban), valamint még költséges is. Itt merül fel ez a viszonylag fiatal vizsgálati módszer a digitális tomoszintézis, amely a kettő vizsgálati módszer között helyeszkedik el a PA röntgennél 2-4x nagyobb dózis mellett 2,5 dimenziós képet alkot, ugyanúgy metszeti képeket állít elő, mint a CT, de a költsége és vizsgálati idő is közel azonos a röntgennel. A radiológusok túlterheltek, így egy gyanús foltot gyakran azért nem vesznek észre, mert nincs elég idejük egy felvétel alapos tanulmányozására, holott a gyakorlatuk meglenne, hogy észrevegyék. Itt merül fel az igény, hogy a munkájukat vagy jobb minőségi képekkel, amin a lényeges területek ki vannak emelve vagy javaslatokkal segítsük, hogy a szoftver szerint melyek azok a területek, amiket érdemes megvizsgálni, az ilyen szoftvereket CAD (Computer- Aided Diagnosis) rendszereknek nevezik. Hosszú távú cél, hogy a radiológusok munkáját teljesen helyettesíteni tudja emberi beavatkozás nélkül. Jelenleg a CAD rendszerek hasznosságáról is vitatkoznak, hogy valóban segíti-e a radiológusok munkáját, egy biztos, hogy a kezdők könnyen vakon megbíznak a programban, ezzel akár fölösleges vizsgálatokat végezve pazarolják az erőforrásokat, a tapasztaltabb radiológusoknak pedig egy hasznos eszköz lehet. A munkám célja egy a tanszéken fejlesztett orvosi döntéstámogató rendszer egyik komponensének fejlesztése. Ez a CAD rendszer a tüdő kórós elváltozásainek felismerését végzi, a szoftver 3 komponensre bontható: 1. A tüdő robosztus megtalálása a képen, ebben a lépésben a terület minél pontosabb megkeresése fontos a későbbi eljárások során kapott fals pozitív jelölések eliminálása érdekében, ugyanis a bordákat a későbbi eljárások nem kívánt foltként azonosíthatnak, ugyanakkor a mellhártya elváltozásainak megtalálása is fontos. 2. Lehetséges foltok megkeresése a kijelölt területen belül, itt főleg képfeldolgozási eljárásokat használva történik a lényegkiemelés és következő lépésben használt tanulóeljárás bemenetére adott tulajdonságok meghatározása

3. A megtalált elváltozásnak jelölt területek osztályozása valamilyen osztályozási eljárással, hogy melyek azok, amik tényleg problémásak lehetnek. Ezt a területet szeretném továbbvinni szakdolgozat témaként, a továbbfejlesztési lehetőségek témakörben tárgyalt ötleteket kipróbálva, valamint valós rendszeren kipróbálva, hogy valóban segít-e az általam kidolgozott eljárás csökkenteni a fals pozitív találatokat, úgy hogy ne veszítsen el elváltozást. Itt szeretném köszönni konzulensem Dr. Horváth Gábor iránymutatását, valamint Hadházi Dániel segítségét a CT képekből történő szimulált tomoszintézis képek előállításában. Digitális Tomoszintézis A képalkotás során a betegről több kép készül a sugárforrás pozícióját módosítva, ezáltal a testről különböző vetületek készülnek, melyekből megfelelő rekonstrukciós eljárással koronális szeletek előállíthatóak. A CT és a Digitális Tomoszintézis (DT) is ugyanúgy vetületekből rekonstruál, a fő különbség a sugárforrás (CT-nél az érzékelő is mozog) mozgatás tartományában és irányában van, CT esetén a axiális tengely mentén ír le egy teljes kört, majd kicsit arréb mozgatva egy másik axiális szeletet olvas be, ellenben a DT-vel ami a 1. ábrán látható módon mozog és nem jár be teljes kört csupán egy szűk szögtartományt. Ennél az eljárásnál kapott vetületek kialakulásának módja látható az 2. ábrán, a modernebb készülékek több mint 40 képet készítenek, így az egy képre jutó dózis kevesebb, mint tizede egy PA röntgen kép készítésére jutó. A rekonstruálás során cél egy CThez minnél közelebb álló 3 dimenziós képsorozat előállítása. 2. ábra: ugyanarról az elrendezésről más képet kapunk más irányú vetítésnél, ezt használhatjuk ki, hogy térbeliséget imitáljunk a képeken. 1. ábra: Vizsgálat során alkalmazott egy lehetséges geometria, a hangsúly a sugárforrás mozgási irányán van, valamint több kép készítése a DT alapjellemezője. Valódi 3D képről nem beszélhetünk, mert nem áll rendelkezése minden információ (a teljes körüljárás hiánya okozza ezt az információ hiányt) a tökéletes rekonstrukcióhoz, így a kapott kép mélységi felbontása nagyon gyenge lesz, így a szomszédos képek átmosódnak. A műszer többlet költsége egy digitális PA röntgenhez képest marginális, CT készülékek árának a töredéke csupán, valamint a tomoszintézis sugárterhelése

néhány PA röntgen felvétel készítésével egyenértékű, szemben a CT néhány száz röntgen kép készítésével egyenértű dózisával. Továbbá a vizsgálati idő nagyságrendileg 10 másodperc, szemben a CT nagyjából 10 perces vizsgálati idejével. Ugyanakkor a DT vizsgálatnak dozimetria szempontjából akadt egy kihívója az alacsonydózisú CT, amely DT-vel hasonló dózis mellett jobb képeket készít, de árban és vizsgálati időben továbbra sem versenyzik a DTvel, így ezeket az előnyöket figyelembe véve a szűrővizsgálatoknál a digitális tomoszintézis használata tűnik a legcélravezetőbbnek. Egy 48 szeletes rekonstrukcióból vett 9 kép látható a lenti 3. ábrán, a képeken látható, hogy azonos tulajdonságú szövetekhez különböző képeken különböző intenzitású pixelek tartozhatnak, vagyis nem normalizáltak a képek. Ez a tulajdonság a korábban említett információ hiányból (nem teljesen határozott a rendszer) következik, valamint a képeken helyenként előforduló műtermék is abból adódik, hogy a rekonstrukciós eljárás valamilyen feltételezésekkel pótolja a hiányzó adatokat.

3. ábra: digitális tomográffal készült felvétel rekonstrukció utáni48 koronális szeletből 9 kiválasztott kép, melyek anterior-posterior irány szerint vannak sorrendezve. Eljárás bemutatása Az eljárást Matlabban implementáltam a program által biztosított bőséges előre megírt képfeldolgozási rutin miatt. Feldolgozás során 512x512-es képméretre optimalizáltam az algoritmust, aminek az oka az, hogy ilyen méretben érhetőek el a képek többsége. Az implementálás során alkalmaztam a képfeldolgozásban bevett piramisos módszert, vagyis a képek felbontását először leskálázom, ezen a kisebb felbontású képen elvégzem a műveletet, majd a kapott eredményt egy kevésbé leskálázott (eredetinél kisebb felbontású, de az előző lépésnél nagyobb felbontású képen végzem) ezeket a lépéseket addig ismétlem, ameddig az eredeti felbontású képhez vissza nem érek. Ezen eljárás során több képet dolgozunk fel, aminek látszólag semmi értelme, de mivel az egyes eljárásoknak kell egy kiindulási maszk, amit javíthatnak, kisebb képen sokkal gyorsabban megtalálhatóak ezek a kiindulási maszkok, így összességében futási idő szempontjából nyereséges ez a megoldás. Szín alapú szegmentálás Első lépésként az eljárásnak szüksége van valami közelítő maszkra, hogy a tüdő merre lehet a képen, későbbi eljárásokhoz találnunk kell egy garantáltan tüdőn belüli pontot, így ennek a lépésnek nagyon robosztusank kell lennie. A digitális tomoszintézisnek az egyik legnagyobb hátránya a CT-hez képest, hogy a képek nem normalizáltak, vagyis ugyanahhoz a szövettulajdonsághoz két különböző képen különböző színérték tartozhat, a valóságban a szomszédos képek között gyakran elég nagy fényességváltozás van. Emiatt határértéket, amelynél sötétebb pixeleket tüdőhöz tartozónak vegyen nem lehet kézzel meghatározni, a kép tulajdonságaiból kell kinyerni. Itt jön szóba a kép hisztogramja, amelyen egy szűrést követően a kiugró értékek eltünnek és mindegyik képnek nagyon hasonló az alakja, 2 jól látható völgy és 3 domb van a képeken, ez struktúra a 4. ábrán kitűnően megfigyelhető. Megfigyeléseim

4. ábra: egy DT-vel készült kép hisztogramja, jól látható a 3 domb és 2 völgy struktúra. A képen látható meg az előszűrés szükségessége is, ugyanis egyes intenzitás értékek teljesen hiányoznak, más értékek a környezetükhöz képest kiugró értékként szerepelnek, ezen a problémán egy csúszó ablakon belüli átlagszámítással segíthetünk. alapján az optimális határérték az 1. völgy legmélyebb pontjánál van. Az egyes dombok a páciens testének egyes részeit jelentik, az 1. domb a tüdő, a 2. domb a mellkas környéke, a 3. domb a tüdő alatti belső szerveknek feleltethető meg. Miután meghatározta a program az ideális határértéket morfológiai eljárásokat alkalmazva összefüggővé teszi a szegmentált területet, mert az erek és az esetleges elváltozások miatt töredezett lehet a maszk. A kapott képet később még felhasználjuk, de ebben a lépésben történik a két tüdőn belüli pont meghatározás is, itt egyszerűen kettévágjuk a képet bal oldali és jobb oldali tüdőre, majd a két maszknak megkeressük a középponjait. A középpontok számításához az alábbi képletet használom: Center x = minden (x,y) pixelre x 2 P(x, y) Center y = y 2 P(x, y) minden (x,y) pixelre ahol a P(x,y) az x. sorban és y. oszlopban lévő pixel intenzitása 5. ábra: Szín alapú küszöbözés után a bal oldali ábra morfológia eljárások előtt a jobb oldali kép morfológiai eljárások után egybefüggővé vált bináris kép.

Ezek a pontok akár jók is lehetnének, de a tüdő belső oldala több nagyobb eret is tartalmaz (sőt a súlypont elfajult esetben akár a szívre is eshet), nem lenne szerencsés ha pont egy érre tennénk a középpontot, azért a tüdő külső oldala felé tolja el az algoritmus a pontot, hogy az ilyen problémák esélyét minimalizálja. Gradiens alapú szegmentálás A következő eljáráshoz felhasználjuk az előző eljárás eredményet, szükség van egy garantáltan tüdőn belüli pontra. Az alábbiakban ismertetett eljárás az Automated lung segmentation in digital chest tomosynthesis[2] cikkben leírt módszereket alkalmazza kisebb módosításokkal. Első lépésként az eredeti képekből elő kell állítani a gradiens képeket, itt a cikkben javasolt 11x11-es-es mátrix bizonyult a legoptimálisabbnak a számoláshoz. A gradiens képzéshez először a kép parciális deriváltjaira van szükség, amit konvolúcióval számolok: (I A)(x, y) = I(x i, y j)a(i, j), ahol I az eredeti kép valamint A mátrixxal történik a konvolúció. i j 5. ábra: gradiens kép összenyomás után, a bordák és a rekeszív elég erősen megjelenik a képen, így ezen a képen alapul eljárások ezeket a területeket fogják nagy hatékonysággal megtalálni. A számolás során 2 mátrixxal elvégeztem a konvolúciót a képen,az egyik mátrix az x tengely irányú változásokra érzékeny a másik mátrix az y tengely irányában érzékeny a változásokra, majd a kapott 2 képet az alábbi képlet szerint adtam össze: I grad = I xgrad + I ygrad A kapott gradiens képet a függőleges tengely mentén összenyomom, hogy a képeken a tüdő formája minél közelebb legyen a körhöz, a később bemutatásra kerülő körvonal kereső, az ilyen alakú tüdőkön a leghatékonyabb. Ezt követően a kapott képet kettévágom, így a 2 képen 1-1 tüdő lesz, majd a korábban kiszámolt belső pontot a tüdő középpontjának kinevezve átszámolom a képet polárkoordináta-rendszerbe. Az alap ötlet az, hogy a belső pontot a tüdő széle körülveszi, így a polárkoordinátás képen lesz 6. ábra: egyik tüdő polárkoordinátás képpé konvertálva és fehér pixelekkel megjelölve azokat a pontokat amiket a program, mint legjobb útvonal (tüdő körvonal) azonosított. A képen látható, hogy a jobb szélen nincs egyértelmű útvonal, így a megoldás eléggé cikcakk -os lesz.

egy fényesebb út a kép bal szélétől a jobb széléhez, ezt próbáljuk megkeresni. A megoldást dinamikus progamozásssal keressi a program, végül a tanulmányban említett képlet bizonyult a leghatékonyabbnak. A képlet 2 dolgot vesz figyelembe a pixel fényességét, nagyobb intenzitást jutalmazza, valamint a a középpontól való távolság hirtelen változását bünteti. A félév során próbáltam ezt a képletet bővíteni recésség mértékével, hogy ha ellentétes irányba változik gyorsan a középpontól való távolság, akkor az minden bizonnyal egy téves útvonal és büntesse, azonban a gyakorlatban nem javított, csupán a rekeszív megtalálását rontotta ezen mérőszám bevezetése, a simább körvonalak elérése utófeldolgozási lépésként is tökéletesen működik A kép korábban említett összenyomása azen módszer sajátossága miatt növeli a hatékonyságot, ugyanis összenyomás után a középpontól a tüdő széle végig közel azonos távolságra van, így kevesebb nagy ugrás szükséges, fölösleges nagy ugrásokat így könnyebb kiszűrni. Így a végleges költségfüggvény a felhasznált publikáció jelöléseit használva: külső energia: E ext (x, y) = I(x,y), ahol I az eredeti kép és (i,j)-vel címezzük az i. sor j. oszlop pixelét. belső energia:e int (x i, y i ) = y i y i 1 i=1..m; x=1..m; y=1..n, ahol yi az i. szöghöz megtalált y i +y i 1 középpontól való távolság. Vagyis ez a képlet leírja, hogy az előző és az aktuális szög között mekkorra ugrás történt, valamint figyelembe veszi a középpontól való távolságot is. költségfüggvény, vagy energiafüggvény: költségfüggvény, vagy energiafüggvény: E(x, y) = w int E int (x, y) + w ext E ext (x, y), ahol wint a belső energia súlya és wext a külső energia súlya. A dinamikus programozásnál használt táblázat kitöltése: c(x, y) = min {c(x i 1, y i 1 + l) + E(x i, y i )} l változó határozza meg, hogy mekkora t 1 l t 2 környezetben keressen lokális minimumot( így lehet maximalizálni a lehetséges ugrásokat, valamint futásidő is jobb lesz, mintha az egész előző oszlopot megvizsgálná). Általam használt értékek t1=-6 és t2=6, természetesen értékek megválasztása függ a szögfelbontástól (általam használt felbontás 360 egységre bontja a teljes kört, vagyis egy egység szögtertománya: π ) is. 180 A táblázatot balról jobbra töltjük ki, miközben a fentről lefelé kitöltjük az oszlopot mielőtt a következőre lépünk. Kitöltést követően a táblázat utolsó oszlopában megkeressük a legkisebb értéket és megvizsgáljuk, hogy hol volt az előző cella, majd azt a helyet is elmentjük és folytatjuk visszafelé, ameddig az első oszlophoz nem jutunk. Ehhez célszerű a táblázat minden cellájára elmentem, hogy az előző oszlop melyik sorát használtuk fel az optimumhoz, vagyis honnan léptünk oda.

A dinamkus programozásnak természetesen van néhány hátránya is, ugyanahhoz a szöghöz nem tartozhat több megtalált pont, emiatt a tüdő csak korlátozott mértékben lehet konkáv(a középpontból, minden határoló pontra rá kell látni ), így a bal oldali tüdőnél a szív alatti terület megkeresésére alkalmatlan az eljárás. A másik probléma, hogy a szomszédos szeletképek viszonylag kevésbé különböznek egymástól, de a megtalált körvonal nagyban eltérhet egymástól, ennek az oka az hogy a költségfüggvények két különböző útvonalon is lehetnek nagyon azonosak, és ha néhány pixel fényesebb a szomszédos képen, akkor könnyen lehet, hogy a korábban második legjobbnak vélt útvonal lesz az optimális a szomszéd képen. A megtalált polárkoordinátás útvonalat visszaállítva megkapjuk a javasolt körvonalat Konkáv tüdőforma felismerése 7. ábra: Dinamikus programozással megtalált körvonal visszaállítás után, jól látható a képen a tüdő belső oldalának bizonytalan szegmentálása. A probléma jellemzően a bal tüdőnél jelentkezik, de az eljárás a jobb oldali eredményeket is javította. Az első lépésben csupán pixel intenziás alapon megtalált maszkot is használhatnánk ilyen célra, de az nem veszi figyelembe az éleket, valamint nem elég pontosak a határok. Az általam használt eljárás az orvosi képek feldolgozásánál gyakran használt aktív kontúr (néhol snake néven említik), amely egy energia minimalizáló eljárás. Az eljárás iteratív mivolta miatt igényel egy közelító bináris képet, erre a kiváló a korábban megtalált szín alapon szegmentált kép, ugyanis a szív alatti területet is tartalmazza, és ennél az eljárásnál ez a terület érdekel a legjobban. További információk elérhetőek az eljárásról az Active Contourról szóló szakirodalomban[4]. Ez az eljárás bizonyos területeken jobb eredményt ér el, mint a gradiens alapú, bizonyos területeken rosszabbat (tüdőcsúcs tipikus ilyen terület, amit nem talál meg), a két eljárást ötvözve jobb eredményt is el lehet érni, így azt a megközelítést választottam, hogy a tüdő középpontjából nézve bizonyos szögtartományoknál a gradiens alapút tartom meg, másik szögtartománynál a két maszk unióját használom. Mivel a tüdő belső oldala felé a túlszegmentálás, vagyis nagyobb terület lefedése kisebb probléma mint terület kihagyása, így ezen e területen érdemes a két maszk unióját használni.

8. ábra: szín alapú maszkot kiindulásként felhasználva 30 iteráció után ezt a maszkot határozta meg Képek közötti átfedés kezelése A képek egymástól nem teljesen függetlenek, ezt fel lehet használni arra, hogy az egyes képeken elrontott szegmentálást a szomszédos képek alapján javítsuk, vagy körülrajzolás minőségét javítsuk azzal, hogy több kép információtartalmát használjuk fel. Definiáljuk a képen elvégezhető szegmentálás megbízhatóságát, a legjobb szegmentáló algoritmus által adott eredmény átfedése a valós tüdőterülettel milyen valószínűséggel lesz egy L határérték felett. A vizsgálat során két részre bontottam a képeket (egy képsorozathoz tartozóakat), a középső szeleteket megbízhatóbbnak tartottam abból a szempontból, hogy a képekről a tüdő valódi helyzetéhez közel rajzolná be egy hozzá nem értő ember is, valamint sokkal kevesebb az átmosódás a képeken. Megbízhatónak tekintem azokat a képeket, amelyek a borda éles ovális formájú és nincs elkenődve. A maradék képet nem megbízhatónak tekintem, ezekeket a szélső képeket másként kezelem a kívánt eredmény érdekében, a megbízható képekhez közelebbi szomszédjait nagyobb súllyal veszem figyelembe. Középső szeletek Ezeknél a képeknél a megbízhatósága a szegmentálásnak nem sorrendezhető egyértelműen, így nem tudok kiemelt képet mondani a tartományba, akihez érdemes igazítani a szegmentálást, így az implementált eljárásnak függetlennek kell lennie attól, hogy milyen irányból értékelem ki a szeleteket (elölről hátrafelé vagy hátulról előrefelé). Először a környezetétől jelentősen eltérő képeket akarom eliminálni, így minden pixelre fényességét a saját intenzitása és a szomszéd képek intenzitása határoz meg, itt egy gauss sűrűségfüggvény szerinti súlyozást alkalmazok, vagyis minél távolabbi szeletről származik az intenzitás információ, annál kevésbé veszem figyelembe, valamint a figyelembe vehető szeletek maximális távolságát korlátozom. Továbbá a szomszédos képeknél elvárt, hogy a megtalált maszkok kis mértékben különbözzenek csak, ne tartalmazzanak nagy ugrásokat, ezt a szűrést a gradiens alapú megoldásnál használom,

ugyanis ott jellemzőek nagy ugrások. Legyen L(i,j) a tüdő egy j. adott pontjának távolsága a középponttól az i. szeleten, ezek után definiáljunk egy H vektort(h=[0,2; 0,2; 0,2; 0,2; 0,2] vektort használtam), amelyet a szűréshez fogunk felhasználni. Ezek után számoljuk ki az L (:,j)=l(:,j)*h konvolúciót, és a kapott értékeket számoljuk vissza a megfelelő koordinátarendszerbe. Itt L(i) függvényként szögtartomány szerinti távolságot használom, aminek a hátránya, hogy csak konvex körvonalat lehet vele pontosan leírni. Továbbfejleszthető az eljárás egy alkalmasabb L(i,j) függvénnyel, ugyanakkor mivel a korábban bemutatott gradiens alapú eljárásnál is ilyen leírását használjuk a pontoknak, így a szegmentálásnál nem változtatna a végeredményen. Szélső szeletek Ezeknél a képeknél a szegmentálási megbízhatóság sorrendezhető, így a középső szeletektől távolodva a képek megbízhatósága csökken, ezért a szegmentálást a középső szeletekhez közelebbi képekhez kell igazítani. Az implementálás során adja magát az ötlet, hogy ezen képek feldolgozása középső szeletekhez közeliektől távolodva történjen. A szomszédos képek közül az esetlegesen hibás kép javítása/szűrése az előző fejezetben bemutatott módon történik, vagyis Gauss függvényt illesztek a szomszédos szeletek azonos pixelére és a súlyozás alapján számítom ki a pixel új értékét a szomszédjait is figyelembe véve. Nehezebb terület, amikor a megbízhatóbbnak vélt képek alapján próbáljuk meg a szegmentálás minőségét javítani. Alapötletként azt lehet felhasználni, hogy biztosan a szomszédos képhez nagyon közelinek kell lennie a szegmentálásnak. Használjuk a polárkoordinátás képeket, és módosítsuk úgy, hogy a várt szegmentálástól távoli pixelek intenzitását csökkentsük, ezzel redukálva az esélyét, hogy nagyban eltérő területet találjunk meg. Itt is használjunk Gauss függvényeket, valamint egy másik tényt is érdemes észrevenni, a tüdő területe a centrális szeleteken a legnagyobb, így olyan módszert érdemes keresni, amely kihasználja ezt és a tüdő nagyobb eséllyel zsugorodik, mint növekszik, a középső szeletektől távolodva. Ezeket az alábbi eljárás felhasználja: a polárkoordinátás képeken minden oszlopra megvannak a megbízhatóbban szegmentálható szomszédok (középpont felé eső) szerint hol kellene lennie a szegmentálást elvégezni, korábbi eljárásokhoz hasonlóan ezekre a pontokra is illesszünk egy Gauss függvényt, amely megadja, hogy az adott szeletnek mekkora beleszólása van a módosításba (középpontja a vizsgált kép), ezt egy másik Gauss függvénnyel még módosítjuk, amelynek a középpontját a kiválasztott szelet által meghatározott pontra illesztjük, majd ennek a függvénynek a paramétere a vizsgált szeleten a vizsgált pixel távolsága a középponttól, ennek a szorzatnak az értékével súlyozzuk a polárkoordinátás képet. Azért, hogy a tüdő területe inkább csökkenjen ezért 9. ábra: aszimmetrikus Gauss függvény két különböző szórású Gausst használunk külső

és a belső oldalra, majd ezeket normalizáljuk úgy, hogy a két gauss függvény értéke azonos legyen 0-ban, majd az iránytól függően a megfelelő függvényt használjuk. Simítás A kapott képek sokszor tartalmaznak anatómiailag nem megmagyarázható hegyesszögeket, a tüdő lekerekített jellege (rekeszívtől eltekintve) néhol nem érvényesül. Ezt érdemes lenne elkerülni, így a tüdőszerű formákat generálni a kapott maszkból lekerekítéssel. Ehhez egy lehetséges megközelítést javasol a Lung Segmentation Using Prediction-Based Segmentation Improvement for Chest Tomosynthesis [3] cikk, az ott javasolt Rolling Ball eljáráshoz hasonlót kaphatunk morfológiai eljárásokkal is. Az általam használt megközelítés során a tüdőterületeket megkülönböztetek (itt is a tüdő közepéből látható szögtartományok alapján határozom meg a területeket), aszerint hogy mennyire kell simának lenni és annak megfelelő méretű struktúrával végzem a nyitást vagy az zárást (erózió és dilatáció egymásutánja), a struktúra minden esetben körszerű, disc néven ismertet használtam. A tüdő belső oldala a legsimább, így itt használtam a legnagyobb struktúrát a záráshoz, a felső részen található tüdőcsúcsnak már kisebb görbületi sugara, így itt kisebb struktúrát használva végeztem a zárást, a tüdő külső oldalán pedig nyitást végeztem, ugyanis itt jellemzően a bordák mentén hajlamos kicsit nagyobb területet szegmentálni, és ezt a túlszegmentált kiugrásokat szeretnénk eltüntetni. A rekeszívnél hegyesszögek vannak, így itt célszerű nem túl durva simítást használni, én ezt a területet kihagytam az eljárásból. Az eredmény a Rolling Ball eljárásnál néhol jobb eredményt ér el, néhol rosszabbat, nem mondható ki egyértelműen, hogy az egyik jobb, mint a másik. Eredmények A kapott eredmények minőségének ellenőrzése nagyobb problémát jelentett, mint az első ránézésre látszik, ugyanis nem létezik olyan adatbázis, ahol orvosok bejelölték volna a tüdőterület a képeken, így nekünk kellett valamilyen módon egy ellenőrzési módot kitalálni. A megoldás során nagyfelbontású CT képekből vetítéssel készítettünk szimulált tomo képeket, melyek jellegre nagyon hasonlóak lettek, így az itt elért eredményekből következtethetünk a digitális tomoszintézissel készült képeken elért eredményekre is.

A referencia elkészítése során az axiális CT képeket dolgoztuk fel szín alapon szegmentálva a tüdőterületet, manuálisan kiválasztott értéknél sötétebb területeket tüdőnek tekintve, az így kapott képeken a tüdőn belüli erek nem számítanak tüdőnek, amin morfológiai eljárásokat alkalmazva kaptunk viszonylag szép maszkot. Ezek után a maszkokat ugyanúgy vetítve (az axiális szeletek koronális szeletekké alakítása után) mint a képeket, megkapjuk, hogy az adott tomo képen hol van tüdőterület valójában. Ez a validálás rámutatott, hogy miért is nem létezik ilyen adatbázis, egy jól képzett orvosnak is közel lehetetlen a szélső szeleteken a tüdőkörvonal pontos meghatározása. A kapott referenciák közel sem tökéletesek, csak egy kiindulási alapot nyújtanak a validáláshoz, a maszkokat kézzel valószerűbbé kozmetikáztam, így elég szép eredményeket sikerült elérni. 11. ábra: egy axiális CT szelet szegmentálás után, jól láthatóan nem csak a tüdőt emelte ki, valamint a tüdő alakja is sejthetően eltér a tüdő belső oldalánál A függelékben található 1.táblázat egy 226 szeletből álló szimulált tomó középső szeleteinek eredményeit tartalmazza. A középső szeleteken eléri a [2]-es cikkben említett eredményeket, ugyanakkor az általunk használt képek rosszabb minőségűnek hatnak. 85%-os átlagos átfedés kifejezetten jó értéknek tünik, ugyanakkor a szélső képeket vizsgálva hamar megállapíható, hogy az eljárást még lehet javítani.

12. ábra: Kapott szegmentálások, a piros a CT alapon megtalált, a zöld a program által javasolt, az első képen a középső szeletet kifejezetten jól találta meg, a második képen is centrális szelet látható, de itt már nagyobb hibák is vannak. A harmadik képen egy szélső szelet látható, a program is nagy hibát vétett, de nagy valószínűséggel az orvos se tudna tökéletes körülrajzolást adni, továbbá a CT-s körvonal sem tökéletes. A kiértékelésnél használt képletek: átfedés: M M i=1 j=1 R(i,j) M(i,j) M M i=1 j=1 R(i,j) M(i,j), ahol R(i,j) a referencia maszk i. sorának, j. oszlopában lévő pixel értéke és M(i,j) a szoftver által számolt maszk i. sorának és j. oszlopában lévő pixel értéke, ami 1 vagy 0 lehet, attól függően, hogy tüdőterület vagy sem. MAD (Mean Avarage Distance): 1 N (R N i=1 x (i) M x (i)) 2 +(R y (i) M y (i)) 2 ahol R(i) az i. a referncia tüdő szélének i. pontja és M(i) a program által szegmentált tüdő határának i. pontja. Lényegében ez mutatja meg, hogy a megtalált tüdőkörvonal átlagosan hány pixel távolságra van a ténylegestől. szórás: 1 N N i=1 (dist(r(i), M(i)) MAD)2 az itt használt dist( ) függvény a korában használt képletben már szerepelt, kifejtve: dist(r(i), M(i)) = (R x (i) M x (i)) 2 +(R y (i) M y (i)) 2 Ezeket az értékeket kiszámoltam csak egy-egy tüdőre, mindkettőre, valamint átlagos értéket is számítottam. A [2]-es cikkben leírt értékeket elérte a szegmentálás minősége.

A táblázatot végignézve látható, hogy az értékek viszonylag lassan változnak, nincs kiugró változások, ebből lehet arra következtetni, hogy az eljárás elég robosztus. 13. ábra: egy valódi DT képen az eljárás eredménye Továbbfejlesztési lehetőségek Csak a centrális szeleteken vizsgálni nem feltétlenül tekinthető csalásnak, ugyanis az eljárás során hátrányként emlegetett képek közötti átmosódás, ilyenkor hasznos lehet, mert az elváltozások távolabbi képekről is átmosódnak, ezáltal az algoritmus olyan szeleteken is megtalálhatja, ahol nincs elváltozás, csak átmosódik, az eljárás célja nem a pontos helymeghatározás, csak az elváltozás meglétének vizsgálata. Csak középső szeleteken történő tüdő meghatározásának a teljes CAD hatásfokára gyakorolt hatásának vizsgálata a következő félévre maradt. A megoldás során első sorban a középső szeletekre koncentráltunk, ezeken a képeken elég szép eredményeket sikerült elérni, de még itt is van javítási lehetőség, az algoritmus a tüdő bordák felőli oldalát elég pontosan találja meg, ugyanakkor a tüdőcsúcs korrekt megtalálása komoly problémát okoz és a kulcscsont közelsége gyakran félrevezeti az eljárást. A rekeszív megtalálása is sokszor problémás tud lenni, de a külső oldali hegyesszögű területet megtalálása az esetek túlnyomó többségében nem okoz problémát, de a belső terület pontos meghatározása esetén több az elnagyolt felismerés, amely nagyon kis területet jelent ugyan, de az alak információtartalma miatt hatalmas veszteség tud lenni. A tüdő belső oldalának határát megtalálni kifejezetten nehéz probléma, de szerencsére itt a nagyobbnak vélt tüdőterület nem okoz akkora gondot, mint máshol, így itt célszerű olyan eljárást alkalmazni, ami inkább hajlamos a terület pozitív túllövésére, mint kihagyni területeket. A fentebb vázolt problémák kezelése célszerű olyan lokális eljárással orvosolni, amely az adott terület sajátosságait felhasználja, de globális eljárásként nem állnák meg a helyüket, például felmerült az Active Contour eljárás alkalmazása a tüdőcsúcsra speciálisan annak a területnek a felismerésére paraméterezve, természetesen ehhez elengedhetetlen először egy globális eljárás alkalmazása, amelyből meg lehet sejteni, hogy hol kell keresni a tüdőcsúcsot. Másik eljárás, amely segíthet a centrális szeleteken történő szegmentáláson egy modell alapú megközelítés, amely statisztikai alapon épít egy modellt. Ennek a megközelítésnek a hátránya ahhoz, hogy mindenféle alakú tüdőről készült kép alapján kell tanítani, ilyen mennyiségű és sokféleségű képek összegyűjtése és feldolgozása hatalmas feladat és biztosan lehet olyan tüdőformát mutatni, amelyhez hasonlót nem látott a tanítás során, mert ritkán fordul elő és a tanító halmaz nem tartalmazott ilyet, akkor a modell tévesen fogja szegmentálni. Két ilyen eljárás merült fel, az AAM (Active Appearance Model) és az ASM (Active Shape Model), az ASM a kettő közül az egyszerűbb, csak a tüdő alakját veszi figyelembe, míg az AAM az alak

mellett a textúrát is figyelembe veszi. Ezen megoldások kipróbálása eddig azért nem történt meg, mert nem állt rendelkezésre elegendően nagyméretű képhalmaz, ahol a tüdő körülrajzolását elvégezték volna, így ezen megközelítés kipróbálása még várat magára. Az előbbi ötletek megfelelő alkalmazása természetesen a szélső képek szegmentálásának minőségét is javítják. A további ötletek a szélső szeletek javítását célozzák csak. A nem megbízható szeleteken a bordák elmosódottak, ha látszódnak egyáltalán, ezek az elmosódások felhasználhatóak, ugyanis a mellkas szűkülésének menetét mutatják meg és a tüdő külső oldalának megtalálását segítheti, ha a bordákat találjuk meg, természetesen ennek a megoldásnak a nyilvánvaló hátránya, hogy a tüdőnek csak a külső oldalának megtalálását segíti, valamint sok képen nem látható a borda megfelelően. A másik lehetséges megközelítés során egy olyan modellt akarunk építeni, hogy a centrális szeletektől távolodva egy f(x,y) függvény írja le az adott tüdőpont helyzetét, ahol x a tüdő egy pontja, y pedig a koronális szelet vertikális pozíciója. Ezt az f(x,y) függvényt úgy szeretnénk statisztikai módszerekkel megtanulni, hogy egy korábban nem látott páciensnél a megbízható szeleteken állítsa be a paramétereket, majd a szélső szeleteken számítsa ki, hogy mekkora tüdőterület lehet az adott szeleten, a modell alapján, ezt a tudást pedig lehet kombinálni más megoldásokkal is. Irodalomjegyzék [1] William K. Pratt: Digital Image Processing; ISBN:0-471-37407-5 [2] Jiahui Wang, James T. Dobbins, Qiang Li: Automated lung segmentation in digital chest tomosynthesis; Med Phys. 2012 Feb; 39(2): 732-741. [3] Seung-Hoon Chae, Jeongwon Lee, Chulho Won, Sung Bum Pan: Lung Segmentation Using Prediction-Based Segmentation Improvement for Chest Tomosynthesis; International Journal of Bio-Science and Bio-Technology Vol.6, No.3 (2014), pp.81-90 [4]Arthur Coste: CS6640: Image Processing Final Project Active Contours Models Függelék 1. táblázat: 226 (101. szelettől a 157. szeletig tartó tartományban vizsgálva) szeletes CT-ből rekonstruált képeken elvégzett szegmentálás, az eredmények csak a megbízhatónak vélt szeleteken közöljük, mert az eredmények javítása erre a területre korlátozódott. szelet teljes átfedés teljes MAD szórás bal átfedés bal MAD szórás jobb átfedés jobb MAD szórás 1 0.84713 5.0176 3.4194 0.80378 5.6338 3.996 0.88648 4.3229 2.4413 2 0.8556 4.6737 3.2281 0.81897 5.0798 3.792 0.88878 4.2171 2.3612 3 0.86571 4.3308 3.1102 0.83681 4.5069 3.6379 0.89178 4.1322 2.3629 4 0.87136 4.15 3.0532 0.84601 4.2536 3.5812 0.89421 4.0341 2.3194 5 0.87612 3.9804 3.0619 0.855 4.0003 3.5684 0.89515 3.9582 2.3731 6 0.8818 3.8232 3.0476 0.86273 3.8048 3.4953 0.89898 3.8437 2.4537 7 0.88893 3.5819 3.1073 0.8757 3.5473 3.5304 0.9008 3.6206 2.5531 8 0.88242 3.4386 3.0045 0.87628 3.3015 3.2624 0.88795 3.5919 2.6784 9 0.88587 3.3536 2.9026 0.88255 3.1653 3.0274 0.88888 3.5617 2.7432

10 0.88998 3.244 2.8935 0.89089 2.929 2.8001 0.8892 3.5905 2.9544 11 0.90248 3.0761 2.7465 0.90344 2.8177 2.7431 0.90163 3.36 2.7221 12 0.9026 3.0255 2.8196 0.90362 2.7555 2.7792 0.90169 3.3186 2.8338 13 0.89742 3.1513 2.822 0.89753 2.9066 2.7468 0.89732 3.4156 2.8777 14 0.89191 3.1677 2.9624 0.89585 2.9255 2.8963 0.88875 3.4292 3.0103 15 0.88267 3.2766 3.1995 0.89272 2.977 3.0357 0.87424 3.6021 3.3381 16 0.87101 3.5498 3.659 0.8906 3.1709 3.2516 0.85431 3.9698 4.0216 17 0.86153 3.6351 3.9922 0.89286 3.1142 3.1816 0.83474 4.2071 4.6583 18 0.855 3.7677 4.2493 0.89096 3.1504 2.9146 0.82439 4.4331 5.245 19 0.8488 3.9283 4.6788 0.88814 3.2359 2.9926 0.81524 4.6694 5.8885 20 0.84465 4.1929 5.1327 0.88479 3.3372 3.0839 0.81033 5.1076 6.5344 21 0.84534 4.1641 5.3511 0.88385 3.155 2.9634 0.81223 5.263 6.9236 22 0.84173 4.4577 5.5522 0.87833 3.4287 3.076 0.81009 5.5726 7.1824 23 0.83571 4.5114 5.3302 0.86469 3.8767 3.4211 0.81045 5.1885 6.734 24 0.82615 4.7511 5.3746 0.8453 4.5001 4.0774 0.80934 5.02 6.4715 25 0.8274 5.1577 5.9346 0.83669 5.3089 5.471 0.81917 4.9953 6.3911 26 0.8251 5.2851 6.04 0.82399 5.8411 5.8359 0.82609 4.6885 6.1964 27 0.83124 5.2895 6.1283 0.82645 6.056 6.172 0.83553 4.4716 5.9739 28 0.82834 5.9127 6.678 0.80837 6.2728 6.4152 0.84729 5.3216 6.5783 29 0.81138 5.9818 6.7599 0.80474 6.2782 6.5759 0.81845 5.5723 6.7531 30 0.84209 5.6208 6.5939 0.82056 6.3617 6.7197 0.86171 4.8291 6.3701 31 0.83563 5.8683 6.7348 0.80485 6.5269 7.0459 0.86396 5.1345 6.3402 32 0.82059 6.2385 7.3138 0.7846 6.9128 8.0735 0.85398 5.4595 6.3834 33 0.82549 6.4203 7.8282 0.80238 6.8881 8.7135 0.8475 5.8151 6.7775 34 0.82828 6.2695 7.7537 0.811 6.0048 7.959 0.84516 6.3801 7.5776 35 0.81504 6.1041 7.606 0.78637 5.3078 6.932 0.84246 6.7261 8.2393 36 0.81122 5.9213 7.1632 0.77624 5.0048 6.2038 0.84444 6.6493 8.0048 37 0.81145 6.0703 7.5831 0.77519 5.3228 7.0762 0.84664 6.5823 8.0476 38 0.81432 7.5217 10.624 0.78088 8.0675 12.3764 0.8475 6.5658 8.1992 39 0.81272 7.3842 10.2089 0.77611 7.8154 11.7346 0.84902 6.5398 8.1025 40 0.82504 7.3736 10.7193 0.79677 8.0062 12.6707 0.85354 6.304 7.9076 41 0.82961 7.463 10.4693 0.81685 7.7649 12.1686 0.84314 6.8195 7.9562 42 0.83276 7.2817 10.2229 0.8276 7.337 11.6382 0.83892 6.9855 8.145 43 0.8319 7.3991 10.119 0.82449 7.7423 11.5279 0.84014 6.8874 8.1291 44 0.8347 7.3387 9.884 0.83254 7.6396 10.9966 0.83774 6.9587 8.4356 45 0.83939 6.97 9.3629 0.83778 7.2034 10.462 0.84143 6.7256 8.049 46 0.84194 6.5906 8.7644 0.83848 6.7498 9.8234 0.84534 6.427 7.5185 47 0.84313 6.4865 8.6026 0.83777 6.712 9.9256 0.84844 6.2557 6.9859 48 0.85081 6.0365 7.5503 0.8519 5.9309 8.3723 0.84973 6.1439 6.6086 49 0.85461 5.8536 6.9658 0.85932 5.5595 7.5237 0.84987 6.1515 6.3369 50 0.85812 5.7009 6.6241 0.86692 5.2745 7.0146 0.8492 6.1345 6.1716 51 0.86397 5.4131 6.3189 0.87689 4.8456 6.5623 0.85079 5.9963 6.0029 52 0.86866 5.2059 5.8977 0.88417 4.5095 6.066 0.85259 5.9326 5.6256 53 0.86904 5.1612 5.5322 0.88021 4.6698 5.9411 0.85737 5.6742 5.0192 54 0.8721 5.033 5.4526 0.87254 4.9502 6.3523 0.87164 5.1188 4.3245 55 0.87166 5.1049 5.4163 0.86501 5.2787 6.5772 0.87872 4.9254 3.8587 56 0.86369 5.4451 5.5553 0.85088 5.8937 6.8523 0.87746 4.9818 3.717 57 0.85565 5.8204 5.6985 0.83726 6.5623 7.057 0.87566 5.054 3.6628

Átlag 0.85086 5.175 5.9439 0.84627 5.1258 6.1174 0.85575 5.1691 5.51