Önálló laboratórium beszámoló Gurbán András, BNKRH2 Konzulens: Dr. Horváth Gábor Budapest, 2012. május Ismertető Számítógéppel segítet orvosi döntéstámogató rendszer fejlesztése volt a féléves feladatom. A feladat igen összetett, rengeteg aspektusból vizsgálható, Valószínűségi következtető rendszer, röntgenfelvétel elemző és sok egyéb ágazat létezik. Én a röntgenfelvételek elemzésével foglalkoztam a félév során. A rengeteg különböző felvételfajta közül, a laterális mellkas röntgenképekkel dolgoztam, ugyan elsődlegesen a szűrések során a posteror-anterior (hátulsó- elülső) felvételeket használják, azonban a gyanús gócpontok, elváltozások további elemzésére, körbehatárolására szoktak ilyen oldal irányból készült képeket is igénybe venni. A laterális képek nagy előny az előbb említett hagyományosnak tekinthető képekkel ellentétben, hogy a szív által kitakart tüdő részek is többékevésbé kellően jól megfigyelhetővé válnak általa. A feladatom ezeken a laterális felvételeken a tüdő minél pontosabb körül határolás volt. A feladatot csak bonyolítja azon tény, hogy egy páros szervünk és a két a két tüdő egymás mellett helyezkedik el a mellüregben. Ezáltal ha a paciens nem teljesen párhuzamosan áll a sugarakra, akkor a két tüdő nem fogja kitakarni egymást és két körvonal fog
megjelenni. De még ha nem is ez a helyzet áll elő, a két tüdőnk akkor se egyforma, se méretben, se terjedelemben, így többszörös élek jelenhetnek meg. A rekeszívnél még posteror-anterior felvételek esetén sem egyértelmű feladat a boltíves alj felismerése, ebben az esetben a nehézségek a két egymást fedő tüdő miatt még inkább megjelennek. Egy 54 darab képből álló laterális felvétel gyűjteményt használtam, amit először is könnyebb kezelhetőség érdekében azonos méretűre vágtam, ez átlagban pár darab kép esetén jelentette azt, hogy a tetejéből pár pixelt le kellett vágni, amik semmilyen releváns információt nem hordoztak amúgy se, majd az összes képet egy irányba tájoltam. Ez azt jelenti, hogy a minták között voltak olyan képek melyek a jobb oldalról és olyan felvételek melyek baloldalról készültek. A baloldali képeket választottam a vizsgálatok alapját képezőnek, így minden képet úgy tükröztem mintha azok a páciens baloldaláról készültek volna. Ezek után pedig mivel váltakozva voltak jelen invertált és normál árnyalatú képek, ezt a heterogenitást is megszűntettem a megfelelő képek szürkeárnyalatának felcserélésével. Ezen három lépes csupán formai követelményeknek való megfelelést tették lehetővé, nem részei a képfeldolgozásnak, csak a programozás technikailag egyszerűbb kezelhetőség érdekében volt szükség rájuk. Ezek után pedig a MATLAB programcsomaggal láttam neki a munkának. A választásom azért ráesett, mert gazdag irodalommal rendelkezik és igen sokrétű műveletvégzést tesz lehetővé. A MATLAB-on belül is főképp az Image Processing Toolbox-ot használtam.
Bevezetés Mivel éleket akarok detektálni, ezért kézenfekvőnek ígérkezett gradiens alapú eljárások tanulmányozása. Kezdetben globálisan az egész képen kezdtem el dolgozni, ennek egyik aspektusa volt, hogy az igen hatékony Canny él-detektáló eljárást alkalmaztam. A célom az volt, hogy a kapott él-képen az összefüggő él-szakaszokat vagy él-pontokat összekötöm és Hough transzformáció segítségével a jellegzetes, parametrizálható, a tüdőre illeszkedő görbét keressek. Azonban, mint ahogy az ábránkon is látszik, az eljárás igen függ az adott kép jellegzetességeitől, így igen nehéz megfelelő paramétereket kiszámolni, továbbá jól alkalmazható adaptív módszert nem sikerült találnom.
Ha pedig sikerült is olyan paramétereket beállítani, melyek esetén viszonylag jól látszódott a körvonal, akkor főképp a bordák okoztak hasonló éleket, mellyel pedig a görbeillesztés vált volna lehetetlenné: Mivel a kezdeti globális próbálkozások nem jártak sikerrel, ezért tüdőt különböző szakaszokra bontottam és a különböző részek alakjára a helyzetük és környezetük alapján próbáltan következtetni. Kezdetben a tüdő háti részét kezdtem vizsgálni és a félév további részében azzal foglalkoztam:
A fenti ábra egy ilyen részletet mutat, a nyilak két borda sorra mutatnak rá. Kellően kontrasztos képeken szabad szemmel viszonylag könnyen meghatározható(ak) a tüdő(k) körvonala(i). Azonban a képek többsége nem ilyen, az alábbi képen már nem ilyen könnyen észrevehetőek a tüdők vonalai, mert a bordákkal közel azonos az intenzitás értékük:
Viszont az, amikor a bordák az íveltségük miatt egy vastagabb átmérőt alkotnak, viszonylag könnyen megragadható él-keresés segítségével. A felvételeken, ezeken a pontokon nagyobb intenzitás különbség lép fel a környezethez képest. Mivel anatómia okokból a tüdő ezeknek a bordáknak feszül neki, így ha sikerül a bordák által alkotott ívet meghatározni, az jól fogja követni a tüdő körvonalát a háti részeken. Ha pedig a bordák felületének külső tüdő felé eső pontjait sikerül meghatározni, akkor már igen közel kerülünk a valódi tüdő felületéhez. Az alábbi ábrán a bordák keresztmetszete látható: Alább pedig a röntgenfelvételeken lévő képződmények oka látható:
A lenti ábrákon pedig a már említett íveltség látható, a zöld szaggatott vonal a röntgensugár beesését szimbolizálja: Mivel az íveltség miatt vastagabb csontozat kerül a sugár útjába, így a nagyobb elnyelődés miatt kisebb intenzitást okozz a felvételeken, a továbbiakban ezek beazonosítására törekedtem. Ez annyit jelent, hogy nem egy él-vonalat kerestem, ami vagy a bordákat határolja, vagy az egyes keresztmetszeteket fogja körbe, hanem a célom egy olyan bináris kép alkotása volt, melyen lehetőleg egy BLOB legyen (a könnyebb kezelhetőségért), aminek a baloldali határát a bordaívek alkotják. Ezért elég volt olyan módszert kidolgozni, ami meghatároz néhány olyan pontot, ami biztosan a bordaívekhez tartozik és az objektum legszélén helyezkedik el.
fel: A legszélsőbb borda íveket kerestem, mert így a lehető legnagyobb tüdő területet deríthetem
Elő-feldolgozás A képek feldolgozása 3 fő részre bontható, kezdetben hisztogram kiegyenlítést végeztem, majd egy gradiens alapú elkereső eljárással egy bináris él-képet kaptam. Végül pedig morfológia műveletek segítségével egy útvonalat alakítottam ki a bordák mentén, ahol már lehet vizsgálni, mely pontok tartoznak a tüdő vonalához. A későbbiekben ezekre a pontokra lehet görbét illeszteni vagy interpolálni köztük, ezáltal határozva meg a tüdő háti oldalán a körvonalát. Mind az él-keresésnél, mind a hisztogram kiegyenlítésnél lokálisan hatékony eljárásokat alkalmaztam, mivel az általam keresett képződmények (borda ívek) szintén lokálisan jelennek meg, méretük az egész képhez viszonyítva kicsi. Hisztogram A megfigyelések után célirányosan a bordák íves részét kerestem, első lépésként a hisztogramját vizsgáltam a képeknek, hogy valamilyen jellegzetességet felfedezhessek. Monokromatikus képek hisztogramja egy eloszlás függvény, ami arról ad információt, hogy egy adott intenzitás érték hány pixelen fordul elő. Fontos megemlíteni, hogy a hisztogram változtatása többlet információt nem ad a képhez, csupán egyes részleteket emelhet ki illetve rejthet el. Az alábbi ábra, a könnyebb vizsgálódáshoz egy felvétel hamis színezését mutatja: Már itt is jól látható, hogy a borda ívek intenzitás értéke viszonylag jól elkülöníthető a környező lágyszövetektől és a gerincoszloptól. A hisztogram képekből pedig ki is derül, hogy ez a két
elem, a csontok - bordák és a lágyszövet- gerinc ténylegesen igen különböző intenzitás értékeket képviselnek. Így jellegzetesen 2 csúcs jelent meg a képeken: Itt megemlítem, hogy az általam alkalmazott technikák arra a pár képre adtak igen rossz választ, melyek hisztogramképén szignifikánsan nem jelent meg ez a völgy. Ez esetben ez azt jelentette, hogy a csontok és a lágyszövet intenzitás értéke közel azonos volt, de ez csak igen rossz minőségű felvételek esetén fordult elő. A következő ábra egy rossz minőségű felvétel hisztogramját ábrázolja:
A felvétel pedig: Szabad szemmel is látható, hogy a bordák szinte egybeolvadnak környezetükkel. Értelemszerűen adódott a lehetősége annak, hogy így az irreleváns intenzitás értékeket levágjam, és egy mérsékeltebb intenzitásra helyezzem az adott pixeleket. Tapasztalati okokból az alsó 10%-ot vágtam le, a magas intenzitás elkerülése végett pedig közelítően a völgy alján, a felső 50% -ot vágtam le. Az alsó 10% -ot a hengeres csontok alkották főképp így azok is bezavartak. A levágott értékeket a 10% -nál illetve 50% -nál lévő intenzitás értékekkel helyettesítettem. Egy kontrasztos képpel a vágás után kapott eredmény: A bordák íve immáron már jobban elválaszthatóak a környezetüktől. Azonban így még mindig nem kellően dominálnak a bordák, ezért egy lokálisan hatékony hisztogram kiegyenlítő algoritmust
választottam. [1] A CLAHE az AHE eljárások azon változata, mely lekerülendő a zajok okozta hibákat, limitálja a kontrasztnövelést. Az AHE, a képeket úgynevezett csempékre osztja fel és az egyes csempéknek a többitől függetlenül növeli meg a kontrasztját, majd az ugrások elkerülése végett a csempék határát összemossa. A MATLAB bilineárisan interpolál ez esetben. Azonban az AHE főképp homogén területeken igen komolyan kiemeli a zajokat is, ez pedig zajos röntgenképek esetén nem szerencsés, mert így tévesen bordákat detektálhatnék a háttérben. Ezért én ennek a módszernek egy kontraszt növelési küszöbbel kiegészített változatával dolgoztam (CLAHE), ami kevésbé zajérzékeny ez által. A képeket 36 darab csempére bontottam, így egy csempére több borda is belefért, így téve lehetővé, hogy a bordaívek kontrasztosabbak legyenek. Az alábbi ábra a hisztogramvágással és kiegyenlítéssel kapott végeredményt szemlélteti: Él-detektálás A hisztogramos modifikációk után egy gradiens alapú elkeresés mellett döntöttem, mert a bordák immáron jól elkülönülnek környezetüktől. [2]A választásom a Sobel operátorra esett, mert a Cannyvel ellentétben amit eddig preferáltam a Sobel sokkal lokálisabban dolgozik, a képnek csak igen kis részét figyeli. Ezáltal több hamis élet is detektálhat és érzékenyebb is a zajra ugyan, de mivel én csak néhány pontot keresek, nem pedig összefüggő éleket, így számomra az nem jelent gondot, ha bordákat alkotó éleken belül még jó pár megjelenik. A hisztogramalakítások miatt ugyan is biztos lehetek benne, hogy a legszélsőbb megtalált él-szakaszok a bordákhoz tartoznak, mivel minden más tényezőt kiiktattam. A zajok okozta kis struktúrákat pedig majd a morfológia segítségével eliminálom.
Azért, hogy minél több pontját megtalálhassam a bordáknak 3 3 as Sobel ablakkal dolgoztam: A Gx a függőleges, a Gy pedig a vízszintes élek keresését végzi, majd a kettő összegéből állt elő az élkép. Ez után ezen a képen küszöbölést végeztem, hogy bináris képet kapjak: A bordák dominanciája megfigyelhető és a kis zaj ellenére is érvényesül. Egyelőre van egy él-szakaszokat és él-pontokat tartalmazó bináris kép. A következő lépésben ezeknek az elemeknek a morfológiai összemosásával a halmaz szélein körvonalakat gyártok. Mivel az
előbbiekben mondottak miatt a halmaz szélén lévő pontok a bordák pontjai illetve a későbbiek során könnyen kompenzálható zaj pontjai a kapott vonal a bordák mentén fog haladni az eredeti képen. Morfológia A morfológia, a matematikai morfológián alapul. A képi objektumokat halmazok reprezentálják. Mint a neve is tanúsítja (alaktan), a képeken lévő alakzatok felismerését teszi lehetővé. A feladat megoldása során két alapvető műveletet használtam, dilatációt és eróziót. Mindkét művelet egy ú.n. strukturáló elemet igényel. Ez szintén egy bináris képként fogható fel, melynek kisebbnek kell lennie, mint a kép és az általunk keresett alakzathoz kell hasonlatosnak lennie, hogy minél jobban kiemelje. Rombusz alakú strukturáló elemet választottam, hogy kiemelje a bordák okozta kitüremkedéseket. A dilatáció hatására a határvonalak összemosódnak és kissé megnő a halmaz területe. Az összemosódás a bordahajlatok okozta legszélsőbb szekcióig történt meg. Ez után a lyukak betömése következik, hogy könnyen kezelhető BLOB alakuljon ki. Azonban a dilatáció hatására a határvonalak kitolódtak, ezért a dilatáció duális műveletét, az eróziót hívtam segítségül, ami csökkenti az objektum méretét. Azonos strukturáló elemet alkalmaztam, így végső soron egy morfológiai zárást hajtottam végre. Utolsó lépésként, egy előre meghatározott számnál kevesebb pixelből álló képződményeket törlöm:
Majd az elő-feldolgozás zárásaként, a bináris képből ki kell vonni az erodáltját, hogy a hátfelöli részen egy vékony csatorna alakuljon ki: Minél nagyobb ez a csatorna, annál nagyobb a szabadságot kapunk abban, hogy ellenőrizzük, valóban helyesen detektáltuk-e a bordák keresztmetszetét.
Görbeillesztés A kapott csatornáknak a morfológia csontvázával dolgoztam a továbbiakban: Ezen csontváz mentén egy ablakkal végig lehet iterálni és így már célirányosan lehet olyan algoritmusokat alkalmazni, melyeket lokális voltuk miatt a teljes képre nem lehetett volna. ez úgy tűnhet mintha így nem lett volna haszna az elő-feldolgozásnak, azonban most már nem a teljes képen kell vizsgálódni, hanem csak bizonyos részein, amikről tudni lehet, hogy a valódi tüdőkörvonal igen kis környezetében van. Sokkal durvább közelítésekkel is lehet élni az ablakokban. Azzal a feltevéssel éltem, hogy a viszonylag nagy homogenitású területeken lévő pontokat eldobom, mivel ott nincsen szignifikáns intenzitásváltozás, vagyis nincs él. A homogenitás megragadására matematikai statisztikát alkalmaztam. Első lépésként a zajszűrés és kilógó minták elmosására az intenzitás értékeket kevesebb értékre újra kvantáltam. Jelen esetben 20-ra és a csontokat jelentő alacsonyabb intenzitásokon viszonylag finoman, hogy valamennyire megőrizhessem a bordák és más csontos képződmények között a különbséget. Ezek után minden egyes ablakban az intenzitás értékek móduszát megkerestem és ha ez az intenzitás az összes intenzitás legalább 70% -át tette ki, akkor eldobtam a csontváznak azt a pontját, ami köré az adott ablakot szerkesztettem. Végül, hogy a pontok szórását csökkentsem egy ablakkal végig iterálva (20 20 pixel) átlagolom a pontokat.
Egy kép esetében a kapott pontok és a kvantált kép: Az előállt pontokra ezek után tetszőleges görbét lehet illeszteni, ennek fajtájának és paramétereinek meghatározása, még későbbi vizsgálatok tárgya lesz.
Az alábbi felvételre egy exponenciális görbét illesztettem:
A következő ábra pedig egy másik röntgenfelvételt mutat, ahol a kontroll pontokat is feltűntettem: A tüdő körvonalától kissé balra tolódva találja meg a körvonalat az algoritmus egyelőre, mivel új pontokat nem vesz fel, csak a körvonalhoz legközelebbi pontokat tartja meg (a kellően heterogén területeken lévőket). A továbbiakban az eljárás fontos kiegészítéseként meg kell jelennie annak, hogy a nagy heterogenitású területen is dobja el a morfológia csontváz pontjait, de az intenzitásváltozásokhoz helyezzen újabbakat, amik így a tüdő pontjai lesznek. Összegzés A munka még messze nincs befejezve, a félév során a kezdeti lépéseket tettem meg. Az eljárás során számos paramétert tapasztalati úton állítottam be a hisztogramvágás, kvantálási szintek, vagy binarizálási küszöb, továbbá az alkalmazott, beépített eljárások is rengetek szabadon állítható paraméterrel rendelkeznek, melyek hangolásával érdemes és kell is a továbbiakban foglalkozni. Mindenesetre a teljes adatbázisra megnézve a módszert, többségében kielégítő eredményt ad a bordát alkotó pontok megtalálásában, így érdemesnek tartom tovább dolgozni rajta. Természetesen a jóságát csak akkor tudom majd kielégítően tesztelni, ha rendelkezésre áll egy olyan sablon készlet ezekre a laterális képekre, melyek a tüdő szakszerűen bejelölt körvonalát tartalmazzák. Eddig csupán szubjektíven tudtam megítélni. Az eredményül előálló csatornán végig haladás közben a tüdő megtalálására, a heterogenitást kíséreltem megragadni, magától értetődően más módszerekkel is lehet kísérletezni. A feladat izgalmasabb részét ezen eljárás kidolgozása jelenti, mely végső soron a
tüdő körvonalainak pontjai adja a kezünkbe, amire már a görbe illesztés nem ígérkezik bonyolult lépésnek. A görbékkel kapcsolatban újabb parametrizálási lehetőség nyílik meg előttünk. Ezen értékek hangolása akár történhet már ismert görbék segítségével, valamilyen tanulási eljárással (neuron hálózat, SVM, ). Irodalom jegyzék [1] Adaptive histogram Equalization and Its Variations S. Pizer, E. Amburn, J. Austin, R. Cromarte, A. Geselowitz, T. Greer, B. Romeny, J. Zimmerman, K. Zuiderveld - 1986 [2] http://homepages.inf.ed.ac.uk/rbf/hipr2/sobel.htm