Képregisztrációs eljárások. Orvosi képdiagnosztika 13. ea ősz

Hasonló dokumentumok
Képregisztrációs eljárások. Orvosi képdiagnosztika 2016 ősz

Transzformációk síkon, térben

Panorámakép készítése

Képszegmentáló eljárások. Orvosi képdiagnosztika 2018 ősz

Számítási feladatok a Számítógépi geometria órához

A KLT (Kanade Lucas Tomasi) Feature Tracker Működése (jellegzetes pontok választása és követése)

Grafikonok automatikus elemzése

Térbeli transzformációk, a tér leképezése síkra

Numerikus módszerek 1.

Gyakorló feladatok. Agbeko Kwami Nutefe és Nagy Noémi

Feladatok a Gazdasági matematika II. tárgy gyakorlataihoz

VIK A2 Matematika - BOSCH, Hatvan, 3. Gyakorlati anyag. Mátrix rangja

Principal Component Analysis

8. Pontmegfeleltetések

Bevezetés. Transzformáció

Számítógépes geometria

Sajátértékek és sajátvektorok. mf1n1a06- mf1n2a06 Csabai István

Az egyenlőtlenség mindkét oldalát szorozzuk meg 4 16-al:

Feladatok Házi feladat. Keszeg Attila

Diszkréten mintavételezett függvények

Pontműveletek. Sergyán Szabolcs Óbudai Egyetem Neumann János Informatikai Kar február 20.

Gauss-Jordan módszer Legkisebb négyzetek módszere, egyenes LNM, polinom LNM, függvény. Lineáris algebra numerikus módszerei

Matematika A2 vizsga mgeoldása június 4.

Lineáris algebra zárthelyi dolgozat javítókulcs, Informatika I márc.11. A csoport

DINAMIKAI VIZSGÁLAT OPERÁTOROS TARTOMÁNYBAN Dr. Aradi Petra, Dr. Niedermayer Péter: Rendszertechnika segédlet 1

Számítógépes képelemzés 7. előadás. Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék

Hajder Levente 2017/2018. II. félév

HÁZI FELADATOK. 1. félév. 1. konferencia A lineáris algebra alapjai

ACM Snake. Orvosi képdiagnosztika 11. előadás első fele

Példák jellemzőkre: - minden pixelérték egy jellemző pl. neurális hálózat esetében csak kis képekre, nem invariáns sem a megvilágításra, sem a geom.

Robotika. Kinematika. Magyar Attila

Geofizikai kutatómódszerek I.

1. Az euklideszi terek geometriája

Közösség detektálás gráfokban

Fraktálok. Kontrakciók Affin leképezések. Czirbusz Sándor ELTE IK, Komputeralgebra Tanszék. TARTALOMJEGYZÉK Kontrakciók Affin transzformációk

A Matematika I. előadás részletes tematikája

A fontosabb definíciók

Nemlineáris egyenletrendszerek megoldása április 15.

Least Squares becslés

Digitális képek szegmentálása. 5. Textúra. Kató Zoltán.

3D Számítógépes Geometria II.

11. Alakzatjellemzők. Kató Zoltán. Képfeldolgozás és Számítógépes Grafika tanszék SZTE (

1. Generátorrendszer. Házi feladat (fizikából tudjuk) Ha v és w nem párhuzamos síkvektorok, akkor generátorrendszert alkotnak a sík vektorainak

Modellek és Algoritmusok - 2.ZH Elmélet

Függvények Megoldások

Matematika (mesterképzés)

Automatikus irányzás digitális képek. feldolgozásával TURÁK BENCE DR. ÉGETŐ CSABA

Gépi tanulás. Féligellenőrzött tanulás. Pataki Béla (Bolgár Bence)

Vektorok, mátrixok, lineáris egyenletrendszerek

Lineáris regressziós modellek 1

Képfeldolgozó eljárások áttekintés. Orvosi képdiagnosztika

Fourier transzformáció

0-49 pont: elégtelen, pont: elégséges, pont: közepes, pont: jó, pont: jeles

3D - geometriai modellezés, alakzatrekonstrukció, nyomtatás

Vektorterek. =a gyakorlatokon megoldásra ajánlott

Osztályozóvizsga és javítóvizsga témakörei Matematika 9. évfolyam

Numerikus matematika. Irodalom: Stoyan Gisbert, Numerikus matematika mérnököknek és programozóknak, Typotex, Lebegőpontos számok

7. Régió alapú szegmentálás

LINEÁRIS ALGEBRA. matematika alapszak. Euklideszi terek. SZTE Bolyai Intézet, őszi félév. Euklideszi terek LINEÁRIS ALGEBRA 1 / 40

MATEMATIKA ÉRETTSÉGI TÍPUSFELADATOK KÖZÉPSZINT Függvények

Keresés képi jellemzők alapján. Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék

Minták automatikus osztályba sorolása a mintát leíró jellemzők alapján. Típusok: felügyelt és felügyelet nélküli tanuló eljárások

Képfeldolgozás. 1. el adás. A képfeldolgozás m veletei. Mechatronikai mérnök szak BME, 2008

b) Ábrázolja ugyanabban a koordinátarendszerben a g függvényt! (2 pont) c) Oldja meg az ( x ) 2

Saj at ert ek-probl em ak febru ar 26.

Kvadratikus alakok és euklideszi terek (előadásvázlat, október 5.) Maróti Miklós, Kátai-Urbán Kamilla

Numerikus integrálás április 18.

Optimalizálás alapfeladata Legmeredekebb lejtő Lagrange függvény Log-barrier módszer Büntetőfüggvény módszer 2017/

Fourier térbeli analízis, inverz probléma. Orvosi képdiagnosztika 5-7. ea ősz

6. gyakorlat. Gelle Kitti. Csendes Tibor Somogyi Viktor. London András. jegyzetei alapján

Geometria. a. Alapfogalmak: pont, egyenes, vonal, sík, tér (Az alapfogalamakat nem definiáljuk)

Haladó lineáris algebra

1. feladatsor Komplex számok

Alap-ötlet: Karl Friedrich Gauss ( ) valószínűségszámítási háttér: Andrej Markov ( )

1. Komplex számok. x 2 = 1 és x 2 + x + 1 = 0. egyenletek megoldását számnak tekinthessük:

egy szisztolikus példa

1. Bázistranszformáció

Gyakorló feladatok I.

A hiperbolikus síkgeometria Poincaré-féle körmodellje

Csoportosítás. Térinformatikai műveletek, elemzések. Csoportosítás. Csoportosítás

A Föld alakja TRANSZFORMÁCIÓ. Magyarországon még használatban lévő vetületi rendszerek. Miért kell transzformálni? Főbb transzformációs lehetőségek

Képfeldolgozó eljárások áttekintés. Orvosi képdiagnosztika 9. ea ősz

5 1 6 (2x3 + 4) 7. 4 ( ctg(4x + 2)) + c = 3 4 ctg(4x + 2) + c ] 12 (2x6 + 9) 20 ln(5x4 + 17) + c ch(8x) 20 ln 5x c = 11

Diszkrét matematika 2 (C) vizsgaanyag, 2012 tavasz

Numerikus módszerek II. zárthelyi dolgozat, megoldások, 2014/15. I. félév, A. csoport. x 2. c = 3 5, s = 4

Több valószínűségi változó együttes eloszlása, korreláció

Bevezeto Least-squares es variansai Globalis modszerek Lokalis modszerek. Implicit Fitting. Vaitkus Márton. 3D Számítógépes Geometria 2 (2016)

Regressziós vizsgálatok

Nem teljesen kitöltött páros összehasonlítás mátrixok sajátérték optimalizálása Newton-módszerrel p. 1/29. Ábele-Nagy Kristóf BCE, ELTE

Numerikus integrálás április 20.

Lin.Alg.Zh.1 feladatok

Képfeldolgozás és képfúzió a hibrid technikában

MATEMATIKA ÉRETTSÉGI TÍPUSFELADATOK KÖZÉP SZINT Függvények

x = 1 = ı (imaginárius egység), illetve x 12 = 1 ± 1 4 2

MÉSZÁROS JÓZSEFNÉ, NUMERIKUS MÓDSZEREK

Összeállította: dr. Leitold Adrien egyetemi docens

First Prev Next Last Go Back Full Screen Close Quit

Matematika pótvizsga témakörök 9. V

= Y y 0. = Z z 0. u 1. = Z z 1 z 2 z 1. = Y y 1 y 2 y 1

Wavelet transzformáció

Átírás:

Képregisztrációs eljárások Orvosi képdiagnosztika 3. ea. 05 ősz

Két kép egymáshoz igazítása, illesztése Példák: Időbeli követés Regisztráció célja Eltérő modalitások (PET-CT, Röntgen-MRI, UH-MRI,...) fúzió Műtét (menet közbeni felvétel előzetes felvétellel való összevetése) Kép alapú egyéb beavatkozás (besugárzás beállítás... ) Mozgás hatásának kompenzációja I és I : referencia kép, új kép A regisztrációs eljárások elemei: Transzformáció, interpoláció, hasonlósági metrika, optimalizálási algoritmus

Regisztráció célja Korábbi felvétel Időbeli követés Későbbi, ellenőrző felvétel

Korábbi felvétel Regisztráció célja Időbeli követés Egyszerű kivonás

Regisztráció célja Időbeli követés Korábbi felvétel merev regisztráció Merev regisztráció utáni kivonás

Regisztráció célja Időbeli követés Korábbi merev regisztráció Későbbi rulgalmas regisztrációval elastic B-spline registration

Regisztráció célja Időbeli követés Korábbi merev regisztrációval Végső összehasonlítás

Fúzióra: MRI-CT, PET-CT Regisztráció célja CT csontok, MRI lágy részek, PET anyagcsere aktivitás (tumor, gyulladás

Regisztráció célja I (x,y)=g (I (f (x,y)) f () D képbeli transzformáció g() D intenzitás transzformáció Feltételezve, hogy a megfeleltetés ismert keressük azt az f () és g() függvényt, hogy a két kép a lehető legjobban illeszkedjen (valamilyen kritérium értelmében)

Regisztráció csoportosítása Dimenzió: D-D, D-3D, 3D-3D A regisztráció bázisa pontok vonalak, felületek,... Geometriai transzformáció merev, nem merev Az interaktivitás mértéke teljesen automatikus, emberi közreműködés Optimalizáló eljárás hasonlóságmérték, hibafüggvény zárt forma, analitikus megoldás, iteratív megoldás Modalitás azonos különböző (multimodalitás) A regisztáció objektuma azonos, különböző (fúzió)

Képbeli (sík) transzformációk Merev Nem merev Affin: egyenestartó párhuzamosság megtartó Projektív: egyenestartó Perspektívikus Görbült, általános nemlineáris: globális polinom Görbült, általános nemlineáris: lokális polinom Általános nemlineáris: Spline, RBF, neuronháló...

Merev Transzformáció Forgatás (R) Eltolás (t) Skálázás (s) p x y Skálázás sorrendje nem közömbös. Általában: Rs sr Izotróp skálázás: hasonlósági transzformáció p x y p t srp s s s p t Rsp t t t cos( ) sin( ) R sin( ) cos( )

Affin transzformáció Forgatás Eltolás Skálázás Nyírás x y a a 3 3 a a a a x y A hosszak és a szögek megtartása nem teljesül A párhuzamosok párhuzamosak maradnak, síkok síkok maradnak p t Rp R elemeire (a ij ) nincs semmi megkötés

Affin transzformáció Kiindulás: vegyünk egy euklideszi síkot. A síkon vett affin transzformáción egy olyan : bijektív leképezést értünk, amely tetszőleges -beli egyenest -beli egyenesbe képez le. Affin transzformáció: a sík egy kölcsönösen egyértelmű, egyenestartó leképezése. a) párhuzamos egyeneseket párhuzamos egyenesekbe képez b) parallelogrammát parallelogrammába képez A sík minden egybevágósági és hasonlósági transzformációja is affin transzformáció.

Projektív transzformáció Megtartja az egyeneseket és a síkokat (x,y ) eredeti koordináták (x,y ) transzformált koordináták x a x a y a 3 a x a y a 3 3 33 y a x a y a 3 a x a y a 3 3 33 p Rp T vp t R a a a a t a a 3 3 a a 3 v 33 3 a a ij együtthatók a kép és a síkok egyenleteiből számíthatók

Összetett transzformációk görbült (nemlineáris) transzformációk Globális polinomiális transzformáció Lehet többváltozós polinom is: p I, J i j cij xy i, j ( x) ( y) T P x P y ( ) ( ) Túl nagy fokszám veszélyei: oszcilláció, túlilleszkedés általában IJ,

Összetett transzformációk görbült (nemlineáris) transzformációk Oszcilláció elkerülése: szakaszonként polinomiális traszformáció: a tér particionálása négyszögletes tartományokra Minden i,j tartományra T transzformációt hajtunk végre, ahol P egy egyváltozás m-ed fokú polinom x y T P ( x) P ( y) i, j i, j A négyszögletes tartományok határán a folytonosság, ill. a folytonos differenciálhatóság biztosítható: spline (gyakori: köbös spline, B-spline). Egyenletes csomopont elhelyezés mellett Egyváltozós B-splineok 0.8 0.6 0.8 0.6 0.8 0.6 0.8 0.6 0.4 0.4 0.4 0.4 0. 0. 0. 0. B B j k j ( x) ( x) 0 x j- j-k ha j-k B j k x I egyébként j 0 0 3 x j ( x) B Többváltozós: tenzorszorzatttal: j j-k 0 0 0.5.5 j k g ( x) 0 0 3 N x g i x i i 0 0 3 4 I j =( j- j ] a j-edik bemeneti intervallum

Általános folytonos nemlineáris transzformációk Tetszölegesen elhelyezett kontrolpontoknál is működik Radiális bázisfüggvényes leképezés Szakaszonként lineáris Összetett transzformációk ) görbült (nemlineáris) transzformációk g r r Köbös Multikvadratikus, ha =/ Inverz multikvadratikus, ha = Thin plate spline g r r 3 g r c r g r c r g r r ln r Gauss

Regisztrációs eljárások elemei Jellemzők Hasonlósági mértékek Keresési stratégiák

Jellemzők: Jellemző alapú regisztráció Kiugró (kitüntetett) struktúra elemek. Sarokpontok, görbület lokális maximuma, maximális varianciájú ablak középpontja, egy zárt régió súlypontja, egyenesek metszéspontjai, stb. Élek kontúrok, felületek (képi struktúrák, zajra kevésbé érzékeny) Intenzitás (a teljes képet felhasználja) Statisztikai jellemzők. Momentumok, főtengelyek, információelméleti jellemzők, mennyiségek Magasabbszintű jellemzők: szintaktikai jellemzők: a mintákból származtatott nyelvtan,...

Regisztrációs módszerek Pont alapú Intenzitás alapú (Korreláció, stb) Fourier

Pont leképezés alapú regisztráció Referenciapontok meghatározása Referenciapontok: anatómiai jelentéssel rendelkező pontok egyéb markerpontok: jól megkülönböztethető, azonosítható pontok Fontos a pontok minél pontosabb meghatározása (lokalizációs hiba) Interaktív bejelölés Automatikus kiválasztás Megfelelő transzformáció keresése a pontok megfeleltetéséhez

Pont leképezés alapú regisztráció Regisztráció minősítése, kritériumfüggvény: Ortogonális Procrustes Véletlen nulla várható értékű, izotróp eloszlású hiba

Regisztrációs algoritmusok. Pont alapú merev regisztráció: Kritériumfüggvény: súlyozott négyzetes eltérés (minimumkeresés R és t szerint) N C(, ) R t w súlyok ahol i Rxi t y w i i FLE FLE i lokalizációs hiba. Súlyozott centroidok: x. Középpont eltolás 3. Súlyozott kovarianciamátrix számítás H 4. 5. 6. N i N N wi xi / wi N i i y x x x; y y y i i i i N N wi yi / wi N i i N i i w x y T i i i T T T H UΛV U U V V I Λ diag(, ) 0 R V diag(,det( VU)) U t y Rx T

Regisztrációs algoritmusok. Hasonlósági transzformáció Keressük R, t és s értékeit, melyek mellett minimális: s C( R, t, s) w srx t y N i N i w T i i i w t y srx Rx y xy N i T i i i i i i Legyen s= Határozzuk meg R-et az előző alg..-5. lépései szerint Számítsunk új s-et és végezzük el a transzformációt

3. Nemizotróp skálázás Regisztrációs algoritmusok Keressük R, t és S értékeit, melyek mellett minimális: N C( R, t, S) w SRx t y N i i i i Határozzuk meg az x és y középértékeket és az eltolt értékeket: x y Legyen n= Válasszunk kezdeti skálázási mátrixot S (0) iteráció: ( n) ( n) - Legyen xi S xi - Hajtsuk végre az. algoritmus 3.-5. lépéseit R meghatározására - n=n+ - Határozzuk meg S (n) -t - Álljunk le, ha n> max iterációs szám, vagy ha a hiba küszöb alá ment

Intenzitás alapú eljárás Korreláció A két kép D normalizált korrelációs függvénye C( u, v) x y x y I ( x, y) I( x u, y v) I ( x u, y v) Hasonlóságot mér különböző eltolások mellett A normalizálás a lokális intenzitás hatásának kiküszöbölésére

Korreláció tétel A két kép korrelációjának Fourier transzformáltja az egyik kép Fourier transzformáltjának a szorzata a másik Fourier transzformáltjának komplex konjugáltjával. Egydimenziós esetre a korreláció tétel T xy ( t, ) x( t) y( t ) dt T T T xy j, T X T ( j) YT ( j) T xy j lim X T ( j) YT ( j) T T

Fourier transzformáción alapuló módszerek Fázis-korreláció Kereszt teljesítmény spektrum Teljesítmény cepstrum A Fourier transzformáción alapuló módszerek hatékonyak, de csak merev transzformációknál működnek (lineáris transzformációk)

Hasonlóság mértékek Intenzitás alapú eljárásokhoz Kép különbségképzés: SSD sum of squares of intensity differences N SSD I ( i) I( i) Korrelációs együttható C( u, v) N i x y x y I ( x, y) I( x u, y v) I ( x u, y v) Együttes sűrűségfüggvény PDF( j, k) Hist( j, k) jk, Hist( j, k) ahol Hist(j,k) a két kép együttes hisztogramja

Együttes hisztogram MR-MR MR-CT MR-PET illeszkedő kis elmozdulás nagyobb elmozdulás

H p( s)log p( s) s Hasonlóság mértékek Intenzitás alapú eljárásokhoz Entrópia Az együttes entrópia (minimalizálás) H PDF ( j, k)log PDF ( j, k) jk, Kölcsönös információ (maximalizálás) MI(I, I ) = H(I )+H(I )-H(I,I ) ij pij i, j pp i j p, i KL( I, I ') p, i log i p, i MI ( I, I ') log Kullback-Leibler divergencia p

Hasonlósági metrikák Normalizált keresztkorrelációs függvény Fehér zajnál hatékony, lokális torzításokra érzékeny. Nehéz a korrelációtérben nagy csúcsot találni Korrelációs együttható Fázis korreláció Frekvenciafüggő zajra nem érzékeny Az intenzitáskülönbségek abszolút értékeinek összege Hatékonyan számítható, ha nincsenek lokális torzítások, jó egyezést lehet találni Kontúr/felszín különbségek Strukturális regisztráció esetén jó Előjelváltások száma a pontonkénti intenzitáskülönbségeknél Nem hasonló képeknél működik jól

Szekvenciális döntés Keresési stratégiák Merev transzformációnál Relaxáció Hasznos eljárás, globális transzformáció keresésnél, ha lokális torzítások lehetnek Dinamikus programozás Lokális transzformáció megtalálásánál hatékony Általánosított Hough transzformáció Merev eltolású kontúroknál az éltartomány helyett a paramétertérben (Hough térben) Lineáris programozás... Lineáris egyenlőtlenségek mellékfeltételek figyelembevétele merev transzformáció keresésénél