Dekonvolúció a mikroszkópiában. Barna László MTA Kísérleti Orvostudományi Kutatóintézet Nikon-KOKI képalkotó Központ

Dekonvolúció a mikroszkópiában Barna László MTA Kísérleti Orvostudományi Kutatóintézet Nikon-KOKI képalkotó Központ 2015

Fourier-Sorok Minden 2π szerint periodikus függvény előállítható f x ~ a 0 2 + (a k cos kx + b k sin kx ), k=1 ahol az a és b együtthatók: a k = 1 π 0 2π f x cos kx dx Joseph Fourier 1768-1830 b k = 1 π 0 2π f x sin kx dx

Fourier sorok négyszögjel közelítése f x ~ 4 1 π n k=1,3,5, sin nπx L, ahol L a fél periódus f x ~ 4 π (sin π L x + 1 3 sin 3π L x + 1 5 sin 5π L x + 1 7 sin 7π L x + )

Fourier sorok négyszögjel közelítése 100x1 pixel kép

Fourier sorok négyszögjel közelítése X k = N 1 n=0 x n cos( 2πk n N + j sin 2πk n N ), n Z 100x1 pixel kép Komplex szám reprezentációja Diszkrét Fourier Transzformáció Magnitúdó kép (a complex vektor abszolult értéke: r) Diszkrét Fourier Transzformáció Fázis kép (a komplex vektor szöge: φ)

Fourier sorok négyszögjel közelítése Eredeti 50x50 pixel kép Fourier transzformált 50x50 pixel kép

Frekvencia kép jelentése Frekvencia kép 50x50 pixel Inverz Fourier Transzformáció 50x50 pixel IFFT

Frekvencia kép jelentése (Fázistolás) Frekvencia kép 50x50 pixel Inverz Fourier Transzformáció 50x50 pixel IFFT IFFT

Frekvencia kép jelentése Frekvencia kép 50x50 pixel Inverz Fourier Transzformáció 50x50 pixel λ IFFT k A k hossza a csíkozás frekvenciát adja meg, a szöge pedig az irányát (λ)

Magas Frekvenciák Fourier transzformáció Frekvencia kép (Magnitúdó) F f x = f(t)e 2πixt dt Alacsony Frekvenciák Eredeti kép Frekvencia kép (Fázis) F k, l = N 1 M 1 i=0 j=0 f(i, j)e i2π(ki N +lj M )

Fontos a Fázis információ is Frekvencia kép (Magnitúdó) Eredeti kép Inverz FT de nulla fázis mindenhol

Frekvencia kép jelentése Eredeti kép Frekvencia kép (Magnitúdó)

Frekvencia kép jelentése Eredeti kép Magas frekvenciák kiszűrése(magnitúdó)

Optikai Fourier Transzformáció http://cns-alumni.bu.edu/~slehar/fourier/fourier.html

Optikai Fourier Transzformáció https://www.youtube.com/watch?v=xho8iz2qcoe

Optikai Képalkotás Pontátviteli Függvény

Optikai Képalkotás Pontátviteli Függvény Original structure Microscope image Ernst Abbe 1873 R(Airy) = 1.22λ/2NA(obj) R(Airy) = 1.22*510/2*1.4 = 222 nm

Optikai Képalkotás (Konvolúció) Eredeti Kép Átviteli Függvény (PSF) Konvolúció

Optikai Képalkotás Eredeti Kép Konvolúció: f g = + Diszkrét 2D Konvolúció: i= j= f t g x t dt f(m, n) g(m, n) = f i, j g(m i, n j) i= j= Átviteli Függvény (PSF) Konvolúció

Optikai Képalkotás (Dekonvolúció) Eredeti Kép Átviteli Függvény (PSF) Mikroszkópos kép = A konvolúció egy hasznos tulajdonsága: Dekonvolúció: F(f g) = F(f)F(g) F Mik. kép = F Eredeti. kep F(PSF) F Eredeti. kep = F Mik. kép F(PSF)

Optikai Képalkotás (Dekonvolúció) FT Mikroszkópos kép FT (PSF) FT Eredeti Kép = Inverz FT

Dekonvolúció Mi a probléma? - Nullával osztás ott, ahol a F(PSF) nulla - Zaj. Poisson eloszlású foton emisszió, detektor zajok. - PSF mérése nagyon nehéz. A PSF jelentősen függhet az XY de főleg a Z mélységtől (különösen nagy törésmutatókülönbségnél) A minta maga hatással van a PSF-re

Dekonvolúció Konvolúció a PSF-el Eredeti kép Dekonvolúció a PSF-hez adott zajjal

Dekonvolúciós stratégiák 2D dekonvolúció (csak egy képsíkunk van) 2D Legközelebbi szomszédok figyelembe vétele Wiener szűrő, teljes 3D zajkezeléssel Iteratív közelítés, kényszerek megadása (S>0) Vak (blind) dekonvolúció, a PSF nem ismert

Dekonvolúciós stratégiák Iteratív közelítés https://www.youtube.com/watch?v=mj2fofqr7hw

Dekonvolúciós stratégiák A PSF nem ismert, vak dekonvolúció https://www.youtube.com/watch?v=mj2fofqr7hw

Dekonvolúciós stratégiák Eredeti kép Nearest Neighbor Wiener Szűrő Gold s method Blind https://www.youtube.com/watch?v=mj2fofqr7hw

Dekonvolúciós szoftverek DeconvolutionLab egy ImageJ plugin 2D és 3D mikroszkópos képek dekonvolúciójára ismert PSF-el. DeconvolutionJ Regularized Wiener Filter 2 és 3D adatra Autoquant 2D és 3D mikroszkópos képek dekonvolúciójára ismert PSF-el és Vak dekonvolúció is SVI Huygens 2D és 3D mikroszkópos képek dekonvolúciójára ismert PSF-el és Vak dekonvolúció is

Kép készítés dekonvolúcióhoz Megfelelő XY és Z irányú mintavételezés Telített (saturated) pixelek, voxelek kerülése Törésmutató kiegyenlítése, ha lehet Fakulás (Bleaching) kerülése Megvilágítás egyenletessége Mechanikai stabilitás (rezgésmentes asztal)

Mintavételezés dekonvolúcióhoz (Em. 500nm) SVI Huygens manual

Telített (saturated) pixelek, voxelek kerülése

Kép és mikroszkóp jellemzők

Dekonvolóciós paraméterek

Példák Konfokál 3 csatorna, 80nm/pixel 150nm Z lépés (15), n=1.31, 100x, NA1.47 Dekonvolvált Konfokál, Blind, Huygens Professional Dudok Barna, MTA KOKI, Piros:CB1 receptor, Kék:Biocitin, Zöld:Neuroligin

Példák Konfokál 2 csatorna, 80nm/pixel 150nm Z lépés (15), n=1.31, 100x, NA1.47 Dekonvolvált Konfokál, Blind, Huygens Professional

Barna László, MTA KOKI, GFAP festés. Piros: eredeti, Zöld: dekonvolvált

Összefoglalás A dekonvolúció egy matematikai eljárás az eredeti jel helyreállítására, melyet a mérőrendszer átvitele és a zaj torzít. Növeli a kép felbontását, főleg Z irányban Növeli a kép kontrasztját Csökkenti a zajt