NEMZETI TECHNOLÓGIAI PROGRAM 2008 Vízbiológiai Digitális Holografikus Mikroszkóp (DHM), mint korai környezeti vészjelzırendszer SZAKMAI BESZÁMOLÓ MELLÉKLETEK 1/4. MUNKASZAKASZ A projekt beadásának éve 2008 Az alprogram / dedikált felhívás kódja és 4. alprogram: Élhetı, fenntartható környezet (A4) megnevezése Projekt azonosítója 1981822A Nyilvántartási száma TECH_08-A4/2-2008-0151 Projekt címe Vízbiológiai Digitális Holografikus Mikroszkóp (DHM), mint korai környezeti vészjelzırendszer Konzorciumvezetı Dr. Nagy Tamás MEDIRLAB Orvosbiológiai Fejlesztı Kft. Témavezetı Konzorciumi tag Dr. Tıkés Szabolcs MTA SZTAKI Témavezetı Konzorciumi tag Dr. Vörös Lajos MTA Balatoni Limnológiai Intézet Témavezetı Konzorciumi tag Dr. Török Tamásné OKI Projekt kezdete 2009. január 1. Munkaszakasz száma 1/4. Munkaszakasz idıtartama 2009. január 1. 2009. június 30. Projekt honlapja http://www.medirlab.hu/competitions/dhm Budapest, 2009. augusztus 31. R-1.1 VERZIÓ 1
TARTALOMJEGYZÉK TARTALOMJEGYZÉK 2 MEDIRLAB MELLÉKLETEK 4 DHM rendszer mőködésének áttekintése 4 Egyszerősített DHM rendszer mőködésének áttekintése 4 A kamera egységek részletes leírása 4 A 16 elemő PC mátrix részletes leírása 5 Az I/O egység részletes leírása 5 MTA-SZTAKI MELLÉKLETEK 13 SZTAKI-3 MELLÉKLET DHM Teljes Optikai Rendszerterv 13 Bevezetés 13 A víminta sőrítése, preparálása 14 Multi-portos architektúrák elve 15 In-line DHM 4D elıdetektor, színes ROI kamerával 16 In-line DHM, színes kamerával és fluoreszcens detektorral 16 ROI kamerás szembefolyó cellával: 16 Modulok 16 Automatizált sőrítés szőrı berendezés segítségével 16 Megvilágító és gerjesztı fényforrások kiválasztása 16 Mikroszkóp architektúra változatok, konfigurációk különbözı vízbioloógiai alkalmazásokra 17 SZTAKI-3A MELLÉKLET DHM változatok részletes rendszerterve 19 DHM 3D-s rekonstrukciós és alakfelismerı rendszer elektronikai rendszerterve 19 SZTAKI-4 MELLÉKLET A DHM 3D-s rekonstrukciós szoftverének rendszerterve 24 Hullámterjesztési algoritmusok, numerikus hologram rekonstrukció 24 Síkhullám dekompozíciós (irány-spektrum) numerikus diffrakció: terjedés a szabad térben 25 Aberráció kompenzáció digitális holografikus mikroszkóp rendszerben. 33 SZTAKI-5 MELLÉKLET A hullámterjesztés néhány modellje és azok MATLAB implementációi Grafikus felhasználói interfész (GUI) fejlesztıi és hidro-biológusi változata 36 Digitális holografikus mikroszkóp - hologram rekonstrukciós szoftver 2. verziójának dokumentációja 36 SZTAKI-6 MELLÉKLET A DHM 3D-s rekonstrukciós és alakfelismerı szoftverének rendszerterve 43 Áttekintés 43 Követelmények 43 Architektúra 45 2
Adatfolyam modell 50 Adatbázis 52 SZTAKI-7 MELLÉKLET Grafikus felhasználói felület (GUI) vízbiológusok számára, amely megkönnyíti a morfológiai adatbázis kialakítását, betanítását 55 MTA-BLKI MELLÉKLETEK 59 Szakmai beszámoló I. munkaszakasz 59 OKI MELLÉKLETEK 62 Jogi és szabályozási háttér összefoglalása 62 IVÓVÍZ 62 FELSZÍNI VÍZ 62 Kapcsolatfelvétel vízmővekkel 65 Az adatbázis létrehozásának megkezdése 65 Vízminták elemzése 67 Mintavétel 67 Minta feldolgozás 67 Vízminták értékelése 67 Adatbázis fejlesztés 71 Táblázatok 72 OKI ELİADÁS CÍMLAPJA (2 ND INTERNATIONAL CONFERENCE ON CEMEPE AND SECOTOX) 75 3
MEDIRLAB MELLÉKLETEK DHM rendszer mőködésének áttekintése A digitális holografikus mikroszkópia nagyfelbontású, háromdimenziós képalkotást tesz lehetıvé, hagyományos módszerekkel nem vizsgálható (például folyamatosan áramló, átlátszó) minták esetén is. Az ismert elven elıállított hologramokat egy nagyfelbontású (4 Megapixel), nagy sebességő (200 frame/s) monokromatikus érzékelıvel ellátott kamera egység (1. kamera egység) fogadja. A holografikus jel dekódolása nagy bonyolultságú matematikai mővelet, melynek valós idejő végrehajtása az említett felbontás és képfrissítési ráta mellett különösen nagy számítási teljesítményt igényel. Ezt a 16 egységbıl álló PC mátrix biztosítja. A DHM technológiával együtt, pl. fluoreszcens mikroszkópia elvén alkotott képet a 2. kamera egység érzékeli. A vizsgált minta által emittált fény hullámhosszának (színének) is lehet jelentısége, ezért ebben a kamera egységben a képérzékelı szenzor színes verzióját alkalmazzuk. A kamera által biztosított jel közvetlen információtartalommal bír, ezért egy analóg kimenet is biztosított, amit valós idejő megfigyelésre használhatunk. A digitális kimenet az 1. kamera egységgel megegyezı módon csatlakozik egy PC mátrixhoz. A PC mátrixok kimenetei Gigabit Ethernet kapcsolaton keresztül csatlakoznak egy Switch-hez, ami kapcsolatban áll az irányító-kiértékelı számítógéppel. Ez a PC a megkapott, feldolgozott képtartalmat Ethernet kapcsolaton keresztül, vagy egy rádiófrekvenciás kommunikációs egység segítségével, ANT hálózaton képes továbbítani. Az irányító-kiértékelı PC a szenzoroktól kapott jeleket felhasználva vezérli az I/O egységen keresztül a felvételkészítéshez szükséges fényforrásokat, szelepeket, illetve motorokat. A kamera egységek konfigurálhatók a PC segítségével. A rendszer zavartalan mőködéséhez szünetmentes tápfeszültség-ellátás biztosított. A teljes megvalósítandó 19 -os Elektronikai Rack szekrény és a 16 elemő PC mátrix hardver rendszereket a következı oldalakon mutatjuk be. Egyszerősített DHM rendszer mőködésének áttekintése Az DHM rendszer egyszerősített verziója egy kisebb mérető, kompakt eszköz. A méretcsökkentés ára a kisebb számítási kapacitás, ami korlátozza a térbeli és idıbeli felbontást. Az eszköz ANT hálózaton keresztül távolról vezérelhetı, a mérési eredmények is ilyen módon érhetık el. A kamera egységek részletes leírása A kamera egységekben az érzékelni kívánt fényjel, a megfelelı optikai illesztésen keresztül egy 4 megapixel (2352x1728) felbontású 200 FPS sebességő mőködésre alkalmas CMOS képérzékelı szenzorba érkezik. A szenzor beépített ADC-kkel (analóg-digiális átalakító) rendelkezik, így az érzékelt jel digitalizált formában, közvetlenül juthat a FIFO (First In First Out) szervezéső memória modulba. A szenzor kiolvasása külsı vezérlést igényel. Ezt a feladatot az I. számú CPLD (Complex Programmable Logic Device) látja el, elıállítva az órajelet, az aktuálisan kiolvasandó sor 4
címzését, valamint a további szükséges vezérlıjeleket. Ugyanez az IC vezérli a FIFO memória írását, amelybe a szenzor 16 darab kimeneti portjáról érkezı digitális jel íródik. A FIFO memória lecsökkenti az adatbusz szélességét a könnyebb adattovábbítás érdekében, így kimenete egy 8 bit széles buszon keresztül áll kapcsolatban a II. számú CPLD-vel. A CPLD II. felelıs a szenzor beállításáért, kalibrálásáért is. Egy többcsatornás DAC-t (digitális-analóg átalakító) vezérelve állítja elı a szenzor AD átalakítóinak mőködéséhez és kalibrációjához, valamint a sötétáram kivonásához szükséges referencia feszültségeket. A kameraegység digitális jelkimenetét a CPLD II. állítja elı, amely a 16 elemő PC mátrixban kerül további feldolgozásra. Az analóg kimenettel is rendelkezı kameramodulban a szenzor kimenete csökkentett felbontással (csak minden második sor minden második pixele kerül felhasználásra) két DPRAM (Dual- Ported RAM) modulba is beíródik (a CPLD I. vezérlésével). A két DPRAM modul tartalmát felváltva olvassa ki a CPLD III., majd az adatokat megfelelı formában egy Video Encoder-nek továbbítja, ami analóg videókimenetet szolgáltat a valós idejő megfigyeléshez. Mivel a kamera egységekben analóg és digitális mőködéső alkatrészek is vannak, két tápfeszültség-forrás szükséges. Ezeket egy-egy lineáris mőködéső feszültség-szabályozó IC állítja elı. A 16 elemő PC mátrix részletes leírása A PC mátrixban párhuzamos feldolgozás történik, így minden elem a kamera egység digitális kimenı jelének csak egy részét kapja meg. Az adatot egy FPGA fogadja, majd továbbítja egy FIFO memória felé. A HEX CPU feldolgozó egység PCI Express buszon keresztül fogadja az adatokat, ezért szükséges egy memória busz PCIe busz illesztı IC. A HEX CPU munkáját egy nagy számítási teljesítményő másod-processzor segíti. A PC mátrix elemeinek kimenı jele Gigabit Ethernet kapcsolaton keresztül egy hálózati Switch-be fut be, ami az irányító-kiértékelı PC-vel áll kapcsolatban. Az I/O egység részletes leírása Az I/O egységhez csatlakoznak a szenzorok kimenı jelei. Ezek analóg jelkondicionálás után digitalizált formában jutnak az egység mőködését vezérlı FPGA-ba, majd onnan a megfelelı illesztés után az irányító-kiértékelı PC-be. Amennyiben szükséges, a PC vezérlı utasításokat ad ki, melyek alapján az FPGA egy DAC-t hajt meg. Az átalakító analóg jelét megfelelıen erısítve kapjuk a fényforrások, szelepek illetve motorok mőködéséhez szükséges feszültségeket. A kamera egységek mőködése az irányító PC által, az I/O egységen keresztül konfigurálható. 5
19 -os ELEKTRONIKAI RACK SZEKRÉNY 6
16 elemő PC mátrix 7
8
9
10
11
12
Bevezetés MTA-SZTAKI MELLÉKLETEK SZTAKI-3 MELLÉKLET DHM Teljes Optikai Rendszerterv A kitőzött feladat elvégzéséhez több optikai architektúra kipróbálására van szükség. Ezek különböznek majd az elérhetı felbontás, átvizsgálható térfogat (bonyolultság, feldolgozás igény, képminıség stb.) tekintetében. Kísérleti kipróbálásuk szükséges az optimális elrendezés (feladattól függı) kiválasztásához. Mindazonáltal, bizonyos egységek minden elrendezés esetén hasonlóak lesznek, ezért ezen modulok optimalizált összeállítása, megtervezése fontos feladat. Általános megjegyzések Mivel alakfelismerés a cél, ezért mindenképp csak egy kombinált hagyományos, fluoreszcens és digitális holografikus elemeket tartalmazó mikroszkóp összeállítása vezethet eredményre. A feladattól függ, hogy mennyi a felismerendı célobjektum száma, illetve mennyi egyéb szennyezés (buborék, törmelék, homokszemcse) található az átvizsgálandó térfogatban. Amennyiben nagyon ritkán fordulnak elı objektumok (csapvíz, kútvíz), akkor nagy térfogatott kell átvizsgálni a megfelelı statisztikai becslés eléréséhez. Ellenben, ha sok célobjektum van (sőrő minták,sőrő szőretlen vizek) akkor kisebb térfogat átvizsgálása elegendı, viszont valószínőleg sokkal több a szennyezés, tehát sokkal fontosabb, informatívabb a fluoreszcens elıfeldolgozás után vizsgálni a mintákat. A holografikus elrendezés elınye a hagyományos mikroszkópiával szemben a nagy átvizsgálható térfogat. Azaz ekkor a hagyományos mikroszkópiában megszokott nagy felbontáshoz tartozó kicsiny mélységélesség nem limitálja az átvizsgálható térfogatot. Ugyanakkor, a koherens megvilágítás (koherens optikai átviteli függvény és speckle zaj) és az inline elrendezés ikerképe amely a nagyobb látótér biztosításához elkerülhetetlennek látszik - komoly zajokat visz a rendszerbe, ami jelentısen nehezítheti az alakfelismerés megvalósítását. Ezeknek a zajoknak a csökkentése még jelentıs kutató-fejlesztı munkát igényel. Nagyobb felbontáshoz kisebb látótér és mélységélességi tartomány, így kisebb látótérfogat tartozik, tehát bármilyen architektúrát alkalmazzunk is, kompromisszumot kell kötni az átvizsgálható térfogat és az elérhetı felbontás között. A vizsgálandó mkroszervezetek mérettartománya nagyságrendekkel különbözhet egymástól és a konkrét alkalmazás illetve az adott víztestben elıforduló és vizsgálandó szervezetek méreteihez kell minden esetben a berendezést, illetve azok egyes alegységeit méretezni. 13
A víminta sőrítése, preparálása Eddigi kísérleti eredményeink alapján a mérendı minták elıkészíétsére, preparálására több féle megoldás dolgozható ki és az adott alkalmazás körülményeitıl függ, hogy melyiket célszerő alkalmazni. Mérıcella céljára egyik megoldásunk szerint átfolyó rendszerő berendezést használunk. Erre azért van szükség, hogy a szín információit ki tudjuk nyerni (illetve nagyfelbontású képet tudjunk róla készíteni). Ahhoz hogy a mérés helyén megfelelıen lamináris legyen az áramlás a mérıcellában, illetve, hogy a különbözı optikai elemek fizikailag elférjenek nagy munkatávolságú objektívet, kell alkalmazni. Kompromisszumot kell kötni az elérhetı felbontás és az átvizsgálható térfogat között. Tipikus esetben 1µm laterális felbontás látszik megfelelınek. Ekkor a kisebb (nem a legkisebb) objektumok még megkülönböztethetıek, és nem csökken le az átvizsgálható térfogat elfogadhatatlanul kicsiny szintre. (1µm felbontás, ~5µm mélységélesség, ~1 mm látótér). Ez a hagyományos színes mikroszkóp portra vonatkozik. Az élı anyanak a holt anyagtól való szétválasztására mindenképpen egy elıdetektort, egy un. esemény-detektor portot kell létrehoznunk. Az eseménydetektor megvalósítására többféle koncepciót dolgoztunk ki. A klorofilt és fikobiliproteineket tartalmazó növényi szervezetek illetve cianobaktériumok, valamint a fluorokróm anyagokkal megjelölhetı zooplankton és férgek elıdetektálására a fluoreszcenciamikroszkóp port bizonyult a legalkalmasabnak. Ezt kísérletileg is sikerült igazulni. Kidolgoztuk egy digitális holografikus mikroszkópiai (segéd-dhm) elıdetektor elvét is, ennek kísérleti igazolása a következı munkaszakasz feladata lesz. Elıször a lehetséges architektúrák vázlatos összeállítását mutatjuk meg, aztán az egyes modulok optikai, elektro-optikai, illetve a szükséges algoritmusokkal, idızítésekkel kiegészített tervét vázoljuk. 14
Multi-portos architektúrák elve A következı ábra egy off-axis DHM sokportos elvi vázlatát szemlélteti: Nagyfelbontású kamera Tubus lencse Sárga szőrıs fluoreszcens kamera Vörös szőrıs fluoreszcens kamera Lézer Megvilágító fényforrások Objektív Átfolyós cella 15
In-line DHM 4D elıdetektor, színes ROI kamerával Egy Digitális holografikus mikroszkóp vizsgál egy térfogatot viszonylag kis felbontással (256x256 512x512). Így a ritkán áthaladó objektumokról megfelelı idızítéssel mindig a fókuszsíkba érkezésükkor készítünk felvételt. In-line DHM, színes kamerával és fluoreszcens detektorral A fluoreszcens kamera (piros négyszög) folyamatosan méri a kék LED-es EPI megvilágítással az algák klorofillje és/vagy a fikobiliproteinek által kiváltott fluoreszenciát. Amikor változást érzékel, akkor lekapcsolja a kék/zöld megvilágítást (LED vagy lézer) és felvillantja a fehér LEDet (szürke négyszög). Így az objektumok fluoreszenciája alapján az algák elválaszthatók a törmeléktıl. ROI kamerás szembefolyó cellával: Ebben az elrendezésben egy kis felbontású kamera (esemény detektor; piros négyszög) méri egy bizonyos mélységben az objektumokat igen nagy sebességgel (1000 frame/sec). Amennyiben észleli hogy a fókuszsíkján áthalad egy objektum akkor az objektum pozíciójának megfelelı helyen (ROI) és megfelelı késleltetéssel egy sorozatfelvételt készíttet egy nagy felbontású szenzorral (zöld négyszög). Így a sorozatfelvételben (1000 frames/sec) mindig lesz az objektumról készített olyan képkocka, amelyen pont a fókuszban van. Modulok Ugyan az in-line holografikus elrendezésnél az ikerkép és a nullad rend zaja nem elválasztható, mégis érdemes ezt használni az off-axis elrendezéssel szemben, mert így nem csökken jelentısen a rendszer látómezeje (off-axis esetén ~1/3-ára csökkén a látótér). Automatizált sőrítés szőrı berendezés segítségével Nem csak az átfolyós cellás megoldást dolgoztuk ki, hanem alternatív tárgyprepalási eljárásokkal is végeztünk sikeres kísérleteket: Az esetek nagy többségében különösen a kútvizek és a csapvíz esetében elınyös a vízben levı mikroszervezetek sőrítése. Erre kétféle módszert szokás alkalmazni: a centrifugálást vagy/és a mikropórusos szőrı papiron (cellulóz vagy polikarbonát) történı vákuummal segített sőrítést. Eddigi kísérleteink azt mutatták, hogy célszerőnek tőnik az utóbbi eljárás részletes kidolgozása is és alkalmazásfüggı bevezetése. A DHM rendszer felügyelet nélküli mőködtetéséhez elengedhetelen a szőrés teljes mértékü automatizálása és a szürt mintának a mikroszkóp tárgyterébe helyezése robotizált módon. Megvilágító és gerjesztı fényforrások kiválasztása A fényemittáló diódák (LED-ek) fejlıdése és alacsony beszerzési költségei lehetıvé teszik, hogy a hagyományos mikroszkópiában alkalmazott költséges megoldásoktól eltérıen LED fényforrásokat alkalmazzunk mind fehérfényő megvilágító lámpaként, mind fluoreszcencia gerjesztı fényforrásként. Elvégzett kísérleteink igazolták elképzeléseinket. Nagy koherenciájuk miatt a DHM porthoz lézerdiódákat (LD-ket) és frekvencia-kétszerezett YAG lézert alkalmazunk. 16
A különbözı hullámhosszakon mőködı lézerek egyidejüleg betölthetik a fluoreszcencia-gerjesztı fényforrás szerepét is. Mikroszkóp architektúra változatok, konfigurációk különbözı vízbioloógiai alkalmazásokra Többféle kombinált sokportos DHM architektúra deszkamodelljét terveztünk meg, néhányat megépítettünk és sikeres méréseket, megfigyeléseket végeztünk. Szellemi jogvédelmi okokból (a szabadalmak benyújtása folyamatban van) jelen beszámolónkban részletes leírást, mérési jegyzıkönyvet és rajzokat nem ismertetünk. Fluor+ white 3D-s képe: Fluor+white+RED DHM 3D-s képe: 17
Fehér LED Köhler megvilágítás Mintatartó Mikroszkóp objektív Algák Dichroikus tükör 405nm LED CCD kamera Az elsı megépült fluoreszcens mikroszkóp. Klorofil A autofluoreszcens és 450-700nm közötti színes kép felvételére alkalmas 18
SZTAKI-3A MELLÉKLET DHM változatok részletes rendszerterve DHM 3D-s rekonstrukciós és alakfelismerı rendszer elektronikai rendszerterve Az alábbi ábra mutatja a teljes rendszer három fı rétegét. A fizikai kontroll réteg felelıs a fényforrások, kamerák, szőrık, mechanikai modulok megfelelı, szinkronizált mőködtetésért. Feldolgozó réteg (SW és futtató HW) Feladatai: kontroll, eseménydetekció, holografikus rekonstrukció, analízis és klasszifikáció Fizikai kontroll réteg (tápforrások, kontrol vezetékek, trigger áramkörök, vezérlı kártyák) Feladatai: az optikai réteg áramellátása, kontroll és trigger jelek a fényforrások és kamerák számára, adatvonal biztosítása Optikai réteg (objektívek, lézerek, LED-ek, kamerák) Feladatai: fluorescens, normál, holografikus képalkotás és érzékelés A fizikai kontroll réteg elemei A DHM rendszer horizontális rétegei Áramellátást biztosító tápegységek Kontrol jeleket szolgáltató egység Kamera adatot fogadó egységek (pl. frame grabber kártyák) Egyedi tervezéső áramkörök (pl. optokapu, speciális vezérlı és adat egységek) A kontroll jeleket szolgáltató egység nagy valószínőséggel egy PC bázisú vezérlı kártya lehet, amely több analóg és digitális vezérlı jelet képes programozottan kiadni illetve fogadni. Elérhetıek olyan rendszerek is, amelyek több kamera fogadása mellett kontroll jeleket is tartalmaz. Ezáltal lehetıvé válhat a teljes rendszert integráltan kezelı modullal történı megvalósítás. 19
data Computer Control module Camera 1. Camera k. Light 1. Light k. Mechanic module Power 1. Power k. Power n. Fizikai kontroll réteg elvi felépítése A fizikai kontroll réteg feladatai közé tartozik a megvilágító egységek összehangolt, szinkronizált vezérlése, a kamerák triggerelése, speciális érzékelık pl. optokapuk vezérlése és kimenı jeleik feldolgozása, mechanikai egységek (pl. szőrık, adagolók, mozgatók) irányítása. Vezérlési szekvenciák Jelen stádiumban pontos mőködtetési eljárást nem lehet specifikálni, mivel a kutatási szakaszban számos alternatívát szükséges kipróbálni és tesztelni. Az egységek vezérlése során 10-100 ms-os megvilágítási és expozíciós idık valószínősíthetık az eddigi kísérletek szerint, így ezek kontrollját nagy biztonsággal meg tudjuk valósítani a jelenleg piacon kapható eszközökkel. Az alábbiakban a mőködési módok számos alternatíváját mutatjuk be mint lehetséges megoldásokat. A következıekben feltételezzük, hogy a minta folyamatosan átáramlik a vizsgálati részben. Az alábbi üzemmódban a holografikus egység három rövid idejő expozícióval készít több felvételt (stroboszkóp szerően) egy képre. Az áramlási sebesség olyan módon kerül kiválasztásra, hogy egy objektum legalább kétszer teljes terjedelmében látható legyen a felvételen. Ezzel lehetıség adódik az objektum helyének és várható megjelenési idejének meghatározására a normál kamera fókuszsíkjában. Ennek ismeretében történik a normál kamerával a felvétel. Az ábra szerint a normál kamera információjának feldolgozása után lehet újabb holografikus felvételt készíteni. Ebbıl adódik ki a mőködtetési sebesség. Ez a mód a kezdeti kísérletek idején fog ebben a formában megvalósulni, a késıbbiekben a feldolgozás off-line módon történhet a képfelvételtıl függetlenül. Így a rendszer tényleges sebességét a holografikus rész fogja meghatározni. 20
Holographic Microscope 3-flash mode Light - Laser 3-flash mode Exposure Operation Read Analysis Normal Color Microscope Light - LED Exposure Operation Read Holografikus és normál egység vezérlése Analysis A következı vezérlési szekvencia az autofluoreszcens és normál kamerát mutatja. Ebben a módban az esemény detektor szerepét tölti be az autofluoreszcens kamera, amely egyben arról is ad információt, hogy mely objektumok hol és mekkora méretben láthatóak. Itt is olyan módon valósul meg a vezérlés, ahol a megvilágítások szétváltan kerülnek alkalmazásra. A késıbbiekben lehetséges lehet az egyidejő mőködtetés is. Autofluorescence Microscope Light - LED Exposure Operation Read Analysis Normal Color Microscope Light - LED Exposure Operation Read Analysis Autofluoreszcens és normál egység vezérlése A következı üzemmódban az eseménydetekció szerepét egy fotokapu látja el. Ez mőködhet normál, látható tartományban, vagy az ábra szerint autofluoreszcens effektust kihasználva. Mőködést tekintve ez lehet a leggyorsabb megoldás, feltételezve, hogy a kamera adatainak feldolgozása a képkészítéstıl függetlenül valósul meg. A fotodetektor jelei triggerelik a normál kamera megvilágítását és magát a kamerát is. Új esemény csak a normál kamera adatának kiolvasása után indíthat újabb felvételt, illetve kamerától függıen (pl. rolling shutter, belsı buffer) ez történhet korábban is. 21
Autofluorescence Detection Light - LED Detector Enable Normal Color Microscope Light - LED Exposure Camera Read 1 Read 2 Operation Analysis 1 Analysis 2 Autofluoreszcens detekció és normál egység vezérlése A következı vezérlési szekvencia azt mutatja, ahol a holografikus és autofluoreszcens egység is szerepet kap az eseménydetekcióban, és az együttes elemzés alapján kerül sor a normál kameraegység vezérlésére. Ebben a módban a normál kamera adatának kiolvasásakor már tudható, hogy mely objektumok autofluoreszcensek, ezzel a klasszifikációt is segítve. Holographic Microscope 3-flash mode 3-flash mode Light - Laser Exposure Operation Read Analysis Autofluorescence Microscope Light - LED Exposure Operation Read Analysis Normal Color Microscope Light - LED Exposure Operation Time period Read Analysis 22
Holografikus, autofluoreszcens és normál egység együttes vezérlése Az alábbi vezérlési szekvencia arra ad példát hogyan kombinálható a fotodetektor (itt autofluoreszcens) és az autofluoreszcens és a normál kamera. Azt az esetet tételeztük fel, hogy a detektor trigger jelére elıszır az autofluoreszcens kamera, majd utána a normál kamera készít felvételt. Feltételeztük, hogy a két megvilágításnak függetlennek kell lenni, így a két kamera is más-más fókuszsíkban helyezkedik el. Ehhez kell igazítani az áramlási sebességet is. A maximális ismétlési frekvenciát (végsı soron az átvizsgálható folyadékmennyiséget) a két kamera expozíciós ideje és adat transzfere határozza meg. A feldolgozás itt is off-line módon történik. Autofluorescence Detection Light - LED Detector Enable Autofluorescence Microscope Exposure Camera Read A1 Read A2 Operation Analysis A1 Normal Color Microscope Light - LED Exposure Camera Read N1 Read N2 Operation Time period Analysis N1 Autofluoreszcens és normál mikroszkópok szinkronizált vezérlése autofluoreszcens esemény hatására Alternatív megoldásként felmerült a folyamatos minta áramoltatás helyett, hogy a folyadékot elsı lépésben sőrítjük, és egy speciális szőrın fogjuk fel. Ezután ezt az elıkészített mintát a mikroszkóba helyezve történik a különbözı kamerákkal a vizsgálat. Ehhez a sőrítési, szőrési, mintatartóba helyezést kell automatizálni a képkészítés mellett. Jelenleg ennek az elvi lehetıségeit kell még tisztázni, pl. vizsgálható-e a szőrı anyagon lévı minta, anélkül, hogy a felismerést megakadályozná. 23
SZTAKI-4 MELLÉKLET A DHM 3D-s rekonstrukciós szoftverének rendszerterve Elkészült a DHM 3D-s rekonstrukciós szoftverének rendszerterve, ezek a különféle DHM változatok szerint különbözıek o Továbbá a hullámterjesztés néhány modellje és azok MATLAB implementációi Hullámterjesztési algoritmusok, numerikus hologram rekonstrukció A DHM mőködésének kulcskérdése az, hogyan tudjuk a CCD/CMOS kamerával felvett hologramból rekonstruálni a tárgyhullámot és továbbterjesztésével képalkotásra bírni. A terjesztés során alkalmazhatunk numerikus lencséket, illetve fáziskorrigáló numerikus lemezeket a valódi optikai lencsén, illetve az egész optikai rendszeren, valamint a numerikus terjesztés során fellépı torzítások és aberrációk kompenzálására. Többféle hullámoptikai modell létezik, melyeket algoritmizálva numerikusan implementálhatunk. A fény transzverzális elektromágneses hullám, melynek terjedését szigorúan csak polarizált vektorhullámként modellezhetjük. Azonban a fénymikroszkópiában a nem túl nagy felbontások tartományában a fényhullám terjedése jól közelíthetı skaláris modellekkel. Sıt a skaláris hullámokra további közelítı modelleket is alkottak. Azonban a mai nagyteljesítményő számítógépekkel többé nem szükséges a számítás igényes módszereket mellıznünk. Numerikus diffrakció Leegyszerősítve a következı modelleket érdemes figyelembe vennünk: 1. Huygens konvolúciós módszer (gömbhullám közelítés) 2. Fresnel-transzformációs módszer (parabolikus approximáció) 3. Síkhullám dekompozíciós (irány-spektrum) módszer Ezek közül az utolsó, a síkhullám dekompozíciós (síkhullámok irányspektruma) módszert érdemes alkalmazni, mivel ez írja le a legpontosabban a skaláris hullámok terjedését. A hologram síkjából kilépı hullámok síkfelületen értelmezett komplex függvények melyek a hologramban rögzített intenzitás eloszlásnak és az azt megvilágító rekonstruáló hullám függvény szorzatai. Ezeknek a Fourier komponensei különbözı szögekben elhajlított súlyozott amplitúdójú síkhullámoknak felelnek meg. Tehát az igen hatékony FFT (gyors Fourier transzformációs) algoritmusokkal egyszerő módon számíthatjuk a hullámterjedést. Az így rekonstruált tárgyhullámokat olyan távolságra kell terjesztenünk, ahol a tárgy valamely pontjai leképzıdnek (fókuszálódnak.). Mivel hologrammal térbeli testekrıl fázisérzékenyen rögzítünk információt, a hullámterjesztés során különbözı képsík távolságokban kapjuk vissza a tárgy különbözı síkjait. Ez a módszer teszi lehetıvé, hogy egyetlen expozícióval felvett hologramból rekonstruáljuk a víz különbözı mélységeiben úszó szervezetek térbeli, síkonkénti képét. Illetve felvételsorozatból lehessen azok térbeli mozgását követni. 24
Síkhullám dekompozíciós (irány-spektrum) numerikus diffrakció: terjedés a szabad térben 1 síkhullám-dekompozíció propagáltatás kompozíció Fourier-transzformáció szorzás a terjedési faktorral inverz-fourier-transzformáció, négyzetre emelés. Így a receptünk arra, hogy a fényt (annak komplex amplitúdóját) a z = 0 helyrıl a z = d távolságra propagáltassuk a szabad térben: 1. Számoljuk ki az f ( x, y, z = 0) függvény F( ν,, z = 0) = F[ f ( x, z, = 0)] Fouriertranszformáltját. x ν y 2. Szorozzuk meg az F( ν,, z = 0) Fourier-transzformáltat az x ν y fázistényezıvel (ami valójában a síkhullám térfrekvencia átviteli függvénye). ( i k z d ) e terjedési 3. Számoljuk ki az inverz Fourier-transzformáltat, így megkapjuk a diffrakciós komplex 1 amplitúdót a z = d távolságban: f ( x, y, z = d) = F [ F( ν x, ν z, z = d)], ez tartalmazza a hullámfront magnitúdóját és fázisát is. Az utóbbi a fáziskontraszt numerikus szimulálásában játszi fontos szerepet. 4. Számoljuk ki a komplex amplitúdó négyzetét így megkapjuk a diffrakció intenzitás képét a z 2 =d helyen: I ( x, y, z = d) = [ f ( x, y, z = d)]. Ez a módszer skaláris hullámokra approximációmentes, ellentétben a Fresnel- vagy a Fraunhoffer-közelítésekkel. Viszont számolni kell azzal, hogy mind a CCD véges mérete egy ugrásfüggvényekkel leírható ablakot jelent, melynek a Fourier-komponensei teleszórják a teret, mind a terjesztés során a transzverzális síkokat reprezentáló mátrixok mérete véges. Ezért simító ablak-függvényekre és megnövelt mátrix méretre van szükség (zéró-padding) van szükség. Felmerül a következı kérdés: Melyik a legmegfelelıbb simító ablak-függvény (apodizáló függvény)? Gauss, Blackman, Henning, Hamming, blur-rölt ablak? Ezekkel kell megszorozni a bemenı képet, a CCD által felvett hologramot, as terjesztett közbensı hullámfrontokat. Mekkora az optimális keret (zéróval feltöltött, és simitó függvénnyel megszorzott keret). Nyquist kritérium az interferencia csíkok CCD által detektálható maximális térfrekvenciája: f x = 1/(2 p), ahol p = x a pixel-lépés (pitch). Ekkor a fény sugarak között megengedhetı legnagyobb szög: θ θ max λ = arcsin 2 p 1 Itt szabad téren vákuumot vagy homogén izotróp közeget értünk. 25
Reconstruction Algorithm Loading hologram image matrix (H) Loading reference beam image matrix (R) Ψ=H-R Convolve Ψ with G G Kernel function of reconstructing plane wave Fourier transform Focus Reached? Save reconstructed image 26
Az alábbi képsorozat a hullámterjesztés szimulációját mutatja be. Itt a hologram felvétel egyébként optikai szakaszát is szimuláljuk. A rekonstrukció mindenképpen numerikus. Hologram konstrukció 1. Monokromatikus fényforrás, hullámhossz: λ továbbterjesztés z1 távolságba 2. Elsı tárgy (k) megvilágítása továbbterjesztés z2 távolságba (diffrakció) 3. Második tárgy (p) megvilágítása továbbterjesztés z3 távolságba (diffrakció) 4. Két tárgy diffrakciós képe a lencsén kicsinyítés, fókuszálás, majd nagyítás 5. A hologram síkjában kapott kép megvilágítása a referencianyalábbal (konstruált hologram) Konkrét adatok (offaxis_simulation_pinholesource_toprightfilt.m) fényforrás: Gauss-féle, 5x5 pixeles Blackman-nel filterezett λ: 0.5e-3 p: 5e-3 (pixelméret) képernyı szélesség, magasság (w,h): 512p, 512p fényforrás és obj1 távolság: 4 obj1 és obj2 távolság: 2 obj2 L távolság: 24 f: 16 L H távolság: 48+1 referencia: off-axis, Blackman(w,460) filter: jobb felsı képrészlet középre helyezése rekonstrukció: 12mm-ig, referencia hullámmal 27