1. Képalkotás Kató Zoltán Képfeldolgozás és Számítógépes Grafika tanszék SZTE (http://www.inf.u-szeged.hu/~kato/teaching/)
2 Képalkotás fizikai paraméterei Geometriai Vetítés típusa (perspectív) Kamera helyzete Optikai Optika típusa Fókusztávolság, látótér, rekesznyílás Fotometriai A szenzorra vetített fény típusa, iránya, intenzitása A látványt alkotó felületek fényvisszaverő tulajdonsága Szenzor Mintavételezés, stb
3 Perspektív vetítés Csíkrákos, Erdély Raffles Hotel, Singapore
4 Lyukkamera: perspektív leképezés Camera obscura (Fizyka, 1910) Geometriai modell
5 3D pont (X) és képe (x) közötti kapcsolat Nem lineáris leképezés az Euklideszi térben! Homogén koordináták projektív tér, ahol lineáris leképezés lesz. X X 2 3 x f 2 x 2 f X X 2 3
6 A rekesznyílás mérete Hogyan befolyásolja a lyuk (rekesznyílás) mérete a képet? nagy kicsi Nagyobb nyílás Több fény, de életlen kép Kisebb nyílás Kevesebb fény de élesebb kép Túl kicsi nyílás diffrakció (elhajlás) miatt újra életlen a kép Optimális rekesznyílás a fókusztávolság függvénye: f 25
7 Speciális (nem perspektív) leképezések Omnidirectional central camera Ultrahang kép
8 Optika Párhuzamos sugarakat a fókuszpontba vetíti Az élesség megőrzése mellett több fényt gyűjt össze expozíció szélsőséges fényviszonyok között Ideálisan egy X pontból érkező valamennyi fénysugár a megfelelő x képpontba érkezik F optical center (Center Of Projection) focal point
9 Mélységélesség (Lyukkamera mélységélessége végtelen) Egy optika által alkotott képen csak azok az objektumpontok vannak fókuszban, amelyek kielégítik az alábbi egyenletet: 1 f 1 u 1 v u v
10 Mélységélesség Hogyan befolyásolja a rekesznyílás a mélységélességet? Kisebb rekesznyílás megnöveli azt a sávot, amelyen belül az objektum jó közelítéssel fókuszban van. Flower images from Wikipedia http://en.wikipedia.org/wiki/depth_of_field Slide from S. Seitz
11 A látótér függ a fókusztávolságtól A fókusztávolság csökkenésével nagyobb lesz a látótér (nagylátószögű objektív) A fókusztávolság növelésével kisebb lesz a látótér (teleobjektív) from R. Duraiswami
12 Fotometriai képalkotás Fényforrásból érkező fénysugarak visszaverődnek az objektum felszínéről A visszavert sugarak egy része az optikán keresztül a kamerába jut.
13 Fényvisszaverődési modell: BRDF BRDF (Bidirectional Reflectance Distribution Function): f,,, ( ; ) A v i irányból érkező fény λ hullámhosszú komponenséből mennyi verődik vissza a v r irányba. Diffúz felület minden irányban egyformán veri vissza a fényt konstans BRDF: f d ( ) Csillogás: v i irányból érkező fényt (valamennyi λ komponenst) az s i irányba veri vissza. i i r r
14 Az expozíciós mechanizmus szerepe Rolling shutter (redőnyzár) Global shutter (központi zár)
15 (Folytonos) kép A képalkotó rendszer által a szenzorra vetített folytonos kép lényegében egy kétváltozós I(x,y) függvény, amely I( x, y) : minden (x,y) pontban megadja (a becsapódó fotonok számával arányos) intenzitásértéket R 2 R A színes kép (vagy általánosabban egy tetszőleges n csatornás kép) hasonlóan egy C(x,y) vektorfüggvény lesz, amely minden (x,y) pontban megadja C( x, y) : az egyes komponensek (~hullámhosszok) intenzitását (egy n dimenziós vektort) R 2 n R
16 Folytonos kép digitalizálása folytonos kép a szenzortömbre vetítve digitalizált kép: mintavételezés + kvantálás
17 Digitális kép A folytonos képfüggvény értelmezési tartományának és értékkészletének diszkretizálásával állítjuk elő Mintavételezés: Az értelmezési tartomány diszkretizálását a szenzor felépítése határozza meg tipikusan egy szabályos MxN négyzetrács mentén mintavételezzük a függvényt Kvantálás: Az értékkészlet diszkretizálását a szenzorhoz kapcsolódó A/D konverter L bitmélysége szabja meg a mintákat tipikusan 8-12 biten diszkretizáljuk I( x, y) : R 2 R I( i, j) :[1, M ] [1, N] [0, L 1] A digitális kép egy I(i,j) elemét pixel-nek nevezzük.
18 Digitális kép mint mátrix szélesség Intenzitás: [0,255] j=1 520 i=1 500 magasság I[176][201] = 164 I[194][203] = 37 K. Grauman
19 Kvantálás A folytonos kép [0,A] intenzitástartományát az L-elemű, diszkrét értékekből álló {r 1,r 2,,r L } (pl. a {1,2,,L}) halmazra képezzük le.
kép intenzitás kép intenzitás 20 Kvantálási módok Uniform/lineáris: a folytonos kép intenzitásait lineárisan képezzük le objektum intenzitás Logaritmikus: nagyobb intenzitásbeli lépték a sötét területeken objektum intenzitás
21 Kvantálási hiba Ha a kvantálási szintek száma nem elegendő, akkor hamis kontúrok léphetnek fel Tapasztalat szerint egyenletes kvantálás mellett elegendő 256 szürkeségi szint (8 bit/pixel). 256 árnyalat 16 árnyalat
22 Képtípusok kvantálási szintek szerint bináris/kétszintű (binary/bilevel): a képmátrix egy logikai tömb, ahol 0 a fekete, 1 pedig a fehér színnek felel meg szürkeárnyalatos/többszintű (grayscale/multilevel): az intenzitások a [0,L-1] intervallum egészei lehetnek (0: fekete, (L-1)/2: középszürke, L-1: fehér) RGB truecolor: a képet additív színkeveréssel kapjuk 3 (az egyes színcsatornákhoz rendelt) többszintű képből indexelt/palettás (indexed/palette): a képmátrix mellett egy (szín)palettát is tartalmaz, ahol a képmátrix elemei palettaindexek
(az egyes színcsatornák intenzitásai normáltak) RGB truecolor képek
Indexelt képek indextömb részlete fekete kék R G B paletta (az intenzitások normáltak)
25 Mintavételezési frekvencia jelentősége 1024, 512, 256, 128, 64, 32
26 Mintavételezési hibák kis objektumok eltűnhetnek hosszú, vékony objektumok széttöredezhetnek hamis kontúrok léphetnek fel
27 Moire-minta effektus
X 28 Video szekvencia = 3D képtömb Y Térbeli és időbeli mintavételezés: I(i,j,t) a t. frame (i,j) pixele t
29 Időbeli mintavételezési hiba Ha két frame között a 8-küllős kerék 1/16-nál (π/8-nál) keve-sebbet fordul, akkor a kerék előre (jobbra) forgónak tűnik. Frame 1 Frame 2
30 Időbeli mintavételezési hiba Ha két frame között a 8-küllős kerék 1/16-nál (π/8-nál) többet (de 1/8-nál, π/4-nél kevesebbet) fordul, akkor a kerék hátra (balra) forgónak tűnik. Frame 1 Frame 2
Időbeli mintavételezési hiba Ha két frame között a 8-küllős kerék pontosan 1/8-ot (π/4-et) fordul, akkor a kerék állónak (mozdulatlannak) tűnik. Frame 1 Frame 2
32 Pont válasz függvény Egy pontszerű objektum képe ideálisan szintén pont A gyakorlatban azonban nem lehet matematikai értelemben tökéletes objektívet alkotni Ponteszerű objektum képe az optika minőségétől függő mértékben- foltszerű lesz elmosódott kép Különösen fontos mikroszkópok, távcsövek, speciális orvosi képalkotó rendszereknél (MRI, CT, ) A pont válasz függvény (Point Spread Function PSF) = Tökéletes kép pontszerű objektum képe jellemzi egy optikai rendszer leképezési pontosságát (élességét): I ( x, y) PSF ( x, y; u, v) f ( u, v) dudv (Konvolúció) Hubble űrtávcső PSF függvénye Valós (elmosódott) kép
33 PSF függvény Radiálisan szimmetrikus (izotropikus) PSF nem szükségszerű (pl. optikai torzítás, Röntgen, CT, ) A PSF változhat a képmezőn belül is Minden optika a képmező szélei felé elmosódottabb képet ad
34 Zaj és a degradált képmodell A digitális kép minőségét a PSF által jellemezhető elmosódáson túl a szenzor illetve az A/D konverter által generált zaj is befolyásolja Ezt modellezhetjük egy megfelelő eloszlású (általában 0 középértékű Gauss) véletlen szám hozzáadásával a tényleges intenzitásértékhez additív zaj A degradált képmodell tehát az alábbi alakú: I( x, y) PSF ( x, y; u, v) f ( u, v) dudv ( x, y) Ideális kép Zajos képek
35 Digitális kamera színérzékelése: Bayer rács Bayer rács A színinformáció harmadát képes rögzíteni, a többit interpolációval állítjuk elő Különböző számításigényű, különböző minőségű képet produkáló algoritmusok RAW formátumú képből külső programmal tetszőleges algoritmussal is dolgozhatunk Demosaicking: Hiányzó elemeket a szomszédokból becsüljük. Source: Steve Seitz
36 Digitális kamera színérzékelése: X3 szenzor Hasonlóan a hagyományos színes filmhez 3 réteg a 3 alapszín rögzítésére Szilikonlapka fényelnyelő tulajdonságán alapszik Minden képpontban 3 színérték Vékony rétegek elhanyagolható fókuszálási hiba Az alsó réteg kevesebb fényt kap nagyobb zaj alacsony fényerő esetén
37 Digitális kamera színérzékelése: 3CCD 3 különálló CCD szenzor + speciális prizma a 3 alapszín rögzítésére Nincs szükség interpolációra Minden pixelben 3 értéket rögzít Jobb képminőség, kisebb zaj Drágább konstrukció (3 szenzor 1 helyett + speciális prizma)
38 Digitális kamera képalkotó folyamata
39 Felhasznált anyagok Palágyi Kálmán: Digitális Képfeldolgozás /pub/digitalis_kepfeldolgozas Trevor Darrell: C280, Computer Vision http://www.cs.cmu.edu/afs/cs/academic/class/15385- s06/lectures/ppts/ Richard Alan Peters: EECE/CS 253 Image Processing http://www.archive.org/details/lectures_on_image_processing További források az egyes diákon megjelölve