Beágyazott elektronikus rendszerek (P-ITEEA_0033) Érzékelők I: Fizikai világ érzékelése Fizikai szenzorok 2. előadás 2015. Február 18.
Áttekintés A fizikai világ érzékelése Szenzorok jellemzői Affin szenzor modell Mérési tartomány Dinamika tartomány Kvantálás Zaj Mintavételezés Fizikai szenzorok Mozgás Távolság
Embedded system power Embedded system Electronic hw components: Processor Memory Other circ. comp. Software: Application Real-time OS Communication user host machine Interface to physical world Internet sensors actuators Physical world
Érzékelés Érzékelő: kapcsolat a fizikai világ és a kiber tér között A mért érték lehet fizikai (hőmérséklet), kémiai (ph), biológia (egyedszám) vagy származtatott (esőszenzor) Szenzor kimenete: Skalár Vektor Mátrix
Lineáris szenzor (pl. feszültségmérő) f(x(t)) = a x(t) Affin szenzor (pl. hőmérő) f(x(t)) = a x(t)+b ahol x(t): a fizikai mennyiség f(x(t)): a szenzor által mért érték a,b: konstans Nemlineáris szenzor Logaritmikus Utólag linearizált Szenzor modell
Mérési- és dinamika tartomány Mérési tartomány A legkisebb és a legnagyobb mérhető érték közti tartomány Dinamika tartomány A legkisebb és a legnagyobb mérhető érték hányadosa ahol D: dinamika tartomány L, H: alsó és felső mérhető értékek (általában 0 és 1) p: felbontás (két szomszédos mérhető mennyiség különbsége)
Kvantálás Kvantálás A mérhető fizikai mennyiséget először egy analóg szenzor analóg feszültséggé alakítja (folytonos megfeleltetés) Ezt követően egy AD konverter digitális jelet készít n bites szenzor dinamika tartománya:
Szenzor pontossága és zaja Pontosság Zaj A szenzor relatív pontossága a mért értéktől függ A kvantálási hiba ±0,5 bit A skála legalján 100% hiba A skála tetején ez 1/2 n (n bites szenzornál) A szenzor által mért érték és a valós érték közti különbség Lehet: Konstans Időbeli Függ az éppen mért értéktől (munkapont) Szenzor beállításaitól
Mintavétel Kvantálás Az analóg érzékelő folyamatosan követi a jelet (ha a sávszélessége nagyobb) Az AD konverter egy-egy adott pillanatban vesz mintát Gyorsan változó jelnél erre figyelni kell! Nyquist kritérium!
Szenzorok típusai Fizikai: Feszültség Hőmérséklet Fényerő Mágnesesség Ellenállás Fogyasztás Tömeg Hang Gyorsulás Elfordulás Távolság Kémiai: ph Anyag koncentráció Összetétel Biológiai: Káros anyag tartalom Fajta meghatározás Sugárzás kártékony hatása Komplex: Esőszenzor Mosolyszenzor Álmosság mérő Képalkotók: Kamerák különböző hullámhossz tartományban Orvosi képalkotók
11 MEMS accelerometer
12 MEMS accelerometer
13 MEMS accelerometer
Draper Tuning Fork Gyro The rotation of tines causes the Coriolis Force Forces detected through either electrostatic, electromagnetic or piezoelectric. Displacements are measured in the Comb drive 14
Inercia szenzorok Gyorsulás és giroszkóp kombinációja (6D) A differenciális jelek egyszeres (sebesség) vagy kétszeres integrálása (elmozdulás) Felbontás: milli g 15
Optikai távolság mérés Fényimpulzus repülési ideje (time-offlight) 1ns: 30cm (15 cm oda-vissza) cm-es pontosság: 66ps felbontás Sok-ezer impulzus kiadása és átlagolása esetén mérhető Egyetlen pont detektor: geodézia, építészet 16
Beágyazott elektronikus rendszerek (P-ITEEA_0033) Érzékelők II: Képérzékelő szenzor tömbök (Imagers) 2. előadás 2015. Február 18.
Áttekintés A fény mértékegységei Érzékelő típusok Elektroncsöves kamerák CCD szenzor CMOS szenzor Speciális szenzorok és kamerák Színes képérzékelés Hőszenzorok
Az ember által érzékelhető fény mértékegységei Lumen (fény teljesítmény, SI): A látható tartományra eső elektromágneses sugárzás teljesítménye Egysége: 1 lm amelynek teljesítménye: 1/683 W 1 lm = 1 cd sr = 1 lux m 2 ( sr az egység gömb felszíne adott térszögben) Candela (kibocsájtott fény sűrűsége egy adott térrész irányába, SI): 1 steradianba kibocsátott 540 nm-es fény teljesítmény Egysége: 1 cd (egy gyertya által kibocsátott fény teljesítménye a látható tartományban, 1/683 W/sr) Lux (fény sűrűség egy felületen, SI): Felületi teljesítmény sűrűség a látható tartományban Egysége: 1 lux (10 lux: egy tárgyat egy láb távolságból egy gyertyával megvilágítunk) Ablak: Egy folytonos frekvenciájú jelet mérünk egy véges frekvenciaablakon keresztül. A frekvenciaablak a szemünk vagy a műszer érzékenysége. A frekvenciaablak burkológörbéjét a műszer kvantumhatásfoka és szűrő ablaka határozza meg. Lux: egységnyi felületre eső fényenergia mennyiség, a szem spektrális érzékenységi görbéjének ablakán keresztül mérve (sötétkék).
Fényforrások Kiadott fényteljesítmény 0,66W 1,2W 1,6W 2,3W
Kísérlet: melyik fényforrás erősebb? I 1 (d 1 ) I 2 (d 2 ) d 1 d 2 I(d)~ d 2
Tipikus megvilágítás értékek Erős napsütés TV stúdió megvilágítás Napkelte, napnyugta (felhőtlen) Irodai megvilágítás Lakás megvilágítás Gyertya 30 centiről Telihold Negyed hold Holdmentes sötét (tiszta) éjszaka Holdmentes sötét (borús) éjszaka 32,000 100,000 lux 1000 lux 400 lux 200 400 lux 50-100 lux 10 lux 0.25 lux 0.01 lux 0.001 lux 0.0001 lux Két további fontos szenzor mérőszám: Egy képen belüli átfogás (intra-frame) (szem: ~80dB, 1:10,000) A szenzor teljes átfogása (inter-frame) (szem: ~120dB, 1:1,000,000)
Elektroncsöves kamerák Első elektroncsöves képérzékelők: 1910 Sorfolytonos jelkimenet Videojel Vidicon: 1930 Nagy érzékenység Kevés zaj Kis felbontás Törékeny Drága Nagy méret A túl erős fény kiégeti Ma már ritkán használt Kiszorította a CCD és a fotoelektron sokszorozó
Analóg videó jel (sor)
Analóg videó jel (teljes kép)
CCD technológia és szenzorok CCD: Charge Coupled Device 1974 Bell Laboratórium 1980-tól folyamatosan leváltja az elektroncsöves kamerákat Jelenleg a kamerák jelentős részében CCD található A CMOS hamarosan kiszorítja Alkalmazás Ipari kamerák Viszonylag kis sebességet (videó sebesség), de nagy érzékenységet és alacsony zajszintet megkövetelő ipari alkalmazások Viszonylag olcsó félvezető technológia Gyártási technológiája nem kompatibilis a CMOS technológiával
CCD érzékelők működése I Érzékelő mátrix (szemben a vidicon-nal, itt térben diszkrét pixelekből építkezik -> diszkretizálás) Beeső fotonok szabad elektronokat gerjesztenek A túl kis energiájú (infravörös) nem gerjeszt elektront A túl nagy energiájú (ultra ibolya) hamar elnyelődik, nem ér el a megfelelő mélységbe Kvantum hatásfok (tipikusan 70%) Ezek az elektronok az előre elkészített potenciál lyukakban (zsebekben) gyűlnek (2-100,000 db elektron) Zsebek túlcsordulása: Blooming
CCD érzékelők működése II Kiolvasás: Az első CCD kamerákba mechanikus shutter kellett, amely gátolta, hogy a tömb fényt kapjon kiolvasás alatt Három fázisú órajel Ma a töltés továbbító regisztersor elkülönül a fényérzékelőtől, így shutterre nincs szükség, de a fill factor csökken.
A CCD kiolvasása
Működés: Exponálás, kiolvasás A CCD tömb inicializálása (reset) Integrálás (shutter open) Kiolvasás (shutter closed) Shutter (mindig global shutter): Mechanikus (fizikailag kinyílik) Elektronikus shutter Frame transfer Interlaced Integrálási idő Min: 10-5 sec Max: 1/frame rate
A CCD tipikus hibái Reset zaj A reset feszültség, amely a cellákat inicializálja, változik cellánként Sötét áram (szivárgási áram) Ellenállások termikus zaja e nw 4kTRB ADC kvantálási hiba Smear effektus Túlcsordulás (blooming) a teljes oszlopban
Tipikus CCD kamera paraméterek Tér-időbeli felbontás: 762x526 videó kamera 30 Hz 1980x1024 HD kamera 60Hz 1280x1024 ipari kamera 15 Hz 3000x4000 digitális fényképezőgép 1 Hz 12000x12000 katonai, űrkutatási alkalmazások 0.1 Hz CCD pixel órajel: 10MHz (12 bit felbontás) 1MHz (16 bit felbontás)
CCD kamera Mivel a CCD kamerában nincsenek bent a különböző időzítők, erősítők, exponálási időt automatikusan beállító áramkörök, AD konverterek, stb, ezért csak sok chipet tartalmazó kártyákon lehet azokat integrálni. Mobil telefonok, webkamerák ezért nem is alkalmazzák.
CMOS technológia és szenzorok 60-as évektől ismert az elv: - foto-elektromos átalakítás a szilícium felületen A NASA Jet Propulsion Laboratórium - 93-ban készítették az első működő példányt CCD-CMOS érzékelők versengése - alkalmazási terület függő, hogy melyik a megfelelőbb - manapság szinte minden területen a CMOS átvette a vezető szerepet, kivéve a global shutteres ipari alkalmazásokat
Érzékelő cella architektúrák Standard CMOS technológia-> tág játéktér Néhány architektúra: Standard lineáris integráló cella (aktív pixel CMOS szenzor, ez legegyszerűbb és a legelterjedtebb) Nagydinamikájú cella Logaritmikus Több, különböző érzékenységű szenzor egy pixelben Többször indított integrálás Nagydinamikájú lokálisan adaptív szenzor ( inter-pixel ) Lokális integrálási idő kontrol Irány szelektív, vagy mozgás szelektív szenzorok Retina emuláló architektúrák Érzékelő processzorok Q-Eye, SCAMP,
Nagy dinamika, blooming Nagy dinamikájú CMOS: nincs telítésben, de alacsony a kontraszt Lineáris sensor: telítésbe kerül, de a kontrasztok jobbak. Nincs smear effect
Alap CMOS érzékelő architektúra: Active pixel sensor Működés: Reset (a kapacitások inicializálása) Integrálás (a fotoáramok az intenzitásuktól függően kisütik a kapacitásokat) Kiolvasás (sorok és oszlopok címzése) Column select multiplexer
Tipikus hibák Fix pattern zaj Oszlop offset Érzékelt Zaj Kompenzált kép
Basic CMOS sensor architecture Active pixel: Pixels can be individually addressed Region of interest (ROI) Integrated AD converter
Kiolvasás Egy vagy néhány AD-n osztozik a tömb (30-100FPs) Minden oszlopban egy AD (1,000 FPs) Multiplexelt kimenet Párhuzamos kimenet Minden cellában egy AD (10,000 FPs)
Noise floor, avagy hogyan kapunk a zajból kiemelkedő jelet Jellemző CCD (CCD47-10, e2v) Hány elektront viszi telítődésbe? [e - ] 100 000 50 000 CMOS (IBIS5) Sötét áram @ 20Celsius [e - /s] 115 (átlag) 410 (átlag) Sötét áram hány fokonként kétszereződik? 4 8 Hány elektron az LSB? 2 35 Teljes dinamika 50 000:1 1 600:1 Quantum hatásfok 80% 30% 1000 foton 800 e - (400LSB) 300 e - (8LSB)
Maximális integrálási idő (hiba kisebb mint 10%) Hőmérséklet CCD (CCD47-10, e2v) CMOS (IBIS5) -40C 200 000s (51 óra) 1810s -20C 10 000s 320s 0C 900s 56s 20C 85s 10s 40C 8s 1.8s
Rolling Shutter vs Global Shutter Gyorsan mozgó tárgyak alakja változik A kamera mozgása esetén a tárgyak elhajlanak http://www.diyphotography.net/everything-you-wanted-to-know-about-rolling-shutter/ beginning of the frame end of the frame captured image 43
Speciális CMOS szenzorok: Logaritmikus működés A dióda árama egy logaritmikus ellenálláson folyik át Időben folytonos jel
Speciális CMOS szenzorok: Több, különböző érzékenységű szenzor egy pixelben Területtel arányos érzékenység Erős megvilágítás -> két nagyobb telítésbe megy, kicsi mér Közepes megvilágítás -> legnagyobb telítésbe megy, kicsin még alig van jel Gyenge megvilágítás -> két kisebb alig van jel, nagy mér Megjelenítéshez utóprocesszálás szükséges Pixel méret, tömb méret trade-off Aliasing u Az egyes szub-pixelek karakterisztikái, egy adott megvilágításnál. t
Speciális CMOS szenzorok: Többször indított integrálás A fényesebb helyeken újraindítjuk az integrálást, hogy elkerüljük a telítődést reset Lineáris integráló szenzor 2 bit memória u Reset szint komparátor u m u m ½T ¾T T
Speciális CMOS szenzorok: Nagydinamikájú látvány Integráló típusú lineáris kamerával felvett képsorozat: (int. idő:1ms230ms) 16 bites képet nem lehet megjeleníteni (display 7-8 bit) Logaritmikusan tömörített kép (szimuláció)
Lokálisan adaptív nagydinamikájú szenzor Pixelenként állítható integrálási idő (szimuláció)
Speciális CMOS szenzorok: Locally Adaptive Sensor Array: Measurement Results Strongly, asymmetrically illuminated face captured by the sensor array with global integration time control The same image captured by the sensor array with local integration time control Integration time map (controls local adaptation)
Speciális CMOS szenzorok: Irány szelektív, vagy mozgás szelektív szenzorok 20% pontos elmozdulás szenzor: optikai egér Motion blur kiküszöbölése
CMOS kamera felépítése Néhány olcsó elemből összerakható egy digitális kamera Mobiltelefon, webkamera, HD video kamera mind CMOS CMOS szenzor, ADC-vel processzor memória kommunikáció
Tipikus CMOS kamera paraméterek Térbeli felbontás 128x128-tól 4000x6000-ig Pixel órajel: 20-160 Mpixel/sec Ablakozhatóság Frame-rate arányos az ablakmérettel Frame-rate (időbeli felbontás) 15-1000-ig ablakozás nélkül Akár 10,000 ablakozva Pontosság (lineáris integráló) 6-10 bit
Csillagfény erősítésű kamerák (Image intensifyers) 50,000-szeres erősítés Nappal: Tized nanoszekundumos gating (cm pontos távolság mérés) Közel megapixeles felbontás Modern képerősítő
Időben : Színes szenzor technikák - színcsatornára bontás Szín kerék, color wheel kamera Térben Bayern pattern Szenzor szám növelés 3 szenzoros rendszer (3 CCD camera) CCD CCD CCD
Színes kép interpoláció Bayern patterns megoldásnál Mind a CMOS, mind a CCD kamera ezt használja (kivéve a 3CCD)
Vertikális színszűrő szenzor tömb egy új technológiai irányvonal: Foveon A Foveon cég piacon van. Működő szabadalmaztatott technológia, versenytársa a másik kéttechnológiának.
Hőszenzorok Nem szilícium bázisú hőszenzorok MEMs alapú szenzorok Nano-technológiás IR szenzorok
Infravörös tartomány felfedezése William Herschel - az Uranus bolygó felfedezőjének - kísérlete (1800) A színek hőmérséklete nő az ibolyától a vörösig, és a vörösön túl is!
Az infravörös tartomány MWIR (5-8mm) Near IR (0.8-2mm) Near infrared Short wave IR (SWIR) Middle wave IR (MWIR) Long wave IR (LWIR) 0.8-2mm 2-5mm 5-8mm 8-12mm LWIR (8-12mm)
Nem szilícium bázisú érzékelők Félvezetők más anyagokból Pl: InGaAs Hűtött szenzorok
Mikro-bolométer Standard CMOS technológia Vékony amorf szilícium lapkát ér a fény Melegedés hatására változik az ellenállása Akár megapixeles felbontás Nem hűtött Olcsó, manapság elterjedt 25
Nanoantenna detektor Jelenleg még csak laboratóriumban A fény hullámtermészetét használja ki THz-es frekvencia, szilíciumon nem kezelhető Detektoros rádió pixelenként Nem hűtött Nano MOM tranzisztor 1 mm
Optikai távolságmérő tömb 63 Kinect
Canesta távolság mérő tömb 160x120-as tömb Minden pixel két detektorból áll A detektorok a megvilágítás fázisában vannak kapcsolva (ellentétes fázisban) 64
Canesta távolság mérő tömb Aktív pulzusos megvilágítás A detektorok a megvilágítás fázisában vannak kapcsolva (ellentétes fázisban) Sok ezer pulzus integrálása Detektorok DC szintje: háttér világítás Detektorok differenciája: arányos az objektum távolságával 65
66
Járdaszegély detekció Automatikus parkolás 67