Áttekintés Beágyazott elektronikus rendszerek (P-ITEEA_0033) Érzékelők I: Fizikai világ érzékelése Fizikai szenzorok 2. előadás 2016. Február 17. A fizikai világ érzékelése Szenzorok jellemzői Affin szenzor modell Mérési tartomány Dinamika tartomány Kvantálás Zaj Mintavételezés Fizikai szenzorok Mozgás Távolság Embedded system Érzékelés power Embedded system Electronic hw components: Processor Memory Other circ. comp. Interface to physical world sensors Software: Application Real-time OS actuators Communication user host machine Internet Érzékelő: kapcsolat a fizikai világ és a kiber tér között A mért érték lehet fizikai (hőmérséklet), kémiai (ph), biológia (egyedszám) vagy származtatott (esőszenzor) Szenzor kimenete: Skalár Vektor Mátrix Physical world Szenzor modell Lineáris szenzor (pl. feszültségmérő) f(x(t)) = a x(t) Affin szenzor (pl. hőmérő) f(x(t)) = a x(t)+b ahol x(t): a fizikai mennyiség f(x(t)): a szenzor által mért érték a,b: konstans Nemlineáris szenzor Logaritmikus Utólag linearizált Mérési- és dinamika tartomány Mérési tartomány A legkisebb és a legnagyobb mérhető érték közti tartomány Dinamika tartomány A legkisebb és a legnagyobb mérhető érték hányadosa ahol D: dinamika tartomány L, H: alsó és felső mérhető értékek (általában 0 és 1) p: felbontás (két szomszédos mérhető mennyiség különbsége) 1
Kvantálás Kvantálás A mérhető fizikai mennyiséget először egy analóg szenzor analóg feszültséggé alakítja (folytonos megfeleltetés) Ezt követően egy AD konverter digitális jelet készít n bites szenzor dinamika tartománya: = Szenzor pontossága és zaja Pontosság A szenzor relatív pontossága a mért értéktől függ A kvantálási hiba ±0,5 bit A skála legalján 100% hiba A skála tetején ez 1/2 n (n bites szenzornál) Zaj A szenzor által mért érték és a valós érték közti különbség Lehet: Konstans Időbeli Függ az éppen mért értéktől (munkapont) Szenzor beállításaitól Mintavétel Szenzorok típusai Kvantálás Az analóg érzékelő folyamatosan követi a jelet (ha a sávszélessége nagyobb) Az AD konverter egy-egy adott pillanatban vesz mintát Gyorsan változó jelnél erre figyelni kell! Nyquist kritérium! Fizikai: Feszültség Hőmérséklet Fényerő Mágnesesség Ellenállás Fogyasztás Erő Hang Gyorsulás Elfordulás Távolság Kémiai: ph Anyag koncentráció Összetétel Biológiai: Káros anyag tartalom Fajta meghatározás Sugárzás kártékony hatása Komplex: Esőszenzor Mosolyszenzor Álmosság mérő Képalkotók: Kamerák különböző hullámhossz tartományban Orvosi képalkotók (Ultrahang, PET, Röntgen, CT, MR) MEMS accelerometer MEMS accelerometer 11 12 2
MEMS accelerometer Draper Tuning Fork Gyro 13 The rotation of tines causes the Coriolis Force Forces detected through either electrostatic, electromagnetic or piezoelectric. Displacements are measured in the Comb drive 14 Inercia szenzorok Gyorsulás és giroszkóp kombinációja (6D) A differenciális jelek egyszeres (sebesség) vagy kétszeres integrálása (elmozdulás) Felbontás: milli g Optikai távolság mérés Fényimpulzus repülési ideje (time-offlight) 1ns: 30cm (15 cm oda-vissza) cm-es pontosság: 66ps felbontás Sok-ezer impulzus kiadása és átlagolása esetén mérhető Egyetlen pont detektor: geodézia, építészet 15 16 Áttekintés Beágyazott elektronikus rendszerek (P-ITEEA_0033) Érzékelők II: Képérzékelő szenzor tömbök (Imagers) 2. előadás 2016. Február 17. A fény mértékegységei Érzékelő típusok Elektroncsöves kamerák CCD szenzor CMOS szenzor Speciális szenzorok és kamerák Színes képérzékelés Hőszenzorok 3
Az ember által érzékelhető fény mértékegységei Lumen (megvilágítás fotometriai mértéke, SI): A látható tartományra eső elektromágneses sugárzás teljesítménye Egysége: 1 lm amelynek radiometriai teljesítménye: 1/683 W 1 lm = 1 cd sr = 1 lux m 2 ( sr az egység gömb felszíne adott térszögben) Candela (fényerősség egy térszögben, SI alapmértékegység): Pontszerű forrásból kibocsájtott fényerősség egy térszögbe Egysége: 1 cd (egy gyertya által kibocsátott fény teljesítménye a látható tartományban, 1/683 W/sr) Lux (fényáram, SI): Felületi teljesítmény sűrűség a látható tartományban Egysége: 1 lux (10 lux: egy tárgyat egy láb távolságból egy gyertyával megvilágítunk) Ablak: Egy folytonos frekvenciájú jelet mérünk egy véges frekvenciaablakon keresztül. A frekvenciaablak a szemünk vagy a műszer érzékenysége. A frekvenciaablak burkológörbéjét a műszer kvantumhatásfoka és szűrő ablaka határozza meg. Lux: egységnyi felületre eső fényenergia mennyiség, a szem spektrális érzékenységi görbéjének ablakán keresztül mérve (sötétkék). Kiadott radiometrikus fényteljesítmény 0,66W 1,2W 1,6W 2,3W Fényforrások Kísérlet: melyik fényforrás erősebb? I 1 (d 1 ) I 2 (d 2 ) d 1 d 2 I(d)~ d 2 Erős napsütés Tipikus megvilágítás értékek TV stúdió megvilágítás Napkelte, napnyugta (felhőtlen) Irodai megvilágítás Lakás megvilágítás Gyertya 30 centiről Telihold Negyed hold Holdmentes sötét (tiszta) éjszaka Holdmentes sötét (borús) éjszaka 32,000 100,000 lux 1000 lux 400 lux 200 400 lux 50-100 lux 10 lux 0.25 lux 0.01 lux 0.001 lux 0.0001 lux Két további fontos szenzor mérőszám: Egy képen belüli átfogás (intra-frame) (szem: ~80dB, 1:10,000) A szenzor teljes átfogása (inter-frame) (szem: ~120dB, 1:1,000,000) Elektroncsöves kamerák Analóg videó jel (sor) Első elektroncsöves képérzékelők: 1910 Sorfolytonos jelkimenet Videojel Vidicon: 1930 Nagy érzékenység Kevés zaj Kis felbontás Törékeny Drága Nagy méret A túl erős fény kiégeti Ma már ritkán használt Kiszorította a CCD és a fotoelektron sokszorozó 4
Analóg videó jel (teljes kép) CCD technológia és szenzorok CCD: Charge Coupled Device 1974 Bell Laboratórium 1980-tól folyamatosan leváltja az elektroncsöves kamerákat Jelenleg a kamerák jelentős részében CCD található A CMOS hamarosan kiszorítja Alkalmazás Ipari kamerák Viszonylag kis sebességet (videó sebesség), de nagy érzékenységet és alacsony zajszintet megkövetelő ipari alkalmazások Viszonylag olcsó félvezető technológia Gyártási technológiája nem kompatibilis a CMOS technológiával CCD érzékelők működése I CCD érzékelők működése II Érzékelő mátrix (szemben a vidicon-nal, itt térben diszkrét pixelekből építkezik -> diszkretizálás) Beeső fotonok szabad elektronokat gerjesztenek A túl kis energiájú (infravörös) nem gerjeszt elektront A túl nagy energiájú (ultra ibolya) hamar elnyelődik, nem ér el a megfelelő mélységbe Kvantum hatásfok tipikusan 70% (egy fotonból hány elektron lesz?) Ezek az elektronok az előre elkészített potenciál lyukakban (zsebekben) gyűlnek (2-100,000 db elektron) Zsebek túlcsordulása: Blooming Kiolvasás: Három fázisú órajel Az első CCD kamerákba mechanikus shutter kellett, amely gátolta, hogy a tömb fényt kapjon kiolvasás alatt Ma a töltés továbbító regisztersor elkülönül a fényérzékelőtől, így shutterre nincs szükség, de a fill factor csökken. A CCD kiolvasása Exponálás, kiolvasás Működés: A CCD tömb inicializálása (reset) Integrálás (shutter open) Kiolvasás (shutter closed) Shutter (mindig global shutter): Mechanikus (fizikailag kinyílik) Elektronikus shutter Frame transfer Interlaced Integrálási idő Min: 10-5 sec Max: 1/frame rate 5
A CCD tipikus hibái Tipikus CCD kamera paraméterek Reset zaj A reset feszültség, amely a cellákat inicializálja, változik cellánként Sötét áram (szivárgási áram) Ellenállások termikus zaja ADC kvantálási hiba Smear effektus Túlcsordulás (blooming) a teljes oszlopban e nw 4kTRB Tér-időbeli felbontás: 762x526 videó kamera 30 Hz 1980x1024 HD kamera 60Hz 1280x1024 ipari kamera 15 Hz 3000x4000 digitális fényképezőgép 1 Hz 12000x12000 katonai, űrkutatási alkalmazások 0.1 Hz CCD pixel órajel: 10MHz (12 bit felbontás) 1MHz (16 bit felbontás) CCD kamera Mivel a CCD kamerában nincsenek bent a különböző időzítők, erősítők, exponálási időt automatikusan beállító áramkörök, AD konverterek, stb, ezért csak sok chipet tartalmazó kártyákon lehet azokat integrálni. Mobil telefonok, webkamerák ezért nem is alkalmazzák. CMOS technológia és szenzorok 60-as évektől ismert az elv: - foto-elektromos átalakítás a szilícium felületen A NASA Jet Propulsion Laboratórium - 93-ban készítették az első működő példányt CCD-CMOS érzékelők versengése - alkalmazási terület függő, hogy melyik a megfelelőbb - manapság szinte minden területen a CMOS átvette a vezető szerepet, kivéve a global shutteres ipari alkalmazásokat Érzékelő cella architektúrák Nagy dinamika, blooming Standard CMOS technológia-> tág játéktér Néhány architektúra: Standard lineáris integráló cella (aktív pixel CMOS szenzor, ez legegyszerűbb és a legelterjedtebb) Nagydinamikájú cella Logaritmikus Több, különböző érzékenységű szenzor egy pixelben Többször indított integrálás Nagydinamikájú lokálisan adaptív szenzor ( inter-pixel ) Lokális integrálási idő kontrol Irány szelektív, vagy mozgás szelektív szenzorok Retina emuláló architektúrák Érzékelő processzorok Q-Eye, SCAMP, Nagy dinamikájú CMOS: nincs telítésben, de alacsony a kontraszt Lineáris sensor: telítésbe kerül, de a kontrasztok jobbak. Nincs smear effect 6
Alap CMOS érzékelő architektúra: Active pixel sensor Működés: Reset (a kapacitások inicializálása) Integrálás (a fotoáramok az intenzitásuktól függően kisütik a kapacitásokat) Kiolvasás (sorok és oszlopok címzése) Tipikus hibák Fix pattern zaj Oszlop offset Érzékelt Zaj Kompenzált kép Column select multiplexer Basic CMOS sensor architecture Active pixel: Pixels can be individually addressed Region of interest (ROI) Integrated AD converter Kiolvasás Egy vagy néhány AD-n osztozik a tömb (30-100FPs) Minden oszlopban egy AD (1,000 FPs) Multiplexelt kimenet Párhuzamos kimenet Minden cellában egy AD (10,000 FPs) Noise floor, avagy hogyan kapunk a zajból kiemelkedő jelet Maximális integrálási idő (hiba kisebb mint 10%) Jellemző CCD (CCD47-10, e2v) Hány elektront viszi telítődésbe? [e - ] 100 000 50 000 CMOS (IBIS5) Hőmérséklet CCD (CCD47-10, e2v) CMOS (IBIS5) Sötét áram @ 20Celsius [e - /s] 115 (átlag) 410 (átlag) Sötét áram hány fokonként kétszereződik? 4 8 Hány elektron az LSB? 2 35 Teljes dinamika 50 000:1 1 600:1 Quantum hatásfok 80% 30% 1000 foton 800 e - (400LSB) 300 e - (8LSB) -40C 200 000s (51 óra) 1810s -20C 10 000s 320s 0C 900s 56s 20C 85s 10s 40C 8s 1.8s 7
Rolling Shutter vs Global Shutter Gyorsan mozgó tárgyak alakja változik A kamera mozgása esetén a tárgyak elhajlanak http://www.diyphotography.net/everything-you-wanted-to-know-about-rolling-shutter/ Speciális CMOS szenzorok: Logaritmikus működés A dióda árama egy logaritmikus ellenálláson folyik át Időben folytonos jel beginning of the frame end of the frame captured image 43 Speciális CMOS szenzorok: Több, különböző érzékenységű szenzor egy pixelben Területtel arányos érzékenység Erős megvilágítás -> két nagyobb telítésbe megy, kicsi mér Közepes megvilágítás -> legnagyobb telítésbe megy, kicsin még alig van jel Gyenge megvilágítás -> két kisebb alig van jel, nagy mér Megjelenítéshez utóprocesszálás szükséges Pixel méret, tömb méret trade-off Aliasing u Az egyes szub-pixelek karakterisztikái, egy adott megvilágításnál. Speciális CMOS szenzorok: Többször indított integrálás A fényesebb helyeken újraindítjuk az integrálást, hogy elkerüljük a telítődést Lineáris integráló szenzor u m reset komparátor 2 bit memória u m u ½T Reset szint ¾T T t Integráló típusú lineáris kamerával felvett képsorozat: (int. idő:1ms- 230ms) 16 bites képet nem lehet megjeleníteni (display 7-8 bit) Speciális CMOS szenzorok: Nagydinamikájú látvány Lokálisan adaptív nagydinamikájú szenzor Logaritmikusan tömörített kép (szimuláció) Pixelenként állítható integrálási idő (szimuláció) 8
Lokálisan adaptív nagydinamikájú szenzor dinamikus adaptációja Speciális CMOS szenzorok: Locally Adaptive Sensor Array: Measurement Results szimuláció Strongly, asymmetrically The same image captured illuminated face captured by the sensor array with by the sensor array with global local integration time integration time control control Integration time map (controls local adaptation) Speciális CMOS szenzorok: Irány szelektív, vagy mozgás szelektív szenzorok 20% pontos elmozdulás szenzor: optikai egér Motion blur kiküszöbölése CMOS kamera felépítése Néhány olcsó elemből összerakható egy digitális kamera Mobiltelefon, webkamera, HD video kamera mind CMOS CMOS szenzor, ADC-vel processzor memória kommunikáció Tipikus CMOS kamera paraméterek Térbeli felbontás 128x128-tól 4000x6000-ig Pixel órajel: 20-160 Mpixel/sec Ablakozhatóság Frame-rate arányos az ablakmérettel Frame-rate (időbeli felbontás) 15-1000-ig ablakozás nélkül Akár 10,000 ablakozva Pontosság (lineáris integráló) 6-10 bit Csillagfény erősítésű kamerák (Image intensifyers) 50,000-szeres erősítés Nappal: Tized nanoszekundumos gating (cm pontos távolság mérés) Közel megapixeles felbontás Modern képerősítő 9
Színes szenzor technikák - színcsatornára bontás Időben : Szín kerék, color wheel Térben Bayern pattern kamera Színes kép interpoláció Bayern patterns megoldásnál Mind a CMOS, mind a CCD kamera ezt használja (kivéve a 3CCD) Szenzor szám növelés 3 szenzoros rendszer (3 CCD camera) CCD CCD CCD Vertikális színszűrő szenzor tömb egy új technológiai irányvonal: Foveon Hőszenzorok Nem szilícium bázisú hőszenzorok MEMs alapú szenzorok Nano-technológiás IR szenzorok A Foveon cég piacon van. Működő szabadalmaztatott technológia, versenytársa a másik kéttechnológiának. Infravörös tartomány felfedezése Az infravörös tartomány William Herschel - az Uranus bolygó felfedezőjének - kísérlete (1800) MWIR (5-8mm) Near IR (0.8-2mm) A színek hőmérséklete nő az ibolyától a vörösig, és a vörösön túl is! Near infrared Short wave IR (SWIR) Middle wave IR (MWIR) Long wave IR (LWIR) 0.8-2mm 2-5mm 5-8mm 8-12mm LWIR (8-12mm) 10
Nem szilícium bázisú érzékelők Mikro-bolométer Félvezetők más anyagokból Pl: InGaAs Hűtött szenzorok Standard CMOS technológia Vékony amorf szilícium lapkát ér a fény Melegedés hatására változik az ellenállása Akár megapixeles felbontás Nem hűtött Olcsó, manapság elterjedt 25 Nanoantenna detektor Jelenleg még csak laboratóriumban A fény hullámtermészetét használja ki THz-es frekvencia, szilíciumon nem kezelhető Detektoros rádió pixelenként Nem hűtött Nano MOM tranzisztor 1 mm Optikai távolságmérő tömb 64 Kinect Canesta távolság mérő tömb Canesta távolság mérő tömb 160x120-as tömb Minden pixel két detektorból áll A detektorok a megvilágítás fázisában vannak kapcsolva (ellentétes fázisban) 65 Aktív pulzusos megvilágítás A detektorok a megvilágítás fázisában vannak kapcsolva (ellentétes fázisban) Sok ezer pulzus integrálása Detektorok DC szintje: háttér világítás Detektorok differenciája: arányos az objektum távolságával 66 11
Járdaszegély detekció 67 68 Automatikus parkolás 12