Beágyazott elektronikus rendszerek (P-ITEEA_0033) Érzékelők I: Fizikai világ érzékelése Fizikai szenzorok. 2. előadás Február 18.

Átírás

1 Beágyazott elektronikus rendszerek (P-ITEEA_0033) Érzékelők I: Fizikai világ érzékelése Fizikai szenzorok 2. előadás Február 18.

2 Áttekintés A fizikai világ érzékelése Szenzorok jellemzői Affin szenzor modell Mérési tartomány Dinamika tartomány Kvantálás Zaj Mintavételezés Fizikai szenzorok Mozgás Távolság

3 Embedded system power Embedded system Electronic hw components: Processor Memory Other circ. comp. Software: Application Real-time OS Communication user host machine Interface to physical world Internet sensors actuators Physical world

4 Érzékelés Érzékelő: kapcsolat a fizikai világ és a kiber tér között A mért érték lehet fizikai (hőmérséklet), kémiai (ph), biológia (egyedszám) vagy származtatott (esőszenzor) Szenzor kimenete: Skalár Vektor Mátrix

5 Lineáris szenzor (pl. feszültségmérő) f(x(t)) = a x(t) Affin szenzor (pl. hőmérő) f(x(t)) = a x(t)+b ahol x(t): a fizikai mennyiség f(x(t)): a szenzor által mért érték a,b: konstans Nemlineáris szenzor Logaritmikus Utólag linearizált Szenzor modell

6 Mérési- és dinamika tartomány Mérési tartomány A legkisebb és a legnagyobb mérhető érték közti tartomány Dinamika tartomány A legkisebb és a legnagyobb mérhető érték hányadosa ahol D: dinamika tartomány L, H: alsó és felső mérhető értékek (általában 0 és 1) p: felbontás (két szomszédos mérhető mennyiség különbsége)

7 Kvantálás Kvantálás A mérhető fizikai mennyiséget először egy analóg szenzor analóg feszültséggé alakítja (folytonos megfeleltetés) Ezt követően egy AD konverter digitális jelet készít n bites szenzor dinamika tartománya:

8 Szenzor pontossága és zaja Pontosság Zaj A szenzor relatív pontossága a mért értéktől függ A kvantálási hiba ±0,5 bit A skála legalján 100% hiba A skála tetején ez 1/2 n (n bites szenzornál) A szenzor által mért érték és a valós érték közti különbség Lehet: Konstans Időbeli Függ az éppen mért értéktől (munkapont) Szenzor beállításaitól

9 Mintavétel Kvantálás Az analóg érzékelő folyamatosan követi a jelet (ha a sávszélessége nagyobb) Az AD konverter egy-egy adott pillanatban vesz mintát Gyorsan változó jelnél erre figyelni kell! Nyquist kritérium!

10 Szenzorok típusai Fizikai: Feszültség Hőmérséklet Fényerő Mágnesesség Ellenállás Fogyasztás Tömeg Hang Gyorsulás Elfordulás Távolság Kémiai: ph Anyag koncentráció Összetétel Biológiai: Káros anyag tartalom Fajta meghatározás Sugárzás kártékony hatása Komplex: Esőszenzor Mosolyszenzor Álmosság mérő Képalkotók: Kamerák különböző hullámhossz tartományban Orvosi képalkotók

11 11 MEMS accelerometer

12 12 MEMS accelerometer

13 13 MEMS accelerometer

14 Draper Tuning Fork Gyro The rotation of tines causes the Coriolis Force Forces detected through either electrostatic, electromagnetic or piezoelectric. Displacements are measured in the Comb drive 14

15 Inercia szenzorok Gyorsulás és giroszkóp kombinációja (6D) A differenciális jelek egyszeres (sebesség) vagy kétszeres integrálása (elmozdulás) Felbontás: milli g 15

16 Optikai távolság mérés Fényimpulzus repülési ideje (time-offlight) 1ns: 30cm (15 cm oda-vissza) cm-es pontosság: 66ps felbontás Sok-ezer impulzus kiadása és átlagolása esetén mérhető Egyetlen pont detektor: geodézia, építészet 16

17 Beágyazott elektronikus rendszerek (P-ITEEA_0033) Érzékelők II: Képérzékelő szenzor tömbök (Imagers) 2. előadás Február 18.

18 Áttekintés A fény mértékegységei Érzékelő típusok Elektroncsöves kamerák CCD szenzor CMOS szenzor Speciális szenzorok és kamerák Színes képérzékelés Hőszenzorok

19 Az ember által érzékelhető fény mértékegységei Lumen (fény teljesítmény, SI): A látható tartományra eső elektromágneses sugárzás teljesítménye Egysége: 1 lm amelynek teljesítménye: 1/683 W 1 lm = 1 cd sr = 1 lux m 2 ( sr az egység gömb felszíne adott térszögben) Candela (kibocsájtott fény sűrűsége egy adott térrész irányába, SI): 1 steradianba kibocsátott 540 nm-es fény teljesítmény Egysége: 1 cd (egy gyertya által kibocsátott fény teljesítménye a látható tartományban, 1/683 W/sr) Lux (fény sűrűség egy felületen, SI): Felületi teljesítmény sűrűség a látható tartományban Egysége: 1 lux (10 lux: egy tárgyat egy láb távolságból egy gyertyával megvilágítunk) Ablak: Egy folytonos frekvenciájú jelet mérünk egy véges frekvenciaablakon keresztül. A frekvenciaablak a szemünk vagy a műszer érzékenysége. A frekvenciaablak burkológörbéjét a műszer kvantumhatásfoka és szűrő ablaka határozza meg. Lux: egységnyi felületre eső fényenergia mennyiség, a szem spektrális érzékenységi görbéjének ablakán keresztül mérve (sötétkék).

20 Fényforrások Kiadott fényteljesítmény 0,66W 1,2W 1,6W 2,3W

21 Kísérlet: melyik fényforrás erősebb? I 1 (d 1 ) I 2 (d 2 ) d 1 d 2 I(d)~ d 2

22 Tipikus megvilágítás értékek Erős napsütés TV stúdió megvilágítás Napkelte, napnyugta (felhőtlen) Irodai megvilágítás Lakás megvilágítás Gyertya 30 centiről Telihold Negyed hold Holdmentes sötét (tiszta) éjszaka Holdmentes sötét (borús) éjszaka 32, ,000 lux 1000 lux 400 lux lux lux 10 lux 0.25 lux 0.01 lux lux lux Két további fontos szenzor mérőszám: Egy képen belüli átfogás (intra-frame) (szem: ~80dB, 1:10,000) A szenzor teljes átfogása (inter-frame) (szem: ~120dB, 1:1,000,000)

23 Elektroncsöves kamerák Első elektroncsöves képérzékelők: 1910 Sorfolytonos jelkimenet Videojel Vidicon: 1930 Nagy érzékenység Kevés zaj Kis felbontás Törékeny Drága Nagy méret A túl erős fény kiégeti Ma már ritkán használt Kiszorította a CCD és a fotoelektron sokszorozó

24 Analóg videó jel (sor)

25 Analóg videó jel (teljes kép)

26 CCD technológia és szenzorok CCD: Charge Coupled Device 1974 Bell Laboratórium 1980-tól folyamatosan leváltja az elektroncsöves kamerákat Jelenleg a kamerák jelentős részében CCD található A CMOS hamarosan kiszorítja Alkalmazás Ipari kamerák Viszonylag kis sebességet (videó sebesség), de nagy érzékenységet és alacsony zajszintet megkövetelő ipari alkalmazások Viszonylag olcsó félvezető technológia Gyártási technológiája nem kompatibilis a CMOS technológiával

27 CCD érzékelők működése I Érzékelő mátrix (szemben a vidicon-nal, itt térben diszkrét pixelekből építkezik -> diszkretizálás) Beeső fotonok szabad elektronokat gerjesztenek A túl kis energiájú (infravörös) nem gerjeszt elektront A túl nagy energiájú (ultra ibolya) hamar elnyelődik, nem ér el a megfelelő mélységbe Kvantum hatásfok (tipikusan 70%) Ezek az elektronok az előre elkészített potenciál lyukakban (zsebekben) gyűlnek (2-100,000 db elektron) Zsebek túlcsordulása: Blooming

28 CCD érzékelők működése II Kiolvasás: Az első CCD kamerákba mechanikus shutter kellett, amely gátolta, hogy a tömb fényt kapjon kiolvasás alatt Három fázisú órajel Ma a töltés továbbító regisztersor elkülönül a fényérzékelőtől, így shutterre nincs szükség, de a fill factor csökken.

29 A CCD kiolvasása

30 Működés: Exponálás, kiolvasás A CCD tömb inicializálása (reset) Integrálás (shutter open) Kiolvasás (shutter closed) Shutter (mindig global shutter): Mechanikus (fizikailag kinyílik) Elektronikus shutter Frame transfer Interlaced Integrálási idő Min: 10-5 sec Max: 1/frame rate

31 A CCD tipikus hibái Reset zaj A reset feszültség, amely a cellákat inicializálja, változik cellánként Sötét áram (szivárgási áram) Ellenállások termikus zaja e nw 4kTRB ADC kvantálási hiba Smear effektus Túlcsordulás (blooming) a teljes oszlopban

32 Tipikus CCD kamera paraméterek Tér-időbeli felbontás: 762x526 videó kamera 30 Hz 1980x1024 HD kamera 60Hz 1280x1024 ipari kamera 15 Hz 3000x4000 digitális fényképezőgép 1 Hz 12000x12000 katonai, űrkutatási alkalmazások 0.1 Hz CCD pixel órajel: 10MHz (12 bit felbontás) 1MHz (16 bit felbontás)

33 CCD kamera Mivel a CCD kamerában nincsenek bent a különböző időzítők, erősítők, exponálási időt automatikusan beállító áramkörök, AD konverterek, stb, ezért csak sok chipet tartalmazó kártyákon lehet azokat integrálni. Mobil telefonok, webkamerák ezért nem is alkalmazzák.

34 CMOS technológia és szenzorok 60-as évektől ismert az elv: - foto-elektromos átalakítás a szilícium felületen A NASA Jet Propulsion Laboratórium - 93-ban készítették az első működő példányt CCD-CMOS érzékelők versengése - alkalmazási terület függő, hogy melyik a megfelelőbb - manapság szinte minden területen a CMOS átvette a vezető szerepet, kivéve a global shutteres ipari alkalmazásokat

35 Érzékelő cella architektúrák Standard CMOS technológia-> tág játéktér Néhány architektúra: Standard lineáris integráló cella (aktív pixel CMOS szenzor, ez legegyszerűbb és a legelterjedtebb) Nagydinamikájú cella Logaritmikus Több, különböző érzékenységű szenzor egy pixelben Többször indított integrálás Nagydinamikájú lokálisan adaptív szenzor ( inter-pixel ) Lokális integrálási idő kontrol Irány szelektív, vagy mozgás szelektív szenzorok Retina emuláló architektúrák Érzékelő processzorok Q-Eye, SCAMP,

36 Nagy dinamika, blooming Nagy dinamikájú CMOS: nincs telítésben, de alacsony a kontraszt Lineáris sensor: telítésbe kerül, de a kontrasztok jobbak. Nincs smear effect

37 Alap CMOS érzékelő architektúra: Active pixel sensor Működés: Reset (a kapacitások inicializálása) Integrálás (a fotoáramok az intenzitásuktól függően kisütik a kapacitásokat) Kiolvasás (sorok és oszlopok címzése) Column select multiplexer

38 Tipikus hibák Fix pattern zaj Oszlop offset Érzékelt Zaj Kompenzált kép

39 Basic CMOS sensor architecture Active pixel: Pixels can be individually addressed Region of interest (ROI) Integrated AD converter

40 Kiolvasás Egy vagy néhány AD-n osztozik a tömb (30-100FPs) Minden oszlopban egy AD (1,000 FPs) Multiplexelt kimenet Párhuzamos kimenet Minden cellában egy AD (10,000 FPs)

41 Noise floor, avagy hogyan kapunk a zajból kiemelkedő jelet Jellemző CCD (CCD47-10, e2v) Hány elektront viszi telítődésbe? [e - ] CMOS (IBIS5) Sötét 20Celsius [e - /s] 115 (átlag) 410 (átlag) Sötét áram hány fokonként kétszereződik? 4 8 Hány elektron az LSB? 2 35 Teljes dinamika : :1 Quantum hatásfok 80% 30% 1000 foton 800 e - (400LSB) 300 e - (8LSB)

42 Maximális integrálási idő (hiba kisebb mint 10%) Hőmérséklet CCD (CCD47-10, e2v) CMOS (IBIS5) -40C s (51 óra) 1810s -20C s 320s 0C 900s 56s 20C 85s 10s 40C 8s 1.8s

43 Rolling Shutter vs Global Shutter Gyorsan mozgó tárgyak alakja változik A kamera mozgása esetén a tárgyak elhajlanak beginning of the frame end of the frame captured image 43

44 Speciális CMOS szenzorok: Logaritmikus működés A dióda árama egy logaritmikus ellenálláson folyik át Időben folytonos jel

45 Speciális CMOS szenzorok: Több, különböző érzékenységű szenzor egy pixelben Területtel arányos érzékenység Erős megvilágítás -> két nagyobb telítésbe megy, kicsi mér Közepes megvilágítás -> legnagyobb telítésbe megy, kicsin még alig van jel Gyenge megvilágítás -> két kisebb alig van jel, nagy mér Megjelenítéshez utóprocesszálás szükséges Pixel méret, tömb méret trade-off Aliasing u Az egyes szub-pixelek karakterisztikái, egy adott megvilágításnál. t

46 Speciális CMOS szenzorok: Többször indított integrálás A fényesebb helyeken újraindítjuk az integrálást, hogy elkerüljük a telítődést reset Lineáris integráló szenzor 2 bit memória u Reset szint komparátor u m u m ½T ¾T T

47 Speciális CMOS szenzorok: Nagydinamikájú látvány Integráló típusú lineáris kamerával felvett képsorozat: (int. idő:1ms230ms) 16 bites képet nem lehet megjeleníteni (display 7-8 bit) Logaritmikusan tömörített kép (szimuláció)

48 Lokálisan adaptív nagydinamikájú szenzor Pixelenként állítható integrálási idő (szimuláció)

49 Speciális CMOS szenzorok: Locally Adaptive Sensor Array: Measurement Results Strongly, asymmetrically illuminated face captured by the sensor array with global integration time control The same image captured by the sensor array with local integration time control Integration time map (controls local adaptation)

50 Speciális CMOS szenzorok: Irány szelektív, vagy mozgás szelektív szenzorok 20% pontos elmozdulás szenzor: optikai egér Motion blur kiküszöbölése

51 CMOS kamera felépítése Néhány olcsó elemből összerakható egy digitális kamera Mobiltelefon, webkamera, HD video kamera mind CMOS CMOS szenzor, ADC-vel processzor memória kommunikáció

52 Tipikus CMOS kamera paraméterek Térbeli felbontás 128x128-tól 4000x6000-ig Pixel órajel: Mpixel/sec Ablakozhatóság Frame-rate arányos az ablakmérettel Frame-rate (időbeli felbontás) ig ablakozás nélkül Akár 10,000 ablakozva Pontosság (lineáris integráló) 6-10 bit

53 Csillagfény erősítésű kamerák (Image intensifyers) 50,000-szeres erősítés Nappal: Tized nanoszekundumos gating (cm pontos távolság mérés) Közel megapixeles felbontás Modern képerősítő

54 Időben : Színes szenzor technikák - színcsatornára bontás Szín kerék, color wheel kamera Térben Bayern pattern Szenzor szám növelés 3 szenzoros rendszer (3 CCD camera) CCD CCD CCD

55 Színes kép interpoláció Bayern patterns megoldásnál Mind a CMOS, mind a CCD kamera ezt használja (kivéve a 3CCD)

56 Vertikális színszűrő szenzor tömb egy új technológiai irányvonal: Foveon A Foveon cég piacon van. Működő szabadalmaztatott technológia, versenytársa a másik kéttechnológiának.

57 Hőszenzorok Nem szilícium bázisú hőszenzorok MEMs alapú szenzorok Nano-technológiás IR szenzorok

58 Infravörös tartomány felfedezése William Herschel - az Uranus bolygó felfedezőjének - kísérlete (1800) A színek hőmérséklete nő az ibolyától a vörösig, és a vörösön túl is!

59 Az infravörös tartomány MWIR (5-8mm) Near IR (0.8-2mm) Near infrared Short wave IR (SWIR) Middle wave IR (MWIR) Long wave IR (LWIR) 0.8-2mm 2-5mm 5-8mm 8-12mm LWIR (8-12mm)

60 Nem szilícium bázisú érzékelők Félvezetők más anyagokból Pl: InGaAs Hűtött szenzorok

61 Mikro-bolométer Standard CMOS technológia Vékony amorf szilícium lapkát ér a fény Melegedés hatására változik az ellenállása Akár megapixeles felbontás Nem hűtött Olcsó, manapság elterjedt 25

62 Nanoantenna detektor Jelenleg még csak laboratóriumban A fény hullámtermészetét használja ki THz-es frekvencia, szilíciumon nem kezelhető Detektoros rádió pixelenként Nem hűtött Nano MOM tranzisztor 1 mm

63 Optikai távolságmérő tömb 63 Kinect

64 Canesta távolság mérő tömb 160x120-as tömb Minden pixel két detektorból áll A detektorok a megvilágítás fázisában vannak kapcsolva (ellentétes fázisban) 64

65 Canesta távolság mérő tömb Aktív pulzusos megvilágítás A detektorok a megvilágítás fázisában vannak kapcsolva (ellentétes fázisban) Sok ezer pulzus integrálása Detektorok DC szintje: háttér világítás Detektorok differenciája: arányos az objektum távolságával 65

66 66

67 Járdaszegély detekció Automatikus parkolás 67