3. Érzékelés Magyar Attila Pannon Egyetem Műszaki Informatikai Kar Villamosmérnöki és Információs Rendszerek Tanszék magyar.attila@virt.uni-pannon.hu 2011. február 24.
3. Érzékelés 2
3. Tartalom 1. Mobil robotikában használt szenzorok 2. Bizonytalanság reprezentálása 3. Jellegkiemelés 3
3.1. Mobil robotikában használt szenzorok Autonóm rendszerek egyik legfontosabb feladata a környezetéről való információszerzés Szenzorok Szenzorok csoportosítása két szempont szerint Proprioceptív/exteroceptív Proprioceptív: a robot belső jeleit méri (motor sebesség, ízületek szögei, akku fesz.) Exteroceptív:A robot környezetéből gyűjti az információt (távolságmérés, fénymérés) Passzív/aktív Passzív: a környezetből a szenzorba jutó energiát méri (mikrofon, CCD/CMOS kamera) Aktív: energiát bocsát ki a környezetbe, és méri a környezeti reakciót (ultrahangos/lézeres távolságmérés) 4
3.1. Szenzorok csoportosítása Általános leírás Szenzor(rendszer) PC/EC A/P Taktilis Kapcsolók, ütközők Optikai kerítés EC EC P A Kerék/motor szenzor Potenciométer Optikai/mágneses/induktív/kapacitív enkóder PC PC P A Irányszenzor Iránytű Giroszkóp Inklinométer (dőlésszög érzékelő) EC PC EC P P A/P Rögzített jeladók GPS Aktív optikai/rf jeladó Aktív UH jeladó EC EC EC A A A Aktív távolságmérés Visszaverődésen alapuló UH szenzor Lézeres távolságmérő Optikai háromszögelő EC EC EC EC A A A A Mozgás/sebesség szenzorok Doppler radar Doppler hang Vizuális szenzorok CCD/CMOS kamerák EC P EC EC A A 5
3.1. Szenzorok jellemző tulajdonságai Alapvető (laborban mérhető) Dinamikus tartomány A legkisebb és a legnagyobb bemeneti jel aránya, *decibel+ U max 10 log U min Felbontás A szenzor kimenetei közti legkisebb különbség. Sok esetben a dinamikus tartomány alsó határa. Linearitás A szenzor bemenet-kimenet viselkedése lineáris-e? f(a x b y) a f(x) b f(y) Sávszélesség/frekvencia Milyen gyakorisággal képes a szenzor méréseket szolgáltatni. Pl. akadályérzékelésnél maghatározza a robot maximális sebességét 6
3.1. Szenzorok jellemző tulajdonságai In situ (valós környezetben mérhető) Érzékenység Mi az a legkisebb változás a szenzor bemeneti jelében, ami megváltoztatja a kimeneti jelet? (kereszt-érzékenység!) Hiba A szenzor által mért és a valódi érték közti eltérés: e = m v Szisztematikus hiba Előre jelezhető, modellezhető jelenségekből adódik Véletlen hiba Előre nem jelezhető, csak sztochasztikus módszerekkel kezelhető Pontosság Mennyire közelíti meg a szenzor kimenete a valódi értéket: Élesség/Szórás Ugyanazt a jelet többször mérve mekkora az eltérés a szenzor kimenetében p 1 e 7
3.1. Kerék/motor szenzorok Optikai enkóderek Szöghelyzet és szögsebesség mérése Proprioceptív szenzor Felbontás: fordulatonkénti ciklusok száma *CPR+: 2000-10000 Kvadratúra enkóder: plusz egy fényforrás-detektor pár forgás iránya is meghatározható 8
3.1. Irány szenzorok Iránytű (EC) Hall effektuson alapuló Fluxgate SQUID (superconducting quantum interference device) Giroszkóp (PC) Mechanikus: forgó tömeg tehetetlensége Optikai: fénysebesség I 9
3.1. Rögzített jeladók Tereppontokon alapuló navigációra vezethető vissza Csillagok, hegyek, világítótornyok Kilométeres terepen akár 5cm-es pontosság is elérhető vele GPS 24 műhold 6 pályán, naponta kétszer kerüli a Földet 20200 km magasságban A Föld minden pontjáról egyszerre legalább 4 látszik 3-ból helymeghatározás 4-ból tengerszint feletti magasság is Időmérésre visszavezetett távolságmérésen alapul Analitikai geometriai módszerek ( háromszögelés) Nyílt terepen használható jól 10
3.1. Aktív távolságmérés hullámterjedés Hullámterjedésen alapuló Hang, vagy elektromágneses hullám terjedési sebességét használja Példák d c t Ultrahang szenzor Lézeres távolságmérő A mérés minőségét meghatározó tényezők A visszavert hullám beérkezési idejének meghatározása A terjedési idő mérése A kibocsátott hullám terjedése (kúp) Kölcsönhatás a céltárggyal (elnyelődés) Terjedési sebesség változása A mobil robot és a cél egymáshoz képesti sebessége 11
3.1. Aktív távolságmérés ultrahang Ultrahang szenzor Ultrahangos lökéshullám-csomag visszaverődése Kétszeres távolság: c t d, c R T 2 Nagyon kis távolságra lévő objektumot nem észlel UH hullám frekvenciája 40-180 khz Piezo hangszóró 12 cm -5 m hatótávolság Kúpszerű terjedési profil (20-40 ) -> irányfüggő Lassú 12
3.1. Aktív távolságmérés lézeres Lézeres távolságmérés Jobb, mint az ultrahangos Időmérés többféle módszerrel UH-hoz hasonló, pulzáló lézerrel (drága, ps idők) Fáziseltérésen alapuló Fáziseltérés mérés Ha a visszaverő felület durvább, mint λ diffúz reflexió A visszavert fény által megtett út D' L 2 D L, D 2 4 θ elektronikusan mérhető λ a moduláló jel hullámhossza c f 13
3.1. Aktív távolságmérés háromszögelés Lézeres háromszögelő lézersugár PSD, vagy lineáris kamera lencse 1D szenzor 2D szenzor A célpontra strukturált képet vetít A PSD helyett CCD/CMOS kamera L D f x 14
3.1. Mozgás/sebesség szenzorok A robot és környezete közti relatív sebességet mérik Legelterjedtebb a Doppler-hatáson alapuló Hang, vagy elektromágneses hullám alapú is lehet Alapelv: Adó által kibocsátott hullám frekvenciája f t Vevő által mért hullám frekvencia Ha az adó mozog v sebességgel Ha a vevő mozog v sebességgel Doppler-eltolódásból számolható a sebesség 2ft cos f ft fr v c Több célpont követése: kb. 2 Hz t 1 f r f t 1 v / c f f (1v / c) r fc 2f cos t 15
3.1. Vizuális szenzorok Szem: az ember leghatékonyabb érzékszerve Hatalmas mennyiségű információ begyűjtésére képes Tökéletesen nem ültethető át a technológiába Két technológia CCD CMOS 16
3.1. CCD szenzorok Charge Coupled Device (töltéscsatolt eszköz) Fényérzékeny képelemekből álló tömb A pixelek fényérzékeny kapacitásként működnek (az elnyelt fotonokkal arányos töltést halmoznak fel) Töltéskiolvasás a lapka egyik sarkán, soronként λ = 400-1000 nm-ig érzékeny Színinformáció szűrőkkel nyerhető ki Fontos paraméterek Blende pozíció Záridő Kamera erősítés Fehéregyensúly Hátrány Szaturáció Blooming (töltés átfolyás) 17
3.1. CMOS szenzorok Complementary Metal Oxide Semiconductor Pixelenként külön erősítő és kiolvasó elektronika Előnyök a CCD-vel szemben Nem kell speciális időzítés a soronkénti kiolvasáshoz Egyszerűbb kialakítás Kis fogyasztás (CCD-hez képest 1%) Hátrányok Az extra elektronika sok helyet foglal Kisebb az érzékenysége (sok foton a tranzisztorokba csapódik) 18
3.1. Távolságmérés vizuális szenzorokkal Akadály elkerülése nagyon fontos Ultrahangos távolságmérés, lézeres távolságmérés CCD/CMOS chip-ekkel is lehet Probléma: 3D -> 2D vetület, a mélység információ elveszik Egy kép nem elég hozzá Képek különböző nézőpontból sztereo látás Képek különböző kamera geometriával fókusz, blende 19
3.1. Mélység információ a fókuszból A kép tulajdonságai két dologtól függnek Aktuális téma Kamera paraméterek Kép fókuszáltsága Következmények Kis blendével nagy mélységélesség Defókuszált kép elmosódottsága függ a távolságtól Élesség vizsgálata I(x,y) intenzitás alapján 1 x,y élesség I(x,y) I(x 1,y) élesség (I(x,y) I(x 2,y 2)) 2 x,y 1 1 1 f d e L R 2e Több képet készít különböző kamera-geometriával (δ) Távolsággal csökken a pontosság 2 20
3.1. Sztereo látás Mélység információ különböző nézőpontból készített képekből xl x b / 2 xr x b / 2 yl yr y,, f z f z f f z Diszparitás (x l x r ) Mélységi információt tartalmaz xl xr b f z Pozíció a diszparitás segítségével (x x ) / 2 (y y ) / 2 f x x x x x x l r l r x b, y b, z b l r l r l r Megjegyzések Diszparitás és a távolság fordítottan diszparitás és b egyenesen arányos Túl nagy b -> információvesztés 21
3. Tartalom 1. Mobil robotikában használt szenzorok 2. Bizonytalanság reprezentálása 3. Jellegkiemelés 22
3.2. Bizonytalanság reprezentálása Szenzorok tökéletlenek -> véletlen hibák Robot működéséhez több szenzor jelét kombináljuk Hibaterjedés, eredő bizonytalanság Statisztikus reprezentáció Hiba = a mérés és a valódi érték különbsége Több mérés ρ i eredményekkel, leírható egy X valószínűségi változóként: Várható érték Szórás f(x)dx 1 Pa X b f(x)dx E X xf(x)dx 2 2 Var X (x ) f(x)dx b a 23
3.2. Bizonytalanság reprezentálása Több valószínűségi változó: függetlenség X 1 és X 2 változók függetlenek, ha aktuális értékeik nincsenek hatással egymásra E X X E X E X Normális (Gauss) eloszlás: N (μ,σ) Széles körben használt hibamodell 3 σ szabály 1 2 1 2 Var X X Var X Var X f(x) 1 2 1 2 2 1 (x ) exp 2 2 2 P X 0.68 P 2 X 2 0.95 P 3 X 3 0.997 24
3.2. Hibaterjedés MIMO rendszer X 1, X n ismert eloszlású bemeneti valószínűségi változók Mit tudunk az Y 1, Y m kimeneti valószínűségi változók eloszlásáról Taylor közelítéssel C F C F T Y X X X C X : bemeneti kovariancia mátrix C Y : kimeneti kovariancia mátrix F X : Jacobi mátrix (elsőrendű Taylor-közelítés) F X f1 F X1 Xn f m 25
3. Tartalom 1. Mobil robotikában használt szenzorok 2. Bizonytalanság reprezentálása 3. Jellegkiemelés 26
3.3. Jellegkiemelés Robot viselkedése hibával terhelt szenzoradatok mellett Nyers szenzoradatok feldolgozása függetlenül Először egy észlelési fázis jelleg/lényegkiemelés Környezet Érzékelés Jelfeldolgozás Jellegkiemelés Nem minden tevékenységhez szükséges Lényeges kérdések Célkörnyezet Szenzorok Számítási teljesítmény Környezet reprezentációja (térkép) Két alaptípus Távolság-adatokon alapuló jellegkiemelés Vizuális megjelenésen alapuló jellegkiemelés Jelenet interpretáció 27
3.3. Távolság-adatokon alapuló jellegkiemelés Vonaldetektálás bizonytalan szenzoradatokból Tökéletes megoldás nincs, optimalizálás (legkisebb négyzetek módszere) n távolságmérési adat x i =(ρ i, θ i ), i=1, n Minden mérési eredmény egy X i =(P i, Q i ) valószínűségi változó: E P P E P E P, i, j i j i j E Q Q E Q E Q, i, j i j i j E P Q E P E Q, i, j i j i j 2 P i N ( i, ), i 2 Q i N ( i, ), i i i Ha nem lenne hiba, minden pont egy egyenesen lenne Hiba cos cos sinsin r cos( ) r 0 d cos( ) r 0 i i i 28
3.3. Távolság-adatokon alapuló jellegkiemelés Vonaldetektálás bizonytalan szenzoradatokból Hiba Megoldás: hibák négyzetösszegének minimalizálása (egyenletes súlyozás) Ha ismert a szenzorok σ i 2 szórása, súlyozott LKN Megoldás: d cos( ) r 0 i i i S d ( cos( ) r) min Hibaterjedés i i 2 2 i i i i S S w d, w S 0 0 r 1 2 i i i 2 i 1 atan, r 2 w cos2 w w cos( ) w i 2 2 wii sin2i wiw j i j cosi sinj w cos( ) wi i i i 2 1 i i i w i j i j i j i 29
3.3. Távolság-adatokon alapuló jellegkiemelés de hogy határozzuk meg, hogy mely adatok tartoznak egybe? Szegmentálás Alulról felfelé építkezünk (bottom-up módszer) 1. Közeli mérésekből sok elemi szakaszt alkotunk 2. A nagy valószínűséggel egy egyeneshez tartozó x i = [α i, r i ] szakaszok azonosítása (x x ) (x x ) ( ) ( ) T 2 2 1 2 1 2 1 2 1 2 3. Az egy egyenest alkotó x j szakaszok kiválasztása egy küszöbérték alapján (x x) (x x) d, (x x) (C C) (x x) d T T 1 j j m j j j m 30
3.3. Távolság-adatokon alapuló jellegkiemelés Jellegkiemelés távolság hisztogram módszerrel 360 -os szkennelés Egymás melletti mérések által adott szöget vizsgáljuk 31
3.3. Vizuális megjelenésen alapuló jellegkiemelés Lásd: Képfeldolgozás c. tárgy 32
3. Kvíz 1. Használható-e a GPS egy épületen belüli helymeghatározásra? A. Igen B. Nem 2. Melyik szenzortípus szolgáltat nagyobb mennyiségű információt a többinél? A. CCD B. Optikai giroszkóp C. CMOS D. Lézeres távolságmérő 3. Lehet-e vizuális szenzorokkal távolság információt mérni? A. Igen, akár egy kép alapján is. B. Kizárt. C. Csak ha több, különböző nézőpontból, vagy kamera geometria mellett kép áll a rendelkezésünkre. 33
3. Kvíz - megoldások 1. Használható-e a GPS egy épületen belüli helymeghatározásra? A. Igen B. Nem 2. Melyik szenzortípus szolgáltat nagyobb mennyiségű információt a többinél? A. CCD B. Optikai giroszkóp C. CMOS D. Lézeres távolságmérő 3. Lehet-e vizuális szenzorokkal távolság információt mérni? A. Igen, akár egy kép alapján is. B. Kizárt. C. Csak ha több, különböző nézőpontból, vagy kamera geometria mellett kép áll a rendelkezésünkre. 34