Pannon Egyetem. Informatikai Tudományok Doktori Iskola

Átírás

1

2 Pannon Eyetem Infomatka Tudományok Dokto Iskola Tanuló és adaptív vdeófeldolozó eljáások Dokto (PhD) étekezés Lcsá Attla Képfeldolozás és Neuoszámítóépek Tanszék Témavezető: Pof. Szány Tamás Veszpém 007.

3 TANULÓ ÉS ADAPTÍV VIDEÓFELDOLGOZÓ ELJÁRÁSOK Étekezés dokto (PhD) fokozat elnyeése édekéen Íta: Lcsá Attla Készült a Pannon Eyetem Infomatka Tudományok Dokto Iskolája keetéen Témavezető: Pof. Szány Tamás Elfoadása javaslom en / nem Veszpém 007. május 9.. Pof. Szány Tamás A jelölt a dokto szolaton... % -ot ét el. Az étekezést íálóként elfoadása javaslom: Bíáló neve: en /nem. (aláíás) Bíáló neve: en /nem. (aláíás) A jelölt az étekezés nylvános vtáján...% - ot ét el Veszpém. a Bíáló Bzottsá elnöke A dokto (PhD) oklevél mnősítése... Az EDT elnöke

4 Tatalomjeyzék TARTALMI KIVONAT...I SUMMARY OF CONTENTS...II ZUSAMMENFASSUNG... III 1. FEJEZET CÉLKITŰZÉSEK FEJEZET FELHASZNÁLÓ-ADAPTÍV KÉZFELISMERŐ ELJÁRÁS INTERAKTÍV TANÍTÁSSAL BEVEZETÉS LÁTÁS ALAPÚ KÉZFELISMERŐ ELJÁRÁSOK SZAKIRODALMI ÁTTEKINTÉSE Kézjelek felsmeésénél alkalmazott modellek áttekntése Tanuló és osztályozó eljáások KÉZJELEK FELHASZNÁLÁSA MULTIMÉDIÁS ALKALMAZÁSOKBAN KÉZJELEK KONTÚR ALAPÚ FELISMERÉSE KAMERA-KIVETÍTŐ KÖRNYEZETBEN A kamea-kvetítő könyezet kalácója Az előté szementálása A kézfej szementácója KÉZJELEK FELISMERÉSE IDŐBEN EGYMÁST KÖVETŐ KONTÚROK FELHASZNÁLÁSÁVAL Foue leíó alapú osztályozás Kontúleíó füvényekkel vézett kíséletek Kézjelek felsmeése az dően eymást követő kézjelek vzsálatával INTERAKTÍV TANÍTÓ ELJÁRÁS Kézjelek nem felüyelt tanítása Kézjelek felüyelt tanítása KÍSÉRLETI EREDMÉNYEK ÖSSZEFOGLALÁS FEJEZET ADAPTÍV KÉPSTABILIZÁCIÓS ELJÁRÁS ARCHÍV FILMEKEN FILMMENTÉS ÉS RESTAURÁCIÓ Dtáls flmestauácós eljáások Achív felvételek jellemző flmhá KÉPREMEGÉS FILMHIBA STABILIZÁCIÓS ELJÁRÁSOK ÁTTEKINTÉSE NEM FELÜGYELT KÉPSTABILIZÁCIÓ MOZGÁSBECSLÉS FÁZIS-KORRELÁCIÓS ELJÁRÁSSAL ADAPTÍV STABILIZÁLÁS AUTOMATIKUS ROF KIVÁLASZTÁSSAL... 58

5 3.7 KÍSÉRLETI EREDMÉNYEK ÖSSZEFOGLALÁS FEJEZET TANÍTHATÓ FOLTHIBA-DETEKTÁLÓ ELJÁRÁS NAGYFELBONTÁSÚ ARCHÍV FILMEKEN BEVEZETÉS FOLTHIBÁT DETEKTÁLÓ ELJÁRÁSOK ÁTTEKINTÉSE FOLTHIBÁT DETEKTÁLÓ ELJÁRÁS LEÍRÁSA A vllódzás flmha koálása és foltok detektálása SROD eljáással Hams poztív találatok csökkentése ROI alapú mozásecsléssel Hams poztív találatok csökkentése ojektum alapú osztályozó eljáással REFERENCIA KÉPMASZK MEGHATÁROZÁSA FÉL-AUTOMATIKUS ELJÁRÁSSAL KÍSÉRLETI EREDMÉNYEK ROI alapú mozásecslő eljáás kétékelése A folthák ojektum alapú osztályozásának kétékelése Az eme eavatkozás mennyséének ojektív vzsálata ÖSSZEFOGLALÁS ÖSSZEFOGLALÁS TÉZISCSOPORTOK THESIS GROUPS ÚJ TUDOMÁNYOS EREDMÉNYEKHEZ KAPCSOLÓDÓ PUBLIKÁCIÓK IRODALOMJEGYZÉK

6 Köszönetnylvánítás Köszönettel tatozom témavezetőmnek Szány Tamás Pofesszo Únak a munkám soán nyújtott seítsééét útmutatásáét és támoatásáét. Köszönetet szeetnék mondan D. Czún Lászlónak és a Pannon Eyetem Képfeldolozás és Neuoszámítóépek Tanszék munkatásanak a seítséükét és a közös munkáét. Köszönöm szülemnek sokéves támoatásukat amellyel lehetővé tették tanulmányamat és seítették céljam eléését.

7 Tanuló és adaptív vdeófeldolozó eljáások Tatalm kvonat A dsszetácó célja tanuló és adaptív módszeek kdolozása vdeófeldolozó eljáásokan amelyek seítséével javítható az eme-ép kapcsolat mnősée növelhető az eljáások pontossáa a feldolozás seessée és csökkenthető az eme eavatkozások mennysée. Ennek édekéen a emutatott eljáások felüyelt és nem felüyelt tanuló lletve adaptív módszeeket alkalmaznak. A dsszetácóan vézett kutatások két fő téma köé csopotosíthatóak: az emeép kapcsolat feltételenek javítása a kéz esztusanak hatékony és tanítható felsmeésével lletve az achív felvételek emeésének és folthának koekcójával folalkozó módszeek. E feladatok mndeykéen a yakolat alkalmazhatósá a valós köülmények vzsálatával tötént a fő polémák mehatáozása és a kutatás ányanak kjelölése. Az automatkus feldolozás hája esetén a pontossá növelése endszent kéz eavatkozással töténk amely csökkent az eljáások hatékonysáát. Ezét a feladat a számítás hatékonysá növelése és az eme eavatkozás mnmalzálása azonos mnőséű feldolozás mellett. A vzsált polémák a következők: kézjelek felsmeés hatékonysáának csökkenése olyan felhasználó esetén ak nem vett észt a tanító mnták létehozásáan; képemeés automatkus stalzácójának hája összetett komplex mozást tatalmazó felvételeken; folthák detektálásának hams poztív hája amely hatásáa a tévesen foltnak kjelölt képteületek tatalmát módosítja a koekcót véző eljáás ezzel mehamsítva az eedet kép tatalmat. A munka fő kutatás eedménye a következők: kézjelek tanítása a felhasználó és a számítóép között folyamatos nteakcó seítséével a felsmeés pontossáának növelése édekéen; kéz kontújának knyeése és felsmeése kamea-kvetítő könyezeten; képemeés flmha stalzálása ey képteület (ROF eon of fxaton ) adaptív kválasztásával; folthák alacsony számításényű detektálása nayfelontású képeken; az előzőle detektált foltyanús teületek hams poztív (tévesen foltnak osztályozott) találatanak csökkentése a knyet kép jellemzők osztályozásával. Az új tudományos eedmények tételes felsoolását a dsszetácó véén található tézscsopotok tatalmazzák.

8 Leann and Adaptve Vdeo Pocessn Methods Summay of Contents The dssetaton ams the ntoducton of leann and adaptve methods n vdeo pocessn tasks to mpove the qualty of the human-compute nteacton to ncease speed and pecson of the pocessn and to educe the amount of the necessay human nteventon. Fo ths eason the poposed pocedues apply supevsed unsupevsed leann and adaptve methods. The eseach wok n the dssetaton can e ouped nto two man aeas: mpovement of condtons of the human-compute nteacton y the effcent and tanale econton of hand estues; coecton of mae vaton and lotch defects on achve flms. In all of these tasks the polem fomulaton and the selecton of ams of eseaches have done y the analyss of eal wold stuatons and envonments. The man scentfc esults of the wok: tann of hand estues y contnuous nteacton etween human and compute to mpove the pefomance of the econton extacton and econton of the contou of the hand n camea-pojecto envonment stalzaton of mae vaton y adaptve selecton of ROF ( eon of fxaton ) detecton of lotches on hh esoluton maes wth low computatonal cost classfcaton of pelmnay detected lotch canddates y extacted mae featues to emove false alam (wonly classfed as non-lotch) eons. The lst of the new scentfc esults s summazed n thess oups at the end of dssetaton.

9 Lenmethoden und anpassunsfähe Methoden n de Vdeo Veaetun Zusammenfassun Das Zel de Ahandlun st de Ausaetun de Len- und de anpassunsfähen Methoden n de Vdeo Veaetun damt de Qualtät de Mensch-Compute- Inteakton zu veessen de Päzson de Methoden und de Geschwndket de Veaetun zu ehöhen und de Mene de menschlchen Inteventon zu venen. Zu desem Zweck eantat jedes de voeschlaenen Vefahen anpassunsfähe Methoden ezehunswese üewachte und auch unüewachte Lenmethoden. De Foschunsaeten n de Ahandlun können n zwe Haupteeche uppet weden: sowohl Anekennun und Lehe de menschlchen Handesten als auch de automatsche Koektu de Bldeschütteun und de Flecksdefekten auf Achvflmen. In jede Aufae haen de paxsche Anstella de Polemfomuleun und de Auswahl von Zelen de Foschun duch de Analyse de ealen Stuatonen etan. De wssenschaftlchen Hauptsächlchesultate de Aet snd de veschedene: Lehe de Handesten duch ununteochene Inteakton zwschen dem Menschen und Compute m Inteesse de Ehöhun de Päzson von Anekennun; de Extacton und de Anekennun de Handesten m Kamea-Pojekto-System Auslechun zu veessen; Bldeschütteun duch anpassunsfähe Auswahl von ROF ( eon of fxaton ); Afaun de Flecke auf den Blden mt de hohen Auflösun mt neden Beechnunskosten; Klassfkaton de enletenden emttelten Fleckanwäte st duch extahete Bldeenschaften um falsche Wanun (falsch enestuft als Nchtfleck) Reonen zu entfenen. De Lste de neuen wssenschaftlchen Resultaten weden n den Theseuppen am Ende de Ahandlun zusammenefaßt.

10 1. Fejezet Célktűzések 1. Fejezet Célktűzések Az utó évtzedeken a számítás teljesítmény növekedésével a különöző képözítő és mejelenítő eszközök fejlődésével lehetővé vált a nayfelontású (pl. 6000x4000 képpont) képsoozatok feldolozása lletve kameás endszeek alkalmazásával a kép nfomácó valós dejű analízse. A növekvő mennyséű nfomácó feldolozásának hatékonysáát az adott eljáás seessée mnősée mellett efolyásolja az eme tényező s amely az eljáás hája esetén a manuálsan elvézett koekcót jelent. Mvel az eme eavatkozás lassítja a feldolozás menetét és növel annak költséet ezét lényees hatékony és meízható módszeek kdolozása. A dsszetácóan emutatott kutatások két fő téma köé csopotosíthatóak: az eme-ép kapcsolat feltételenek javítása a kéz esztusanak hatékony és tanítható felsmeésével lletve az achív felvételek emeésének ( mae vaton ) és folthának ( lotch ) koekcójával folalkozó módszeek. A vzsált feladatok mndeykéen a poléma mefoalmazása és a kutatás ányanak kjelölése a valós felhasználás köülmények vzsálatával tötént amko s a számítóépnek mozóképek yos analízse alapján kell döntéseket és eavatkozásokat véezne adaptív tanuló eljáások seítséével. Ee utal dsszetácó összefolaló címe. A vzsált polémák a vdeófeldolozás néhány a yakolat felhasználás szempontjáól fontosnak teknthető feladatával kapcsolatosak: 1) kézjelek felsmeés hatékonysáának csökkenése olyan felhasználók esetén akk nem vettek észt a ép felsmeéshez szüksées tanító mnták létehozásáan [3]; ) képemeés automatkus stalzácójának hája összetett komplex mozást tatalmazó felvételeken; 3) a folthák automatkus detektálásának maas hams poztív haátája amnek következtéen a tévesen foltnak kjelölt képteületek tatalmát módosítja a koekcót véző eljáás ezzel mehamsítva az eedet kép tatalmat. 1

11 1. Fejezet Célktűzések Az achív flmek hának javításako fontos szaály hoy az eedet kép tatalom nem módosulhat kvéve ha az nfomácó séülése matt az elkeülhetetlen [45]. A vzsált eljáásokan az automatkus feldolozás hája esetén endszent kéz eavatkozással töténk a koekcó. A feldolozás soán tová polémát jelentettek: A naymennyséű feldolozandó adat a nayfelontású képsoozatok lletve a valós dejű eljáások esetén. Az achív flmeke jellemző kép hák (pl. ntenztás vllódzása szemcsezaj) csökkentk a lokáls és loáls kép nfomácó elemzésének és feldolozásának meízhatósáát. Ezét a képsoozatok analízse és feldolozása soán tová feladatot jelentett a különféle műveletek (pl. osztályozás mozásecslés) számítás ényének csökkentése és meízhatósáának pontossáának növelése a különöző kép zajok esetén. A dsszetácó célja olyan tanuló és adaptív módszeek kdolozása az smetetett vdeófeldolozó eljáásokan amelyek seítséével javítható az eme-ép kapcsolat hatékonysáa növelhető a feldolozás seessée mnősée továá csökkenthető a szüksées eme eavatkozás mennysée.

12 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással. Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással.1 Bevezetés A számítóépes látással ( compute vson ) kapcsolatos kutatások eye fontosaá válnak az eme-ép kapcsolat (EGK) javításáan. Az EGK kutatás teülete az eme és ép között nteakcón alapuló számítóépes endszeek tevezésével mevalósításával és étékelésével folalkozk amely célja a felek között kommunkácó mnőséének javítása. A kapcsolat ey ntefészen keesztül töténk amely szoftve és hadve komponensekől áll. Tpkus hadve alapú ntefész például a llentyűzet dtalzáló tála amelyek közvetlen fzka kapcsolatot ényelnek a felhasználó és peféa között. Az EGK fejlesztések eyk fontos kutatás teülete olyan kommunkácó kalakítása amelyhez nem szüksées közvetlen fzka kapcsolat a felhasználó és a evtel eszköz között lyen például a eszédfelsmeés [1617] kézjelek vay az ac mmkájának vzsálata [18190] lletve az eme test mozásának felsmeése [1]. Gesztusnak nevezzük az eme test vay testész jellezetes mozását állapotát amely valamely ézelmet vay jelentést fejez k. Kézfelsmeő eljáásokan a felsmeés hatékonysáát efolyásoló eyk tényező hoy a különöző felhasználók eltéő módon fomálhatják me a esztusokat. A letö eljáás ezét ey előzetes yűjtés soán adott számú felhasználó kézjeyeől vesz mntákat amelyeket felhasználva véz el a tanítást. A tanítást követően az ún. felsmeés fázsan töténk az aktuálsan mefomált kézjel osztályozása. Jellemző poléma hoy ha ey felhasználó nem vett észt a tanításan kézjelenek felsmeés hatékonysáa lecsökkenhet [3]. Ha az alkalmazott kézjel felsmeés pontossáa lecsökken a felsmeés fázs nem folytatható és a tanítást me kell smételn amely soán új mntákat kell yűjten az aktuáls felhasználótól. Ezét a kutatás célja ey olyan felsmeő és tanító eljáás elkészítése amely alkalmazkodk a valós felhasználás köülményekhez és lehetővé tesz a felhasználók számáa a tévesen felsmet kézjelek újatanítását íy ztosítva a kézjel alapú ntefész folyamatos és 3

13 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással meízható működését. Ennek édekéen ey nteaktív a felhasználó és a számítóép között kölcsönhatáson alapuló tanító eljáás keült kdolozása amely a felsmeés fázsa áyazott tanítást tesz lehetővé a mefelelő felsmeés hatékonysá eléése édekéen. A felhasználó és a számítóép között folyamatos kölcsönhatás matt követelmény a tanuló és felsmeő eljáások valós dejű működése. A különöző multmédás alkalmazások emutatók esetén endszeesen alkalmaznak kvetítőket. A emutatott kézfelsmeő eljáás mevalósítása ey ún. kamea-kvetítő könyezeten tötént amely lehetővé tesz a kvetített felhasználó felület kézjelekkel töténő vezélését. Az lyen ún. ktejesztett valósá ( aumented ealty ) alkalmazásokan a valód té elemet (felhasználó kézjele) a számítóép által eneált elemek (kvetített hátté) ővítk k mí a vtuáls valósá ( vtual ealty ) esetéen kzáóla mesteséesen előállított elemek szeepelnek. A következő fejezeteken a kézjel modellek felsmeő eljáások majd ezek multmédás endszeeken való alkalmazásának áttekntése következk. Az.4 fejezet tatalmazza a kamea-kvetítő endsze leíását a kéz tulajdonsávektoanak knyeését és a felsmeő eljáást a.5 fejezet majd az ee épülő nteaktív tanító eljáás leíását az.6 fejezet táyalja. Véül a kísélet eedmények kétékelése a.7 fejezeten olvasható.. Látás alapú kézfelsmeő eljáások szakodalm áttekntése A kézjelek felsmeéséhez első meközelítésen kéze húzható mechankus kesztyűt alkalmaztak (pl.: CyeGlove TM ShapeHand TM ) amelye eépített ézékelők közvetlenül mék a kéz eyes paaméteet például az ujjak és a tenyé síkja által ezát szöeket. Előnyük hoy nay pontossáal meízhatóan működnek azonan használatuk a kesztyű matt kötöttséet jelent ezét az eszközt csak specáls alkalmazásokan például seészet szmulátookan alkalmazzák. A számítás teljesítmény növekedése és a különöző kamea eszközök mnőséének fejlődése lehetővé tette a számítóépes látást alkalmazó eljáások használatát az eme és ép között kommunkácóan. Az eyes modellek alkalmazásako lényees hoy a mefelelő kép jellemzők mlyen ztonsáal nyehetőek k a kamea képéől. Ennek édekéen használható az ujjak és a tenyé pozícójának mehatáozásához különöző 4

14 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással színeke festett kesztyű [45] lletve a kéz adott pontjaa özített LED ( Lht Emttn Dode ) vláítás [6]. Az alkalmazott keészítők (pl. kesztyű) azonan kolátozzák a kapcsolatot ezét a temészetese kötetlene kommunkácó édekéen a kézjelek jelző eszköz ( make ) nélkül felsmeése szüksées. Ey általános látás alapú kézfelsmeő eljáás a következő fő komponenseke ontható: 1) a vzsált kézjel matematka modelljének defnálása; ) a kép analízs soán a választott modellnek mefelelő tulajdonsávekto knyeése; 3) tanuló eljáás amely a tanító mntákól knyet tulajdonsávektook alapján mealkotja a különöző kézjelek leíását a paamétetéen; 4) osztályozó eljáás amely az aktuáls kézjelől knyet tulajdonsávekto alapján kválasztja a mefelelő esztus osztályát. A esztusokat leíó matematka modell dően statkus lletve dnamkus jellemzőket tatalmazhat. A statkus jellemzők a kéz állapotát íják le ey adott dőpllanatan (pl. kéz kontúja) mí a dnamkus jellemzők a kéz állapotának változását adják me az dően (pl. kéz pozícójának változása ujjak mozásának leíása)...1 Kézjelek felsmeésénél alkalmazott modellek áttekntése A esztus modellek két fő csopota onthatóak: 1) 3D-s modell alapú; ) mejelenés alapú eljáásoka. A 3D-s modell alapú eljáások a kéz eometa modellje [7] alapján az ujjak (ujjpeccsontok által ezát szö) és a tenyé paaméteet ecsülk me majd e paaméteek alapján vézk el a kézjel felsmeését. A kéz képéől az ujjpecek koodnátá alapján a modell paamétee nvez knematka számításokkal adhatók me [89]. E paaméteek ecslése az ún. osszul modellezhető ( ll-posed ) polémák közé tatozk mvel a paaméteek kszámításáa nncsen eyételmű meoldás ezét tová mekötések alkalmazása szüksées. A módsze hátánya hoy a ecslés eedménye nayan fü a kép jellemzők (pl. ujjpecek pontjanak mehatáozásától) méésének zajától. Ezét az lyen típusú eljáások csak specáls köülmények között alkalmazhatóak amely ztosítja a kép nfomácó pontos mehatáozását. A másodk csopota a mejelenés alapú modellek tatoznak amelyek a kéz D-s vetület képének jellemzőt használják fel. A mejelenés alapú modellek alkalmazhatnak éó vay kontú alapú kép tulajdonsáokat amelyek a szementált kéz képének 5

15 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással szluettjét annak textúáját lletve a kéz kontúját használják fel. Réó alapú eljáásokan használnak kép momentumokat [545] sajátvekto analízst [30] Zenke momentumokat [31] amelyek nvaánsak a szluett eltolásáa foatásáa és skálázásáa. Az ún. oentácós hsztoam alapú eljáás [3] a kéz képén található élek ány szent eloszlását vzsálja. A hsztoamok eukldész távolsá alapú összehasonlítása fü a kéz oentácójától íy a felsmeés csak a tanításnál s alkalmazott ányan alkalmazható. A kéz kontúja mehatáozható különöző eometa leíókkal amelyek a kontút hajlatpontoka és az azokat összekötő eyeneseke ontja fel. Íy e szemensek hossza és a hajlatpontoknál méhető szöek alapján töténk a kontúvonal leíása [3334] amely nvaáns az eltolás és foatás tanszfomácóka. A kontúvonal hajlásszöeől lletve koodnátapontja alapján számított Foue tanszfomált eyüttható alapján számolhatóak az ún. Foue leíók [3536] amelyek nvaánsak eltolás foatás és skálázás tanszfomácóka. A módosított Foue leíók módszee szóás alapú összehasonlító eljáást alkalmaz [37] amely jo eedményt ad az eukldész távolsá alapú metkánál [38]. A kontú alapú eljáások előnye a éó alapú módszeekkel szemen hoy számításényük alacsonya mvel a kép nfomácó knyeéséhez csak a kontú pontjat használják fel ezét alkalmasaak valós dejű feldolozó eljáások esetén s... Tanuló és osztályozó eljáások A kézfelsmeő eljáások közös jellemzője hoy működésük két fő lépése ey előzetes tanító majd az ezt követő felsmeés fázsa különíthető el. A esztusok mefomálása változhat a felhasználó személyétől (pl. a kéz ujjak méetének különsée matt) lletve annak állapotától (pl. a felhasználó mennye fáadt). Ezét olyan alkalmazásoknál ahol tö felhasználó lehetsées fontos a kézjelek felhasználó-füetlen felsmeése. Ennek édekéen a következő meközelítéseket vzsálja a szakodalom: 1. A tanítás soán tö felhasználótól vesznek mntát íy létehozva ey nayméetű tanító halmaz amelyek alapján kalakíthatóak az eyes osztályok paamétee [394041]. 6

16 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással. Dnamkus esztusok alkalmazása amelyek mefomálása kevésé jellemző ey adott felhasználóa mnt például a kéz mozáspályája [34]. A tanításhoz felhasznált különöző felhasználóktól vett mnták számának emelésével növekszk a tanítás komplextása és az osztályozáshoz szüksées feldolozás dő. Athtsos [41] ey nayméetű pototípus adatázst hozott léte amely alapján ey kézjel lekédezése 3-4 másodpecet vett énye. Amennyen a tesztelést véző felhasználó nem vett észt a tanításan a kézjelek felsmeés hatékonysá lecsökken. Ezt zonyítja Ramamoothy [] kísélete ahol a tanítást véző felhasználók esetén a felsmeés valószínűsé 90-94% volt azonan eltéő felhasználók esetén ez leomlott 60-85%-a. Raytchev [3] kíséletéen a felsmeés aány lecsökkent 97.%-ól 91.7%-a amennyen eltéő felhasználó véezte a tanítást és tesztelést. Ezét ha a felhasználók személye előe nem smet és íy nem vehetnek észt az előzetes tanításan akko nem aantálható mnden eyes kézjel ousztus felsmeése. A yakolatan ekko a esztus alapú ntefész nem használható hatékonyan mvel téves felsmeés esetén fel kell füeszten a felsmeés fázst és új mnták yűjtésével a kézjelek tanítását me kell smételn. Lehetsées meoldás ey újonnan ékező felhasználó esetén ey előzetes tanítás cklus elvézése a felsmeés fázs előtt amely aantálná a kézjelek felsmeését azonan ez a meközelítés nehézkessé tenné a poam használatát. Mvel a felhasználók személye és soendje előe nem smet a felhasználók kézjelenek mntá előe nem táolhatóak. A tanuló eljáások két fő típusa a felüyelt ( supevsed leann ) és a nem felüyelt tanulás ( unsupevsed leann ). A felüyelt tanulás soán a cél ey olyan füvény ecslése amely a tanító halmaz mntá alapján számított kép jellemzők és az ezekhez endelt osztályazonosító között kapcsolatot íja le. A nem felüyelt tanítás esetén nem állnak endelkezése címkével ellátott mnták hanem a kvont jellemzők között összefüések hasonlósáok alapján töténk a tanulás. Felüyelt tanítást alkalmazó eljáások közül statkus és dnamkus kézjelek felsmeésée alkalmazható vsszacsatolt neuáls hálózat [43] ejtett Makov modell ( hdden makov model ) Baum-Welch tanító eljáással [405444] döntés fa [4] lletve leközele szomszédsá alapú eljáások 7

17 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással [ ]. Nem felüyelt tanítás esetén alkalmazható neuáls hálózat önszevező tanulás eljáással [46] K-közép módsze és adáls ázsfüvény hálózatok [3947]..3 Kézjelek felhasználása multmédás alkalmazásokan A kézjelek felsmeése különöző vezélő és kommunkácós feladatoka alkalmazható például ootok vezélésée [48] sketek jelnyelvének felsmeésée [565] továá különöző multmédás alkalmazásokan amelyeken a felhasználó felület a kézjelek seítséével vezéelhető. Számos eljáás dnamkus esztusokat alkalmaz amely a kéz mozáspályája alapján smehető fel. A kéz mozásának pályája különöző alfanumekus kaakteek és afkus jelek alakját követk íy azok ntutív módon vhetőek e ey szöveszekesztő alkalmazásan [44] lletve a jelek mnt vezélő paancsok alkalmazhatóak ey PowePont emutató vezélése soán [4]. E módszeek mvel csak a kéz pályáját vzsálják nem alkalmasak pozícó és vezélő utasítások eydejű evtelée. Feeman [49] ey televízó vezélésée alkalmazta a esztusokat ahol a kéz mozatásával vezéelhető a képenyőn mejelenített kuzo mí a mefomált kézjel aktválja a kuzo pozícójától füő paancsot például a szaályozza a haneőt. Multmédás előadások alkalmazások esetén a költsées nayméetű kjelzők helyett yakan alkalmaznak kvetítő eszközöket. A SmatBoad [50] endsze a felhasználó ntefészt ey táláa vetít k amelye eépített nyomásézékelők seítséével a kvetített alkalmazás éntésekkel vezéelhető. A BhtBoad [51] endszee nyomásézékelők helyett tö mkofont használ az éntés pozícójának azonosításához. Ezeken a meoldásokan specáls hadve eszközöket alkalmaznak azonan adott köülmények esetén a látás alapú kameát és kvetítőt tatalmazó meoldások költséhatékonyaak mvel általános célú eszközökől állíthatóak össze. E endszeek sajátossáa hoy a vetítés és a kép özítése azonos ányól töténk ezét az nteakcó soán a kéz felületén vsszaveődk a vetített kép. A vetített hátté és a kéz képének szementálása eyszeűsíthető specáls hátulól mevláított vászon vay nfa kamea alkalmazásával. Leune [5] hátulól mevláítható vászona vetít a képet amellyel szemen a felhasználó ámutat a kép kívánt észée. A endsze tö 8

18 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással kameaképet felhasználva mehatáozza a ka 3D-s ányát amely alapján kjelöl a kép adott észét. A felhasználó különöző hanjelek seítséével tová vezélő paancsokat adhat k. Az EnhancedDesk [53] elnevezésű módsze ey specáls nfa mevláítást és kameát alkalmaz a kéz és a vetített hátté szementálása édekéen ahol a felhasználó a kéz pozícójával adja me a kuzo helyzetét és a kéz adott de való ktatásával eneálja az eéom lenyomását. Macoad [54] eljáásan a felhasználó specáls színű makeeket mozat az ujjaval íy azok színe alapján detektálható a kéz pozícója. A DtalDesk [55] alkalmazásan ey kvetített dokumentuman jelölhetünk k például számadatokat amelyeket összead a endsze. A endsze nem módosítja a vetített hátteet íy mozás alapján detektálja a kéz pozícóját. A FeeHandPesent [56] módszee a felhasználó ujjanak képe alapján követ a kéz pozícóját amely a detektált ujjheyek számával eneálja a különöző vezélő funkcókat. A kvetített hátté változása matt az ujjheyek meízható követése édekéen a kézjelek mefomálása a vetített felület ey olyan észén töténk ahol nem változk a vetített kép. Az eljáás mvel az ujjak száma alapján sme fel kézjeleket csak kolátozott számú esztusok evtelée alkalmas..4 Kézjelek kontú alapú felsmeése kamea-kvetítő könyezeten Az edd eljáásokkal szemen a emutatandó kamea-kvetítő könyezeten a kézjelek kontú alapú felsmeése valósítható me amely nem ényel specáls eszközöket (pl. színes make nfa kamea) és lehetővé tesz pozícó (kéz pozícója) és vezélő utasítás (felsmet kézjel) eydejű mehatáozását. Az -1. áán a emutatandó kamea-kvetítő könyezet fő komponense láthatóak. 9

19 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással A kvetítőn és a montoon mejelenített kép Monto Infomácós teület Felsmeés teület Felhasználó felület Eljáás eállítása Kvetítendő kép (felhasználó felület) Kvetítő Kamea Munkaállomás Alkalmazott kézjelek -1. áa: A emutatandó kamea-kvetítő könyezet fő komponense és az alkalmazható statkus kézjelek A kamea-kvetítő könyezet általános célú eszközökől: ey kameáól és ey kvetítőől áll. A kvetítő ey tetszőlees felhasználó felületet (kvetítendő kép) jelenít me amely előtt a felhasználó különöző kézjeleket fomál me. A vetített képet és az előtte mefomált kézjeleket ey a kvetített felülettel szemen elhelyezett kamea özít (kameakép). A kamea a vetített kép ey észét fyel (felsmeés teület) az ezen kívül eső teületen a felhasználó számáa különöző nfomácók jeleníthetőek me (nfomácós teület). Itt jeleníthető me a felsmet kézjel képe és az alkalmazható esztusok lstája amely jelz a felhasználó számáa hoy mlyen kézjeleket alkalmazhat továá seít a felsmeés hatékonysáának folyamatos ellenőzését. Az eljáás 9 különöző statkus kézjelet tatalmaz (lásd -1. áa). A munkaállomás véz felhasználó felület mejelenítését és a vetített képe mutató felhasználó mefyelését a kamea seítséével. Az eljáás eállítása ey montoon jeleníthetőek me. A kamea-kvetítő könyezeten a kézjelek alkalmazásának a következő feltétele vannak: 10

20 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással A felhasználó a kvetített képe mutat mközen kaja közel páhuzamos a vetített felülettel íy a vetített kép a lehető lejoan látható a közönsé számáa (lásd - 1. áa). A kamea és kvetítő pozícója nem változhat az nteakcó soán íy a ka közel meőlees a kamea optka tenelyée és a kamea közel azonos szöől látja a kéz képét. A kvetítő és a kamea közvetlenül eymás mellé keül elhelyezése. Mvel a ka közvetlenül a vetített felület előtt mozo a ka ányéka nem efolyásolja a szementálást. A kéz pozícójának mehatáozása és a mefomált kézjel felsmeése édekéen szüksées az előtéen látható ka és a hátté elkülönítése majd a szementált kaon a kézfej pozícójának mehatáozása. A kamea-kvetítő könyezeten a következő polémák lépnek fel a szementácó a kézjel felsmeése és pozícójának mehatáozása soán: A ka felületén vsszaveődk a kvetített háttékép íy annak textúája folyamatosan változhat a kéz pozícójától és a kvetítetendő kép tatalmától füően (lásd -8. áa). A kvetítendő kép eometala és színle tozul a kamea által özített képen ezét a kameaképen a detektált kéz koodnátája nem eyezk me a vetítendő kép azonos pontjának pozícójával. A kvetítetendő kép módosulhat az nteakcó soán. Mvel a vetítés következtéen a kéz textúája folyamatosan változhat a kéz mozásával nem alkalmazható szín lletve textúa alapú szementácós eljáás. Ezét az előtéen a felhasználó szluettjének detektálása ey módosított háttékvonáson alapuló szementáló eljáással töténk (lásd.4.1 és.4. fejezetet). Az eljáás a vetített háttékép változása esetén az előzetesen smet kvetítendő kép seítséével mesteséesen állítja elő a háttéképet fyeleme véve a kvetített kép eometa és szín tozulásat amely íy képes a kameakép alapján az előté szementálásáa. A következő lépés a kézfej 11

21 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással kjelölése a ka szluettjén (lásd.4.3 fejezetet) amely alapján elvéezhető a kézjel kontú alapú analízse. A kamea-kvetítő könyezeten a kézjelek felsmeésének fő lépése a következők (lásd -. áán): 1. A kamea és a kvetítő elhelyezése eállítása. Ennek soán a kamea automatkus eállítás funkcót például a színeyensúly automatkus javítását automatkus eősítésszaályozást ( an contol ) k kell kapcsoln továá a felsmeés alatt a kvetítő és kamea paamétee például színhőméséklet amma koekcó má nem módosíthatóak.. A kamea-kvetítő könyezet automatkus eometa és szín kalácója (lásd.4.1 fejezetet). 3. A kameakép alapján a felhasználó kajának (előté) szementálása majd azon a kézfej kjelölése. 4. Kézjel felsmeése és pozícójának mehatáozása a kéz kontúja alapján. 5. A felsmet kézjel alapján töténk az adott alkalmazás vezélése vées állapotú automatával ( fnte state machne ) amely soán módosulhat a felhasználó ntefész és íy a kvetítendő felhasználó felület. Ha az nteakcó alatt a kéz mozásával eydően módosul a kvetített hátté s akko azt fyeleme kell venn a kameakép szementácója soán. Mvel a kvetítendő kép smet íy van előzetes nfomácó a kéz hátteéől amely felhasználható a szementálás soán. 6. A kvetített képet a kamea özít majd folytatódk a feldolozás cklus az eljáás 3. lépésétől. 1

22 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással Incalzácós és kalácós lépések Kameakép özítése Módosított felhasználó felület mejelenítése kameakép A ka szementácója és a kéz kjelölése kvetítendő kép kvetítendő kép kéz kontúja Kézjel felsmeése és tanítása felsmet kézjel Felhasználó felület módosítása vées állapotú automatával -. áa: Kézfelsmeő eljáás működésének folyamatáája kamea-kvetítő könyezeten.4.1 A kamea-kvetítő könyezet kalácója A mejelenítés soán a kvetítendő kép eometala tozul ezét a feladat a kvetítendő kép és a kameakép koodnátapontja között füvénykapcsolat mehatáozása a felhasználó felület vezélése lletve a hátté szementálása édekéen. A esztácós poléma meoldásának eyk meközelítése a kamea-kvetítő könyezet optka leképezésének mehatáozása lyukkamea ( pnhole ) modell seítséével ahol a kvetítendő kép és kamea által özített kép eymásól pojektív tanszfomácóval állítható elő [57]. A módsze hátánya hoy az eszközök optkájának paaméteet elhelyezkedésüket ányukat ey előzetes kalácó soán me kell hatáozn. Továá az eljáás nem kezel a lencse esetlees optka tozításat például tűpána ( pncushon ) vay hodó tozításokat ( ael ). 13

23 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással z P z C kvetítendő kép kameakép -3. áa: A vetítés soán a kvetítendő kép z p és a kameakép mefelelő z C koodnátája A poléma meoldásának másk meközelítése soán a vetítés és leképezés folyamata eyetlen D-s eometa tanszfomácóval modellezhető a kvetítendő kép és a kameakép között. A módsze előnye hoy nem szüksées külön a kamea és kvetítő optkájának elhelyezkedésének előzetes kalácója. Sík vetítés felület esetén a kamea és vetített kép között D-s tanszfomácóa alkalmazható pojektív [58] lletve lneás tanszfomácó [55] melyek képesek kompenzáln a keystone tozulást a vetítés soán (lásd -4. áán). E tanszfomácók jellemzője hoy sík vetítés felületet feltételeznek a mejelenítés soán. Mvel a kamea-kvetítő könyezet különöző típusú eszközöket tatalmazhat a vetítése használt felület esetlees eyenetlensée lletve az alkalmazott optkák lencséjének tozítása esetén csak maasa endű modellek alkalmazásával mövelhető a eometa koekcó pontossáa. Ezét a kvetítendő és kameakép között kapcsolat mehatáozása D-s másodendű polnomáls füvénnyel [59] töténk: z P a0 = 0 a 1 1 a a 3 3 a 4 4 a 5 5 T [ 1 x y x y x y ] C C C C C C (.1) amely a kameakép z = [ x y ] T pozícóját a kvetítendő kép [ x y ] T C C C z = pozícójáa tanszfomálja (lásd -3. áán) és ahol az a T = [a 0 a 1 a a 3 a 4 a 5 ] és T = [ ] vektook tatalmazzák a polnomáls modell eyütthatót. Az - 4. áán látható az a T és T vektook eyütthatónak hatása a tanszfomált képe. A eometa kalácó soán ey specáls kép keül kvetítése (lásd -5. áa) amely alapján a kamea és a kvetítendő képen az összetatozó [ x y ] T [ x y ] T z P P P P P P z C C C = és = pozícókat (=1 n; ahol n a mnták száma) ún. kontoll pontokat von 14

24 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással k az eljáás. A kontoll pontok a fekete-fehé néyzetácsos mntázat saokpontjanak detektálásával töténk [60]. A kalácó soán az.1 képleten szeeplő a T és T eyütthatók kválasztása ey optmalzácós eljáás soán úy töténk hoy a.1 képlet alapján ecsült és a kalácós képen mét z P kontoll pontok különsé néyzetes ételemen mnmáls leyen amely ha (E) fomálsan a következő alakan íható fel: P T P P T P E = ( x Aa) ( x Aa) + ( y A) ( y A) (.) P ahol = [ x x x ] T P [ y y y ] T x P 1 P P n... y P 1 P P n =... a kontoll pontok koodnátá alapján mehatáozott vektook a T = [a 0 a 1 a a 3 a 4 a 5 ] és T = [ ] vektook tatalmazzák a polnomáls modell eyütthatót (lásd.1 képletet) és A mátx a kameaképen mét [ x y ] T z C C C mátxos fomáan adható me: = kontoll pontok koodnátá alapján a következő A= 1 x C1 yc1 xc1 yc1 xc1 yc1 1 x C yc xc yc xc yc M M M M M M. 1 xc n yc n xc n yc n xc n yc n (.3) A meoldás a lekse néyzetek módszee alapján az.1 eyenlet a és eyüttható amelyek a következő módon adhatóak me [59]: ahol az (A T A) 1 A T a = = T 1 T P [ A A] A x T 1 T P [ A A] A y (.4) kfejezés az A mátx ún. pszeudo-nveze [59]. A eometa tanszfomácó yosítása édekéen a kameakép mnden eyes z C pozícójához előzetesen kszámítása keülnek z P pozícók (lásd.1 képletet) és íy a tanszfomácó soán azok ey tálázatól (LUT lookup-tale ) keeshetőek k. A mestesées kameakép C z pozícójának C ( z ) Î paletta étéke az C P töténő újamntavételezésével számítható k: I ( z ) = I ( z ) C P I kvetítendő kép z P pozícóan ˆ ahol C P P z pozícó az.1 képlet alapján adható me és az újamntavételezés lneás ntepolácóval töténk [59]. 15

25 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással eedet képteület a 0 eyenletes tanszlácó a 1 skálázás (lneás) tanszfomált képteület a nyíás defomácó ( shea ) a 3 keystone defomácó a 4 nem eyenletes skálázás (néyzetes) a 5 hajlítás -4. áa: Másodendű polnomáls tanszfomácó hatása a képen (vízszntes tenely mentén a eyütthatók alapján) -5. áa: A eometa kalácó alatt kvetített mntázat 16

26 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással 17 A kvetítendő kép színle tozul a mejelenítés és özítés soán a kvetítő és a kamea különöző ézékenysée és átvtel kaaktesztkája következtéen. Eyes eljáások az eszközök előzetes fotometa és adometa kalálásával [61] hatáozzák me a kvetítendő kép és a kamea által özített RGB paletta étékek között füvénykapcsolatot. E módsze hátánya hoy az előzetes kalácó elvézéséhez specáls eszközöke van szüksé. Ezét cél a kvetítendő kép ( ) P P P és a kameakép ( ) C C C RGB paletta étéke között füvénykapcsolat közvetlen mehatáozása ey paametkus modell seítséével előzetes műszees kalácó alkalmazása nélkül. Az RGB színtéen az eyes színcsatonák átvtel kaaktesztkája a következő ötödfokú polnom füvénnyel modellezhető: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) = + = + = = + = + = = + = + = = = = 1 ] [ 1 ] [ 11 ] [ 10 ] [ 7 1 ] [ ] [ 1 ] [ 1 ] [ 11 ] [ 10 ] [ 7 1 ] [ ] [ 1 ] [ 1 ] [ 11 ] [ 10 ] [ 7 1 ] [ ] [ ˆ ˆ ˆ P P B P P B P P B P B P B P B C P P G P P G P P G P G P G P G C P P R P P R P P R P R P R P R C a a a a a a a a a a a a a a a a a a (.5) ahol az R (vöös) G (zöld) és B (kék) komponensek esetén a kvetítendő kép paletta étéket ( ) P P P a kameakép ecsült étéket ped ( ) P P P ˆ ˆ ˆ jelöl. A modell (lásd.5 képletet) eyüttható adott RGB komponensek (csatonák) esetén: ] [ 5 ] [ 0... B G R B G R a a azonan a csatonák között áthallás (csatona-összefüősé) matt tová első és másodendű taok s szeepelnek: ] [ 1 ] [ 6... B G R B G R a a. Íy csatonánként 13 tehát összesen 39 paaméteel íható le a szín tanszfomácó. A szín kalácó alatt a kvetítendő képen az ( ) { } = P P P P P P halmaz ( ) P P P színmntá keülnek kvetítése amelyek a eometa tanszfomácó soán összeendelhetőek a kameakép ( ) C C C paletta étékevel (=1 m; ahol m a mnták száma). A modell [ ] T B G R B G R B G R a a a ] [ 1 ] [ 0 ] [... = eyütthatónak számítása a lekse néyzetek módszeével töténk [59] amely a következő ha (E [RGB] ) étékét mnmalzálja az eyes színcsatonákon:

27 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással ahol ( ) [ G] [ B] ( ˆ ) E = ( ˆ ) E = ( ˆ ) [ R] E = C C C C C és ( ˆ ˆ ) C C C C C C C (.6) ˆ a kalácó soán készített kameaképen mét lletve a paametkus modell (lásd.5 képletet) alapján ecsült RGB paletta étékek. Jelölje a [ R G B] [ G B [ ] R G B] [ a a R ]... T = a szín tanszfomácó eyütthatót (lásd.5 képletet) az eyes 0 1 C RGB csatonák esetén továá = [ ] T C [ ] T [ ] T C C 1 C... C m C 1 C... C m C 1 C... C m = = a kameaképen mét színmntákat ahol m a mnták számát adja me. [R] [G] [B] Ekko a lekse néyzetek módszee alapján [59] a.5 képlet a a és a eyüttható az alá módon számíthatóak k: a a a [ R] [ G] [ B] = = = T 1 T C [ AR AR ] AR T 1 T [ AG AG ] AG T 1 T C [ A A ] A B B B C (.7) ahol az A R A G A B mátxok a kvetítendő színmnták alapján felíhatóak (lásd.8-10 képleteket): 1 1 AR = M 1 P1 M P P m P1 M P P m 3 P1 M 3 P 3 P m 4 P1 M 4 P 4 P m 5 P1 M 5 P 5 P m M P1 P P m M P1 P P m M P1 P P m P1 P P m P1 M M P P m P1 P P m P1 M P P1 P P m P m M P1 P P1 P P m P m (.8) 1 1 AG = M 1 M P1 P P m M P1 P P m M 3 P1 3 P 3 P m M 4 P1 4 P 4 P m M 5 P1 5 P 5 P m P1 M P P m P1 M P P m P1 M P P m P1 P P1 M M P P1 P P m P m P m P1 P1 M P P P m P m M P1 P1 P P P m P m (.9) 1 1 AB = M 1 P1 M P P m P1 M P P m 3 P1 M 3 P 3 P m 4 P1 M 4 P 4 P m 5 P1 M 5 P 5 P m P1 M P P m P1 M P P m M P1 P P m P1 P P m P1 P1 M M P P P m P m P1 P1 M P P P m P m M P1 P1 P P P m P m. (.10) 18

28 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással.4. Az előté szementálása A mejelenített kép vsszatüköződk a vetített felületen és az előtéen álló felhasználón. A kamea által özített kép RGB paletta étéket mehatáozó eyk paaméte a vetített felület és a felhasználó kajának vsszaveés tényezője [6]. A vetített felület esetén a mefelelő képmnősé édekéen a spektáls vsszaveés tényező maas közel 100% mí az előtéen a felhasználó kaján a ő spektáls vsszaveés tényezőjének maxmáls étéke 70% [6] íy a kameaképen mét RGB paletta étékek alacsonyaak az előté ojektum pozícóan. Mvel a felhasználó kaján vsszaveődő képészlet változhat a felhasználó mozásával az előté szementálása a kamea által özített háttékép (előté ojektum képét nem tatalmazza) és a felhasználó kaját s tatalmazó kameakép összehasonlításával töténk. Az előté szementácója soán fyeleme kell venn hoy a kvetített kép módosulhat. Ha a kamea özít ey képet kzáóla a vetített háttéől akko statkus (változatlan) hátté esetén az előté szementálható a háttékvonás módszeével ahol a hátté az ún. futóátla számításával módosul [63]. Ez az eljáás nem alkalmazható ha a kvetített hátté módosul és a felhasználó kaja s látható a kameaképen. Ezét ey olyan módosított háttékvonás alapú eljáás keül emutatása amely mesteséesen állítja elő a kameaképen látható hátteet (a kvetítendő kép eometa és szín tanszfomácójával) azokan a pozícókan ahol a kvetítendő kép módosult. A t-edk dőpllanatan a szementált előtéhez tatozó z=(xy) pozícók halmazát jelölje FG t : FG t R R G G B B ( I ( z t) H ( z t) + I ( z t) H ( z t) + I ( z t) H ( z t) ) > 1 = z τ 3 (.11) [ ahol I R G B] ( z t) [ a kameakép H R G B] ( z t) a kamea által özített hátté adott színcsatonájának paletta étéke t dőpllanatan továá τ>0 küszöszám hatáozza me hoy mely képpontok tatoznak [ FG halmaza. Jelölje P R G B] ( z t) t GT a kvetítendő kép eometala tanszfomált (lásd a.1 képletet) képének paletta étékét z pozícóan. A P ( z t) [ R G B] GT éték változása esetén az előté mefelelő szementálása édekéen ecslést [ kell adn a kamea által mefyelhető H R G B] ( z t) háttékép paletta étékée a kalácó 19

29 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással [ soán mehatáozott szín tanszfomácó seítséével (lásd.5 képletet). A H R G B] ( z t) paletta étéke a kvetítendő kép változásától füően a futóátla módszee alapján [63] a következő feltételek szent módosul: H Ψ CH ( z t) Ψ t = α I Ψ = H ψ = R G B Ψ Ψ ( z t 1) + ( 1 α) H ( z t 1) ( z t 1) Ψ PGT CT ( z t) Ψ Ψ { z PGT ( z t) PGT ( z t 1) > 0} [ ahol P R G B] [ ( z t) és P R G B] ( z t) GT GT CT z FG z FG z CH t 1 t 1 Ψ t CH CH Ψ t Ψ t (.1) jelöl a kvetítendő kép eometala (lásd.1 képletet) lletve eometala és színle (lásd.1 és.5 képleteket) tanszfomált képének paletta étékét a z pozícóan CH azoknak a z pozícóknak a halmaza t dőpllanatan ahol [ R G B] t a kvetítendő kép eometala koált változata módosul. Ha adott z pozícóan a kvetítendő kép nem módosul és az előző t-1 dőpontan z pozícó nem az előté észe volt FG az t 1 ( t 1 I [ R G B] ( z t 1) [ FG komplemente halmazát jelöl) akko H R G B] ( z t) paletta éték az kameakép alapján ekuzív eljáással módosul. Ekko az α tanulás eyüttható szaályozza hoy a kameakép mlyen aányan veyen észt háttékép fssítéséen (lásd.1 képletet). Amennyen a kvetítendő kép módosul adott z pozícóan a kvetítendő kép eometala és színle koált változata alapján (lásd P G B] [ R G B] CT ( z t) a.1 képleten) módosul a háttékép H ( z t) [ R GT paletta étéke. A kíséletek soán τ küszöszám a mejeleníthető maxmáls paletta éték 15%-a α tanulás eyüttható étéke volt. 0

30 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással a) ) c) d) e) f) -6. áa: Az előté és hátté szementácója mesteséesen előállított háttékép seítséével; a) az eedet kvetítendő kép; ) eometala tanszfomált kvetítendő kép; c) eometala és színle tanszfomált kvetítendő kép; d) a kamea által özített kép; e) a szementált előté képe kzáóla eometa tanszfomácóval előállított háttékép alapján; f) a szementált előté képe eometa és szín tanszfomácóval előállított háttékép alapján Annak édekéen hoy a kvetített kép sötét tónusú (aká nulla RGB étékek esetén s) teületen s szementálható leyen az előté a kvetítő fényeejét növeln lletve a kvetítendő képet lneás hsztoam tanszfomácóval módosítan kell hoy a kameaképen méhető mnmáls paletta étékek a mejeleníthető maxmáls éték (8 t színmélyséű képek esetén 55) lealá 0%-a leyen. A -6. áán látható példa az előté szementácójáa mesteséesen eneált háttékép seítséével..4.3 A kézfej szementácója A kézfej elkülönítése édekéen számos eljáás hosszú ujjú net alkalmaz [6465] amely a szementálás soán eyeolvad a háttéel íy mekönnyítve a kézfej szementácóját. E meoldás hátánya hoy kolátozza a felhasználó által vselhető uházatot ezét számos eljáás a csukló automatkus detektálásával különít el a kézfejet. A csukló 1

31 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással detektálásához alkalmazhatóak kontú és éó alapú eljáások. A éó alapú módszeek [3966] a szementált alka vastasáát vzsálják amelyen a csuklóvonal (lásd -7. áán) mehatáozása azon a mefyelésen alapszk hoy a csukló teületén az alka szélessée htelen meváltozk. A kontú alapú módsze [66] a kontúvonal hajlásszöenek vzsálatával azonosítja a kézfej kszélesedését. E módszeek azonan kevésé hatékonyak ha a szementált ka kontúja nem eyenletes például ha a felhasználó net vsel vay ha az előté szementálása zajos (lásd -8. áán). Továá a fent módszeek akko alkalmazhatóak ha csak az alka látszk a kameaképen mvel a ehajlított ka téves szementácót eedményez. A kötetlene kommunkácó édekéen ezét fyeleme kell venn hoy a felhasználó tetszőlees uhadaaot vselhet az nteakcó soán. A következő éó alapú eljáás mehatáozza a szementált ka fő ányát amelye meőlees ányan vzsálja a ka vastasáának változását (lásd -7. áát). A ka ánya eometa momentumok seítséével hatáozható me [45] amelyek a kép ntenztás-eloszlását jellemzk és íy a ka eometa tulajdonsáanak leíásához alkalmazhatóak. A (pq)-ad endű µ pq centáls momentumok a következő módon fejezhetőek k: µ f p q = ( x y) R p q ( x x ) ( y y ) f ( x y) 1: = 0 : c c dxdy ojektum képpont ( x y) R hátté képpont ( x y) R (.13) ahol R az ojektum képpontjanak halmaza amelyhez tatozó (xy) pozícókat az f füvény jellemez a momentumok számítása soán és ahol (x c y c ) az ojektum tömeközéppontjának koodnátája. A másodendű centáls momentumok számításával mehatáozhatóak a kép fő tehetetlensé tenelye amelyek meadják a kéz ellpszs alapú eometa modelljét. Az ellpszs modell a és tenelyet (lásd az -7. áát) nevezzük nay- és kstenelynek amelyek közül az elő hatáozza me a ka ányát. Az a ás tenelyek hossza a centáls momentumok seítséével (.13 eyenlet) a következő módon hatáozható me:

32 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással = a = 1 1 ( µ + µ ) 4 µ ( µ µ ) 0 ( µ + µ ) + 4 µ ( µ µ ) (.14) Az ellpszs naytenelyének Θ szöe (lásd -7. áát) mehatáozható: Θ = 1 actan µ µ 0 11 µ 0. (.15) Leyen P d a ka (x c y c ) tömeközéppontján áthaladó naytenely ey adott pontja amely d>0 távolsáa van P 0 ponttól (lásd az -7. áán a naytenely és a kép szélének találkozás pontját a ka szluettjének és a kép szélének metszete közeléen). Íy a tenelye lleszkedő ámely P d pont eyételműen azonosítható a P 0 ponttól mét eukldész távolsáal: d = P0 P. Ekko a ka szélesséének mééséhez a naytenely d ányáa meőlees a P d ponton áthaladó e d eyenes és a ka R maszkja használható fel (lásd -7. áát). Az e d eyenes és R maszk metszetének seítséével méhető a P d ponthoz tatozó W d 0 szélessé (lásd -7. áát): W { B B B B e R} d = 1 1 max. Mvel a felhasználó tetszőlees uházatot vselhet és a kameaképen aká a teljes ka és tözs s látható (lásd -8. áát) ezét a következő két feltétel alapján hatáozható me az e K csuklóvonal (lásd -7. áát) a W d étékek felhasználásával: A csukló detektálása a töténk. Az eljáás a csukló detektálását a kjelölt éóan hajtja vée. W d szélesséek mehatáozott métékű növekedése alapján W d étékek vzsálatával csak ey előzetesen d 3

33 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással csuklóvonal P d a W d P 0 d=0. Θ d=k e K e d d=e -7. áa: A kézfej szementálása a csuklóvonal mehatáozásával Az eyes P d pontokhoz tatozó W d szélessé étékek htelen növekedése alapján detektálható a d=k pozícó és az ennek mefelelő e K csuklóvonal (lásd -7. áát) a következő feltételek teljesülése esetén: K = mn{ ( W+ D W ) > Tw} (.16) ahol D és T w paaméteek hatáozzák me hoy mlyen météken növekszk a ka szélessée a csuklónál. A ka fő ányának (lásd.15 eyenletet) és W d szélesséek méésével mehatáozhatóak a csuklóvonalhoz tatozó d=k és a kézfej vépontjához tatozó d=e pozícók (lásd -7. áát). A kéz ellpszs modellje alapján a naytenely a ka hosszát mí a kstenely annak szélesséét hatáozza me. Az nteakcó soán a látható ka hossza (naytenely hossza) jelentősen változhat azonan annak szélessée (kstenely hossza) közel azonos íy a kstenely hossza alapján ecslés adható a csukló teületée. A kíséletek alapján a fél-kstenely hossza (lásd -7. áát) esetén a csuklóvonal keesése leszűkíthető azoka a W d étékeke ahol d [E-3 E]. 4

34 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással A kíséletek soán (lásd -8. áát) a felhasználók különöző uházatokat vseltek például hosszú és övd ujjú net továá a kameaképen az alka lletve a felka s látható. A -8. áán látható hoy az eljáás ehajlított ka és szementálás hák esetén s alkalmazható. A kézfej szementálása soán alkalmazott étékek D=15 és T w =10 (lásd.16 képletet). a) ) c) d) -8. áa: Kézfej szementácójának eedménye különöző uházat esetén; a) kvetítendő kép; ) kameakép előtéen a kéz képével; c) szementált ka képe; d) szementált kézfej kontúja 5

35 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással.5 Kézjelek felsmeése dően eymást követő kontúok felhasználásával A emutatandó eljáásan a kézjelek felsmeése dően tö eymást követő kézjel analízse alapján pontosítható ahol az eyes esztusok osztályozása a evezetett kontúleíó füvény alapján Foue leíók számításával töténk..5.1 Foue leíó alapú osztályozás A kézjel analízse soán az első lépés ey ún. kontúleíó füvény mehatáozása amely alapján kszámíthatóak a Foue leíók [36]. Jelölje u(k) ey tetszőlees kontút epezentáló 1D-s kontúleíó füvény k-adk elemét amely a kontúvonal (x(k)y(k)) koodnátapontja seítséével fejezhető k (k=0 N-1 ahol N a kontú elemenek számát jelöl). A kép alapú nfomácó-vsszakeeső [36] kaaktefelsmeő eljáásokan [37] lletve kézjelek felsmeésénél [3965] különöző kontúleíó füvényeket alkalmaznak (lásd az képleteket és az -9. áán smetetett II III IV kontúleíó füvényeket) ahol e füvények mndeyke a kéz kontúját zát alakzatként modellez. A következőken ey új kontúleíó füvény keül evezetése amely fyeleme vesz a kéz stuktúáját mvel kzáóla a csuklópontok között kontúvonalat használja fel (lásd I kontúleíót az.17 képlet és -9. áa alapján). A I eljáás az előzőle mehatáozott WP 1 és WP csuklópontok (lásd -9. áát) között kontúvonal koodnátáól képzett komplex füvényt nye k (lásd.17 képletet) amely ejája a kontúvonal pontjat WP 1 -től a WP ponton keesztül vssza WP 1 - annak édekéen hoy u(k) peodkus leyen. A vzsált kontúleíó füvények a következők: I I eljáás z ( k) = ( x( k) xc ) + ( y( k) yc ) x x c 1 = N N 1 k= 0 N N 1 k= 0 * j x y x ( 0) = WP y( 0) = WP x( N / ) = WP y( N / ) 1 1 x( k) yc = y( k) 1 = WP y (.17) x x y ( N 1) = WP y( N 1) = WP 1 1 6

36 . Fejezet Felhasználó-adaptív kézfelsmeő eljáás nteaktív tanítással 7 II eljáás ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ) 1 ( 0 1) ( * = = = = + = = = N y y N x x k y N y k x N x j y k y x k x k z N k c N k c c c II (.18) III eljáás ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ) 1 ( 0 1) ( = = = = + = = = N y y N x x k y N y k x N x y k y x k x k N k c N k c c c III (.19) IV eljáás ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ) 1 ( 0 1) ( = = + = + = + = N y y N x x WP WP y WP WP x y k y x k x k y y w x x w w w IV (.0) ahol j a képzetes eysé és N a kontúpontok száma z I (k) és z II (k) komplex füvények amelyek k-adk eleme a kontúpont (x(k)y(k)) koodnátája és a kontúvonal (x c y c ) tömeközéppontja seítséével képzett komplex szám (lásd.17 és.18 képleteket) továá WP 1 [xy] és WP [xy] a csuklópontok koodnátát jelölk. Az III (k) étéke a kontú k-adk (x(k)y(k)) koodnátapontja és a kontúvonal (x c y c ) tömeközéppontjának (lásd.19 képletet) eukldész távolsáával számolható mí IV (k) a kontú k-adk (x(k)y(k)) pontja és a WP 1 WP pontok (lásd a -9. áát) által mehatáozott szakasz (x w y w ) felezőpontjának (lásd.0 képletet) távolsáával hatáozható me.