Diplomaterv. MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer. Srancsik Bálint. Témavezető: Takács György

Átírás

1 Diplomaterv MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer Srancsik Bálint Témavezető: Takács György Pázmány Péter Katolikus Egyetem Információs Technológiai Kar 2006.

2

3 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 3 Nyilatkozat Alulírott Srancsik Bálint, a Pázmány Péter Katolikus Egyetem Információs Technológiai Karának hallgatója kijelentem, hogy ezt a diplomatervet meg nem engedett segítség nélkül, saját magam készítettem, és a diplomamunkában csak a megadott forrásokat használtam fel. Minden olyan részt, melyet szó szerint, vagy azonos értelemben, de átfogalmazva más forrásból átvettem, egyértelműen a forrás megadásával megjelöltem.... Srancsik Bálint

4 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 4 Tartalomjegyzék: Nyilatkozat... 3 Tartalomjegyzék... 4 Összefoglaló... 6 Summary Bevezetés Vizuális beszéd jelentősége Beszélő fejek Előre tárolt képek Metamorphosis Geometriai arcmodellezés A fejanimálás korlátai Paraméterezés Modellfüggőség Az MPEG-4 Facial Animation szabvány FDP Face Definition Parameter FAP Facial Animation Parameter FAPU - Facial Animation Parameter Unit A küldött és fogadott adat értelmezése A kódolás irányelve A dekódolás szabadsága Előzetes felmérések A fellelhető fejanimáló rendszerek a feladat tükrében A saját fej-animációs rendszerünk koncepciója Audiovizuális-adatbázis összeállítása Audio Video Audiovizuális-adatbázis feldolgozása Feldolgozás lépései Feldolgozás értékelése Javítás Azonosítás... 27

5 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer Koordináta-transzformációk Főkomponens analízis (PCA) Hibák felderítése FP reprezentációkkal Idő Hanghullám Ellipszis A felhasznált MPEG-4 szabványú fejanimáló rendszer Lucia felépítése Lucia mozgása Log-Lucia konverzió Skálázás és irány Lucia tesztelése Lucia értékelése További paraméterek kinyerése A nyelv és az ajkak detektálása Az ajak belső pontjainak azonosítása Mobilon futtatható fejanimáló rendszer A modell elkészítése Megjelenítés Deformálás Animálás Következtetés Köszönetnyilvánítás Irodalomjegyzék sz. melléklet sz. melléklet Függelék... 52

6 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 6 Összefoglaló A diplomaterv a Siketek beszédkommunikációját mobiltelefonnal segítő eszközök fejlesztése projekt keretén belül végzett munkámat foglalja össze. Feladatunk a direkt speech-to-animation konverzió megoldása, vagyis hogy pusztán a beszédjelből állítsuk elő a különböző szájállásokat. A fejlesztés időszaka alatt folyamatos törekedtünk az MPEG-4 szabványra, mely leírja a komplett háromdimenziós fej-animációt. Rövid ismertetőt adok a siketekkel és nagyothallókkal végzet felméréseink eredményéről, a kutatás előmenetelét is nagyban meghatározó észrevételekről és megjegyzésekről. A rendszer tanításához audiovizuális-adatbázist készítettünk. A beszámolómban kitérek az adatbázis összeállításának részleteire és az adatbázis feldolgozásának lépéseire. A feldolgozás során a beszélőre festett MPEG-4 szabványú FP-k helyzetét határozom meg, kitérek annak hibáira, illetve, hogy ezek a hibák miből erednek, és hogyan lehet ezeket javítani. Pontosabban kitérek a FP-k azonosítására, illetve a pontosságot növelő koordináta-transzformációkra. A FP-k időbeni vizsgálatának előnyeire világítok rá, illetve, hogy a különböző reprezentációkkal milyen hibák és tulajdonságok figyelhetők és mérhetők meg. Továbbá ismertetem az MPEG-4 szabványú fej animáló rendszerekben szerzett tapasztalataimat. A konkrét Lucia modell felépítéséről számolok be, illetve, hogy annak animálása milyen kihívásokat állított elénk. Hosszabb kitérőt adok a saját és a Lucia paraméterek közti konverzióról. Beszámolok a relatív koordinátarendszerbe való áttérésről, a skálázás és az irány beállításáról. A projektben végzett munkánk során sikerült letesztelnünk az általunk összeállított adatbázis Lucián történő megjelenítésének felismerhetőségét. Megállapításra került a fejanimáló rendszer pontos működésének fontossága. Rövid elméleti hátteret adok további paraméterek kinyerésének fontosságáról, illetve beszámolok az adatbázis ezen elvek alapján történő feldolgozásáról. A dolgozatom utolsó részében egy mobiltelefonon is futtatható modell és OpenGL alapú fej-animáló motor elkészítésének főbb lépéseit foglalom össze.

7 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 7 Summary This paper summarizes my work under Developing mobile phone equipments as a communication aid for deaf persons project. Our aim was to solve the direct speech-to-animation conversion, as converting the speech signal to lip movements. During that process we were always about the MPEG-4 standard, which describes the whole 3D face animation. I am going to give a short overview of our test-results which we got by the deaf people and the other footnotes given by them which defined our research. To complete the learing ability of our system we made a special audio-visual database. In my work I am going to mention the parts of building process of this database too, and the steps of its processing. While we made this processing, I am defining the positions of the MPEG-4 standardised FP-s painted on the face of the speaker, I will list their errors moreover, the origins of these errors and the ways how to correct them. I would like to pay more attention how to detect the FP-s in addittion, the coordinate-transformations which increase their precisity. I will focus on the advantages of the examination of the FP-s in time, not mentioned that, what kind of errors and properties can be observed and measured with the different representations. Moreover, I will show my experiences about MPEG-4 facial animation systems. I will represent the building-up of the modell called Lucia and the challenges which we faced during its animation. I would like to give a longer description of the conversion between Lucia s and our parameters, put into relative coordinate-system and the setting up of the scaling and directing. During our projectwork we successfully tested the visualisation of the database made by ourselves on Lucia. We recognised the importance of the precise working of facing animation system. In nutshell, I am giving a theoretical overview about the importance of getting more parameters and the process of the database following these instructions. In the last chapter of my paper I would like to summarise the know-how of a model can be executed on a single mobile phone and the preparation of an OpenGL based facial animation engine.

8 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 8 1. Bevezetés A vizuális beszédszintézis az utóbbi években jelentős fejlődésnek indult. Lépten-nyomon találkozunk beszélőfejekkel, gondoljunk csak az animációs filmekre, játékokra vagy Internetes virtuális lényekre. Ezek szerepköre azonban jórészt a szórakoztatás köré összpontosulnak. A mi feladattunk az, hogy a szórakoztatást háttérbe szorítva, egy olyan szabványos rendszert dolgozzunk ki, mely alkalmas a hallássérültek beszédkommunikációjának fejlesztésére. Konkrétan egy olyan beszélőfej működtetését kell megoldani, mely képes a direkt speech-to-animation konverzióra, vagyis közvetlenül a beszédjelből állítja elő a szájállásokat elég pontos ahhoz, hogy arról a siket illetve nagyothalló emberek a szájmozgást le tudják olvasni, ezáltal meg tudják érteni a beszédet. Ezt egy olyan eszközön kell megvalósítani, mely kis helyet foglal, elég mobil ahhoz, hogy a felhasználó bárhová magával tudja vinni, tehát mindig kéznél van. Erre legalkalmasabb eszközök a mobiltelefonok, mert manapság már minden embernek van egy a zsebében, viszonylag olcsók, és egyre nagyobb teljesítményűek jelennek meg a piacon. De első megközelítésben a PC-s környezetet kell kialakítani a tervezés bonyolultsága és tesztelhetősége miatt. A feladatmegoldás során nem hagyhatjuk figyelmen kívül az MPEG-4 szabvány fejanimálásra vonatkozó pontjait. A rendszer kialakításában többen vettünk részt. Minden résztvevőnek meg volt a konkrét feladata, azonban ezek a feladatok sokszor keveredtek vagy megoldásuk több embert érintett. Heti rendszeressége történtek egyeztetések a munkafolyamatok értékeléséről és előrehaladásáról. Ezért egy kicsit mindenki magáénak érzi a rendszert. A teljesség kedvéért minden fontosabb rendszerelemre kitérek a dolgozatomban. A kizárólag általam önállóan elvégzett feladatok (marker követés, fejmodell működtetés és létrehozás, paraméter kinyerés, stb.) esetén részletesebben leírást adok a választott megoldásokról és bővebben indoklom azokat. 1.1 Vizuális beszéd jelentősége A beszéd vizuális csatornája rendkívül fontos lehet olyan esetekben, ahol pusztán a beszédhang alapján történő érthetőség alacsony. Gondoljunk csak a zajos környezet, például egy zsúfolt utcára vagy tömött villamosra. Ettől azonban nagyobb jelentősége van a vizuális beszédnek a halláskárosultak körében. Hiszen a siketek semmilyen információt sem kapnak magából a beszédből, csakis vizuális úton. (Elsőként 1954-ben Sumby és Pollack írt arról, hogy mekkora információt lehet szájról olvasással megérteni a jel-zaj függvényében [1].) A másik fontos dolog, hogy az emberi arc rendkívül jól visszaadja az érzéseket. A száj görbülete, a szemöldök összehúzása vagy a homlok ráncolása a hozzá tartozó hang nélkül is képesek visszaadni a karakter érzelmeit. Ezen felül megemlítendő, hogy a képi információ a beszélőről sokkal több tulajdonságot hordoz, mint pusztán a hangja. Biztosabban kiderül a beszélő személye, neme vagy épp kora.

9 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 9 Ezek a megfontolások vezetettek olyan kutatási projektekhez, melyek komolyabban foglalkoznak a beszéd vizuális szintézisével. 2. Beszélő fejek Már a legelső rajzfilmekben is találkoztunk arcanimálásokkal. Ezek az animálások azonban csak arra szolgáltak, hogy élethűvé és ezáltal élvezhetővé tegyék a rajzfilmek. Itt még nem beszélhetünk igazán vizuális beszédszintézisről, mert kizárólag a rajzoló művészre volt bízva a száj heurisztikus és leegyszerűsített mozgása, nem is beszélve arról, hogy a hanghoz történő szinkronizálás is manuálisan történt. A grafikus számítógépes felület megjelenése azonban lehetővé tette a tudományosabb és pontosabb fej-animációt. Számos eljárás dolgoztak ki az emberi arc számítógép által vezérelt mozgatására. [2] 2.1 Előre tárolt képek Az egyik megfontolás, hogy eredeti képeket tárolnak el beszélő arcának részleteiről. (2.1 ábra) Ezeket a részletek úgy mozgatják, hogy a beszédnek megfelelő képrészleteket cserélgetik. Tehát lényegében előre tárolt képrészleteket cserélgetnek az emberi arcon. Erre egy tipikus példa az egyes vizémák megjelenítése. (A vizémák az egyes fonémáknak az arcon megjelenő alakját jelentik; ezek száma a magyar beszédben tizenhét. [3]) Például az erő szót úgy jelenítik meg, hogy a fej-animációs rendszerben a szájat ábrázoló képrészletet először az e fonémának megfelelő vizémára cserélik, majd az r -nek megfelelőre és végül az ö -nek megfelelő vizémát mutatják egy kicsit jobban kitartva (így lesz belőle ő ). Ez a megoldás erősen korlátozott, hiszen nincsen mód arc részletesebb pontjainak mozgatására, illetve hogy ezek egymástól függetlenül mozogjanak, nem is beszélve arról, hogy a vizémák közti átmenetet csak a képek drasztikus növelésével lehet jól megoldani. 2.1 ábra: Előre tárol képekkel történő fejanimálás

10 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 10 Azonban ez a megoldás is jó lehet például olyan esetekben, ahol az egyes arckifejezések által kiváltott reakciókat vizsgálják, hiszen könnyen állítható és élethű. 2.2 Metamorphosis Létezik egy másik érdekes megoldás az eredeti fényképpel történő fejanimálásra: a metamorphosis, röviden morph. A morpholás lényege, hogy pixel alapú képeken olyan transzformációkat hajtsanak végre, mely lehetővé teszi két kép átlagának kiszámítását. (2.2 ábra) 2.2 ábra: Két kép közti morpholás 0-ás, 0.33-as, 0.67-es és 1-es súlytényezővel Ha a két képen ugyan az a beszélő látható (esetleg külön vizémákkal), ekkor ez a megoldás alkalmas lehet a vizámák közti átmenetek reprezentálására azáltal, hogy más-más súlytényezőket állítanak be a két képre, ezzel mint egy időbeni interpolációt képezve a két szájállás között. Az újabb morphológiai eljárások lehetővé teszik egyetlen kép deformálását célkép nélkül. [4] Lényege, hogy az eredeti képeken kulcspontokat definiálnak és ezek környezetében lévő pixeleket mozgatják (deformálják) a megfelelő morphológiai súlytényezőkkel. Előnye, hogy rendkívül élethű beszélőt lehet vele animálni, azonban még mindig nehéz paraméterezni, a száj belső részeit rosszul közelíti és három dimenzióban megvalósíthatatlan. 2.3 Geometriai arcmodellezés Az előző eljárások hátránya főként a modell flexibilitásának hiánya volt. Vagyis hogy az arc egyes részeit nehéz külön-külön mozgatni. Ennek a problémának a kiküszöbölésére jöttek létre a geometriai alapú modellek. Lényegük, hogy az emberi arcot geometriai építőkövekből rakják össze, olyan vertexekből és polygonokból, melyek jól közelítik a fej alakját. (A térben elhelyezkedő pontokat nevezzük vertexeknek, míg a vertexek által kifeszített három, négy vagy több oldalú felületeket polygonnak.) A geometriai megfontolásnak köszönhetően az építőelemek mérete, elhelyezkedése és, adott esetben, a kapcsolódási pontjaik könnyen változtathatók lettek, ezáltal paraméterezhető lett a talking head. Elsőként 1982-ben Parke használta ezt a módszert a fejanimálásra [5]. Az ő modellje 800 négyszögletű polygonból állt, mely az arc részletesebb részeit is (szemek, szemöldök, fogak és

11 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 11 ajak) tartalmazta. (2..3 ábra) Az arc mozgatása úgy valósult meg, hogy körülbelül 50 paraméterrel mozgatta a verexeket, ezáltal a polygon felületek is deformálódtak. Ezt a deformációt használta fel a fej animálására. Parke a paraméterek meghatározásaira nem használt anatómiai megfontolásokat, inkább megfigyeléseken alapultak. Ezért Waters 1987-ben kidolgozott egy izommozgási sémát, melyet alkalmasnak talált az arckifejezések reprezentálására. [6] A módszer kiforrottabbnak tűnt, azonban alkalmatlannak volt az ajakmozgások reprezentálásához az izomzat bonyolultsága miatt. Parke direkt paraméterezési modellje megvalósíthatóbbnak látszott. Emiatt szinte az összes fejanimáló rendszernek ez lett az alapja. 2.3 ábra: Parke 800 polygonos modellje 3. A fejanimálás korlátai A huszadik század végére két részre lehetett osztani a fejanimálással (Facial Animation) foglalkozók körét; művészekre és kutatókra. [7] A kutatók leginkább a modellezési és animálási technikák kidolgozásán fáradoztak. Mások az arc jellegzetes pontjainak követését tartották szeme előtt. Megint mások a gesztusok és a vizuális beszéd szintézisével foglalkoztak. A művészek leginkább a gyors és praktikus megoldásokat szerették a jó minőségű arc animáció megteremtéséhez a filmekben, játékprogramokban és webes alkalmazásokban. Számukra a Facial Animation csak egy része a projektnek, így nem fordítanak a kellőnél több időt annak tanulmányozására. Őket csak az elérhető legjobb megoldások érdeklik. Elérhető azt jelenti, hogy a grafikai szerkesztő szoftverekbe be van építve. Sajnos a két fél nem egy nyelvet beszél. Minden fejlesztő a saját, már megszokott modelljét használja, azt a saját paraméterezésével vezérli. Igen kevés olyan publikáció jelent meg, amit később a szórakoztatóiparban használtak, és még kevesebb szórakoztató ipari eljárást publikáltak szaklapokban.

12 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer Paraméterezés Két paraméterezési osztályba lehetett sorolni a fejanimáló rendszereket vezérlésük alapján: alacsony és magas szintű paraméterezésre. [7] Az alacsony paraméterezés azt jelenti, hogy a paramétereket a direkt arcmozgatás megvalósítására használják. Ezek a paraméterek egy osztályával írják le a vizuális beszédet, vagyis a paraméterek időegységekben történő változása alakítja a fejmodell megjelenését. Ilyen módszerrel használnak a már említett direkt paraméterezés vagy az izomsémák alapján működő rendszereknél. Magas szintű paraméterezés esetén a paraméterek egy sorát vezéreljük, ezáltal komplexebb, előre beállított mozgásokat lehet elérni. Erre a legjobb példa a szórakoztató iparban megfigyelhető manuális paraméterváltoztatás, mely ugyan időigényes, ám igen élethű mozgásokat tud eredményezni. A legtöbb háromdimenziós modellező és animáló szoftverbe ezt úgy valósítják meg, hogy az idő tengelyen kulcs kockákat határoznak meg, és ezen kulcsok között interpolálgatnak különböző algoritmusok alapján. Szintén ebbe az osztályba tartoznak az olyan text-to-speech rendszerek, melyek előre definiált vizémák közti átmenetekkel valósítják meg a szájmozgást. 3.2 Modellfüggőség Ám nem csak az a probléma, hogy ilyen sokrétű a paraméterezések osztálya, hanem az is előfordulhat, hogy az ugyan olyan paraméterezést használó rendszerek sem kompatibilisek, például a paraméterek számát vagy értelmezési tartományát nézve. Ezen rendszerek másik hátránya, hogy modellfüggők lettek. A paraméterek nem egy általános fejanimáló nézethez vagy szabványhoz lettek alakítva, hanem az adott modellhez. Ezek más fejformára vagy karakterre nem is működnének. Egyre nagyobb igény lett a Facial Animation valamilyen szabványosítására, főleg a paraméterezés sokszínűségének általánosítása és a modellfüggőség feloldása miatt. Az első és a mai napig egyetlen fej-animációs szabvány az MPEG-4 FA. 4. Az MPEG-4 Facial Animation szabvány Az MPEG (Moving Picture Expert Group) szabványok legfőbb célja a hang és videó jelek tömörítése. [7] A tömörítés alapkövetelménye a hatékonyság növelése az élethűség megtartása. A multimédia-alkalmazásokban már elterjedt az MPEG-2 kódolás. Az MPEG-4 kódolás célja az alacsonyabb sávszélességen történő audio-video átvitel. Az MPEG-4-et nem csak nagy tömörítésre alakították ki, hanem figyelembe vettek olyan multimédia alkalmazásokat is, mint 3D-s jelenetek, animációk, szintetizált hangok, képek, szövegek, grafikák külön vagy akár együttes kezelése és élethű megjelenítése.

13 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 13 Az MPEG-4 szabvány egyik legösszetettebb része a fej és az emberi test megjelenítése és mozgatása (FBA - Face and Body Animation). Az FBA-ra vonatkozó szabványrész leírja az arc és a test alakjának és mozgásának kódolási alapelveit. Az FBA definiálása során igen összetett problémával álltak szemben a szabvány készítői. Hogyan valósítsák meg a kódolási és dekódolási folyamatokat. Hiszen rengetek formában és rengetek modellen kell a kódolási folyamatok végrehajtani a multimédiában. Nincs két egyforma arc. Főleg ha az arcok közé bevesszük a különféle virtuális lények és állatok arcait. Mivel az MPEG-4-et kifejezetten a multimédiás alkalmazásokhoz fejlesztették, így fel kellett készíteni azok sokszínűségére. Végül is a problémát úgy oldották meg, hogy más MPEG szabványoktól eltérően itt nem adják meg a kódolási és a dekódolási eljárást, csak a küldött adat formáját és értelmezését határozza meg az MPEG-4 FA. 4.1 FDP Face Definition Parameter Ahány arc, annyi paraméterezés. Ezt figyelhettük meg a szabvány előtti fejanimáló rendszerekben. Azonban minden arcban van valami közös. Például hogy van szája, szemöldöke, füle, foga, nyelve, orra, stb. Az MPEG-4 FA ezeket a közös tulajdonságokat összegzi. Az arcon 86 darab Feature Point-ot (FP-t) határoz meg, mely a modell alakjának leírására szolgál. (4.1 ábra) Ezen pontok összességét nevezik FDP-nek, vagyis arcdefiníciós paraméternek. Minden MPEG-4 kompatibilis modellen meg kell határozni ezeket a pontokat. A meghatározás azt jelenti, hogy a modell terében elhelyezzük a Feature Point -okat. 4.1 ábra: MPEG-4 Feature Point -ok; definiáló és mozgató FP, csak definiáló FP A szabvány az arc modelljét az arc normál állapotával írja le. Egy arc akkor van normál állapotban, ha a modell nem mutat semmilyen gesztust, nem formál semmilyen vizémát, nem pislog a szeméven, nem emeli fel a nyelvét. Pontosabban: [7]

14 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 14 - A koordináta rendszer jobbsodrású, a fej tengelyei párhuzamosak a világ tengelyeivel. - A tekintet z tengely irányában van. - A szemhéjak érintik az íriszt. - A pupilla átmérője az íriszének egyharmada. - Az ajkak összeérnek, a belső ajak vonala horizontális, és egy magasságban van a külső ajakszélekkel - A nyelv lapos és horizontális, a vége a felső és alsó fogak közé esik Az FDP tehát arra szolgál, hogy egy általános elrendezés alapjaként egy egyedi arcot definiáljon. Ezen felül leírja a modell textúráját és alapul szolgál az animáláshoz (hiszen animálás során a Feature Point -okat mozgatjuk) Annak köszönhetően, hogy minden MPEG-4 kompatibilis fejmodell tartalmazza ugyan azt a 86 tartópontot (vagy annak legalább egy részét), az animálás megvalósíthatónak látszott. A cél az, hogy a szabványos részeket mozgassuk, hiszen az minden modellre, ha nem is ugyanott van, de ugyan azt az arc részletet definiálják. Az FP-ket az animálás alapján két részre lehet osztani: közvetlenül mozgatott tartópontok és más FP-k által mozgatott tartópontok. Az előbbi pontok halmaza külön-külön mozgatható, tehát nem csak arcdefiniáló szerepe van, hanem animáló is. Ilyen pontok például az ajak körvonalán elhelyezkedő Feature Point -okat. Az utóbbi FP-k csak definiálják a fej alakját, de közvetlen mozgásra nem képesek. Mozgásukat más tartópontok adják meg. Ilyen pont például a fülcimpán vagy a fejtetőn elhelyezkedő FP. A kérdés az, hogy mi alapján mozogjanak a tartópontok. Erre hozták létre a FAP-okat. 4.2 FAP Facial Animation Parameter A FAP-ok feladata, hogy egy vagy több FP-t mozgasson. FAP-ból a szabvány 68-at különböztet meg, melyet 10 csoportba sorol az alapján, hogy az arc mely részét mozgatja. Az első két FAP magas szintű, ez azt jelenti, hogy ezekkel előre beállított komplexebb mozgást lehet kivitelezni. Az első FAP egy megadott vizéma szerinti megjelenést határoz meg. Az angol fonémakészletnek megfelelő vizémákat állítják elő. Használatakor két vizémának a kódját kell megadni. Ebből a két vizémából tud kevert vizémákat előállítani. Nulla súly esetén az első, míg egyes súly esetén a második vizémát eredményezi. Köztes súlyok köztes vizémaátmeneteket képeznek. A második FAP a hat alap érzelem megjelenítésére szolgál, úgy mint öröm, bánat, harag, félelem, undor és meglepetés. Tovább érzelemkifejezéseket az alap érzelmek keveréséből lehet megjeleníteni, hasonlóan a vizémákhoz. A többi 66 FAP alacsony szintű. Ezek abban különböznek a magas szintű FAP-októl, hogy itt a mozgás irányát és amplitúdóját kell megadni, nem pedig egy összetett feladatra előre

15 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 15 összeszerkesztett mozgásvezérlést kell kezdeményezni. Az alacsony szintű FAP-ok általában egy-egy tartópontot mozgatnak. Előfordulhat azonban olyan mozgás is, amely az összes FP-re hatással van, de közvetlenül csak egy pontot mozgatnak, ilyen például a fej forgatása. Az alacsony szintű FAP-ok prioritása magasabb, mint a magas szintű paramétereké. [7] De hogyan valósul meg a mozgás? Az egyértelmű, hogy a FAP nem reprezentálhat egy koordináta értéket, hiszen minden modell máshol és máshogy helyezkedik el a saját világában, nem is beszélve a méretbeli különbségekről. Akkor a FAP reprezentáljon valamilyen elmozdulást. De mihez képest? Az origóhoz, vagy a modell egy adott pontjához? Mivel mind az origó, mind egy adott pont nem elég konkrét, vissza vezeték a problémát az FP-khez. Hiszen ezek a modellt a normál állapában reprezentálja. Ezért a FAP minden esetben a normál állapothoz képesti eltérést adja meg, nem pedig az előzőhöz képest. Ám még mindig problémát okoznak a méretbeli különbségek. Egy nagyobb és egy kisebb fejű modellt még mindig nem lehet jól animálni. Ezért találták ki a FAPU-t. 4.3 FAPU - Facial Animation Parameter Unit A FAPU értékek segítségével lehet feloldani a modell méretbeli különbségéből fakadó kompatibilitási problémákat. A jellegzetes arcpontok távolságából származtathatók. Ilyen távolság például a szemek távolsága, az orr hosszúsága vagy a száj szélessége. (4.2 ábra) 4.2 ábra: FAPU-k származtatása A FAPU minden modellre egyedi. Ezért a dekódolási folyamat során figyelembe kell venni. Minden FAP-ra meg van határozva, hogy a hat FAPU közül melyikből származtatható az elmozdulása. Az elmozdulás egysége (FAPU) a jellegzetes távolságok 1024-ed része. IRISD=IRISD0/1024 ES=ES0/1024 ENS=ENS0/1024 MNS=MNS0/1024 MW=MW0/1024 AU=10-5 * rad

16 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 16 Ezek alapján egy közelítést is adhatunk a FAP-ok által generált mozgás felbontására. Ha a paraméterek egészek (ugyan a szabvány ezt nem köti ki, de a legtöbb fejanimáló rendszer egészekkel működik), akkor a mozgás felbontása a FAP-nak megfelelő jellegzetes távolság 1024-ed része, vagyis a FAPU. 4.4 A küldött és fogadott adat értelmezése Minden alacsony vagy magas szintű FAP-ra a következő tulajdonságot definiálja a szabvány: - A FAP sorszáma: Ez lényegében csak a FAP-ok azonosítására szolgálnak. A különböző FAP-okat egytől hatvannyolcig számozza meg. - A FAP neve: Az olvashatóság kedvéért pár karakteres nevet kaptak a FAP-ok. Például close_t_l_eyelid, vagyis csuk_felső_bal_szemhély. - A FAP mozgásának mértékegysége: Azt mondja meg, hogy a FAP mozgása során melyik FAPU-t kell mértékegységként venni. - Irányultság: Megadja, hogy az adott FAP Uni- vagy Bidirekt, vagyis hogy egy vagy két irányba tud-e mozogni. Ez azt jelenti, hogy a normál állapothoz képest hány irányba tudja elmozdítani az adott tartópontot. Ha belegondolunk, az áll az egyirányú, mert a normál állapothoz képest nem lehet jobban összecsukni az állkapcsot, csak lefelé mozdulhat el. Míg a fej forgása kétirányú, hiszen óramutató járásával azonos és ellentétes irányba is lehet forgatni. - Mozgás: Arra szolgál, hogy definiálja az adott FAP-re vonatkozó pozitív amplitúdójú mozgás irányát. Ez lehet fölfelé, lefelé, balra, jobbra, előre, stb. - Csoport: A FAP által mozgatott FP csoportszámát jelöli. Például a 8-as csoport jelöli az ajak külső pontjait. - Alcsoport: Az FP csoportjának alcsoportja. Például 8.4 jelöli a jobb szélső külső ajakpontot. Ennek a táblának megfelelően kell a kódolási és dekódolási folyamatokat végrehajtani. A tábla ismerete lehetővé teszi, hogy egy FAP-ról mindössze a sorszámát és értékét kelljen átküldeni. Például ha az 58-as FAP -128 értéket kap, akkor kiderül, hogy a külső szájszél középső felső pontja az orr és a száj távolságának nyolcadával mozdult felfelé. 4.5 A kódolás irányelve Mint ahogy azt már említettem, az MPEG-4 szabványban nincs meghatározva a kódolási és dekódolási folyamat. Azonban a küldött adat formája igen. Tehát a küldött adathoz kell formálni a kódolásokat. Egyre több kutatás folyik a valós idejű MPEG-4 Facial Animation megvalósításán. Ezek lényege, hogy az eredeti képekből gyorsan nyerjék ki a FP-k pozícióját. [7] A szabvány nem határozza meg a kinyerés során használt algoritmusokat és eljárásokat. A lényegkiemelés

17 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 17 ugyan úgy lehet hisztogram alapú, mint edge detection bázisú. Sőt, nem is fontos, hogy pusztán az eredeti videojelből nyerjék ki az adatokat. Az arcra festett marker-ek követése ugyan úgy megengedett. Ráadásul ez pontosabb eredményhez vezet. A lényeg, hogy a kódolás után az MPEG-4 alapú FAP-ok legyenek továbbítva a dekódoló felé. 4.6 A dekódolás szabadsága Talán a dekódolás még a kódolásnál is nagyobb szabadságot élvez, hiszen alig van korlátozva a küldött adat feldolgozása. A dekódolás végeredményében csak az FP-hez kell alkalmazkodni, és mint tudjuk, ezek elhelyezkedése elég szabad. Azonban a FAP-ok (és FAPU-k) mégis értelmes korlátok közé szorítják a fejanimálást, legyen az geometriai alapú vagy épp morpholással működő. Ennek következtében nagyobb szabadságot és sokszínűséget adtak a dekódoló rendszereknek. Az MPEG-4 tehát jól definiálja az FP-k mozgását, de viszonylag szabadon hagyja azok feldolgozását. (Részletesebben csak a geometriai alapú rendszerek vezérlésére térek ki, mert a legtöbb Facial Animation megvalósítás ezt a módszert alkalmazza.) A MPEG-4 szabványú geometriai alapú fejanimáló rendszereknél bevett szokás, hogy a lehető legtöbb FP köré definiáljanak hatóköröket. (4.3 ábra) Egy FP csak a saját hatókörén belüli vertexekre hat. Azonban azt már korán észrevették, hogy a távolság arányában érdemes valamilyen súlytényezőt számolni. Ugyanis e nélkül a hatókör szélén elhelyezkedő pontok a szomszédoktól igen eltérő mozgáshoz vezettek, ami a modell szakadozott mozgásához vezetett. Arra is rájöttek, hogy a távolság arányában a súlytényező nem lehet lineáris, ugyanis hasonló szakadozott animációhoz vezetett. Végül is két megoldást használnak: koszinuszos távolság arányt (1) [8], és e-ados éltávolságot (2) [9]. A koszinuszos mozgatás: w ij si ( 1 cos((1 ) * π ) r j = i=1 n; j=1 86 (1) 2 Ahol w ij a j-edik FP által mozgatott, a hatókörben i-edik vertex súlytényezője, s i az FP és a hatókörben i-edik vertex Descartes távolsága, r j pedig a j-edik FP hatókörének sugara.

18 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 18 Az e-ados mozgatás: 2 di 2 j r = i=1 n; j=1 86 (2) w ij e Ahol w ij a j-edik FP által mozgatott, a hatókörben i-edik vertex súlytényezője, d i az FP és a hatókörben i-edik vertex éltávolsága, r j pedig a j-edik FP hatókörének sugara. 4.3 ábra: Egy FP és annak hatóköre A koszinuszos megközelítésnek az a hátránya, hogy például az ajak környékén nem jól működik. Hiszen itt nem alkalmas pusztán Descartes távolságot számolni, ugyanis előfordul, hogy az ajak belső szélének középső alsó FP-je hat a felső szélének középső felső pontjának vertexeire, melyek teljesen külön kell mozgatni. Ezt úgy küszöbölik ki, hogy ezeken a területeken nem hatókört alkalmaznak, hanem felsorolják az FP által mozgatott vertexeket (kihagyják a nem oda tartozókat). Az e-ados megoldás pedig időigényesebb, mert akkor is számol a száj környékén súlytényezőket, amikor arra az adott vertexre nem is kell hat az FP. Mindkét esetben kihívást jelent az FP-k hatókörének (oválisának) megválasztása. 5. Előzetes felmérések A kérdés az, hogy egy ilyen MPEG-4 szabványú fejanimáló rendszer alkalmas-e a siketek számára, arra hogy arról a szájmozgást le tudják olvasni. Ezért felmértük a piacon megtalálható fej-animációs rendszereket, illetve azt, hogy azok mennyire segítik a hallássérültek beszédkommunikációját. (Sajnos az egyes kutatólaborok rendszerei nem publikusak vagy épp nyelvfüggők, így csak néhány, a szórakoztató iparban felelhető fejanimáló rendszert tudtuk tesztelni.) Az interjúk során a siketek és nagyothallók elmondták, hogy ezek a rendszerek nagyon jó grafikával rendelkeznek, igen élethűek, de alkalmatlanok a

19 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 19 szájról olvasásra. Több programról is kikértük a véleményüket, ám egyik sem felelt meg a legcsekélyebb elvárásaiknak sem. A legnagyobb hibának azt tartották, hogy a modellek laposan beszélnek. Vagyis nem nyitják ki eléggé vagy nem kerekítik a szájukat. Szinte az összes modellnél problémát okozott a száj belső részének (fogak, nyelv, torok) kidolgozatlansága, mind grafikailag, mind az animációját tekintve. Ezen kívül több alkalommal tartottunk felméréssel egybekötött interjút, hogy kiderítsük, a rendszert milyen hardveren, milyen grafikával, milyen felbontásban és hogy egyáltalán milyen formában valósítsuk meg. A vizsgálatok alapján a fejlesztési folyamatot is befolyásoló tanulságokat szűrtünk le: [10] Ne legyen feltűnő: A legtöbb hallássérült nem szívesen hívja fel a figyelmet erre a tulajdonságára. Így egy olyan eszközön kell megvalósítani a rendszert, melyet előszeretettel használnak a mindennapi életben. Ezek alapján a mobiltelefon tűnt a legjobb megoldásnak. Szájról olvasás vizuális feltételei: A beszéd szájról olvashatóságának két legfontosabb kritériuma a beszéd sebessége és artikuláltsága. Lassan és jól artikuláltan kell beszélni. Szájról olvasás nyelvi feltételei: A siketek nyelvhasználata eltérő a halló emberekétől, kisebb figyelmet fordítanak a ragozásra vagy a névelőkre. Ehhez mérten kell tervezni a rendszerünket Mobilkészülék kijelzője elegendő: A Sony Ericsson P910-es készülék esetében azt találtuk, hogy felbontása, ami DPI-ben a modern monitorokkal egy kategóriába esik [11], elegendő a szájról olvasáshoz. (A kétjegyű számokat 80-90%-ban felismerték) 2D vagy 3D: Felméréseinkből arra következtettünk, hogy egy háromdimenziós modellre lenne igény az árnyékok és színáttünések miatt. A siketek az életben mindig szemből olvasnak szájról, számukra ez a nézet az ideális. Tehát elegendő lenne egy 3D-s modell szemből, ami lényegében csak 2D-ben mozog. 6. A fellelhető fejanimáló rendszerek a feladat tükrében Értelemszerű, hogy a rendszerelképzelésünk elemei automatizáltak kell hogy legyenek. Minden manuális beavatkozást ki kell zárni, így az (ugyan mutatós) manuális paraméterező rendszereket elvetettük. Két kutatási irány létezik a feladat megoldására: a vizuális text-to-speech és a speech-toanimation. A legtöbb vizuális text-to-speech rendszer a magas szintű paraméterekkel történő vezérlést használja, hiszen könnyedén megvalósíthatja a szájmozgást. Ha a rendszer már képes a szavakat megfelelő fonémákká alakítani, onnantól egy egyszerű fonéma-vizéma megfeleltetéssel már kész is a szájmozgás. [12] Azonban egyrészt a text-to-speech dinamikaromlása, másrészt a vizémaátmenetek linearitása miatt a szájmozgás töredezett és

20 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 20 gépies lesz. Nyílván való, hogy ebben a formában pusztán a szájról történő megértés megvalósíthatatlan. Beskow kutatásai már felismerték, hogy igen bonyolult a megfeleltetés a hanghullámok és a szájállások között. Elég bonyolult ahhoz, hogy ne lehessen konkréten leírni a kettő közti transzformációt. Ezek a rendszerek Neurális hálózatot használnak a konverzióra. [13] A Neurális hálózat egyik tulajdonsága, hogy tanító halmazt kell készíteni a súlyai beállításához. Tehát valamilyen módon jellemezni kell a beszédet. Erre a már felvett és fonéma alapon címkézett adatbázist használtak. A beszélőre markereket raktak, melyeket később lekövettek. A Neurális hálózat végeredményben az akusztikus lényegkiemelést (MFCC) és a beszéd fonéma alapú címkézését tanulta meg. A marker követésnek köszönhetően alacsony paraméterekkel tudták vezérelni a fejanimáló rendszerüket, ezáltal pontosabb szájmozgást elérve. Azonban a rendszer még mindig tartalmazta dinamikaleképzést diszkrét időlépésekre. A rendszer összehasonlították egy olyan Neurális hálózat modell eredményével, melynek kimenete nem fonémák, hanem a markerek helyzete. Azonban a méréseik és tesztelései azt az eredményt mutatták, hogy a második modell ugyan nem tartalmaz diszkretizálást, mégis rosszabbul közelíti az eredeti szájmozgást mint a text-to-speech alapú. [13] A folytonos Neurális hálózatnak az lehetett a hibája, hogy túl sok paraméter megtanulására lett kényszerítve, a tanulás folyamat és az adatbázis is viszonylag rövid volt. (40 másodperc beszéd, 500 epoch.) 7. A saját fej-animációs rendszerünk koncepciója A saját rendszerünk összeállítása során nem hagyhattuk figyelmen kívül a siketek egyedi kommunikációját. Rendkívül fontos számukra a mindennapi életben megszokott beszéddinamika, és az olvasható artikuláció. Ezért a Neurális hálózat modell tűnt járhatóbb útnak, még akkor is, ha az Beskow kutatásai alapján rosszabb eredményeket hozott, mint a vizuális text-to-speech. Az előző fejezetekben említett okok és érvek miatt döntöttünk a következő rendszer modell mellett. [14] (7.1 ábra) Acoustic feature extraction MFCC NN PCA -1 MPEG4 based facial animation model w 1 w 6 weights of the principal components FP Feature points coordinates 7.1 ábra: A rendszerünk koncepciója

21 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 21 - A rendszer mobiltelefonon valósul meg, mert a mai mobiltelefonok kapacitása elegendőnek tűnik a feladat megoldására. - A beszédet a mobiltelefon feldolgozza, Mel-Frequency Cepstrum Coefficient (MFCC) meghatározása után a már előre megtanított Neurális hálózatnak adja. - Neurális hálózat kimenetén az MPEG-4 szabványú FAP-ok jelennek meg PCA-val tömörítve. - A FAP-ok visszaállítása után egy háromdimenziós fejmodell jelennek meg a mobil kijelzőjén, mely eltátogja az FAP-okat. Erről a siketek le tudják olvasni a beszédet. Az egyéni rendszermodell további megfontolásokat hozott. Más rendszerek tanításával szemben, a mi tanítóhalmazunk nem természetes bemondók szájmozgását tartalmazta, hanem jeltolmácsokét, mert az ő beszédjük alkalmazkodott a siketek elvárásaihoz, mind a beszédtempó, mind az artikuláció tekintetében. Beskow eredményeiből kiindulva fontosnak találtuk a hosszabb idejű tanítást. A mi Neurális hálózatunk epochon keresztül tanult. [15] Ez tömörítés nélkül több hónapig is eltartott volna, mi viszont főkomponens analízist végeztünk a FP-k helyzetének tömörítésére. Így nagyobb hatásfokot tudtunk elérni. A továbbiakban a rendszerünk elméleti elgondolásainak gyakorlatban történő megvalósításairól számolok be. Részletesebben tárgyalom az általam megoldott feladatokat, azok eredményességeit és esetleges hibáit. 8. Audiovizuális-adatbázis összeállítása Első lépésben elkészítettük egy audiovizuális adatbázist. [10] Egy rendszer teszteléséhez és tanításához olyan adatbázisra van szükség, ami megfelel a teljességi, a pontossági, és a statisztikai elvárásoknak. Az előzetes felmérésekben említett szájról olvasás vizuális feltételeit leginkább a jeltolmácsok elégítik ki, hiszen mindennapi életüket a siketek és nagyothallók közt töltik, így az ő beszédjük a legoptimálisabb a rendszer tanítására. 8.1 Audio Az adatok felvétele előtt összeállítottunk példamondatokat és diádokat úgy, hogy a lehetséges fonéma együttállásokat lehető legjobban lefedje. A 60 darab példamondat a magyar fonémakészletet a nyelv átlagos eloszlásával használták. Továbbá a jeltolmácsok kb. 200 diádot mondtak el. Ezen kívül hónapok, napok neveit, egy-, két- és háromjegyű számokat. 8.2 Video Ahogy azt már említettem, az arc teljes körű modellezését már elvégezték és szabványosították MPEG-4 néven [7]. Úgy döntöttünk, hogy amennyire lehetséges, ehhez a

22 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 22 szabványhoz közeli adatokkal dolgozunk. A videót úgy vettük fel, hogy az arcon megjelöltük a számunkra fontos tartópontokat. Nem jelöltük meg a siketek által nem figyelt pontokat. Az igazán fontos pontok a száj külső kerülete (8 pont), száj környéke (2 pont) és az áll (2 pont). Ez eddig 12 pont. (8.1 ábra) A felvételen még 3 pontot (az orron szélein és közepén) vettünk fel, melyek a beszéd közben viszonylag fixek, így a fej esetleges elforgásakor segíthet a visszatranszformálásban. A beszélő feje puha korlátok közé lettek szorítva, ezzel is kiaknázva az esetleges elmozdulásokat. A megvilágítást úgy választottuk meg, hogy a későbbiekben automatikusan tudjuk a pontokat megkeresni a felvételen. Erre jellegzetes rikító sárga festéket használtunk. Mivel a beszéd közben ezen pontok mozgását kell megállapítani, fontos, hogy a felvétel felbontása minél jobb legyen. Ezért is szorítkoztunk a beszélő szájára és annak környékére. 8.1 ábra: Az általunk használt 15 FP A kameráink a piacon elterjedt digitális kamerákhoz hasonlóan PAL szabványú, 720x576 képpont felbontásra képesek. A szabványos másodpercenkénti 25 képkocka mintavételezést alkalmaztuk. Mivel ezek a kamerák nem rendelkeznek kiváló minőségű hangrögzítő berendezéssel, ezért a beszélő hangját felerősített, külön PC-hez kapcsolt mikrofonnal rögzítettük. A kamera és a hang szinkronizálását a felvételen látható és hallható csapóval oldottuk meg, így az esetleges elcsúszások nem haladják meg az egy frame-et. Azzal, hogy a kamera csak a száj körüli pontokat figyelte, elértük, hogy egy FP mozgását átlagosan vízszintesen pixel, függőlegesen pixel felbontással lehessen rögzíteni. A kamerák képét közvetlenül a videó szalagra rögzítettük, majd a felvételek után DV AVI formátumban digitalizáltuk. A pontosság érdekében ennél jobban nem tömörítettük.

23 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer Audiovizuális-adatbázis feldolgozása Ebben a fejezetben beszámolok arról, hogy milyen önálló megoldást dolgoztam ki az audiovizuális adatbázis feldolgozása. Készítettem egy olyan eljárást, mellyel az audiovizuális adatbázisban szereplő FP-k helyét meg lehet határozni. A projekt előrehaladtával ez az eljárás kiegészült és pontosult. (9.1 ábra) 9.1 ábra: Audiovizuális-adatbázis feldolgozásának folyamata Az előző éves munkám során nem tartottam fontosnak a videó előszűrését, mert beépültek olyan egységek a függvénybe, melyek kiküszöbölték a szűrés hiányát. Ám méréseim és tapasztalataim alapján arra a következtetésre jutottam, hogy a szűrés elengedhetetlen. Számunkra az egyik problémát a PAL szabványban megjelenő interlace (váltottsoros) eljárás okozza. (8.3 ábra) Ugyanis ebben a szabványban lényegében nem 25 kép van másodpercenként, hanem 50 félkép. Ez akkor idéz elő hibát, ha valamilyen mozgás van a képen. A mi felvételünkben leginkább a FP-k mozognak, a felpattanásoknál nem is kis mértékben. Így a felvételen váltakozva jelennek meg a sorok, ami ahhoz vezet, hogy egy FP foltban minden második sor más színű. Ennek egyenes következménye a hibás detektálás. Ugyan a dilatáció ezt a problémát feloldja, de a pont közepét jobban meg lehet találni deinterlace szűréssel. 9.2 ábra: Interlace és Deinterlace HSV adjust szűrés segítségével a telített sárgás pixeleket jobban ki tudjuk emelni, ezáltal jobban elkülönülnek.

24 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 24 Az egyes felvételeken sajnálatos módon zavaró tárgyak jelentek meg és verték vissza a fényt. Ilyen volt a fülbevaló vagy a mikrofon. Szerencsére egy egyszerű kitakarással ezeket kilehetett szűrni, ugyanis a tárgyak közelében nem volt FP. Az előszűrés után jöhetett az MPEG-4 pontok detektálása. A feladat megoldásához MatLab es programot használtam, melyben egy.m fájlt készítettem. A működéshez szükség van Image Processing Toolboxra is. Bemenetei: 1. a videó maga, 2. hányadik frame-től, 3. hányadik frame-ig dolgozza fel. 9.1 Feldolgozás lépései A script frame-ről frame-re dolgozza fel a képet. Először az aktuális frame-et írom ki egy háromdimenziós mátrixba. Ennek mérete megegyezik a videófájl méretével. Ez az adatbázisunkban 720*576. A harmadik dimenzió az RGB színek megfeleltetése, tehát a mátrix 720*576*3-as. A kezdeti felvételeken az egész arcot rögzítettünk. Ahhoz viszont, hogy felbontást minél inkább kihasználjuk, a kamerát elforgattuk. Tehát a feldolgozás következő lépése, hogy a képet -90 -kal. (Mivel a későbbi, Neurális hálózat tanításánál is használt felvételek kizárólag a száj környékét vették, így azokat nem kellett elforgatni. Ezeknél a felvételeknél értelemszerűen ez a lépés kimarad.) A harmadik lépés vizuális lényegkiemelés vagyis, hogy a képen meghagyom az érdekes részeket. A felvétel során az MPEG-4 pontok az arcbőrtől elütő sárgás festékkel lettek elhelyezve. Tehát ami nem sárga, azt a frame-ről le kell törölni. Ehhez a kép minden egyes pixelén végig kell menni, és ott meg kell vizsgálni az RGB összetevőket. Ez egy konkrét esetben a következő feltételt jelentette: (r > 200 ) & (g>200) A sárga szín a vörös és a zöld keverékéből jön ki. Tehát mindössze ennek a két komponensnek kell külön-külön is nagynak lennie. Amelyik képpont ezt a feltételt teljesíti, azzal egyenlőre nem történik semmi, a többi pont viszont az RGB összetevők mindegyikére 255 értéket kapva törlődik, fehér lesz. Továbbiakban az aktuális (most már pucolt kép) binarizálása következik. Ennek threshold értéke vagyis minden ami eddig nem fehér volt, az most fekete lesz. (Tapasztalataim alapján a threshold érték nem lehet 1, mert akkor az összes pont törlődik.) Az ötödik lépésben a már bináris képet invertáljuk, ugyanis az előző lépésben az összes 255 értékű képpont 1 lett. Elegánsabb a képet úgy ábrázolni, hogy az érdekes részeket reprezentáljuk 1-el, nem pedig a hátteret. Tehát a jelen állapot szerint a kép nullákból és egyekből áll, ahol a tartópont-halmazok az egyek, és a többi nulla.

25 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 25 Eredeti kép Pucolás Binarizálás Invertálás 9.3 ábra: A MatLab függvény 2-5. lépésének eredménye (képrészletek) Ahhoz, hogy az FP-k helyét meghatározzuk, minden pontot egy pixel kell hogy reprezentáljon. Ha a képen eróziót hajtanánk végre, akkor elérhetnénk, hogy az MPEG-4 pontok széleit fokozatosan eltüntessük. Sajnos (ahogy a 9.3 ábra 4. lépése mutatja) a pontok nem lesznek homogének. Ha nem homogén, akkor az erózió végeredményeként egy FAP nem egy pixelből, hanem több különállóból fog állni. Azért, hogy ezt a problémát kiküszöböljük, először dilatálni (kövéríteni) kell a pontokat. Tehát hatodik lépésben a dilatálás következik. A dilatációs mátrix egy 5*5-ös csupa egyes mátrix. Ez azt jelenti, hogy minden pixelt, melynek értéke 1, minden irányba két pixel vastagságban kiszélesít. Ennek hatására a Feature Point -ok homogénebbek lesznek. A következő lépésben már végrehajthatjuk az eróziót. A művelet végrehajtása során a kövérített FP-ket addig soványítjuk, amíg csak tudjuk (Ultimate Erosion). Az erózió nyolc szomszédsági, tehát egy pixel mind a nyolc szomszédos pixelét törölheti. Sajnos az eljárás végeredménye nem mindig egy pixel, ugyanis például egy egyenes szakaszt nem tud soványítani. Viszont igen jól közelíti az MPEG-4 pont közepét. A MatLab a dilatációs és eróziós műveletek végrehajtására beépített függvénnyel (imdilate és bwulterode) rendelkezik. Nyolcadik lépésben most már elérhetjük, hogy minden egyes MPEG-4 pontot egy pixel reprezentáljon. Ehhez újra végig kell menni a kép összes pixelén és egy saját eróziós algoritmust kell alkalmazni. A elkülönült részek pixeljeit ellátjuk számokkal. Az ugyan olyan számokkal rendelkező pixelek összefüggők. Ezt az elkülönülést használom ki a pixelek átlagának kiszámolására. Tehát minden FP-t egy pixel elhelyezkedési átlag fog reprezentálni. Az esetleges tört számok elkerülése végett kerekítek. (9.4 ábra) Az eljárás előnye, hogy így egy pixel fogja reprezentálni az FP-ket. Hátránya, hogy igen számolásigényes lett. 9.4 ábra: Az eróziós algoritmus eredménye

26 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 26 Tehát végeredményben az aktuális frame-en 15 darab pixel kivételével az összes értéke nulla. Minden nem nulla (fehér) pixel rendelkezik két koordinátával: a kép bal felső sarkától számított eltérés sorban és oszlopban, pixelben megadva. Ezt a két számot minden egyes FP-re letárolom egy log mátrixba (továbbiakban log). Így összes 30 (15*2) oszlopa lesz a fájlnak. A 31. oszlop a frame azonosítóját tartalmazza majd. Ezt a mátrixot minden egyes frame-re egy újabb sorral bővítjük, így végeredményben egy 31*(feldolgozott frame) darab számot tartalmazó szövegfájlt kapunk. A szövegfájlon kívül még öt darab kimenete van a függvénynek. Ezek mindegyike animált GIF, melyben az egyes frame-ek 5., lépése található a feldolgozásuk sorrendjében összefűzve. Az ötödik GIF az addigi összes frame végeredményét vetíti egymásra. 9.5 ábra: A MatLab függvény 6-8. lépésének eredménye (képrészletek) 9.2 Feldolgozás értékelése Előnyök: A függvény a teljes videó-adatbázisra alkalmazható. Az inputok segítségével egy konkrét videórészlet is megadható, így a felvétel bármely részére elvégezhető a feldolgozás. Az elkészült txt fájl kompatibilis a C++ fejanimáló programmal. Az ASCII fájlnak köszönhetően a paraméterek kis helyet foglalnak. Hátrányok: Az egyes felvételek színkomponensei eltérhetnek, így előfordulhat, hogy az RGB feltételeket át kell dolgozni. A korábbi eróziós algoritmus egy pont 10*10-es szomszédságát törölte a feldolgozás irányában, azonban ha egy pont az Ultimate Erosion után például egy 11 pixel hosszúságú szakasz marad (ugyan ennek kicsi a valószínűsége), akkor az MPEG-4 pontnak megfeleltetett pixelek száma több is lehet, mely növeli a log fájl oszlopainak számát. (Hamis pontok jelennek meg). Az új eljárással ez a probléma megoldottnak látszik. A frame-ek feldolgozása lassú amiatt, hogy minden képkockán többször megy végig. Egy frame feldolgozása egy csúcskategóriás PC kb. 5 másodperc. Tekintve, hogy a videók 25 fps-sel rendelkeznek, így egy óra felvétel feldolgozása 125 órán át tartana. 9.3 Javítás Egy konkrét videó feldolgozásán keresztül teszteltem az FP-kinyerés sikerességét. Azt kaptam, hogy a detektálás az esetek nagy részében jól működött. Pontos adatokkal: frame-ből frame-re jól működött. A maradék 629 frame (ami mindössze 25 másodperc) esetében vagy több pontot talált, vagy kevesebbet. Tehát az összes frame-nek csak 4,3 %-a lett hibás.

27 MPEG-4 paraméterekkel vezérelhető fej-animáció rendszer 27 Ezután kiszűrtem, hogy melyek a hibás sorok. A javító függvényem szerint akkor hibás egy sor, ha nem 15*2+1 oszlopában van nem nulla. (Ez úgy jött ki, hogy a képen 15 tartópont van, x és y koordinátákkal, tehát ez 30, plusz az utolsó oszlop a frame sorszáma) Tehát az a sor aminek több mint 15*2+1 nem nulla eleme van, vagy aminek kevesebb nem nulla eleme van, az rossz. Eldobom. Ez azt jelenti, hogy az összes elemét kinullázom. Kivéve az utolsó frameazonosítót. A hibás soroknak az azonosítóját eltárolom. A detektáló függvényemet módosítottam, csak a hibásnak vélt frame-eken ment végig. Természetesen a színfeltételt is módosítani kellett. A feldolgozás után a jó frame-eket visszaillesztettem az eredeti fájlba. A konkrét példára visszatérve: összesen 222 hibás sor maradt a második elemzés után, ami az összes frame mindössze 1,5%-a. Ezt az eljárást addig folytatom, míg az összes frame jó nem lesz. Ez körülbelül 3-4 módosítást jelent. Sajnos vannak olyan frame-ek, melyeken az FP-k szinte teljes egészében eltűnnek (például a lebiggyedő száj takarja el). Ezek azonosítása manuálisan történt, de számuk nem volt több 30-nál. Még egy probléma vetődik fel, amit szintén nehézkes automatikusan javítani. Mi van akkor, ha egy FP nem jelenik meg, egy másiknak viszont a diletálás után is két külön tartománya lesz? Ekkor a feltétel igaz: valóban 15*2+1 eleme van a sornak. A feltételem szerint ezek jók. A problémát a pontok azonosítása után lehet csak észlelni és javítani. 9.4 Azonosítás A következő feladat a pontok azonosítása. El akarjuk érni, hogy egy FP-hez tartozó koordináták mindig ugyanabban az oszlopban legyenek, így meg tudjuk nézni az egyes pontok mozgását. A kijavított log.txt-ben természetesen előfordulhat, hogy az egyes FP-k más-más oszlopban szerepelnek. Ez amiatt van, hogy a detektálás sorban majd oszlopban megy végig a képen. Ha talál egy pontot, azt eltárolja. A száj szélén lévő pontot például igen gyakran keveri, hol az egyik, hol a másik kerül feljebb. 9.6 ábra: 5000 frame-en detektált FP-k szóródása és azok kívánt azonosítója; (a képen egy korábbi 16 FP-s detektálás eredménye látszik)