Számítógépes arc animáció

Átírás

1 Ruttkay Zsófia Számítógépes arc animáció December, Amszterdam

2

3 Az értekezés a Budapesti Műszaki Egyetem Villamosmérnöki és Informatikai Karán megíndított PhD eljárás keretében készült. A bírálatok és a védesről készült jegyzőkönyv a későbbiekben a Dékáni Hivatalban elérhetők. Az értekezés a hollandiai Matematikai és Számítógépes Központban (CWI), részben a CW STW projekt keretében 1997 és 2001 között végezett kutatásra alapul.

4 Tartalomjegyzék 1 Bevezetés 1.1 A számítógépes arc animáció helyzete Motivációk és célok A tézis szerkezete Arckifejezések igazi és virtuális arcokon 2.1 Emberi arckifejezések Virtuális arcok és kifejezés terük A kifejezés tér felderítése Arc animálás paraméterekkel 3.1 Animáció definiálása paraméter görbékkel Animáció módosítása Animáció adaptálása Szájmozgás előállítása 9 4 Arc animálás korlátokkal 4.1 Animáció definiálása korlátokkal Animáció előállítása korlátokkal Alkalmazások 5.1 CharToon Az Érzelem Korong Beszélő fejek További kutatási irányok 6.1 Korlátok elállítása követelmények alapján Arckifejezések variánsai stílus, nem és náció alapján Beszélő fejek magasszintű vezérlése Virtuális fejek kiértékelése Hivatkozások Cikkek I. Ruttkay, Zs., Noot, H. Animated CharToon Faces, Proceedings of NPAR 2000 First International Symposium on Non Photorealistic Animation and Rendering, pp II. Ruttkay, Zs. Constraint-based facial animation, Int. Journal of Constraints, Vol. 6. pp , III. Ruttkay, Zs., Hendrix, J., Ten Hagen, P., Lelievre, A., Noot, H., De Ruiter, B. A facial repertoire for avatars, Proc. of the Workshop "Interacting Agents", pp Enschede, The Netherlands, IV. Ruttkay, Zs., Lelievre, A. CharToon 2.1 extensions: Expression repertoire and lip sync, CWI Report INS-R0016, Amsterdam, Appendix: CD

5 Útmutató az animációkhoz A mellékelt CD az Animáció Szerkesztővel készült filmeket tartalmaz. Az alábbi válogatás azokat a filmeket sorolja fel, amelyek az Animáció Szerkesztő lehetőségeit illusztrálják. LargeMovies/ Frans Egy részletes 2D fej, mely egy monológnak megfelelő sokféle érzelmet jelenít meg. A szöveg gondolat paneleken olvasható. LargeMovies/ Nine Faces A 9 arc mindegyoke kevés, 6-10 paraméterrel vezérelt, mégis képesek bizonyos érzelmeket, illetve a beszéd illuzióját kelteni. LargeMovies/ FaceTricks A repertoár elvet szemléltető film. LargeMovies/ Gaze Egy igazi arcól letapogatott mozgás vezérel három virtuális arcot. A 3D biológiai modell tekintetmozgással, a 2D vektror grafikus fejek más nem realisztikus animációval egészítik ki a letapogatott mozgást. LargeMovies/ AnimE Megmutatja, hogy egy lehulló könnyet milyen, kézzel megadott paraméter görbe vezérel a Gaze filmen látható egyik animáció esetében. ShortMovies/ FaceRepertoire Az illusztrálja, hogy kölönböző részletességű fejek mozgathatók egyetlen animációval. LargeMovies/ I Wish You Automatikusan előállított szájmozgás. ShortMovies/ MouthRepertoire Azonos vizémák kölönböző részletességű szájakon.

6 1 Bevezetés 1.1 A számítógépes arc animáció helyzete Napjainkban egyre több szerepben hírolvasóként [1] [27], bonyolult rendszerek használatában VHJpGNH] DVV]LV]WHQVNpQW [6], tanárként [24], virtuális világok [45], számítógépes játékok vagy MiWpNILOPHNV]HUHSO LNpQW találkozunk számítógépen készített mesterséges emberi lényekkel. Mivel az emberek közötti kommunikációban igen sok információ olvasható le az arcról, a mesterséges arc OHKHW VpJHW Q\~MW DUUD KRJ\ V]iPtWyJpSHV SURJUDPRNNDO LV D PLQGHQQDSL pohwehq PHJV]RNRWW PyGRQ érintkezzen a felhasználó. Ugyanakkor a mesterséges arctól is elvárjuk mindazt, ami az emberi arcot MHOOHP]LOHJ\HQHJ\HGLPR]RJMRQDEHV]pGQHNPHJIHOHO HQW NU ]] QpU]HOPHNHWMHOH]]HQNRJQLWtYpV biológiai állapotot [6] [31] +D ' pv PHJWpYHV]WpVLJ pohwv]hu D V]iPtWyJpSHV Iej, akkor annak kifejezései is a valóságot kell hogy tükrözzék. Ha hangsúlyozottan nem realisztikus, karikatúra-v]hu YDJ\VHPDWLNXV'YDJ\'DIHMPRGHOODNNRUXJ\DQQHPWHOMHVK VpJJHOGHXJ\DQFVDND]HPEHUL arcokon szokásos kifejezéseket kell valami módon visszaadni. Ráadásul a megvalósításhoz az DONDOPD]iVRN W EEVpJpEHQ RO\DQ V]iPtWyJpSHV HV]N ] NHW NHOO KDV]QiOQL KRJ\ D] DUF YDOyV LG EHQ reagáljon az átlagos felhasználó számítógépén. $KROO\ZRRGLILOPHNHQIHOW Q PHVWHUVpJHVDUFRNDOHJpOHWK EEek, de ezek óriási emberi, szoftver és hardver kapacitással készült egyedi, nem interaktív fejek [9]. Egy arc animálásához rendszerint egy HO MiWV]yV]tQpV]DUFPR]JiViWU J]tWLNPDMGDSUyOpNRVPXQNiYDOYHWtWLNpVKDQJROMiND]W rá a virtuális arcra [41][44] $ QpKiQ\ HOV NLIHMH]HWWHQ DUF DQLPiFLy NpV]tWpVpUH NLIHMOHV]WHWW V]RIWYHU [14][15] modell-i JJ pvppjv]hqyhgwlslnxvj\huhnehwhjvpjhnw OD]DUFYiOWR]iViWW EEWXFDWQ\LSDUDPpWHUUHO NHOO PHJDGQL NXOFV IUDPH WHFKQLNiW KDV]QiOYD pv FVDN LJHQ NRUOiWR]RWW OHKHW VpJHW EL]WRVtWDQDN PDJDVDEE V]LQW YH]pUOpVKH] (QQHN HJ\LN RND DEEDQ UHMOLN KRJ\ D] DUFNLIHMH]pVHN LG EHOLVpJpU O QLQFVHQHOHJHQG WDSDV]WDODWLDGDW[16]. 1.2 Motivációk és célok $IHQWLHNIpQ\pEHQLG V]HU pv~mihodgdwro\dqdufdqlpiflyvsdudgljpdnlgrojr]ivddpho\ 1. OHKHW YpWHV]LN O QE ] ''PiV-más paramétereknhoyh]puhokhw DUFRNDQLPiFLyMiW 2. OHKHW VpJHWQ\~MWOHWDSRJDWRWWPR]JiVIHOKDV]QiOiViUD 3. megengedi mimikai repertoár definiálását és újra felhasználását; 4. DODSXOV]ROJiODEHV]pGHWNtVpU MHOHQVpJHNUpV]EHQDXWRPDWLNXVHO iootwiviud 5. D SDUDPpWHU V]LQW Hxtenzionális) manipuláción túl biztosítja dinamikus arckifejezések konceptuális (intenzionális) definícióját; 6. segíti a felhasználót abban, hogy interaktív módon olyan animációt hozzon létre, amely teljesíti a konceptuális szinten megadott kívánalmakat. DROJR]DWXQNEDQ HJ\ D IHQWLHNHW OHKHW Yp WHY DUF DQLPiFLy UHSUH]HQWiFLyW pv PDQLSXOiFLyV VpPiW PXWDWXQN EH PHO\ DODSXO V]ROJiOW D] $QLPiFLy 6]HUNHV]W NQHN HOQHYH]HWW LQWHUDNWtY DUF DQLPiFLyV 1

7 HV]N ]VSHFLILNiOiViKR]$]$QLPiFLy6]HUNHV]W WLPSOHPHQWiOWXNpVD]WN O QE ] DONDOPD]iVRNRQpV felhasználókkal teszteltük. 1.3 A tézis szerkezete $ OHJI EE HUHGPpQ\HNHW DQJRO Q\HOYHQ PiU SXEOLNiOW FLNNHN WDUWDOPD]]iN $] HUHGPpQ\HN tárgyalásánál ezekre, az irodalomjegyzékben is feltüntetett cikkekre hivatkozom a PDJ\DU Q\HOY összefoglalóban. A cikkek legfontosabbjai a tézis további fejezeteit alkotják, melyek részleteire a Wp]LVEHQ V]HUHSO ROGDOV]iPPDO KLYDWNR]RP $] LOOXV]WUiOy ieuin LOOHWYH SV]HXGRNyGRN LV HJ\-egy mellékelt cikk idézett oldalán találhatók meg. A tézis melléklete egy CD, mely az elméleti fejtegetést és eredményeket illusztráló demokat és az implementált szoftverrel készült, részben saját, animációkat tartalmaz. Egyes animációk a tapasztalatok szerint mások számára is esztétikai élvezetet és deu VSHUFHNHWQ\~MWRWWDNtJ\UHPpOKHW OHJHPHOOpNOHW NiUSyWROMD D] ROYDVyW D V]HUNH]HWE O DGyGy IHOODSR]iVL NpQ\V]HUHNpUW $ &'-Q V]HUHSO GHPRN némelyike, valamint néhány további film, valamint a legtöbb hivatkozott saját cikk on-line formában is elérhew Dwww.cwi.nl/CharToon illetve web oldalakon. $ PDJ\DU Q\HOY UpV] HOV VRUEDQ VV]HIRJODOMD D] DQJRO SXEOLNiFLyNEDQ V]HUHSO HUHGPpQ\HNHW +HO\HQNpQW D]RQEDQ DKRO D PHOOpNHOW SXEOLNiFLyN QHP PRQGDQDN HOHJHQG W HJ\ WiUJ\DOW NpUGpVU O NLWpU QNDUpV]OHWHNUH$Wp]LVIHOpStWpVHDN YHWNH] A 2. fejezetben röviden bemutatjuk az arckifejezések osztályozására vonatkozó pszichológiai elméletet valamint egyes leíró kódrendszereket, illetve a leggyakoribb számítógépes arc modell típusok GHIRUPiFLyV SDUDPpWHUHLW %HYH]HWM N D NLIHMH]pV WpU IRJDOPiW.pW HJ\PiVW UpV]EHQ NLHJpV]tW paradigmát adunk a sokdimenziós kifejezés térben való navigálásra. A 3. fejezetben megadjuk arc animációk modell-i JJHWOHQ SDUDPpWHU V]LQW UHSUH]HQWiFLyMiW YDODPLQW PHJKDWiUR]]XN D]RQ RSHUiWRURNDW PHO\HN OHKHW Yp WHV]LN DUF DQLPiFLyN NpV]tWpVpW pv ~MUD felhasználását, illetve más arcra készült animációk adaptálását. Megmutatjuk, hogy miként lehetséges a YL]XiOLVEHV]pG D]D]DEHV]pGQHNPHJIHOHO V]iMPR]JiVDXWRPDWLNXVHO iootwivd A 4. fejezetben a dinamikus arckifejezések intenzionális definiálására alkalmas formalizmust vezetünk be. Egy dinamikus arckifejezést mint korlátozás kielégítési feladatot tekintünk. Megadjuk az arc animációk definiálására alkalmas korlátok típusát. Ismertetjük a korlátok megadását és manipulálását biztosító operátorokat. Tárgyaljuk a korlátozások kielégítésének mechanizmusát, különös tekintettel az interaktív használatra. Megmutatjuk, hogy az ún. intervallum propagálás módszere egy speciális heurisztikákat megfogalmazó stratégia-rendszerrel kiegészítve alkalmas interaktív és inkrementális animáció készítés céljaira. Az 5. fejezetben ismertetjük azokat az alkalmazásokat, melyek a kutatási eredményeket hasznosítják. Végül a záró fejezetben további, részben folyó kutatási témákat tárgyalunk. 2

8 2 Arckifejezések igazi és virtuális arcokon 2. 1 Emberi arckifejezések Virtuális arcokon az emberi arcokon megszokott kifejezéseket szeretnénk viszontlátni. Melyek ezek, és miként írhatók le? Évszázadokkal korábbi megfigyelések, hogy az emberi arc jelenségeinek nagy része jelentéssel bír [5], illetve hogy ezek egy része az evolúció során alakult ki [8]. Ám e jelenségek V]LV]WHPDWLNXVYL]VJiODWiWFVDNDIRWRJUiILDPHJV] OHWpVHWHWWHOHKHW Yp[10]. Ugyancsak a fénykép és az elektromos impulzus szolgáltak alapul a 70-es években Paul Ekman és társai által megindított empirikus pszichológiai vizsgálatokhoz. Miután azonosították, hogy mely izomcsoportok milyen vizuális MHOHQVpJHNHW LGp]QHN HO D] DUFRQ PHJDONRWWiN D] DUFNLIHMH]pVHN OHtUiViUD V]ROJiOy )$&6 )DFLal Action Coding System) kódrendszert [11]. A 47 diszkrét paraméter használatával kvantitatív módon leírható, hogy mi látható az arcon egy adott pillanatban. Kódrendszerük birtokában Ekmanék arckifejezések (fényképek) ezreit vizsgálták. Arra a következtetésre jutottak, hogy 6 érzelem öröm, meglepetés, bánat, félelem, düh, utálat nemre és rasszra való tekintet nélkül ugyanolyan módon jelenik meg az emberi arcon [12]. Ezek az ún. alap arckifejezések. Az alap kifejezéseken túl sok egyebet is tükrözhet az emberi arc. Például bizonyos alap kifejezések együttesét (pl. kellemes vagy kellemetlen meglepetést) vagy további érzelmeket (féltékenység), melyek leírása sokkal problematikusabb és kevéssé feltérképezett. Az önálló kommunikációs jelentéssel bíró arckifejezések, mint rámutatás (tekintettel és/vagy fejmozdulattal), tagadó/igeqo IHMPR]JiV D beszédet központozó (tekintet felemelése ill. pislogás szemantikus vagy szintaktikus egységek között) illetve V]HPDQWLNXVDQNLHJpV]tW (pl. hunyorítás az említett dolog kicsinységének illusztrálására), vagy éppenséggel a jelentéssel nem bíró, ELROyJLDL V] NVpJE O IDNDGy MHOHQVpJHN szisztematikus és kvantitatív leírását a virtuális fejek megjelenése nem csak ösztönözte, hanem gyakran kísérleti eszközül is szolgál [7]. Összefoglalva, virtuális arcok animálásához az emberi arckifejezéseket vizsgáló társtudományok SV]LFKROyJLDSV]LFKLiWULDRUYRVWXGRPiQ\HUHGPpQ\HLWILJ\HOHPEHOHKHWV WNHOOLVYHQQ QNGHD]RN ma még nem nyújtanak elég alapot ahhoz, hogy az emberi kommunikációban megszokott sokaságú és PLQ VpJ NLIHMH]pVHNHWPRGHOOH]] N1HYH]HWHVHQ az arc biológiai mechanizmusai (izmok anatómiai szerkezete, az egyes izmok biomechanikai tulajdonságai, azok változásai) bonyolultak és nem eléggé ismertek; az arckifejezések csak kis hányadáról vannak leíró ismeretek; D]DUFNLIHMH]pVHNLG EHOLVpJpU OLJHQNHYHVHWWXGXQN 2.2 Virtuális arcok és kifejezés terük 7 EEIpOH V]iPtWyJpSHV JUDILNDL SDUDGLJPD KDV]QiOKDWy NLIHMH] HPEHUL IHM PRGHOOH]pVpUH [29]. A 3D maszk modellek poligonokból vagy görbe felületdarabokból összerakott merev testek. A 3D biológiaalapú modellekw EEUXJDOPDVD]DUFV] YHWUpWHJHLQHNPHJIHOHO HJ\PiVVDOLVFVDWROWSROLJRQKiOyEyO állnak (ld. 31. old. 1 ábra). Az utóbbi esetben a modell természetes része az arc fontos izmának 3

9 PHJIHOHO PHVWHUVpJHVL]RP PHO\HNNHOD]DUFGHIRUPiOKDWy(J\L]PRWPHJIHV]tWYHD]pEUHG HU N ~M HJ\HQV~O\L ioodsrwed NpQ\V]HUtWLN D UXJDOPDV KiOyW $ ELROyJLDL PRGHOO OHKHW Yp WHV]L KRJ\ DQLPiOiVNRUDYDOyVDUFIHOpStWpVpE OV]iUPD]yMHOHQVpJHNUHG NDNRSRQ\iQHOFV~V]yV] YHWUpWHJHN LV HO ioomdqdn D YLUWXiOLV DUFRQ (J\ LO\HQ PRGHOO D]RQEDQ UHQGNtY O NRPSOH[ DPL PLQG D PRGHOONpV]tWpVWPLQGD]DQLPiOiVWQHKp]]ppVLG LJpQ\HVVpWHV]L0DV]NPRGHOOHNHVHWpEHQN O Q VHQ a korai modelleknél, az arc deformálása úgy történik, hogy minden kívánt kifejezésre megadjuk a modell összes csúcsának új helyzetét. E sziszifuszi és legkevésbé sem felhasználó-barát módszert felváltotta a kvázi-izmok bevezetése: egy-egy, valamely valódi izomcsoport hatását szimuláló kváziizom a hatókörébe tartozó csúcsokat mozgatja el bizonyos irányba és mértékben. A 2D modellek két csoportba sorolhatók. A (fény)képeket használó rendszerek [18]általános képtranszformációs eljárásokat (morph, warp) alkalmaznak az egyes jegyek (száj, szem) pixeljeinek módosítására. A vektor grafikus rendszerek [25][28][42] rétegesen elhelyezett, deformálható komponensekkel definiálnak egy fejet (ld. 19. old. 2. ábra). Az arc egyes jegyeinek alakja ill. helye a grafikus komponensek bizonyos pontjainak (pl. görbék interpolációs pontja, vázak csatlakozási pontja) mozgatásával, illetve az egyes komponensek egészének transzformálásával változtatható (ld. 19. old. 3. és 20. old. 4. ábra). A fej pozíciója és a szem orientációja lényeges szerepet töltenek be az arckifejezések értelmezésénél [32], és a leíró kódrendszerek is számolnak velük. Ezeket is figyelembe vesszük virtuális DUFRNDQLPiOiVDNRUDPHQQ\LEHQDIHMPRGHOOHUUHOHKHW VpJHWQ\~MW A virtuális arcokat deformáló paraméterek modell-specifikusak, ami két hátránnyal jár: nem adnak támpontot a kifejezéseket meghatározó vl]xiolvmhj\hnu O D] HJ\HV PRGHOOHN QHP NRPSDWLELOLVDN D] HJ\LN PRGHOOUH NpV]tWHWW NLIHMH]pV QHP YLKHW iwhj\ másikra. $] HOV OpSpVW D PHJROGiV IHOp D] MHOHQWHWWH KRJ\ D V]iPtWyJpSHV DONDOPD]iVRN iwyhwwpn D)$&6 leíró paramétereit, és azokat leképeztpndv]yedqirujyprghooghirupiflyvsdudppwhuhluh,g N ]EHQ az eredetileg bináris és csak valóságos arckifejezések leírására szolgáló rendszer alapján a kifejezetten számítógépes alkalmazások számára elkészítették az MPEG- V]DEYiQ\ UpV]pW NpSH] )$P-ot (Facial Action Parameter), többségében folytonos paramétereket használó rendszert, mellyel az arc geometriájától független módon lehet leírni annak változásait [20]. Ez a rendszer egyre terjed, mint számítógépes fejek interfésze [23]. 2.3 A kifejezés tér felderítése Mi a továbbiakban kifejezés térdodwwhj\yluwxiolvihmhwyh]puo SDUDPpWHUHLQHNWHUpWpUWM N(]D]RQRVLV lehet a modell deformációs paramétereinek terével, vagy lehet valamely, valós kifejezések leírására is használt paraméter rendszer bizonyos paraméterei által meghatározott tér. A kifejezés tér általában sokdimenziós, amiben csak néhány pontot ismerünk. Nevezetesen azokat, melyek valamely ismert kifejezésnek felelnek meg. Ezek általában, az el z fejezteben elmondottak alapján, a 6 alap kifejezés. Hogyan helyezkednek el ezek a kifejezés térben? Mi van közöttük? Hol helyezkednek el további érzelmeket tükröz kifejezések? És hol az elkerülend tartományok, azaz 4

10 azok a pontok, amelyek nem értelmezhet, vagy esetleg fizikailag sem lehetéges (pl. a modell topologiáját megsért ) kifejezésnek felelnek meg? E kérdések tisztázása nem csak a virtuális fejeken megjelenítend kifejezések kontrolljához elengedhetetlen. Ha a virtuális fej paraméterei azonosak egyes, az igazi kifejezések leírására használatos paraméterekkel, akkor a pszichológia számára is értékesek a válaszok. A virtuális arcok korlátlanul és szabadon kontrollálhatók, amire általában az ember nem képes a saját arca esetében. Nincsnek továbbá az arckifejezések spontán el iootwiviw zavaró kísérleti körülmények, és az arcmozgás letapogatásának technikai problémái sem jelentkeznek. Mi is elemeztünk valós arcokról letapogatott és MPEG-4 FAPokkal kódolt arckifejezéseket. E munka tanulságai (lásd [19], és old.), valamint [46] is arra motiváltak, hogy virtuális fejeket használjunk a valós kifejezés tér felderítésére is. A kifejezés tér felderítésének problémája hasonlít a sok dimenziós mérnöki adatok megjelenítésének (scientific visualization) problémájához. Szeretnénk egyrészt képet kapni a tér egyes pontjairól, másrészt az ember mentális kapacitásának megfelel PyGRQWXGQLDWpUEHQQDYLJiOQL0LNpW N O QE ] SDUDGLJPiUDDODSXOyHV]N ]WIHMOHV]WHWW QNNLPHO\HNHWD]DOiEELDNEDQU YLGHQLVPHUWHW QN További részletek a [III] mellékelt cikkben valamint a [34] és [19] publikációkban találhatók. Perceptuális pszichológiai kísérletek [40][33] alapján lehetséges a 6 alap kifejezést 2 paraméterrel jellemezni, mégpedig oly módon, hogy a kifejezések egy kör kerületén helyezkednek el. A kör sugara mentén a kifejezés intenzitása csökken, a kör közepén a semleges kifejezés szerepel (lásd 74. old. 12. ábra). Ezt a 2D-beli elrendezést használtuk az Érzelem Korong navigációs eszköz definiálásához. Az eszközzel egy-hj\ DODS NLIHMH]pV N O QE ] LQWHQ]LWiV~ YiOWR]DWDLW LOOHWYH NpW V]RPV]pGRV NLIHMH]pV NHYHUpNpW EOHQG iootwmxn HO D VRNGLPHQ]LyV NLIHMH]pV WpUEHQ D ' körbeli viszonyok alapján PHJKDWiUR]RWW OLQHiULV LQWHUSROiFLyYDO ËJ\ HJ\ DGRWW YLUWXiOLV IHMUH PHJWHUYH]HWW DODS NLIHMH]pVE O végtelen sok további kifejezést kapunk, bár természetesen nem az összes lehetségest. Az eszközt implementáltuk és azt tapasztaltuk, hogy a kifejezés térnek az így bejárható része mind puwhoph]khw NLIHMH]pVHNHWWDUWDOPD]RWWW EEpYDJ\NHYpVEpUHDOLV]WLNXVIHM PRGHOOHNHW KDV]QiOYD(] azért is érdekes, mert az alapul szolgáló empirikus eredménnyel kapcsolatban az utóbbi években heves vita bontakozott ki [39]. Az Érzelem Négyzetek QDYLJiFLyV HV]N ] HVHWpEHQ W EE LVPHUW DUFNLIHMH]pVE O LQGXOXQN NL (VHW QNEHQ HJ\ UDM]ROy iowdo D] $QLPiFLy 6]HUNHV]W YHO NpV]tWHWW VWDWLNXV NLIHMH]pVE O PHO\HN többségükben a 6 alap kifejezés változatai voltak egy 2D virtuális arcon (lásd l93. old.). A kifejezéseket 15 MPEG- SDUDPpWHUUHO tuwxn OH $ GLPHQ]Ly FV NNHQWpV MyO LVPHUW PyGV]HUpW D I NRPSRQHQV analízist [22] végezve azt tapasztaltuk, hogy az adott arckifejezések a 15 dimenziós kifejezés térben jól N ]HOtWKHW NHJ\DONDOPDVGLPHQ]LyVKLSHUVtNUDHV YHW OHW NNHO A 4 dimenziós hipersíkon való navigálásra 2 négyzetet használtunk, melyeken feltüntettük az ismert kifejezéshnqhnphjihoho SRQWRNDW$QpJ\]HWHQHJ\-egy pontot kijelölve, a hipersíkbeli 15 D SRQWQDNPHJIHOHO NLIHMH]pVWD]DUFRQHO iootwydnpshnndsxqnduuyokrj\plo\hqdwhomhvnlihmh]pvwpu egy 4 dimenziós szelete. Az általunk végzett kísérlet szerint fel lehet deríteni, hogy e síkon hol vannak értelmetlen kifejezések és hol az adottak további variánsai. Nevezetesen, az alap kifejezések adott variánsainak konvex burka csupa újabb variánst tartalmaz. A 2D-beli tartományok átfedése az alap arckifejezések keyhupnpqhnho iootwiviuddondopdv 5

11 3. Arc animálás paraméterekkel $]HO ] IHMH]HWEHQD]DUFHJ\SLOODQDWQ\LiOODSRWiQDNPHJIHOHO statikus kifejezésekkel foglalkoztunk. Az arcon egy-hj\nlihmh]pvmhoohj]hwhvpygrqmhohqlnphjpdmgw QLNHO[16]$]LG EHOLYiOWR]iVW is figyelembe véve dinamikus arckifejezésu OEHV]pO QN'LQDPLNXVDUFNLIHMH]pVWHO OHKHWiOOtWDQLD] ún. kulcs frame (key frame) tradicionális animációs technikával oly módon, hogy egy statikus kifejezést valamiqw D VHPOHJHV NLIHMH]pVW KDV]QiOMXN NXOFV IUDPHNNpQW pv H]HN N ] WWL LG NUH YDODPLO\HQ LQWHUSROiFLyYDO KDWiUR]]XN PHJ D N ]E OV VWDWLNXV NLIHMH]pVHNHW (] D KDJ\RPiQ\RV DQLPiFLyWyO átvett eljárás nem alkalmas arra, hogy az igazi arcokon tapasztalt, igen gazdag és árnyalt jelenségeket HO iootwvxnpvglqdplnimxndwyl]vjiomxn (EEHQDIHMH]HWEHQD]DUFDQLPiFLyUDNLIHMOHV]WHWW$QLPiFLy6]HUNHV]W DODSVpPiLWPXWDWMXNEH$ részleteket a mellékelt [I] és [IV] cikkek, valamint a teljes dokumentáció [28] tartalmazzák. 3.1 Animáció definiálása paraméter görbékkel Az általánosság megkötése nélkül feltételezzük, hogy az animálandó fej modell N számú, valós SDUDPpWHUUHO YH]pUHOKHW pv D] HJ\HV SDUDPpWHUHN UHQGUH D D,... 1, D2 DN valós, korlátos zárt intervallumokból kaphatnak értéket. Az intervallum egy kitüntetett értéke a semleges érték, mely a Q\XJDOPL ioodsrwedq OHY DUFPHJIHOHO SDUDPpWHU puwpnh $ WiUJ\DOiV HJ\V]HU VtWpVH pughnpehq feltesszük hogy a semleges érték mindig 0. Az intervallum végpontjai a minimum ill. maximum értékek, PHO\HN iowdoiedq D PRGHOO DODSMiQ HJ\pUWHOP HN LOOHWYH pvv]hu HQ PHJYiODV]WKDWyN (J\ SDUDPpWHU ezen tulajdonságait a paraméter profil írja le. Az azonosított paraméterek és paraméter profiljuk együtt, adott sorrendben egy animációs profilt alkotnak. (J\ DQLPiFLyW D SDUDPpWHUHN LG EHOL YiOWR]iVD MHOOHPH] PHO\HW YDODPHO\ YDOyV I JJYpQ\HN (F(t),...FN(t)) 1 vektora ad meg, ahol i F i : T D, és T az animiflylg WDUWDPD)HOWpWHOH]] NKRJ\ a paraméterek mind interpoláltak. Nevezetesen az i-edik paraméter függvény értéke bizonyos t i j ( i j = 1,... J, J 0) i LG SRQWRNEDQ DGRWW F ( =, és egy köztes t LG EHOL puwpn SHGLJ D i i t j ) v j szomszédos ismert v i j és szomszéd, különben 0. A v i j + 1 puwpnhne O OLQHiULV LQWHUSROiFLyYDO NHOHWNH] puwpn KD OpWH]LN NpW i P j = ( t i j, v ) pontok tehát meghatározzák az egyes F függvényeket, és így i j az animációt is. Függvény interpolációs terminológiával élve a pontokat YH]pUO SRQWoknak nevezzük. +LYDWNR]QL IRJXQN HJ\ YH]pUO SRQW LGHMpUH pv puwpnpuh $ YH]pUO SRQWRN V]iPD SDUDPpWHUHQNpQW különbözhet, és lehet 0 is. (E tekintetben általánosabb, mint a kulcs frame technika.) Egy animáció WHKiW HJ\ RO\DQ 1 KRVV]~ViJ~ YHNWRUUDO YDQ GHILQLiOYD PHO\QHN PLQGHQ HOHPH YH]pUO SRQWRN HJ\ sorozata. A vektor egy tagját, mely egyetlen paraméter értékeit határozza meg, a rövidség kedvéért a továbbiakban az animáció egy paraméterének nevezzük, és a kontextusra bízzuk a paraméter szó PHJIHOHO puwhoph]pvpw +HO\HQNpQW D] HJ\ SDUDPpWHU DQLPiFLy HOQHYH]pVW LV használjuk. A YH]pUO SRQWRN HJ\-egy részsorozatának együttese is animációt határoz meg, melyre mint részanimációra is fogunk hivatkozni. i 6

12 +DQJV~O\R]]XNKRJ\DOLQHiULVLQWHUSROiFLyWHOV VRUEDQQHPNpQ\HOPLV]HPSRQWRNPLDWWYiODV]WRWWXN Az arc animáció esetében nem ismertek olyan hagyományos animációs elvek, amelyek egy bizonyos LQWHUSROiFLy PHOOHWW V]yOQiQDN (]puw LV RO\DQ LQWHUSROiFLyW NHUHVW QN DPL N QQ\HQ puwkhw pv LJHQ flexibilis görbe-manipulációt biztosít. Végül, mivel dinamikus arckifejezések esetén igen rövid LG WDUWDP~WL]HGPiVRGSHUFHNpVNLVPpUWpN GHIRUPiFLyNOpSQHNIHODQHPIRO\WRQRVGHULYiOWQHP okoz az animált arcon látható hatást. (A szájmozgás problémáira külön térünk ki 3.4 fejezetben.) A mozgó arc látszata arckifejezések ej\pivxwiqlho iootwiviydonhow GLN$UFNLIHMH]pVHNHJ\LO\HQ sorozatát filmnek hívjuk. Egy filmet egy animáció és a mintavétel gyakorisága, a frekvencia határoznak PHJ+RJ\PLO\HQIUHNYHQFLiWYiODV]WXQNDPHJMHOHQtW KDUGYHUDGRWWViJDLD]DONDOPD]iVMellege (realtime vagy off-line), illetve a fej modell bonyolultsága ismeretében meghatározandó, a mi V]HPSRQWXQNEyOPHOOpNHVWpQ\H] 3.2 Animáció módosítása (J\DQLPiFLyWRSHUiWRURNNDOPyGRVtWKDWXQN$]HJ\SDUDPpWHUWPyGRVtWyRSHUiWRURNDN YHWNH] N Eg\ NLYiODV]WRWWLG SRQWEDQ ~MYH]pUO SRQWEHV]~UiVD, YH]pUO SRQWRNVRUR]DWiQDNEHV]~UiVD, YH]pUO SRQWVRUR]DWHOOHQWHWWMpQHNEHV]~UiVD. $SDUDPpWHUYH]pUO SRQWMDLQDNHJ\NLYiODV]WRWWUpV]VRUR]DWiUDtörlés, másolás, eltoláslg LOOHWYH érték mentén, skálázáslg LOOHWYHpUWpNPHQWpQellentett képzése. A fenti operátorok közül csak néhány szorul magyarázatra. A skálázás érték mentén esetében a VHPOHJHV puwpnkh] YLV]RQ\tWXQN PtJ LG PHQWL VNiOi]iV HVHWpQ D VNiOi]DQGy DQLPiFLy NH]GHWpKH] $ VNiOi]iVLWpQ\H] választható. Ellentett képzése úgy történik, hogy egy-hj\yh]puo SRQWpUWpNpWKDD] negatív, a profil maximum és minimum értékének hányadosával, különben e hányados reciprokával szorozzuk. A beszúrás megvilágítható egy segéd transzformáció bevezetésével. A paraméter korrekció egy bilineáris transzformáció, mely egy adott paraméter profil viszonyaihoz igazítja az animáció egy paraméterét úgy, hogy a semleges, minimum és maximum értékek megfeleljenek egymásnak, a köztes puwpnhn SHGLJ DUiQ\RVDQ NpSH] GMHnek le. Ha egy kimásolt részt egy másik paraméter adott helyére V]~UXQNEHDEHV]~UDQGyHJ\HWOHQSDUDPpWHU DQLPiFLyWHO V] UNRUULJiOMXND]DGRWWSDUDPpWHUSURILO szerint. A fenti operációk legtöbbjének végrehajthatósága bizonyos természetes feltételekhez van kötve, PHO\HN D]W EL]WRVtWMiN KRJ\ D] HUHGPpQ\ LV V]LQWDNWLNXVDQ KHO\HV DQLPiFLy OHJ\HQ 3O D] LG PHQWL HOWROiV PHJHQJHGHWW PpUWpNpW D NLYiODV]WRWW UpV]KH] OHJN ]HOHEEL QHP NLYiODV]WRWW YH]pUO SRQWRN KDWiUR]]iNPHJH]HNPLQWHJ\µ WN ] NpQW Iunkcionálnak. $ IHQWL RSHUiFLyNQDN PLQG YDQ W EE SDUDPpWHU YiOWR]DWD PHO\ D PHJIHOHO HJ\ SDUDPpWHU operáció végrehajtását jelenti minden egyes érintett paraméterre. Az érintett paraméterek kiválasztása a paraméterek fókuszba hozásával történik. Beszúrás esetén feltétel, hogy a fókuszolt paraméterek száma megegyezzen a beszúrandó paraméterek számával. A beszúrandó és fókuszolt paraméterek VRUEDQUHQGHO GQHNHJ\PiVKR] $ YLVV]DYRQiV XQGR pv HJ\pE DGPLQLV]WUDWtY RSHUiWRURNDW D] LQWHUDNWtY V]HUNHV]W N esetében szokásos módon definiáltuk. 7

13 3.3 Animáció adaptálása *\DNUDQHO IRUGXOKRJ\HJ\EL]RQ\RVIHMUHNpV] OWDGRWWSURILO~DQLPiFLyWV]HUHWQpQNUpV]EHQYDJ\ egészében) újra felhasználni egy másik fej modell animálására. A paraméterek közötti másolás és EHV]~UiV D]pUW QHP PLQGLJ HOpJVpJHV PHUW D SDUDPpWHUHN SiURVtWiVD HO IRUGXOiVXN VRUUHQGMpEHQ történik, és eleve csak azonos számú paraméter között lehetséges. A reanimálás operátora egy adott animációt transzformál egy másik, az ún. reanimációs profilnak PHJIHOHO HQ$]HUHGPpQ\HJ\~MDQLPiFLyPHO\QHNSURILOMDDUHDQLPiFLyVSURILO$]~MDQLPiFLy~J\ iooho KRJ\DUHDQLPiFLyVSURILOPLQGHQHJ\HVSDUDPpWHUpKH]NHUHV QND]DGRWWDQLPiFLyVSURILOEyO HJ\ PHJIHOHO SDUDPpWHUW +D YDQ LO\HQ D WDOiOW SURILOW D V]yEDQ IRUJy SURILOQDN PHJIHOHO HQ korrigáljuk. Ha nem sikerült párt találni, az új animációban az adott paraméter üres lesz. Az új animációt kétféle módon használhatjuk: vagy önmagában, vagy egy másik, azonos profilú animáció egy adott helyére beszúrva a reanimált animáció nem üres paramétereit. Ez utóbbi a UHDQLPiOiVDGRWWLG mellett. Reanimáláskor a paraméterek párosítása az azonosítók összehasonlítása alapján történik. A reanimálás sikere tehát azon múlik, hogy a paraméter profilok azonosítói megfelelnek-e egymásnak, és a megfeleltetett paraméterek szemantikusan azonosak-e, azaz valóban azonos vizuális hatást érnek-e el a NpWPRGHOOHQ'HDV]HPDQWLNXVDQQHPPHJIHOHO SDUDPpWHUHNSiURVtWiVDLG QNpQWHJ\HQHVHQKDV]QRVLV lehet. Néhány példával világítjuk meg, hogy mi mindenre használható a reanimálás. Fej modell és animáció együttes tervezése Az animátor úgy dolgozik, hogy módosításokat végez D IHM PRGHOOHQ pv LG QNpQW HOOHQ U]L KRJ\ PLNpQW PR]JDWKDWy D] DNWXiOLV YHU]Ly 5HDQLPiOiVVDO D korábbi változatra készített animációk kipróbálhatók az aktuális verzión. Ez nagy könnyebbség azzal a gyakorlattal szemben, amikor a modell tervezése és animálhatóságának tesztelése elkülönült lépések között iterálva történik. Letapogatott mozgás adaptálása Az arcmozgást letapogató (face tracker) rendszerek outputja WHNLQWKHW ~J\ PLQW HJ\ VSHFLiOLV SURILO~ DQLPiFLy $] LJD]L DUFUyO OHWDSRJDWRWW DQLPiFLyEyO UHDQLPiOiVVDOWHWV] OHJHVYLUWXiOLVIHMV]iPiUDHO iootwkdwydqlpiflydpho\hwd]wiqnp]]howryieeohket módosítani, pl. egyes nem letapogatott paraméterekkel kiegészíteni (lásd. CD LargeMovies/Gaze). Nem-realisztikus animáció $UHDQLPiFLyVSURILOYiOWR]WDWiViYDON O QE ] KDWiVRNpUKHW NHO3O HJ\ URVV]XO DUWLNXOiOy V]iMPR]JiV µihohu VtWKHW D] HUHGHWL SDUDPpW SURILORN V]pOV puwpnhlqhn növelésével. Hasonló módon egy teljes igazi arcmozgás eltúlozható, karikírozható. Az azonosítók YiODV]WiViYDO D] LV HOpUKHW KRJ\ HJ\ LJD]L IHM EL]RQ\RV SDUDPpWHUH HJ\ YLUWXiOLV IHMHQ LUUHiOLV jelenségeket (is) eredményezzen [37]. Animáció repertoár Egy adott fejre gondosan megtervezett, rövid, dinamikus vagy statikus DUFNLIHMH]pVHNQHNPHJIHOHO DQLPiFLyNHJ\ WWHVpWUHSHUWRiUQDNQHYH]] N$]DQLPiFLyNUHDQLPiOiVVDO W UWpQ ~MUDIHOKDV]QiOKDWyViJDOHKHW YpWHV]LKRJ\HJ\UpV]OHWJD]GDJIHMUHPHJWHUYH]HWWUHSHUWRiUWDIHM kevésbé részletgazdag változataira alkalmazzuk. MPEG-4 kompatibilis fejekkel folytatott kísérleteink szerint egy-hj\dµohjnlihmh] EE IHMUHNpV]tWHWWDUFNLIHMH]pVWD]HJ\V]HU EEIHMHNUHUHDQLPiOYDDKDWiV hasonló kifejezés (lásd. CD LargeMovies/FaceRepertoire és 83. old. 2. ábra). 8

14 6]iMPR]JiVHO iootwivd $ UHDQLPiFLyUD DODSXO D V]iMPR]JiV DXWRPDWLNXV HO iootwivd $ UpV]OHWHNHW D PHOOpNHOW >IV] cikk tartalmazza. A beszéd vizuális egységei az úgynevezett vizémák, melyek külön-n O QPHJWHUYH]KHW N mint statikus kifejezések. Szájmozgást vizémák egymás utáni beszúrásával kaphatunk. Az, hogy hány és milyen vizémát használjunk, az animálandó modell mellett az alkalmazás célja és a beszélt nyelv is befolyásolják. A vizémákra is alkalmazható a fentebb ismertetett repertoár elv (lásd. CD LargeMovies/MouthRepertoire). (J\ WHUPpV]HWHV YDJ\ V]LQWHWL]iOW EHV]pGKH] LOO YL]pPD VRU HO iootwiviud DXWRPDWLNXV mehanizmust biztosítottunk. Inputként a beszédet hangzó egységek (fonémák) sorozataként leíró adat PHO\ D EHV]pG JHQHUiOy LOOHWYH HOHP] V]RIWYHUHN V]RNiVRV RXWSXWMD pv HJ\ IRQpPD-vizéma hozzárendelési tábla szükséges, valamint a vizémák mint statikus animációk. Ezek ismeretében a szájat PR]JDWySDUDPpWHUHNV]iPiUDDXWRPDWLNXVDQHO ioodphjihoho DQLPiFLy A vizuális koartikuláció kérdése tézisünkön messze túlmutató, önálló kutatási terület [26][30]. Itt FVDN DQQ\LW MHJ\] QN PHJ KRJ\ D YL]pPiN V]iPiQDN Q YHOpVpYHO LOOHWYH LG ]twpv N HJ\HQNpQWL meghatározásával ellensúlyozható a koartikuláció hiánya, illetve a vizémák közti lineáris interpoláció hatása. 4. Arc animálás korlátokkal Az Animáció SzerNHV]W D] HGGLJ HOPRQGRWWDN V]HULQW FVDN D]W EL]WRVtWMD KRJ\ HJ\ DQLPiFLy V]LQWDNWLNDLODJKHO\HVPDUDGMRQ$]DQLPiWRUYLV]RQWV]HPDQWLNXVNDWHJyULiNEDQJRQGRONR]LN(O V] U is elképzeli, hogy milyen legyen általában az arc mimika (pl. szimmetrikus arcmozgás, kivéve a NDUDNWHUUH MHOOHP] DV]LPPHWULNXV PRVRO\W 0DMG D FVHOHNPpQ\ LVPHUHWpEHQ YpJLJJRQGROMD KRJ\ D] milyen kívánalmakat jelent a megalkotandó animációra nézve. Végül hozzálát elképzelései megvalósításához. Ennek folyamán esetleg felülbírálja egyes korábbi döntéseit, pl. a karakter mimikai UHSHUWRiUMiW LOOHW OHJ(]WDWHUYH] -NLYLWHOH] WHYpNHQ\VpJHW D] HGGLJ LVPHUWHWHWW RSHUiWRURN FVDN alacsony szinten támogatják. Ahhoz, hogy egy dinamikus arckifejezést illetve animációt ne csak mint egyedi, paraméter görbék által meghatározott mozgást tudjuk kezelni, intenzionális definiálására és manipulálására alkalmas formalizmus szükséges. Erre korlátokat [38] használunk. Megmutatjuk, hogy segítségükkel miként lehet egy fej dinamikus arckifejezéseit illetve egy animációt megtervezni, majd a követelményeknek eleget WHY NRQNUpWDQLPiFLyWHO iootwdql A korlátokat használó arc animálás részleteit a [II] mellékelt, valamint a [36] cikk tartalmazzák. 4.1 Animáció definiálása korlátokkal (J\ GLQDPLNXV DUFNLIHMH]pV MHOOHJ]HWHVVpJHLW D YH]pUO SRQWRNUD SRQWRVDQ D]RN LG LOOHWYH puwpn komponensére mint változókra vonatkozó korlátok formájában adjuk meg. Pl. egy mosoly szimmetrikus voltát úgy fejezzük NL KRJ\ D] V]iM MREE LOO EDO ROGDOiQDN PR]JiViW PHJKDWiUR]y YH]pUO SRQWRN SiURQNpQW D]RQRV LG YHO pv D]RQRV puwpnnho NHOO KRJ\ UHQGHONH]]HQHN ( SpOGD WRYiEEL NLIHMWpVH D PHJIHOHO NRUOiWRNNDOpVLOOXV]WUiFLyNNDOD-33 oldalakon szerepel. 9

15 Általában azt mondjuk, hogy <C, A> egy korlátos animáció, ahol A egy, a 3.1 fejezetben bevezetett animáció, C korlátok egy halmaz, és C változói A EL]RQ\RV YH]pUO SRQWMDLQDN LG LOOHWYH puwpn koordinátái. C megfelelhet egy dinamikus vagy statikus arckifejezés definíciójának, vagy egy animációval szemben támasztott egyszeri követelményeknek. C PHJROGiVDL PLQG ~J\ WHNLQWKHW N mint ugyanannak az arckifejezésnek vagy általánosan, animációnak a változatai. C tehát intenzionálisan, A extenzionálisan ad meg egy animációt. Kérdés, hogy milyen típusú korlátok azok, amelyek szükségesek és elégségesek arckifejezések és DUFDQLPiFLyNLQWHQ]LRQiOLVPHJDGiViUD$]DODSDUFDQLPiFLyVNRUOiWRNIDMWDOLQHiULVHJ\HQO WOHQVpJHW tartalmaznak, melyeket korábbi saját és animátoroktól szerzett tapasztalataink alapján határoztunk meg (lásd 39. old. 2. táblázat). Korlátos animációval dolgozva, az animátor nemcsak az animációt, hanem a korlátokat is tudja LQWHUDNWtYPyGRQYiOWR]WDWQL(UUHDN YHWNH] RSHUiWRURNiOOQDNDUHQGHONH]psére: Korlát megadása(j\nruoiwhj\opwh] A animációra adható meg. A megadandó korlát típusát D]RQRVtWMXND]DODSDUFDQLPiFLyVNRUOiWRNN ] OpVHQQHNHJ\NRQNUpWSpOGiQ\iWiOOtWMXNHO D]iOWDO KRJ\ PHJDGMXN D OLQHiULV HJ\HQO WOHQVpJ EDO- és jobb oldalát, és sorra kiválasztjuk, hogy A mely YH]pUO SRQWMiQDNLOOHWpNHVNRRUGLQiWiMDW OWVHEHDNRUOiWDGRWWYiOWR]yMiQDNV]HUHSpW Korlátok lekérdezése$]dnwxiolvnruoiwrnd]hj\el]rq\rvyh]puo SRQWUDYRQDWNR]yLOOHWYHFVDN DIyNXV]EDQOHY YH]pUO SRQWRNUDYRQDWNR]yNPHJMHOHQtWKHW NOLVWDIRUPiMiEDQ Korlátok törlése és módosítása (J\ OHNpUGH]pVL OLVWiEDQ D]RQRVtWRWW NRUOiW W U OKHW LOOHWYH D numerikus paraméterei módosíthatók. Korlátok ki-be kapcsolása Egy lekérdezési listában azonosított korlát fhoi JJHV]WKHW LOOHWYH~MUD DNWLYL]iOKDWyËJ\NtVpUOHWH]QLOHKHWN O QE ] NRUOiW-alternatívákkal. Korlátozott animációk másolása, beszúrása és törlése A 3.2 fejezetben bevezetett operátorok HJ\DQLPiFLyWYDJ\DQQDNHJ\UpV]pWDYH]pUO SRQWRNUDYRQDWNR]ykorlátokkal együtt kezelik. A csak NLYiODV]WRWW YH]pUO SRQWRNUD YRQDWNR]y NRUOiWRN LV PiVROyGQDN pv D] DQLPiFLy EHV]~UiVD H NRUOiWRN DXWRPDWLNXV EHV]~UiViW LV MHOHQWL 7 UOpV VRUiQ PLQGD]RQ NRUOiWRN W UO GQHN DPHO\HN KLYDWNR]QDN legalább egy, törlésre kimho OWYH]pUO SRQWUD $QLPiFLyHO iootwivdnruoiwrnndo Ebben a fejezetben ismertetjük azt a korlátozás kielégítési mechanizmust, amely biztosítja, hogy az LQWHUDNWtYPyGRQHO iootwrwwdqlpiflywhomhvtwvhdphjdgrwwnruoiwrndw Az alapelv az, hogy az animáció az interaktív szerkesztés folyamán mindig megoldása kell hogy OHJ\HQD]DNWXiOLV NRUOiWR]iVLIHODGDWQDN(]DNtYiQDORPWHUPpV]HWHVQHNW QLNiPV~O\RVNpUGpVHNHW von maga után: 1. (O iootwkdwy-e, elvben, az összes megoldás ezzel a megkötéssel? 2. Miként vegye a rendszer figyelembe az animátor lépéseit, illetve miként biztosítsa, hogy az animátor jól lépjen, azaz módosításaival ne lépjen ki a megoldások halmazából? 3. A megoldó rendszer válasza egy megoldás YDOyVLG EHQNHOOKRJ\HO ioomrq 10

16 4. Egy NRUOiWR]RWW DQLPiFLy NRUOiWDL iowdoiedq QHP KDWiUR]]iN PHJ HJ\pUWHOP HQ D] DQLPiFLyW D feladat alul korlátozott, végtelen sok megoldással. Melyiket válassza a rendszer egy adott esetben? Az egyes elvárásokat részletesen tárgyaljuk a oldalakon. A lhjirqwrvdee WpQ\H] KRJ\ KD D megoldás halmaz konvex mint ahogy esetünkben az alap korlátokat használva az, akkor az egyes változók számára lehetséges értékek zárt intervallumot alkotnak. Ez a tulajdonság akkor is fennáll, ha bizonyos változók már (megengedett) értéket kaptak (partial instantiation). Ennek a megfigyelésnek az alapján választottunk megoldó sémául egy olyan eljárást, mely az intervallum propagálást [2][4] ötvözi változó és érték választási heurisztikákkal [38]. Minden egyes értékadást akár az animátor kezdeményezte azt, akár a rendszer maga a változók lehetséges értéktartományának felfrissítése követ (az algoritmus pszeudokódját lásd a oldalakon). Így ha biztosítjuk, hogy az animátor egyszerre csak egy értéket változtasson, és a pillanatnyilag megengedett intervallumon belül maradjon, akkor az általa választott érték mellett is lesz megoldása a teljes feladatnak. Mivel lineáris korlátok HVHWpEHQ D] LQWHUYDOOXP SURSDJiOiV J\RUVDQ iootwmd HO D] értéktartományokat, e módszer alkalmas interaktív használatra. Mindezek alapján nyugodtak lehetünk az 1-NpUGpVHNHWLOOHW OHJ Ami a 4. problémát illeti, általános esetben a megoldó algoritmusba beépített választásokon múlik, KRJ\PLO\HQKHXULV]WLNiWKDV]QiODNHUHVpVpVPHO\LNOHKHWVpJHVPHJROGiVWiOOtWMDHO 0LQHPHJ\HWOHQ YiODV]WiVLVWUDWpJLiWpStWHWW QNEHKDQHPOHKHW YpWHWW NKRJ\D]DOJRULWPXVWYiOWR]WDWKDWyNULWpULXPRN alapján, interaktívan lehessen vezérelni. Az úgynevezett változó és érték választásra bizonyos adott, D] DONDOPD]iVKR] LOO stratégiák közül választhat az animátor (ásd old, valamint [36]). Így befolyásolhatja, hogy a rendszer válaszlépésként az animáció mely részét változtathatja meg, és milyen változást preferáljon. Az animátor dolgozhat például balról jobbra, azaz megkívánhatja, hogy egy EL]RQ\RV LG SRQWLJ YpJOHJHV OHJ\HQ D] DNWXiOLV DQLPiFLy YDJ\ HO tukdwmd KRJ\ FVDN EL]RQ\RV SDUDPpWHUHNYiOWR]]DQDN,JHQKDV]QRVOHKHW VpJDYpOHWOHQYiODV]WiVPHO\QHNVHJtWVpJpYHOSOHJ\-egy GLQDPLNXVNLIHMH]pVN O QE ] YDULiFLyLWWXGMDHO iootwdqlduhqgv]hu gvv]hirjodoydd]$qlpifly6]hunhv]w A és C mellett a lehetséges értéktartományokat, D -t és a pillanatnyi stratégiát, S-et is figyelembe veszi. A felfrissítése valamely általános intervallum propagáló DOJRULWPXVVDOYpJH]KHW HO $ IHMH]HWEHQ IHOVRUROW W EE YH]pUO SRQWRW pulqw RSHUiWRURN N ] O FVDN D] HOOHQWHWWH]pV QHP értelmezett korlátozott animációra. A többi esetben az operátor végrehajthatóságának feltételét NLHJpV]tWHWW N D NRUOiWRN V]DEWD IHOWpWHOHNNHO D] HJ\HV YH]pUO SRQWRN NRPSRQHQVHL V]iPiUD megengedett intervallumok alapján. 5 Alkalmazások 5.1 CharToon A kutatás HUHGPpQ\HL DODSXO V]ROJiOWDN D &KDU7RRQ QHY PRGXOiULV V]RIWYHUFVRPDJ $QLPiFLy 6]HUNHV]W HJ\VpJpQHN LPSOHPHQWiOiViKR] [28]. Intervallum propagálásra a Nante-i egyetemen kifejlesztett OpAC rendszert [3]KDV]QiOWXN$]LPSOHPHQWiFLyRO\DQKRJ\DNpV] O DQLPiFLyLOOHWYH 11

17 HJ\HV NLMHO OW UpV]HL OHMiWV]KDWyDN $ V]RIWYHUU O NpSHW DGQDN D pv ROGDODN LOOHWYH D WHOMHV dokumentáció [28]. A szoftver Java nyelven íródott, így web-alkalmazások céljaira is alkalmas [34]. Továbbá a SDUDPpWHU I JJYpQ\HN NRPSDNW PHJDGiVD LJHQ JD]GDViJRV DPL OHKHW Yp WHV]L DQLPiFLyN J\RUV WRYiEEtWiViWDODFVRQ\FVDWRUQDV]pOHVVpJ DGDWiWYLWHOHVHWpQLVV]HPEHQD framenkénti képátvitellel. Ez telepresence alkalmazások esetén használható jól ki. $]LPSOHPHQWiOW$QLPiFLy6]HUNHV]W WPLQGODLNXVRNPLQGDQLPiWRURNNLSUyEiOWiN$]HV]N ]W használták CharToon-nal készült vektorgrafikus 2D fejek mellett 3D maszk és textúrával ellátott, biológiai alapú modellek animálására is. Az eszközzel letapogatott mozgást is felhasználtunk virtuális fejek animálásához [37]. A mellékelt diszken látható néhány a készült filmek közül. Az eszköz hatékonynak bizonyult, mellyel az eredetin tervezetten túl sokféle egyéb hatást is el lehetett érni (lásd &' 6KRUW0RYLHVWZR6KRUWV /DUJH0RYLHV)DFH7ULFNV /DPEGD PDJLFLDQ -RNH $ NHGYH] WDSDV]WDODWRNDODSMiQDKROODQGLDL(3,&72,'FpJDN ]HOM Y EHQSLDFUDYLV]i a szoftvert. 5.2 Az Érzelem Korong A 2.3 fejezetben ismertetett elv alapján implementáltuk az Érzelem Korong eszközt. Az eszköz két kutatócsoport használta. Az ember-gép kapcsolat kutatásával foglalkozó hollandiai TNO intézet egy csoportja arra volt ktyiqfvl KRJ\ N O QE ] PpUWpNEHQ VWLOL]iOW QHP UHDOLV]WLNXV DUFRN PHQQ\LUH alkalmasak az alap arckifejezések közvetítésére [43]. Ezt kísérletileg vizsgálták oly módon, hogy kísérleti alanyok egy csoportja igazi fényképeken láwrww DUFNLIHMH]pVHN PHJIHOHO MpW iootwrwwd HO D] eu]hohp.rurqj VHJtWVpJpYHO N O QE ] VHPDWLNXV ' YLUWXiOLV DUFRNRQ PDMG HJ\ PiVLN FVRSRUW D]RNDWPLQ VtWHWWH$YL]VJiODWHUHGPpQ\HD]WPXWDWWDKRJ\D]HJ\V]HU HPEHULDUFWHOMHVPpUWpNEHQ alkalmas DDODSNLIHMH]pVUHNRQVWUXiOiViUDpVDVHPDWLNXVDUFLVPHJOHS HQNLIHMH] QHNEL]RQ\XOW(] az eredmény számunkra azért érdekes, mert hitelt ad annak a feltételezésünknek, hogy van létjogosultságuk stilizált, 2D virtuális arcoknak is a 3D realisztikus modellek mellett. Az amszterdami Free University Számítástudományi Tanszékén egy csoport virtuális világok KDV]QiODWiWNXWDWMD ND]eU]HOHP.RURQJRWYH]pUO HV]N ]NpQWKDV]QiOWiNDYDWDURNDUFNLIHMH]pVpQHN meghatározására [13]. 5.3 %HV]pO IHMHN A hollandia IPO intézet szintetikus beszédre specializálódott csoportja újabban multimodális beszéd V]LQWp]LVpUHLVNLWHUMHV]WHWWHNXWDWiVLN UpW,QWHJUiOWiNDV] YHJE OV]LQWHWLNXVEHV]pGHWpVIRQpPDVRUW HO iootwy SURJUDPMXNDt az általunk kifejlesztett automatikus szájmozgást létrehozó programmal. Így SLOODQDWRN DODWW HO ioo HJ\ DGRWW V] YHJHW PRQGy DUF OiVG &' /DUJH0RYLHV,ZLVK<RX (]W D környezetet használva kívánják a továbbiakban a vizuális koartikuláció jelenségét vizsgálni. A szájmozgáson túl a beszédet egyéb vizuális jelenségek is kísérik. Például a kiemelést (fókuszt) pu]pnhowhw LQWRQiFLy J\DNUDQ MiU HJ\ WW D V]HP OG N PHJHPHOpVpYHO (QQHN pv PiV KDVRQOy MHOHQVpJHNQHN D YL]VJiODWiUD D] $QLPiFLy 6]HUNHV]W YHO DQLPiOW YLUWXiOLV IHMHNHW KDV]QiOQDN $] HOV NtVpUOHW PHO\EHQ WHWV] OHJHVHQ PR]JDWRWW &KDU7RRQ IHMHW KDV]QiOWDN D IyNXV] YL]XiOLV hangsúlyozásának vizsgálatára, új eredménnyel járult hozzá a multimodális beszéd leíró kutatásához [21]. 12

18 $ UyPDL /D 6DSLHQ]D HJ\HWHPHQ D] $QLPiFLy 6]HUNHV]W W DUUD KDV]QiOMiN KRJ\ UHDOLV]WLNXV ' virtuális fejen minél tökéletesebb szájmozgást hozzanak létre. Az eszközzel egyrészt interaktív módon tökéletesítik az általuk használt vizémákat, másrészt szimulálják és tesztelik a koartikulációs MHOHQVpJHNHW(J\WRYiEELHJ\ WWP N GpVNHUHWpEHQNRUOiWRNVHJtWVpJpYHONtYiQMXNDYL]pPiNDWOHtUQL 6 További kutatási irányok.ruoiwrnho iootwivdn YHWHOPpQ\HNDODSMiQ *\DNUDQ IRUGXO HO KRJ\ HJ\ NRUOitfajta több példányát kell használnunk. Nevezetesen olyan N YHWHOPpQ\HN NLIHMH]pVpUH PHO\HN HJ\ DQLPiFLy EL]RQ\RV LG WDUWDPiUD pvydj\ EL]RQ\RV paramétereire vonatkoznak. Pl. a szimmetrikus arcmozgás kifejezéséhez minden jobb-bal paraméterre és minden YH]pUO SRQW-párra ugyanolyan fajta korlátokat kell megadni. Vagy ha azt szeretnénk, hogy a WHNLQWHWN YHVVHQHJ\PR]JyWiUJ\DWVRNYH]pUO SRQWRWpVD]RQRVIDMWDNRUOiWRWNHOOEHLNWDWQL5iDGiVXO a tekintetet meghatározó paramétereket kézzel kell megváltoztatni, valahányszor a fixált tárgy elmozdul. +DV]QRVOHQQHKDD]LO\HQNRUOiWRNDWHJ\FVDSiVUDHO WXGQiQNiOOtWDQLpVPDQLSXOiOQLEL]RQ\RV meta-követelmények alapján. Ez nem csak az animáció készítés hatékonyságát növelné, hanem utat nyitna ahhoz,krj\hj\yluwxiolv IHMPLPLNDL VDMiWRVViJDLWLOOHWYHN OV KDWiVRNDWpVNpQ\V]HUHNHWLV kifejezhessünk. A korlátozott animáció sémáját két irányba lehetne kiterjeszteni. Egyrészt formalizmust biztosítani a paraméterek teljes vagy részleges idejére vonatkozó követelmények kifejezésére, másrészt PHJHQJHGQL KRJ\ NRUOiWRN EL]RQ\RV NRQVWDQVDL NtY OU O PHJKDWiUR]RWW YiOWR]yN OHJ\HQHN $] intervallum propagálás sémája elbírná az ilyen kiterjesztéseket. Ami további meggondolásokat kíván, az egyrészt a stratégiák értelmezése, másrészt a több forrásból származó korlátok közötti tájékozódás megoldása. 6.2 Arckifejezések variánsai stílus, nem és náció alapján $]$QLPiFLy6]HUNHV]W YHOHJ\-egy arcra gazdag repertoárt lehet megadni és azokat alap egységekként hasznioydkdnhoopygrvtwydd]dufrwdqlpioql.pugpvkrj\kiq\n O QE ] GLQDPLNXVDUFNLIHMH]pVW NHOON O QPHJDGQLpVPHO\HND]RNDYDULiQVRNDPHO\HNDNRUOiWRNYiOWR]WDWiViYDOHO iootwkdwyn" Ez pragmatikus kérdés is, de méginkább az arckifejezések jellemzésének alap kérdése. Nevezetesen, hogy az átlagos (dinamikus vagy statikus) arckifejezést miként módosítják olyan WpQ\H] NPLQWD]HJ\pQYDJ\HJ\FVRSRUW pl. foglalkozás, nem, náció -MHOOHP] VWtOXVD Meg fogjuk vizsgálni, hogy lehet-e ezeket a téq\h] NHWPLQWD]DODSNLIHMH]pVNRUOiWDLWPyGRVtWy paramétereket kezelni. Ehhez szeretnénk viselkedéspszichológiai empirikus, kódolt adatokat vagy leíró elméleteket alapul venni. Ha ilyen nem létezik, mesterséges fejeket használva lehet és kell tesztelni a hipotézisek. 13

19 %HV]pO IHMHNPDJDVV]LQW YH]pUOpVH (GGLJDYLUWXiOLVDUFRQ PHJMHOHQtWHQG pu]hohpqhnd PLNpQWMpYHOIRJODONR]WXQND PLpUWMpYHOQHP $] DXWRQyPiJHQVDXWRQRPRXVDJHQWpVPHJWHVWHV OWEHV]pOJHW ijhqvhperglhgfrqyhuvdwlrqdodjhqw NXWDWiVRN HJ\LN I W UHNYpVH KRJ\ D YLUWXiOLV NDUDNWHUHN KLWHOHV NRQ]LV]WHQV pv LQGLYLGXiOLV YLVHONHGpVpUH V]iPtWiVL PRGHOOWNpV]tWVHQHNpV PDJDV V]LQW YH]pUOpVWEL]WRVtWVDQDN(EEHEHOHWDUWR]LN az érzelmek változásának modellezése és kontrollja is [17]. (J\LO\HQPDJDVV]LQW YH]pUO Q\HOYKDV]QiODWDQ\LWYDKDJ\MDDQQDNDNpUGpVpWKRJ\DNpUGpVHV DUFRQ PLNpQW MHOHQMHQ PHJ D] HO tuw NLIHMH]pV $] $QLPiFLy 6]HUNHV]W YHO HJ\V]HU PHJDONRWRWW repertoárt, valamint a korlátok biztosította variációkat lehet használni a fej animációjának automatikus HO iootwiviud$kdv]qiodqgyuhshuwriufvhupokhw VpJHpVDQHP-determinisztikus arc animáció orvosolná D EHV]pO IHMHN J\DNRUL J\RUVDQ OHOHSOH] G KLiQ\RVViJiW QHYH]HWHVHQ KRJ\ DUFNLfejezéseik mindig SRQWRVDQD]RQRVPyGRQiOOtWyGQDNHO 8J\DQDNNRUHJ\PDJDVV]LQW Q\HOYHQPHJDGRWWNtYiQDOPDNHUHGPpQ\H]KHWQHNNRQIOLNWXVWPLQG D]HJ\HVSDUDPpWHUHNpUWpNpWPLQGD]LG ]twpvwloohw OHJ3OEHV]pGpVV]pOHVPRVRO\QHPMHOHQtWKHW N meg HJ\LGHM OHJ (]W D] HJ\V]HU NRQIOLNWXVW LV W EEIpOH PyGRQ OHKHW IHOROGDQL FVDN D] HJ\LN NLIHMH]pVUHV]RUtWNR]QLYDODPHO\LNHWYDJ\PLQGNHWW WN ]HOtWYHPHJMHOHQtWHQLDYDJ\LG EHQHOFV~V]WDWQL valamelyik kifejezést. Mechanizmust kell biztosítani az ilyen alternatívák közötti választásra és az egyes NLIHMH]pVHN~MUD WHPH]pVpUH(KKH]HO ]HWHVHQHPSLULNXVNtVpUOHWHNV] NVpJHVHNDQQDNHOG QWpVpUH hogy mikor mely alternatíva a természetes. 6.4 Virtuális fejek kiértékelése Utolsónak maradt, de igen fontos kérdés az, hogy miként értékeljünk ki egy virtuális fejet. A V]HPSRQWRN LJHQ VRNIpOpN D NLIHMH] NpSHVVpJ PHOOHWW D Q\~MWRWW poppq\ D] DGDSWiOKDWyViJ D kifejlesztés és használat költségei mind fontosak. Ráadásul az alkalmazások és a megcélzott felhdv]qioyn LV N O QE ]QHN (J\HV HVHWHNEHQ HJ\ EHV]pO IHM YDJ\ WHOMHV V]LQWHWLNXV NDUDNWHU NHYHVHEEKDV]QRWKDMWPLQWDPHQQ\LILJ\HOPHWHOYRQ8J\DQDNNRUHJ\EHV]pO IHMPHJtWpOpVpWQDJ\RQ sok változó befolyásolja, mint pl. a fej modell esztétikai értékel D EHV]pG PLQ VpJH D YiODV]LG N D tartalom. Nincs még kidolgozott metodológia az egyes változók elkülönítésére, illetve hatásaik mérésére. Mindemellett sokszor, a szükséges ismeretek hiányában, még azt sem tekinthetjük abszolút mércének, hogy milyen OHQQHDGRWWHVHWEHQHJ\LJD]LEHV]pO Ugyancsak izgalmas feladat bizonyos alkalmazás típusokra teszt feladatokat (benchmark) tervezni, amelyek SODNHUHV DOJRULWPXVRN NLpUWpNHOpVpQpO V]RNiVRV PyGRQ platformot teremtenének az összehasonlító kiértékelésre. 14

20 Hivatkozások [1] Ananova, [2] Apt, K. The essence of constraint propagation, CWI Quarterly, Vol. 11. No. 2-3, pp [3] Benhamou, F. Goualard, F.The OpACSolver, University of Nantes, personal communication, [4] Benhamou, F. Granvilliers, L., Goualard, F. Interval Constraints: Results and Perspectives. In: Frédéric Benhamou, Laurent Granvilliers, and Frédéric Goualard. In:, K.R. Apt, A.C. Kakas, E. Monfroy, F. Rossi (eds.) New trends in constraints, Procs. of the Joint ERCIM/Compulog-Net Workshop at Cyprus, Lecture Notes in Artificial Intelligence, vol. 1865, pp. 1-16, Springer Verlag, [5] Bulwer, J., Pathomyotamia, or, A dissection of the significative muscles of the affections of the mind, Humprey and Moseley, London, [6] Cassell, J., Sullivan, J., Prevost, S., Churchill, E. Embodied Conversational Agents, MIT Press, Cambridge, MA, [7] Chopra-Khullar, S., Badler N. Where to look? Automating attending behaviors of virtual human characters, Autonomous Agents and Multi-agent Systems Vol. 4. No. 1/2, pp [8] Darwin, C. Expression of Emotions in Man and Animals, John Murray, London, [9] Digital Elite, [10] Duchenne, G. B. The Mechanism of Human Facial Expression, Jules Renard, Paris, [11] Ekman, P., Friesen, W. Facial Action Coding System, Consulting Psychology Press Inc. Palo Alto, California, [12] Ekman, P. The argument and evidence about universals in facial expressions of emotion. In: Wagner, H., Monstead, A. (eds): Handbook of Social Psychology. Jophn Wiley, Chicelster, pp [13] Elians, A., Van Ballegooij, A. (2000) Avatars in VRML worlds with expressions, VRML_Experiments/FASE/ [14] FaceWorks DIGITAL FaceWorks Animation Creation Guide, Digital, [15] FAMOUS Home Page (1989). [16] Essa, I. Analysis, Interpretation and Synthesis of Facial Expressions, MIT Media Lab Perc. Comp. Tech. Rep. 272, [17] Gatch, J., Marsella, S. Tears and Fears: Modeling emotions and emotional behaviors in synthetic agents, Proc. of Autonomous Agents 01, pp [18] Hassanien, A. Nakajima, M. Image morphing of facial images transformation based on Navier elastic body splines, Proc. of Computer Animation 98, pp [19] Hendrix, J., Ruttkay, Zs.M. (2000) Exploring the space of emotional faces of subjects without acting experience, Report INS-R0013, CWI, Amsterdam. [20] ISO Information Technology Generic coding of audio-visual objects Part 2: visual, ISO/IEC Final Draft International Standard, Atlantic City, [21] Krahmer, E., Ruttkay, Zs., Swerts, M. Pitch, eyebrows and the perception of focus, Submitted to Prosody [22] Krzanowski, W. J. (1988) Principles of Multivariate Analysis, a Users Perpective. Clarendon Press, Oxford. [23] Kshirsagar, S., Escher, M., Sannier, G., Magnenat-Thalmann, N. Multimodal animation system based on the MPEG-4 standard, Proc. of Multimedia Modeling 99, pp [24] Lester, J. C., Converse, S. A., Kahler, S. E., Barlow, S. T., Stone, B. A., Bhoga, R. S. The Persona Effect: Affective impact of animated pedagogical agents, Proc. of CHI 97, pp [25] Litwinowicz, P. Inkwell: a 2 ½-D animation system, Proc. Of Siggraph 97, pp [26] Massaro, D. W. Perceiving talking faces: From speech perception to a behavioural principle, Cambridge, Mass., The MIT Preess,

21 [27] Noma, T., Zhao, L., Badler, N. Design of a virtual human presenter, IEEE Computer Graphics and Applications, Vol. 20. No , pp [28] Noot, H. Ruttkay, Zs. CharToon 2.0 Manual, CWI Report INS-R0004, Amsterdam, Available from [29] Parke, F., Waters, K. Computer Facial Animation, AK Peters, Wellesley, MA, [30] Pelachaud, C., Badler, N. I., Steedman, M. Generating facial expressions for speech, Cognitive Science Vol. 20. pp [31] Perlin, K. Responsive Face, [32] Poggi, I., Pelachaud, C., De Rosis, F. Eye communication in a conversational 3D synthetic agent, AI Communications, Vol. 13. Nr.. 3. pp [33] Russell, J. A. A circumplex model of affect. Journal of Personality and Social Psychology, 39(6), pp [34] Ruttkay, Zs., Noot, H. Emotion Disc and Emotion Squares: tools to explore the facial expression sapce, Submitted to the Journal of Visualization and Computer Animation, [35] Zs. Ruttkay, H. Noot, Behr de Ruiter, Paul ten Hagen, CharToon Faces for the Web, Poster Proceedings of the 9th Int WWW conf. pages 28-31, Amsterdam the Netherlands, May [36] Ruttkay, Zs., Noot, H. FESINC: Facial Expression Sculpturing with INterval Constraints, Proc. of the Autonomous Agents 2001 Workshop on Representing, Annotating and Evaluating Non-Verbal and Verbal Communicative Acts to Achieve Contextual Embodied Agents, Montreal, Canada, [37] Ruttkay, Zs., Ten Hagen, P., Noot, H., Savenije, M. Facial animation by synthesis of captured and artificial data, CAPtech 98 Proceedings, [38] Ruttkay, Zs. Constraint Satisfaction - a Survey, CWI Quarterly Vol. 11, pp , [39] Schiano, D. J., Ehrlich, S. M., Rahardja, K., Sheridan, K. Face to InterFace: Facial Affect in (Hu)man and Machine, Proc. of CHI [40] Schlosberg, H. The description of facial expressions in terms of two dimensions, Journal of Experimental Psychology, Vol. 44. No [41] Sudarsky, S., House, D. Motion capture data manipulation and reuse via B-splines, In: N. Magnenat-Thalmann, D. Thalmann (eds.): Proc. of CAPTECH 98, LNAI 1537, pp [42] SVG [43] Van Veen, H., Smeele, P., Werkhoven, P.: Report on the MCCW (Mediated Communication in Collaborative Work) Project of the Telematica Institute, TNO, January [44] Williams, L. Performance-driven facial animation, Proc. of SIGGRAPH'90, pp [45] Zwiers, J., van Dijk, B., Nijholt, A., Op den Akker, R. Design issues for navigation and assitance in virtual environments, In: Proc. Of Interacting Agents Workshop, pp [46] Yamada, H., Watari, C., Suenaga, T. Dimensions of visual information for categorizing facial expressions of emotion, Japanese Psychological Research, 35(4), pp