Ruttkay Zsófia. Human-Media Interaction Dept. CS, Univ. of Twente,, NL PPKE ITK, Budapest

Átírás

1 Virtuális Emberek Ruttkay Zsófia Human-Media Interaction Dept. CS, Univ. of Twente,, NL PPKE ITK, Budapest /~zsofi/ November 4. KÖMAL, Budapest 1

2 Tartalom Példák: virtuális ember szerepek Hogyan készk szítsünk virtuális embert? Arc animáci ció - arckifejezések leírása - arc modellezés - arckifejezések előáll llítása - vizuális beszéd Gesztusok számítógépes modellezése - kéz z gesztusok modellezése - magas szintű vezérl rlés Nyitott kérdk rdések 2

3 Virtuális emberek Többé-kevésbé emberforma számítógépes modell a képernyk pernyőn, n, mely az emberre jellemző módon társalogva t segíti a felhasználót. Alkalmazások: - informáci ciót t szolgáltat ltató (menetrend, időjárás, hírek...) h - tanító,, tréner, pszichológus - eladó - fordító (pl. halláss ssérültek számára jelbeszédre dre) - valakit megszemélyes lyesítő avatar, távjelenlét, virtuális világokban - játékok, szórakoz rakozás s (interaktív v TV, szintetikus színész) sz) - pszichológusok számára eszköz: z: diagnosztikai, gyógy gyító,, leíró... Alig 10 éves ves múlt m - USA, Svájc, NémetorszN metország, Japán,... EU projektek 3

4 1. Példa: P REA Cassell et al,, MIT házügynök TTS kéz z gesztus testhelyzet váltás visszajelzés bizalomkeltő csevegés 4

5 2. Példa: P Steve Rickel et al,, USC instruktor hová nézzen? szerelési si intelligencia 5

6 3. Példa: P MRE- USC ISI + ICT beszéd több szereplő 3x7 m vászon (valós méretek) érzelmek etnikai hitelesség több tucat fejlesztő, néhány kutató 6

7 4. Példa: P MAX a múzeumi m szakért rtő (Univ. of Bielefeld) 7

8 5. Példa: P A Virtuális Karmester HMI, UT 8

10 VE készk szítésese decision agy (decisions) (what to do) felhasználó model érzelemmodel dialógusmodel szaktudás saját célok érzékelés (input) reakció (output) természetes nyelv értés (meta) beszéd értés arcfelismerés gesztus értelmezés a környezet figyelése (tárgyak, erőforrások, helyzet) beszéd nemverbális jelek valós időben suspension of disbelief hogy hatásos legyen 10

11 VE vezérl rlése agency kognitív szint viselkedés arc és kéz gesztusok deformálható SZG model Egyedi, nem ismétlődő, kifejező viselkedés. 11

12 Nemverbális modalitások 1. Beszéd tempó intonáci ció hangmagasság 2. Arc szem: tekintet, pislogás, s, pupilla... szemöld ldök száj arcszín, nedvesség fej 3. Kezek kézforma melyik kézk hely, pálya, p intenzitás mozgás folytonosság mozgás s sebesség 4. Testtartás, s, pózp 5. Közelség 12

13 Miket fejezhet ki egy-egy nemverbális jel? 1. Tartalom, tények: t forma, hely,..., fogalom, egyetért rtés 2. Tények bizonyossága, fontossága, újdonsága, kapcsolata 3. Beszéd d központozk zpontozás 4. B identitása sa: : személyis lyiség, kultúra, nem, kor, B változó állapota: : fizikai, érzelmi, szellemi 6. B-H H viszonya: : hatalmi pozíci ció,, empátia, common ground 7. Dialógus menete: ki beszéljen: turn taking (H), giving (B), keeping (B)(recall) figyelem (back( channelling): értés, követk vetés, nem értés, unalom (H) 13

14 Jel- jelentés s többt bb-több megfeleltetés Felemelt szemöld ldök - szemöld ldök k fel - tekintet felemelés - beszéd d intonáci ció - bólintás - kéz z leütés s (beat) 2 5-1=63 lehetőség? - hangsúly, kiemelés - meglepetés - öröm - parancs Kiemelés, hangsúly 14

16 Mit fejezzen ki az arc? Geri s Game by Pixar Animation Studios Directed by Jan Pinkawa OSCAR

17 Történet. 1882: Darwin: The Expression of the Emotions in Man and Animals 1862: Duchenne: photos of expressions induced by electric signals 17

18 18

19 Arckifejezések leírása : Paul Ekman (U. of California) 1989: 6 general emotional expressions : öröm, meglepetés, bánat, félelem, f undor, dühd FACS [1978] coding system still preferred in US diszkrét vizuális effektus - létrehozó izmok 19

20 Arckifejezések leirása sa: : MPEG4 1999: ISO standard 68 normált paraméter (FAPs) folytonos x, y (z) koordináták min, max,, semleges érték 20

21 Arckifejezések leirása sa: : MPEG4 # FAP name FAP description Unit 31 raise_l_i_eyebrow 32 raise_r_i_eyebrow 33 raise_l_m_eyebrow 34 raise_r_m_eyebrow 35 raise_l_o_eyebrow 36 raise_r_o_eyebrow 37 squeeze_l_eyebrow Vertical displacement of left inner eyebrow Vertical displacement of right inner eyebrow Vertical displacement of left middle eyebrow Vertical displacement of right middle eyebrow Vertical displacement of left outer eyebrow Vertical displacement of right outer eyebrow Horizontal displacement of left eyebrow ENS ENS ENS ENS ENS ENS ES 21

22 Az arc anatómi miája 44 pár r izom köteg lapos kör koartikuláci ció sok paraméter nem lineáris viselkedés nem elégg ggé ismert 22

23 3 rétegr tegű 3D arc modell 23

24 Egy arcizom működésem (after Waters) V b a d P P P =P+ cos(a/b) k cos(f(d, r1, r2)) PV PV 24

25 Fizikailag hiteles 3D arc modell deformáci ció Newton dinamika eredő erők elmozdulás háló deformáci ció korlátok - anyagmegmaradás ráncok, gödrg drök - áthatolhatatlan koponya időig igényes és s nem mindig stabil diffegy. mo numerikus módszerm (Euler, Runge-Kutta Kutta,...) izom paraméterek inicializálása probléma pl. gépi tanulás 25

26 Egyréteg tegű 3D arc modell háromszög g hálóh izmok aktivitása zónája z az egyes pontokra más-más s súllyal s hat ráncok textúra árnyékként, nem 3d deformáci cióval gyors egyszerűbb 26

27 Ráncok (Pelachaud) 27

28 3d arc model (CWI) 28

29 3d arc animáci ció (CWI) 29

30 2d CharToon model 30

31 2d CharToon fejek (CWI) 31

32 Arckifejezések letapogatása Pontok elmozdulása MPEG4 paraméterek 6 arckifejezés s 2-szer2 Maximális intenzitás 32

33 PCA: the components point first comp. second comp

34 Time curves of FAPs 34

35 Dimeziócs csökkentés Principal Component Analysis alacsonyabb dimenziójú térbeli vetülettel közelitve ortogonális bázisvektorok az eredetiek lineális kombinációjaként Emberi adatok: Első 2 komponens 77% közelités. Hivatásos grafikus: Első 4 komponens kell. 35

36 Results in 2D the first two components of the PERCEIVED set labelled according to how they were perceived. 36

37 Emotion Disc 37

38 Emotion Disc 38

39 Mona Lisa számítógépes arckifejezés felismerés UvA + Univ. of Illionis, Dec smile: 83% disgust: 9% fear: 6% anger: 2% Mit jelentenek e számok? Hogyan keletkeztek? Ma ugyanazt jelentik, mint 500 éve?

40 A számit mitógépes animáci cióról általában Mozgás érzetének keltése: frame/ / sec tempóban képeket k játszunk j le természetes mozgás érzete: folytonos, 1. ill. 2. derivált is természetess szetességen túl: t Disney rajzfilm hatások Animáci ciós s fajták k a képek k meghatároz rozása szerint: 1. teljes képek k (ld. video) - rengeteg adat, - nincs kontroll 2. számítógépes modell (3D háromszh romszög g háló, h, 2D vonalak) deformálása és s mozgatása sa, textúra leképez pezése - milyen módon m deformálhat lható a test? - hogyan és s milyen gyakran adjuk meg az egyes képeket k? 40

41 CharToon (CWI, Ruttkay-Noot Noot) animation Animation Editor Face Player 2d cartoon animated face expression repertoire Face Editor 2d cartoon neutral face user facial feature repertoire 41

42 42

43 Arc animáci ció hogyan interpolálunk: lunk: lineáris risan,, C 1, C 2 folytonosan t i -k választásasa t o t 1 t 2 t 3 t 4 t 5 43

44 Arckifejezések dinamizmusa Milyen az alap (generic)) mosoly, meglepetés? 2 fv görbe 44

45 Egy mosoly v fv kontrol pont P i j =(ti j, vi j ) Mik a korlátok? 3 intervallum hossza időben intenzitás t koartikuláci ció sebesség gyorsulás... 45

46 Same animation for different faces 46

47 Vizuális beszéd 1. Vizéma a szájmozg jmozgás s egysége ge 6-40, a kívánt k minőség g szerint fonéma ma-vizéma több-egy megfeleltetés 2. TTS vagy audio fonémákra bontva időadattal vizéma hozzárendel rendelés 3. Nem kontextus független f koartikuláci ció 4. CharToon automatikus lip sync 5. Arckifejezések és s beszéd d együtt 47

48 Visual speech 48

49 Lip-sync 49

50 Vizuális beszéd tekintet Szemöld ldök Fejmozgás mosoly + beszéd 50

51 Eredmény érzékelt személyis lyiség 51

52 Arckifejezések letapogatása 52

53 Mosoly modellezése Milyen az általános mosoly? A specifikus? Intenzitás, szimmetria, on-offset offset-hold idők és fv, koartikuláci ció 53

55 Artikulált lt karakter 55

56 Bőrözés 56

57 H-anim váz z II H-anim humanoid node fajták joint segment izület testrész site displacement egy referencia pont egy testrészen egy testrész egy részének deformálása 57

58 STEP referencia irányok STEP is by Z. Huang, A. Eliens, VU, Amsterdam 58

59 STEP: Reagálás a környezetre k - IK α = arc cos((u (u 2 + f 2 - d 2 ) /2uf) β = arc cos((u (u 2 + d 2 - f 2 ) /2ud) STEP is by Z. Huang, A. Eliens, VU, Amsterdam 59

60 Reagálás a környezetre k IK II script(getabvalue(agent,position(x0,y0,z0),hand,a,b),action):- Action = seq([ getdvalue(agent,position(x0,y0,z0),hand, D), get_upperarm_length(agent,l1), get_forearm_length(agent,l2), do( D1 is L1 + L2), if_then_else( sign(d1-d)>sign(0.001 D)>sign(0.001-D), D), seq([ do( cosine_law(l1,l2,d,a) ), do( cosine_law(l1, D, L2, B) )]), seq([ do ( A is 1.57*(1+sign(D-0.001) )), do( B is 0.0 )]))]). 60

61 Kéz z gesztusok modellezése Emberi kéz: 54 szabadsági fok Kifejező gesztusok moduláris tervezése és mozgatása kézforma, kezdeti és vég pozíció, mozgás pálya, jelleg kiemelés felsorolás sajnálkoz lkozás üdvözlés 61

62 7. Példa: P A Virtuális Táncos T 62

63 Kérdések Intelligencia szüks kséges-e, e, vagy elég g csak az illuzió? Turing test X év v múlva m nem tudjuk megmondani, hogy a VL vagy egy igazi-e e a beszélget lgetőpartnerünk. nk. A valóson túl, t új j emberfajta és s alkalmazások Etikai kérdk rdések a személyis lyiség g védelmev manipulálhatja lhatja a VL az igazit milyen VL-t teremtünk, - sünk? VL kiszorítja a mindennapi együttl ttlétet, tet, társalgt rsalgást? st? 63