Szintetizált beszéd természetesebbé tétele

Átírás

1 Csapó Tamás Gábor IV. évf. Szintetizált beszéd természetesebbé tétele Konzulensek: Dr. Németh Géza, Dr. Fék Márk Budapesti Mőszaki és Gazdaságtudományi Egyetem Távközlési és Médiainformatikai Tanszék OTDK elıadás április 26.

2 Tartalom A kutatás célja Elméleti háttér Kísérleti munka Meghallgatásos vizsgálatok Továbbfejlesztési lehetıségek

3 A kutatás célja (1) Beszédszintetizátorok generációi: Formánsszintézis Elemösszefőzés Korpusz alapú elemkiválasztásos A hővös, párás hajnalt követıen változóan felhıs lesz az ég, többkevesebb napsütés várható.

4 A kutatás célja (2) Emberi beszédben: ugyanaz a mondat többször kiejtve kicsit máshogy hangzik változatosság a dallamban, hangsúlyozásban, ritmusban

5 A kutatás célja (2) Emberi beszédben: ugyanaz a mondat többször kiejtve kicsit máshogy hangzik változatosság a dallamban, hangsúlyozásban, ritmusban Szövegfelolvasókban eddig: egy adott mondat szinte mindig ugyanúgy hangzik többnyire determinisztikus rendszer nincs jól észlelhetı változatosság

6 A kutatás célja (2) Emberi beszédben: ugyanaz a mondat többször kiejtve kicsit máshogy hangzik változatosság a dallamban, hangsúlyozásban, ritmusban Szövegfelolvasókban eddig: egy adott mondat szinte mindig ugyanúgy hangzik többnyire determinisztikus rendszer nincs jól észlelhetı változatosság Cél: változatos beszéd megvalósítása a szövegfelolvasókban

7 Elméleti háttér (1) Beszéd (prozódia) összetevıi: Szubjektív Objektív Dallam alapfrekvencia (F 0 ) változtatás Hangsúly F 0, intenzitás emelés, idıtartam módosítás Ritmus beszédtempó változtatása, szünetek A menüben minden szükséges információ elhangzik. prozódia nélkül prozódiával Mivel a dallam a meghatározó, a továbbiakban ezzel foglalkozunk

8 Elméleti háttér (2) Beszédszintézis: szöveg beszéd A SZINTÉZIS ADAT SZINTŐ ELİKÉSZÍTÉSE Forrás: Magyar nyelvi beszédtechnológiai alapismeretek CD

9 Elméleti háttér (2) Beszédszintézis: szöveg beszéd A SZINTÉZIS ADAT SZINTŐ ELİKÉSZÍTÉSE Dallammenet módosítása Forrás: Magyar nyelvi beszédtechnológiai alapismeretek CD

10 Elméleti háttér (3) Prozódiai modellek Leíró jellegő (ToBi, GToBi, IViE) Szabály alapú Adatvezérelt (CART-tal, neurális hálóval) Szabály alapú, szuperpozíciós : Profivox, elemösszefőzéses

11 Beszéddallam-adatbázis Kísérleteinkben 200 mondatos hangkorpusz (idıjárásjelentés) 50 mondatos hangkorpusz ( harangok története ) 5000 mondatos hangkorpusz (idıjárásjelentés)

12 Beszéddallam-adatbázis Kísérleteinkben 200 mondatos hangkorpusz (idıjárásjelentés) 50 mondatos hangkorpusz ( harangok története ) 5000 mondatos hangkorpusz (idıjárásjelentés) Tartalma: Hullámforma fájl Szöveges átírás Fonetikus átírás Hang-, szünethatárok Zöngeperiódus-határok

13 Beszéddallam-adatbázis Kísérleteinkben 200 mondatos hangkorpusz (idıjárásjelentés) 50 mondatos hangkorpusz ( harangok története ) 5000 mondatos hangkorpusz (idıjárásjelentés) Tartalma: Hullámforma fájl Szöveges átírás Fonetikus átírás Hang-, szünethatárok Zöngeperiódus-határok

14 Beszéddallam-adatbázis Kísérleteinkben 200 mondatos hangkorpusz (idıjárásjelentés) 50 mondatos hangkorpusz ( harangok története ) 5000 mondatos hangkorpusz (idıjárásjelentés) Tartalma: Hullámforma fájl Szöveges átírás Fonetikus átírás Hang-, szünethatárok Zöngeperiódus-határok Többfelé lesznek csúszós útszakaszok.

15 Beszéddallam-adatbázis Kísérleteinkben 200 mondatos hangkorpusz (idıjárásjelentés) 50 mondatos hangkorpusz ( harangok története ) 5000 mondatos hangkorpusz (idıjárásjelentés) Tartalma: Hullámforma fájl Szöveges átírás Fonetikus átírás Hang-, szünethatárok Zöngeperiódus-határok töpfelé lesznek csúszós úcakaszok

16 Beszéddallam-adatbázis Kísérleteinkben 200 mondatos hangkorpusz (idıjárásjelentés) 50 mondatos hangkorpusz ( harangok története ) 5000 mondatos hangkorpusz (idıjárásjelentés) Tartalma: Hullámforma fájl Szöveges átírás Fonetikus átírás Hang-, szünethatárok Zöngeperiódus-határok

17 Beszéddallam-adatbázis Kísérleteinkben 200 mondatos hangkorpusz (idıjárásjelentés) 50 mondatos hangkorpusz ( harangok története ) 5000 mondatos hangkorpusz (idıjárásjelentés) Tartalma: Hullámforma fájl Szöveges átírás Fonetikus átírás Hang-, szünethatárok Zöngeperiódus-határok

18 Mondatok vizsgálata Hasonlóságok keresése mondatok között mondat azonosító #2203 szószám szótagszám 10 szavak szótagszáma Hasonlóság alapja: idıtartam szótagszám teljes mondat #2563 #3056 #2019 #2150 # egyes szavak # Szótagszám a mondatok dallama feltételezhetıen hasonló #2031 #2380 #

19 Mondatok vizsgálata Hasonlóságok keresése mondatok között mondat azonosító #2203 szószám szótagszám 10 szavak szótagszáma Hasonlóság alapja: idıtartam szótagszám teljes mondat #2563 #3056 #2019 #2150 # egyes szavak # Szótagszám a mondatok dallama feltételezhetıen hasonló #2031 #2380 #

20 Mondatok vizsgálata Hasonlóságok keresése mondatok között mondat azonosító #2203 szószám szótagszám 10 szavak szótagszáma Hasonlóság alapja: idıtartam szótagszám teljes mondat #2563 #3056 #2019 #2150 # egyes szavak # Szótagszám a mondatok dallama feltételezhetıen hasonló #2031 #2380 #

21 Mondatok vizsgálata Hasonlóságok keresése mondatok között mondat azonosító #2203 szószám szótagszám 10 szavak szótagszáma Hasonlóság alapja: idıtartam szótagszám teljes mondat #2563 #3056 #2019 #2150 # egyes szavak # Szótagszám a mondatok dallama feltételezhetıen hasonló #2031 #2380 #

22 Mondatok vizsgálata Hasonlóság keresése nagyobb adatbázisban: 5000 mondat Hasonlóság alapja: mondat azonosító #3053 #361 #3855 szószám szótagszám szavak szótagszáma egyezı szótagszerkezet #3056 #3373 # # # # # #

23 Mondatok vizsgálata (2) 2006 Dallammenetek összehasonlítása

24 Mondatok vizsgálata (2) 2006 Dallammenetek összehasonlítása magánhangzók határai eltérı helyeken

25 Mondatok vizsgálata (2) 2006 Dallammenetek összehasonlítása idıvetemítéssel magánhangzók határai eltérı helyeken

26 Mondatok vizsgálata (2) 2006 Dallammenetek összehasonlítása idıvetemítéssel magánhangzók határai azonos eltérı helyeken

27 Dallamcsere Természetes bemondások között: Praat [ Szótagonkénti átlagos alapfrekvencia kiszámítása mindkét mondatban

28 Dallamcsere Természetes bemondások között: Praat [ Szótagonkénti átlagos alapfrekvencia kiszámítása mindkét mondatban Ez alapján dallam emelés / csökkentés szótagonként

29 Dallamcsere Természetes bemondások között: Praat [ Szótagonkénti átlagos alapfrekvencia kiszámítása mindkét mondatban Ez alapján dallam emelés / csökkentés szótagonként #2031: Elszórtan számíthatunk kisebb esıre. #2380: Péntekig folytatódik a meleg idı. eredeti (#2031) referencia (#2380) módosított (#2031)

30 Dallamcsere , 2007 Szintetizált mondatok között: szabály alapú szövegfelolvasóval (Profivox) Felhısödés estétıl várható.

31 Dallamcsere , 2007 Szintetizált mondatok között: szabály alapú szövegfelolvasóval (Profivox) # E gye se ket fej fá jás gyö tör het. Felhısödés estétıl várható.

32 Dallamcsere , 2007 Szintetizált mondatok között: szabály alapú szövegfelolvasóval (Profivox) # E gye se ket fej fá jás gyö tör het. Felhısödés estétıl várható.

33 Dallamcsere , 2007 Szintetizált mondatok között: szabály alapú szövegfelolvasóval (Profivox) # referencia (#3056) E gye se ket fej fá jás gyö tör het. módosított (#3373) # Felhısödés estétıl várható. Profivox szabály alapú (#3373) Fel hı sö dés es té tıl vár ha tó.

34 Vizsgálatok Meghallgatásos vizsgálatok weben 28 mondatpár, egy-egy mondat több változata: eredeti, eredeti módosítva, szintetizált, szintetizált módosítva 26 tesztelı, el kellett dönteniük, hogy melyik változat természetesebb (1. jobb / 2. jobb / egyformák) Mit akartunk megtudni? Vajon a megváltoztatott prozódia észlelhetı-e? Ha igen, elviselhetı-e a változás?

35 Kísérletek eredménye Az eredeti változat jobb, mint a módosított Különbözı referenciával módosított változatok között hallható a különbség, minıségük hasonló sikerült elérni a prozódiai változatosságot #2031-es mondatváltozatok összehasonlításának eredménye 100% 90% szint(2380) term(3031) szint(kezzel) szint(geppel) 7% % 19% tesztelık eloszlása 80% 70% 60% 50% 0% 30% 20% 10% 96% 33% 52% 8% 1% 8% 26% 26% 1. jobb egyforma 2. jobb 0% term(eredeti) term(2380) term(2380) szint(profivox)

36 Kísérletek eredménye Az eredeti változat jobb, mint a módosított Különbözı referenciával módosított változatok között hallható a különbség, minıségük hasonló sikerült elérni a prozódiai változatosságot #2031-es mondatváltozatok összehasonlításának eredménye 100% 90% szint(2380) term(3031) szint(kezzel) szint(geppel) 7% % 19% tesztelık eloszlása 80% 70% 60% 50% 0% 30% 20% 10% 96% 33% 52% 8% 1% 8% 26% 26% 1. jobb egyforma 2. jobb 0% term(eredeti) term(2380) term(2380) szint(profivox)

37 Kísérletek eredménye Az eredeti változat jobb, mint a módosított Különbözı referenciával módosított változatok között hallható a különbség, minıségük hasonló sikerült elérni a prozódiai változatosságot #2031-es mondatváltozatok összehasonlításának eredménye 100% 90% szint(2380) term(3031) szint(kezzel) szint(geppel) 7% % 19% tesztelık eloszlása 80% 70% 60% 50% 0% 30% 20% 10% 96% 33% 52% 8% 1% 8% 26% 26% 1. jobb egyforma 2. jobb 0% term(eredeti) term(2380) term(2380) szint(profivox)

38 Kísérletek eredménye Az eredeti változat jobb, mint a módosított Különbözı referenciával módosított változatok között hallható a különbség, minıségük hasonló sikerült elérni a prozódiai változatosságot 50% szint(2380) term(3031) szint(kezzel) szint(geppel) 0% 30% 20% % 2% 10% 1% 0% Profivox szabály alapú egyforma Dallammásolt jobb term(eredeti) jobb term(2380) term(2380) szint(profivox)

39 Vizsgálatok, eredmények Újabb meghallgatásos vizsgálatok weben 8 mondatpár összesen 19 tesztelı 21 tesztelı / mondatpár 60% 50% 0% 30% 20% 9% 10% 25% 26% 0% Profivox szabály alapú jobb egyforma Dallammásolt jobb

40 Vizsgálatok, eredmények Újabb meghallgatásos vizsgálatok weben 8 mondatpár összesen 19 tesztelı 21 tesztelı / mondatpár 60% 60% 50% 50% 0% 30% 20% 10% 0% 0% % 25% 25% 26% 26% 1% Profivox szabály alapú jobb egyforma 9% 9% 2% Dallammásolt jobb

41 Eredményeim összegzése Szakirodalom áttekintése (összesen 17 tétel, ebbıl 5 magyar, 12 angol) Adatbázisok megismerése, címkézési munka végzése Mondatdallamok összehasonlítása idıvetemítéssel Mondatok dallamának cseréje Meghallgatásos vizsgálat 26 tesztelıvel Bebizonyosodott, hogy a prozódiai változatosság megvalósítható Nagyobb adatbázis, algoritmusok javítása Újabb meghallgatásos vizsgálat 19 tesztelıvel Interspeech 2007 konferenciára beadott cikk

42 Továbbfejlesztési lehetıségek hasonló mondatok keresése pontosabban nagyobb beszéd-adatbázis: NAVA (Nemzeti Audiovizuális Archívum) NDA (Nemzeti Digitális Adattár) prozódiai változatosságért felelıs modul beépítése a Profivox-ba

43 Bírálatra reagálva (1) Beszéddallam-adatbázis mérete: a vizsgálatok nagyon kis mérető adatbázisokon történtek, és nem világos, hogy mekkora nagy adatbázis lenne elégséges a módszer általánosításához Cél a koncepció ellenırzése volt -> kis adatbázis elég Pontosabb mérethez hosszabb kutatás szükséges Tárolás: megoldott (csak dallam- és idızítéscímke, hullámforma nem) Hosszabb szöveg szintetizálása -> elég néhány változatos mondat (pl. ismétlıdés helyett)

44 Bírálatra reagálva (2) Egy mondat különbözı dallamú változatai: a 7. táblázatból pont a legizgalmasabbnak tőnı kombinációk hiányoznak #3056-os mondat változatai 100% #3056 alapján #3373 alapján #3373 alapján 90% 80% 27% tesztelık eloszlása 70% 60% 7% 70% 50% 0% 30% 20% 13% 17% 10% 13% 13% 0% Profivox szabály alapú Profivox szabály alapú 36% 36% #3056 alapján 1. jobb egyforma 2. jobb

45 Köszönöm a figyelmet! Csapó Tamás Gábor csapszi@sch.bme.hu