Mutasd a hangod! intelligens gépi jeltolmács beszéd- és halláskárosultaknak. Mátételki Péter MTA SZTAKI. Department of Distributed Systems

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Mutasd a hangod! intelligens gépi jeltolmács beszéd- és halláskárosultaknak. Mátételki Péter MTA SZTAKI. Department of Distributed Systems"

Balázs Sipos
8 évvel ezelőtt
Látták:

1 Department of Distributed Systems Mutasd a hangod! intelligens gépi jeltolmács beszéd- és halláskárosultaknak Mátételki Péter

2 A vakság a dolgoktól választ el, a siketség az emberektől. Helen Keller 2

3 A probléma Siketek, hallás- és beszédkárosultak: mindennapos kommunikációs problémák nehéz társadalmi integráció munkaerőpiaci nehézségek elszigeteltség klikkesedés 3

4 Hallatlan jelnyelvi szótára 4

5 Silent Speech Translation (interact) 5

6 Eyes-Free Keypad Input 6

7 Keyboard Glove University of Alabama 7

8 Kihívás Megoldást jelentene egy intelligens segédeszköz fogyatékkal élők és épek integrációja áthidalja a kommunikációs szakadékot mindennapi használatra intuitív 8

9 Megoldás jelnyelvből beszéd folyamatos, valós idejű működés jelnyelvi szinkrontolmács innovatív hardver- és szoftverrendszer Tolmácskesztyű szinkrontolmácsgép beszéd- és halláskárosultaknak 9

10 Pályázat KMR-12 Euronet Zrt hónap 10

11 Tolmácskesztyű jelnyelvi szinkrontolmácsgép 11

12 Tolmácskesztyű jelnyelv nem igényel betanulást egyik kézen viselhető kesztyű szenzorok vezérlés adatlfeldolgozás Bluetooth mobil app jelfeldolgozás nyers szöveg előállítása természetes nyelvi elemzés felolvasás 12

13 Gesztusfelismerés 9DOF integrált chipek jelfúzió inerciahálózat virtuális kéz gesztusleírók 30 gesztus/sec soros USB soros Bluetooth 13

14 Daktil nemzetközi ujjábécé 14

15 Működés jelnyelv betanítható saját gesztusok kézállapotok digitalizálása gesztusleírók létrehozása jelfeldolgozás (szegmentáció) szöveg készítése automatikus felolvasás 15

16 hibák javítás rosszul mutatott jelek jól mutatott jelek átmeneti jelek duplikált jelek rosszul felismert jelek betűhatárok felismerése szegmentálás ablakozó algoritmus kézdinamikai vizsgálat alapján kontextusérzékeny szövegjavítás módosított Levenshtein n-gram confusion matrix Nyelvi elemzés 16

17 Felhasználás Fogyatékos Személyek Esélyegyenlőségéért Közalapítvány, Jelnyelvi tolmácsszolgáltatás igénybevételi adatainak elemzése a június 01. és május 31. közötti tárgyidőszakra vonatkozóan 17

18 Felhasználás Fogyatékosok hétköznapi szituációkban: munka banki ügyintézés vásárlás üzletben, piacon közhivatali ügyintézés egészségügyi ellátás oktatás szabadidő 18

19 Architektúra egyik kézen viselhető kesztyű szenzorok alacsonyszintű jelfeldolgozás bluetooth mobil App magasszintű jelfeldolgozás természetes nyelvi elemzés felolvasás 19

20 Köszönöm a figyelmet! Mátételki Péter matetelki@sztaki.hu DSD 20

Hasonló dokumentumok

Mutasd a hangod automatikus jeltolmács

Mutasd a hangod automatikus jeltolmács Mátételki Péter, Pataki Máté, Turbucz Sándor, Kovács László MTA SZTAKI Elosztott Rendszerek Osztály 1111 Budapest, Lágymányosi utca 11. {peter.matetelki, mate.pataki,