Department of Distributed Systems Mutasd a hangod! intelligens gépi jeltolmács beszéd- és halláskárosultaknak Mátételki Péter
A vakság a dolgoktól választ el, a siketség az emberektől. Helen Keller 2
A probléma Siketek, hallás- és beszédkárosultak: mindennapos kommunikációs problémák nehéz társadalmi integráció munkaerőpiaci nehézségek elszigeteltség klikkesedés 3
Hallatlan jelnyelvi szótára 4
Silent Speech Translation (interact) 5
Eyes-Free Keypad Input 6
Keyboard Glove University of Alabama 7
Kihívás Megoldást jelentene egy intelligens segédeszköz fogyatékkal élők és épek integrációja áthidalja a kommunikációs szakadékot mindennapi használatra intuitív 8
Megoldás jelnyelvből beszéd folyamatos, valós idejű működés jelnyelvi szinkrontolmács innovatív hardver- és szoftverrendszer Tolmácskesztyű szinkrontolmácsgép beszéd- és halláskárosultaknak 9
Pályázat KMR-12 Euronet Zrt. 2012.10.01. 24 hónap 10
Tolmácskesztyű jelnyelvi szinkrontolmácsgép 11
Tolmácskesztyű jelnyelv nem igényel betanulást egyik kézen viselhető kesztyű szenzorok vezérlés adatlfeldolgozás Bluetooth mobil app jelfeldolgozás nyers szöveg előállítása természetes nyelvi elemzés felolvasás 12
Gesztusfelismerés 9DOF integrált chipek jelfúzió inerciahálózat virtuális kéz gesztusleírók 30 gesztus/sec soros USB soros Bluetooth 13
Daktil nemzetközi ujjábécé 14
Működés jelnyelv betanítható saját gesztusok kézállapotok digitalizálása gesztusleírók létrehozása jelfeldolgozás (szegmentáció) szöveg készítése automatikus felolvasás 15
hibák javítás rosszul mutatott jelek jól mutatott jelek átmeneti jelek duplikált jelek rosszul felismert jelek betűhatárok felismerése szegmentálás ablakozó algoritmus kézdinamikai vizsgálat alapján kontextusérzékeny szövegjavítás módosított Levenshtein n-gram confusion matrix Nyelvi elemzés 16
Felhasználás Fogyatékos Személyek Esélyegyenlőségéért Közalapítvány, Jelnyelvi tolmácsszolgáltatás igénybevételi adatainak elemzése a 2009. június 01. és 2010. május 31. közötti tárgyidőszakra vonatkozóan 17
Felhasználás Fogyatékosok hétköznapi szituációkban: munka banki ügyintézés vásárlás üzletben, piacon közhivatali ügyintézés egészségügyi ellátás oktatás szabadidő 18
Architektúra egyik kézen viselhető kesztyű szenzorok alacsonyszintű jelfeldolgozás bluetooth mobil App magasszintű jelfeldolgozás természetes nyelvi elemzés felolvasás 19
Köszönöm a figyelmet! Mátételki Péter matetelki@sztaki.hu DSD http://dsd.sztaki.hu/projects/tolmacskesztyu/hu/ 20