Java alapú hordozható kliens vakok számára, hálózati szolgáltatások elérésére

Átírás

1 Java alapú hordozható kliens vakok számára, hálózati szolgáltatások elérésére Juhász Zoltán 1 Arató András 2 Hevesi Vilmos 1 Pratser Frigyes 1 1 Veszprémi Egyetem Információs Rendszerek Tanszék 2 KFKI RMKI Beszéd- és Rehabilitáció-technológiai Osztály

2 Előzmények IHM-OM K+F program (ITEM) Az információs társadalom megvalósulását elősegítő innovatív technológiai megoldások kialakítására A segítő háló terület Afogyatékkal élő felhasználók számára: Speciális, jól használható infokommunikációs eszközök kutatása-fejlesztése információs társadalomban részvétel támogatása május 4. Networkshop 2004, Győr 2

3 Jelenlegi vakos technológia Hagyományos PC eft Képernyő olvasó program eft Braille olvasó egység Kb. 800 eft 1-2 mft május 4. Networkshop 2004, Győr 3

4 Egyedi készülékek Windows-alapú laptop Braille bemenet, hang kimenet, kb. 400 eft Hagyományos windows és képernyő olvasó PocketPC-alapú rendszer (PDA) Braille bemenet, hang kimenet, kb. 500 eft Braille bemenet/ kimenet Még drágább május 4. Networkshop 2004, Győr 4

5 Költséges megoldások Képernyő olvasó nehézkes Adatbevitel problémás Nem hordozható Alapvető használhatósági problémák Kb. 2 millió vak és gyengénlátó van Europában május 4. Networkshop 2004, Győr 5

6 Ideális megoldás Olcsó, hordozható, kiegészítést nem igényel Vakok számára megfelelő ergonómia Egyszerű adatbevitel és vezérlés A Á Ä B C Cs D E J K L Ly M N Ny O május 4. Networkshop 2004, Győr 6

7 PDA -kéziszámítógép eft Megfelelő hardver Title X Hangszóró (Beszédszintetizátor) Text field Érintőképernyő (Braille billentyűzet) Nyíl gombok (Navigáció és programvezérlés) május 4. Networkshop 2004, Győr 7

8 Projekt feladatok Kliens eszköz és prototípus alkalmazások kifejlesztése Vak felhasználói felület létrehozása Virtuális Braille billentyűzet Nem grafikus menürendszer (nyilak) Beszédszintetizátor Hibrid hangoskönyv kifejlesztése Könyvön belüli navigáció Olvasás felvett emberi, ill. mesterséges hangon További alkalmazások jegyzetfüzet, számológép, címjegyzék, stb. Hálózati alkalmazások vizsgálata, fejlesztése május 4. Networkshop 2004, Győr 8

9 A rendszer felépítése, működése Főbb egységek Braille bevitel Navigáció Beszédszintetizátor (TTS) Gombnyomás Braille egység TTS egység Menü egység Alkalmazás május 4. Networkshop 2004, Győr 9

10 Navigáció Speciális dinamikus menürendszer Fa struktúra Végrehajtható programrész a levelekben Navigációs szabály Le/fel nyíl választás Jobb nyíl végrehajtás Bal nyíl visszalépés Többféle interfész elem Menü, Lista, Dialógus, SzövegMező, Gomb Tetszőleges program használhatja Összekötés eseménykezelő segítségével Jegyzetfüzet Új bejegyzés Megnyitás Nyomtatás Számológép Hangoskönyv Felolvasás Könyvjelzők Beszúrás Törlés... Beállítások Felolvasási mód Felvett hang Szintetizátor május 4. Networkshop 2004, Győr 10

11 Braille-karakter bevitel Eseményvezérelt programozási modell Virtuális gombok lenyomása Pontkombináció értelmezése, feldolgozása Bináris kód Braille karakter MetaBraille ASCII karakter Üzemmód Normál vagy rövidírás Pl. ogb országban MetaBraille kód feldolgozása állapotgéppel Többnyelvű támogatás is lehetséges május 4. Networkshop 2004, Győr 11

12 Beszédszintetizátor (TTS) ASCII karaktersorozatot alakít beszéddé Klatt formáns szintetizátor KFKI fejlesztés Jelenleg C nyelvi implementáció Jövőben remélhetően Java Egyszerű felhasználás tts.say( országban ); május 4. Networkshop 2004, Győr 12

13 Java implementáció Moduláris felépítésű program Belső építőelemek lecserélhetők Új nyelv támogatása Más rendszerű TTS használata Nem használ grafikus elemeket Kevés memóriát használ, gyors 6 interfész + kb. 60 implementációs osztály Tetszőleges platformon végrehajtható Majdnem Terv: Nyílt forráskód, ingyenes május 4. Networkshop 2004, Győr 13

14 Hálózati alkalmazások Levél küldés és olvasás IMAP szerveren keresztül JavaMail API Web böngésző Primitív HTML parser, vakbarát oldalak olvasására Pl. Java hálózati osztályok Célzott hálózati szolgáltatások elérése Jini technológia segítségével május 4. Networkshop 2004, Győr 14

15 Szolgáltatás háló Szolgáltatás felfedezés Könyvtár szolgáltatás Proxy letöltés F Begépelt szöveg Menü rendszer beszúr Menü Interfész példány Szöveg és/vagy audió stream Zene szolgáltatás Adattároló szolgáltatás Csoportmunka szolgáltatás Hír szolgáltatás Bank szolgáltatás Oktatási szolgáltatás Üzenet szolgáltatás május 4. Networkshop 2004, Győr 15

16 Összefoglalás Prototípus kliens elkészült Példa alkalmazások Szövegszerkesztő Hangoskönyv Címjegyzék , böngésző Hangos könyvtár Tesztelés folyamatban Nem csak kéziszámítógépen További fejlesztés szükséges május 4. Networkshop 2004, Győr 16