MTA SZTAKI Department of Distributed Systems Szkennelt szövegek digitalizálása során keletkező hibák elemzése magyar szövegek esetében Pataki Máté Tóth Zoltán
Tartalomjegyzék Szöveges dokumentumok digitalizálása Tesztek Hibatípusok Tapasztalatok
Szöveges dokumentumok digitalizálása 1. Mintavételezés (szkennelés) 2. Kvantálás 3. Előfeldolgozás 4. Karakterfelismerés 5. Szófelismerés, szövegfeldolgozás
Mintavételezés Ha nem teljesül a Nyquist feltétel, spektrumátfedési hiba lép fel (Moiré effektus)
Kvantálás Szürkeskálás kép 8 bites, 4 bites és 1 bites verziói
Előfeldolgozás I Zajszűrés Geometriai torzítás korrekciója Előtér háttér szeparáció Szegmentáció, szerkezetfelismerés Morfológiai képfeldolgozó operátorok alkalmazása Képi tulajdonságok kinyerése
Előfeldolgozás II Szegmentálás Binarizálás Vázosítás Kontúrdetekció
Előfeldolgozás III Poligonillesztés Konvex befoglaló (és az eredeti objektum különbségének) meghatározása
Karakterfelismerés (OCR) Mintaegyeztetés A mintát a betű képére illesztjük, és megmérjük az egyezés mértékét Tulajdonság alapú A karakterek speciális sajátosságainak, szabályainak vizsgálata Hierarchikus, komplex módszer
Szófelismerés, szövegfeldolgozás Célja, hogy nyelvtani szabályok felhasználásával OCR hibákat szűrjön ki További hibákat is bevihet a rendszerbe Nyelvfüggő a (95%) b (90%) i (88%) a (89%) k (96%) o (83%) d (79%) l (85%) h (62%) á (80%) I (80%) 1 (76%)
Tesztek - tesztrendszer Humán tesztek Gépi teszt Dokumentum nyomtatása Mesterséges hibák generása Karakterfelismerés Összehasonlítás Kinyomtatott szöveg Szkennelés eredménye
Mesterséges hibák
Mesterséges hibák Kávéfoltos szöveg
A karakterfelismerés hibái Ékezethibák veréb/véreb, alma/álma, hó/hő Írásjelek tévesztése (-,.;:) Betűcserék (M m, ée) Az i betű felismerési problémái (í i I 1) Számok és betűk keverése (g 9, J 3, O 0) Az o és öbetű felismerési problémái
Department of Leggyakrabban előforduló hibás karaktercserék 10251 - ` 10428-11401 w W 13975 " 13992 i í 15324 18301 o ó 21321 õ o 30378-40180, 40713 9 g 42109 v V 43263 55990-71436 a á 75882 e é 82358-124103 m M Count OCR Orig Count OCR Orig 5574 Í Í 5627 L i 5671 Z Z 5689 O õ 5831 Ö Ö 6268 6469 Û u 6531. 6744 ' 7438 Ó õ 7444 7617 3 J 7896 u ú 8108 B D 8412-9804 ú Ú 10048 u U 10130 i I Count OCR Orig 3105 " 3112 ó o 3184, 3283 J j 3913 E É 3959 ü û 4198. 4248 á a 4503 é e 4619-4635, 5025-5091 t 5167 o 5270 l í 5337 -, 5442 " 5488 õ Õ
Öés Ő betűk felismerésének problémája Orig o ó õ Ö õ Õ o ó o OCR õ o ó ö o õ ó Ó ö Count 21321 18301 7438 5831 5689 5488 3112 1361 1213
Department of Leggyakoribb szóhibák -5581 23842 18261 d -5542 20248 14706 4-5138 5906 768 mag 5197 88244 93441 jó 6001 117331 123332 És 7591 754575 762166 is 7914 11164 19078 Ő 9717 293412 303129 már 9872 14514 24386 Így 10392 695371 705763 egy 10728 278288 289016 még 11216 1080086 1091302 nem 14100 20643 34743 Úgy 14992 1965373 1980365 az 17282 461786 479068 de 17833 1153779 1171612 hogy 32925 5498 38423 s 38083 1281757 1319840 és 45722 5716296 5762018 a Különbség OCR Eredeti Szó Különbség OCR Eredeti Szó -12513 12991 478 ny -11522 13652 2130 rt -10976 20989 10013 c -8968 16220 7252 p -8500 12658 4158 ra -8023 145848 137825 úgy -7556 7825 269 lt -7548 7575 27 ao -7510 9171 1661 st -7190 7194 4 ho9y -7073 7688 615 mar -6942 9396 2454 val -6564 8305 1741 z -6244 19055 12811 ban -6186 8567 2381 nt -6095 7675 1580 gy -5813 10760 4947 11-5604 5606 2 e9y -5581 23842 18261 d
Szavak ragozott alakjainak száma Szó Ragozott alakok száma Szó Ragozott alakok száma Szó Ragozott alakok száma láb 173 tesz 140 álom 128 hív 169 mond 139 nyom 128 fog 162 beszél 139 dolog 128 él 157 talál 137 ad 128 vár 157 fej 137 hajó 126 ember 156 város 137 ház 126 szív 156 tart 137 hely 126 áll 155 ruha 135 fal 125 szó 151 út 134 maga 123 kéz 150 hall 132 olvas 122 ér 146 apa 129 ismer 121 barát 145 néz 129 ír 120 úr 145 lát 129
Szavak ragozott alakjainak száma 1. lábak 2. lábam 3. lábadra 4. lábamat 5. lábáig 6. lábánál 7. lábacskáját 8. lábammal 9. lábukkal 10.lábakra
Köszönöm a figyelmüket! WEB: http://dsd.sztaki.hu Email: Mate.Pataki@sztaki.hu