KOPI. Fordítási plágiumok keresése MTA SZTAKI DSD. Pataki Máté MSZNY Department of Distributed Systems

Átírás

1 KOPI MTA SZTAKI Department of Distributed Systems Fordítási plágiumok keresése MSZNY 2011 Pataki Máté

2 Probléma 1. Sok a diák 2. Hasznos anyagok az interneten 3. Digitális szakdolgozatok 4. Jó nyelvtudás 1-3 könnyű plagizálás Plágiumkeresők KOPI 1-4 fordítási plágiumok??? 2

3 Feladat Feladat Működő szolgáltatás magyaroknak Az angol eredeti szöveg megtalálása a magyar fordítás ismeretében Egyéb felhasználási területek Párhuzamos korpusz építése Létező fordítások keresése Hírek, cikkek, anyagok terjedésének a vizsgálata Idézetkereső 3

4 Irodalom fordítási plágiumok CLEF 2010 Potthast: Overview of the 2nd International Competition on Plagiarism Detection After analyzing all 17 reports, certain algorithmic patterns became apparent to which many participants followed independently.... In order to simplify the detection of cross-language plagiarism, non- English documents in D are translated to English using machine translation (services). 4

5 Irodalom fordítási plágiumok Európában fontos téma Az algoritmusok nyelvpár-függők Magyar nyelvben három fő akadály nem kötött szórend ragozás jelentős nyelvtani különbözőség az angol nyelvtől rosszak az automatikus fordítók (erre) 5

6 Irodalom fordítási plágiumok Test cases for plagiarism detection software, Debora Weber-Wulff, HTW Berlin, különböző plágiumkereső, 42 teszt The biggest gap in all the plagiarism checkers was the inability to locate translated plagiarism. While this is widely expected as the technology to make such detections simply is not there. 6

7 Megoldás Lehetséges megoldások Jelenlegi egynyelvű algoritmus továbbfejlesztése n-gram 3-6 szó: 2-4 nagyságrend + szórend Teljesen új algoritmus??? 7

8 Az új algoritmus Mondatalapú szó, n-szó, tagmondat, bekezdés, dokumentum Hasonlósági metrika Lapos szótár, szószedet 8

9 Az új algoritmus Bag of words jellegű algoritmus előnyök nem kell szóegyértelműsítést alkalmazni nem kell szinonimaegyértelműsítést / -szűrést alkalmazni nem érzékeny a szavak sorrendjére hátrányok keresési tér nagy lineáris keresési idő 9

10 Az új algoritmus Fontosabb változók Stopszavak Tulajdonnevek / ismeretlen szavak Hasonlóság mértéke / hol vágunk (f+ / f-) Szótár mérete Talált/nem talált szavak értéke (szófajonként) 10

11 Tesztkörnyezet Angol Wikipedia 31GB XML szócikk SZTAKI Desktop GRID Lesz letölthető szöveges változat több nyelven Hunspell Google Translate Csak teszteléshez Találati arány egyezik a kézi fordításéval 11

12 Statisztikák Mondat hossza és a megtalált fordítások aránya 12

13 Statisztikák Szózsák mérete és találati arány viszonya 13

14 Demó Wikipedia random article 14

15 Demó Google translate 15

16 Demó Keresés 16

17 Demó Keresés 17

18 Demó

19 Statisztikák mondatok száma találatok száma , , , ,9123 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,9997 0, , , , Találati arány 19

20 Demó 20

21 Demó 21

22 Demó 22

23 Demó 23

24 Demó Nem talált mondatok 24

25 KOPI Portal 25

26 Köszönöm a figyelmet! Web: o 26