Bometrkus azonosítás érntőképernyős gesztúrákkal Touchscreen gestures for bometrc dentfcaton Abstract ANTAL Margt Sapenta EMTE, Műszak és Humántudományok kar, Marosvásárhely many@ms.sapenta.ro In ths paper we nvestgate the sutablty of touchscreen gestures for user dentfcaton. We desgned an experment for collectng touch screen gestures and collected data from 21 users. The people, who took part n ths experment, had to solve such tasks on Androd devces, whch requred up-down and left-rght scrollng (strokes, gestures). 20 dstnctve features were extracted from each stroke and dfferent classfcaton algorthms were tested usng these data, demonstratng the vablty of the features for bometrc dentfcaton. The clusterng classfer acheves 86.13% accuracy usng 5 consecutve strokes for testng. Összefoglaló A dolgozatban megvzsgáltuk az érntőképernyős gesztúrák alkalmazhatóságát bometrkus azonosításra. Egy olyan adatgyűjtéssel összekötött kísérletet végeztünk, amelyben 21 felhasználó vett részt. A felhasználóknak Androd eszközökön olyan feladatokat kellett megoldanuk, amelyekhez vízszntes és függőleges gesztúrákat kellett használnuk. Az érntés adatokból gesztúrákra vonatkozó jellemzőket vontunk k, amelyek alapján különböző osztályozás algortmusokkal bzonyítjuk ezek alkalmazhatóságát bometrkus azonosításra. A legmagasabb pontosság 86,13%-os, amelyet 5 egymást követő gesztúra együttes osztályozása során kaptunk klaszterezést használva. Kulcsszavak: bztonság, mobl bometra, Androd, adatbányászat. 1. Bevezetés A mobl eszközenket másképpen használjuk, mnt az asztal számítógépeket. Rendszernt egy lyen eszközt naponta többször, de rövd deg veszünk génybe, ezért az asztal számítógépeken elterjedt belépés pontoknál használt felhasználónév/jelszó pároshoz kötött autentkácós sémák nem megfelelőek. A mobl eszközökhöz kfejlesztett képernyőzároló módszerek s nagyon sok felhasználót zavarnak, ezért ezeket s rendszernt kkapcsolják a készülékek tulajdonosa, ezáltal lehetővé téve a telefonon tárolt erőforrások elérését jogosulatlan felhasználók számára s. Sokkal kézenfekvőbb lenne, ha az okos eszközenk képesek lennének folyamatosan fgyeln a felhasználót és érzékeln, ha az eszközt nem a tulajdonosa használja. Ezt a folyamatot folytonos autentkácónak nevezzük. Folytonos autentkácóra több kísérlet s történt, ezek közül az egyk legelterjedtebb módszer a bllentyűzés rtmus fgyelése [2][3][4]. A bometrkus módszerek közül nem mndenk alkalmas folyamatos azonosításra. Például az ujjlenyomat vagy retna alapú felsmerések nem alkalmasak, de használható az arcfelsmerés asztal számítógép esetében, vagy a járásazonosítás mobleszközökön. Érntőképernyővel rendelkező mobleszközökön a képernyő érntés adatokból bometrkus jellemzők vonhatók k, amelyek alapján szntén megvalósítható a folytonos autentkácó. A dolgozat írása pllanatában egyetlen tanulmányt találtunk, amely érntés adatok alapján folytonos autentkácót valósít meg [1]. Dolgozatunkban követtük a Frank és tsa. [1] által leírt adatgyűjtés kísérletet, azzal a különbséggel, hogy a felhasználók jelen esetben egyetlen munkamenet során szolgáltatták az adatokat, míg a Frank és tsa. által végzett kísérletben több munkamenetben. Amíg a Frank és tsa. dolgozatban az adatgyűjtést csak mobltelefonon végezték, addg m egy telefont és egy tabletet s használtunk az adatgyűjtéshez, így lehetővé vált, hogy kpróbáljuk a módszer érvényességét nagyobb képernyőjű eszközökön s. A dolgozatban először az adatgyűjtést mutatjuk be, amelyet a jellemzők knyerése követ. A rákövetkező rész a mérés eredményeket szemléltet, legvégül pedg levonjuk a következtetéseket.
2. Adatgyűjtés Az adatgyűjtéshez olyan mobl eszközökön elvégzendő feladatokra van szükség, amely során a felhasználónak nagyon sok függőleges, valamnt vízszntes görgetés műveletet kell elvégezne. A függőleges görgetésekhez ktűnő feladat a nagyobb méretű szövegolvasás szövegértéssel egybekötve. Ehhez a feladathoz egy nagyon egyszerű szöveget használtunk. A vízszntes görgetés feladathoz a Frank és tsa. ckkben használt kép összehasonlítás feladatát használtuk. Ennél a feladatnál a felhasználónak két hasonló kép között kellett megtaláln a különbségeket. Egyszerre csak egy kép volt látható a képernyőn, a másk kép megtekntéséhez vízszntes görgetést kellett végezn. A kísérletben 21 felhasználó vett részt, ebből 7 férf és 14 nő. A kísérletben résztvevő személyek átlagéletkora 29.8 év, a szórása pedg 9.08, a legfatalabb 21, a legdősebb pedg 47 éves volt. Az 1. ábra két felhasználó első 10 függőleges vonásat szemléltet. 1.ábra Két felhasználó első 10 függőleges vonása Az adatgyűjtést két Androd készülék segítségével végeztük: Google Nexus S telefonkészülék (480 x 800, 4.0 coll), lletve Asus Nexus 7 tablet (800 x 1280, 7.0 coll). A görgetés során a felhasználó érntés adatokat szolgáltatott. Mnden érntés pontról a következő adatokat tároltuk: x koordnáta, y koordnáta, vízszntes rányú sebesség, függőleges rányú sebesség, eseménykód (lenyomás, húzás, felengedés), nyomás, az ujj által lefedett terület, lletve a készülék helyzete (vízszntes vagy függőleges). Ezeket az adatokat a standard Androd API segítségével nyertük k. 3. Jellemzők knyerése A begyűjtött adatokat gesztúrákra (vonásokra) osztottuk. Egy vonáshoz tartoznak azon képernyőpontok, amelyek egy lenyomás és egy felengedés között helyezkednek el. Az érntés képernyőpontok együttesen egy olyan pályát alkotnak, amelynek eleme a következő alakú vektorok: (1) ahol a k. vonás,, lletve az érntés pozícó, a sebesség vízszntes, lletve függőleges rányú összetevője, az dőbélyeg, a pontban mért nyomás, az ujj által lefedett terület, a készülék helyzete (vízszntes vagy függőleges), a vonáshoz tartozó pontok száma. Az egyes vonásokhoz különböző számú pont tartozk. Mnden egyes vonásból egyetlen jellemzővektort állítottunk elő, amelynek elemet a következő táblázatban foglaltuk össze:
Sorszám Attrbútum (jellemző) Magyarázat user d Khez tartozk a vonás doc d {1, 2} 1- szövegolvasás, 2 - képhasonlítás 1 nter stroke tme Két egymást követő vonás között eltelt dő 2 stroke duraton (ms) Vonás dőtartama (ezredmásodpercben) 3 start x Kezdőpont: x koordnáta 4 start y Kezdőpont: y koordnáta 5 stop x Végpont: x koordnáta 6 stop y Végpont: y koordnáta 7 drect-end-to-end dstance A két végpont által meghatározott szakasz hossza 8 R mean resultant length A vonás egyenessége 9 up/down/left/rght flag A vonás rányítottsága 10 drecton of end-to-end lne A két végpont által meghatározott szakasz ránytényezője 11 devce d A készülék azonosítója. 1-telefon, 2-tablet 12 largest devaton from end-to-en-lne A maxmáls eltérés (elhajlás) a végpontokat összekötő szakasztól 13 average drecton Az útvonalat alkotó szakaszok ránytényezőnek átlaga 14 length of trajectory A vonás hossza 15 average velocty A vonás átlagsebessége 16 md-stroke pressure A vonás közepének nyomása 17 md-stroke area covered A vonás közepén az ujj által lefedett terület 18 average veolcty at frst 5 ponts A vonáshoz tartozó első öt pont átlagsebessége 19 average velocty at last 5 ponts A vonáshoz tartozó utolsó öt pont átlagsebessége 20 phone orentaton A készülék helyzete: 1-vízszntes, 2-függőleges 1. táblázat Vonásokra vonatkozó attrbútumok A 8. attrbútum meghatározza, hogy mennyre egyenes a vonás. Egyenes vonal esetén a jellemző értéke 0. A vonáshoz tartozó N pont meghatároz N-1 darab szakaszt lletve végpontokkal. Mnden egyes szakasznak megfeleltetjük a rányvektort, majd a (2) képlettel számítjuk a vonás egyenességét: (2) A 12. attrbútumnál kszámítottuk mnden egyes vonáshoz tartozó pont távolságát a vonás két végpontját összekötő szakasztól, majd ezek közül kválasztottuk a legnagyobbat. A 2. ábra a vízszntes és függőleges vonások számát szemléltet mnden egyes felhasználóra. 2.ábra A 21 adatszolgáltató felhasználók vonásanak száma
A jellemzőkre kszámítottuk a korrelácós mátrxot, amely a jellemzők páronként korrelácóját tartalmazza. Ezt a mátrxot a 3. ábra szemléltet. Ahogyan várható volt, a legkorreláltabb jellemzők a vonás sebességére vonatkozók (15., 18., 19. attrbútumok), tehát a vonás elejének és végének sebessége ugyanúgy változk, mnt a vonás átlagsebessége. Magasan korrelált a vonás két végpontját összekötő szakasz ránya (10. attrbútum) és a vonás átlagos ránya (13. attrbútum - a vonás pontja által meghatározott szakaszok átlag ránytényezője). Egy másk magas korrelácó a vonás átlagos sebessége (15. attrbútum) és a készülék azonosító (11. attrbútum) között van. Ez azt jelent, hogy a képernyő méretének növekedése maga után vonja a gyorsabb vonásokat. Ahogyan várható volt, a vonás végpontjat összekötő szakasz hossza (7. attrbútum) és a vonás hossza (14. Attrbútum - a pontok által meghatározott szakaszok hossza). A vonás kezdő- és végpontjának y koordnátája között korrelácó arra enged következtetn, hogy az azonos rányú (vízszntes vagy függőleges) vonások valamennyre párhuzamosok egymással. 4. Mérés eredmények 3. ábra Attrbútumok páronként korrelácója A méréseket a Weka [5] programcsomaggal végeztük. Az osztályozás algortmusok esetében a Weka standard felületét használtuk, a klaszterezéssel kapcsolatos méréseket pedg Java programmal végeztük, amelyben a Weka API-t használtuk. A méréseket két attrbútum halmazra mutatjuk be: (a) az előző szekcóban bemutatott 20 attrbútumra; (b) a legjobb 14 attrbútumra. A legjobb 14 attrbútum kválasztásához először elkészítettük a 20 attrbútumra vonatkozó korrelácós mátrxot (3. ábra). Ebből meghatároztuk, hogy melyek a magasan korrelált attrbútumok, ezután a Weka programcsomaggal elvégeztük az attrbútumok rangsorolását. Itt az InfoGan+Ranker rangsorolást használtuk, amely az attrbútumokat aszernt rangsorolja, hogy mlyen mennységű nformácóval járult hozzá az adott attrbútum az osztályozáshoz. A rangsorolás eredményét a 2. táblázatban foglaltuk össze. 1.3887 md-stroke area covered 1.0345 start x 0.9987 phone d
0.9983 stop x 0.8874 start y 0.8595 md-stroke pressure 0.8529 stop y 0.7655 length of trajectory 0.7554 drect end-to-end dstance 0.4481 largest devaton from end-to-end lne 0.4295 drecton of end-to-end lne 0.4256 average velocty 0.3724 stroke duraton (ms) 0.3356 average velocty at last 5 ponts 0.3213 phone orentaton 0.263 average velocty at frst 5 ponts 0.1971 nter stroke tme 0.1905 average drecton 0.1556 up/down/left/rght flag 0.1173 R mean resultant length 2. táblázat Attrbútumok rangsorolása Fgyelembe véve az attrbútumok korrelácóját és a rangsorolását, a fent táblázatból a vastagított 6 attrbútumot kzártuk. A sebességre vonatkozóan a teljes vonás átlagsebességet hagytuk meg, az első 5, lletve az utolsó 5 pont átlagsebességét kzártuk. A vonás hossza és a vonás két végpontja között szakasz hossza s erősen korreláltak, ezért a másodkat kzártuk. Az rányítottságok közül a vonás két végpontját összekötő szakasz rányítottsága teljesített jobban, ezért az átlag rányítottságot kzártuk. Az utolsó két leggyengébben teljesítő attrbútumot s kzártuk. 4.1. Egyedek osztályozása A méréseket a k-nn, RandomForest [6] valamnt SVM osztályozókkal végeztük. Az attrbútumok szelekcója nem mutatott javulást az osztályozás rátában, ezért a mérés eredmények az eredet 20 attrbútumra vonatkoznak. A k-nn esetében az 1-NN teljesített a legjobban, az alább dagram ezt szemléltet. A legjobb osztályozás pontosságot a RandomForest algortmus nyújtotta. Mnden mérés esetében 10 keresztvaldácót alkalmaztunk. 4.2. Egyed szekvencák osztályozása 4. ábra Osztályozás algortmusok pontossága Az előző mérésekkel ellentétben, ezeket a méréseket saját programmal végeztük. Erre azért volt szükség, mert a Weka a szabványos nterfészen keresztül csak egyedek osztályozását tesz lehetővé, nekünk vszont egyed szekvencák osztályozását s el kellett végezn. A m esetünkben mnden egyed egyetlen vonást jelent, amely lehet függőleges, lletve vízszntes. Legyen N a különböző felhasználók száma. Egy felhasználó proflt az M darab klaszter középérték alkotja. A középértékek D dmenzós vektorok, ahol D az attrbútumok száma. (1) (2) ( M ) m, m,..., m, 1,2,... N (3)
Legyen X, T darab egymást követő vonások szekvencájának megfelő egyedek. D X x 1, x2,..., x T, x R (4) Az X szekvenca távolságát az. felhasználó profljától a következő képlettel számoljuk: T 1 (5) ( j) d( X, ) mn d E ( xk, m ) T j 1.. M k 1 Ahol d E az Eukldesz távolság. A szekvencát abba az osztályba soroljuk be, amelytől a szekvenca távolsága a legksebb: Id arg mn{ d( X, )} (6) 1..N A klaszterezés esetében az adatok 2/3-át tanításra, 1/3-át pedg tesztelésre használtuk. Arra s vgyáztunk, hogy ez az arány érvényes legyen a függőleges és a vízszntes vonásokra s. A 3. ábra tartalmazza az osztályozás eredményeket, ahol a klaszterek száma rendre 8, 16, 32, 64. 4. ábra Osztályozás pontosságok különböző vonás-, lletve klaszterszámok mellett A vonások számát 1-től 5-g változtattuk. Látható, hogy az attrbútumok szelekcója (14 attrbútum) megemelte az osztályozás pontosságot. A legjobb eredményt (86,13%) 5 darab vonás osztályozásával kaptuk 64 klasztert használva. Mnden esetben a k-means klaszterezés algortmust használtuk. 5. Következtetések Dolgozatunkban megvzsgáltuk mobl érntőképernyőkről gyűjtött érntés adatok (gesztúrák, vonások) alkalmazhatóságát bometrkus személyazonosításra. Elkészítettünk egy olyan adatgyűjtő programot, amely vízszntes és függőleges vonásokat (gesztúrákat) gyűjt be a felhasználóktól, mközben ezek feladatokat oldanak meg a mobl eszközöket használva. A gesztúrákból 20 féle jellemzőt nyertünk k, mnt például a gesztúra (vonás) kezdet, llet végpontja, a vonás egyenessége, vagy például a nyomás erőssége. A felépített jellemzővektorokat a Weka adatbányászat programcsomag különböző algortmusa segítségével osztályoztuk, megállapítva a knyert jellemzők alkalmazhatóságát folyamatos bometrkus azonosításra. Az osztályozáshoz k-nn, RandomForest, SVM, lletve klaszterezést használtunk. A Frank és társa eredményet kegészítettük azzal a
következtetéésel, hogy az érntés adatok alapján történő azonosítás nagyobb méretű képernyők esetén s jól működk, lletve azzal s, hogy az osztályozás pontosság növelhető több vonás együttes osztályozásával. Köszönetnylvánítás Az adatgyűjtő programot Marton-Mklós László a Sapenta EMTE, Marosvásárhely- Kar III. éves Informatka szakos hallgatója készítette, ak az adatgyűjtésben s részt vett. Hvatkozások [1] Frank, M., Bedert, R., Ma, E., Martnovc, I., Song, D. (2013). Touchalytcs: On the Applcablty of Touchscreen Input as a Behavoral Bometrc for Contnuous Authentcaton. IEEE Transactons on Informaton Forenscs and Securty, 8(1), 136-148. [2] Kllourhy, K. S., Maxon, R. A. (2009). Comparng anomaly-detecton algorthms for keystroke dynamcs. In IEEE/IFIP Internatonal Conference on Dependable Systems and Networks (DSN2009), (June 29 July 2, 2009, Estorl, Lsbon, Portugal), 125 134, IEEE Computer Socety, Los Alamtos, CA. [3] Monrose, F., Rubn, A. (1997). Authentcaton va Keystroke Dynamcs. In Proceedngs of the Fourth ACM Conference on Computer and Communcaton Securty, Zurch, Swtzerland. [4] Bours, H., Barghouth, P. (2009). Contnuous Authentcaton usng Bometrc Keystroke Dynamcs, 1-12. In Norwegan Informaton Securty Conference. [5] Hall,M., Frank, E., Holmes, G., Pfahrnger, B., Reutemann, P., Wtten, I. H. (2009). The WEKA Data Mnng Software: An Update; SIGKDD Exploratons, 11(1), 10-18. [6] Breman, L. (2001). Random Forests. Machne Learnng 45 (1).