GPU-ra implementált Multiple Kernel Learning és genomikai alkalmazásai

Átírás

1 GPU-ra implementált Multiple Kernel Learning és genomiai alalmazásai Bolgár Bence, SE-ÁOK VI. Konzulens: Dr. Antal Péter, egyetemi docens, BME MIT Budapesti M szai- és Gazdaságtudományi Egyetem Méréstechnia és Információs Rendszere Tanszé Budapest, 2011.

2 Tartalomjegyzé 1. Bevezetés A genomia és a bioinformatia Nagy átereszt épesség módszere: a génhalászat Fúziós módszere az orvosbiológiai utatásoban A GPU, mint lehet ség Célit zés A ernel fúzió és az SMO algoritmus Lp regularizált MKL Az SMO algoritmus Kiterjesztés biológiai problémára Kiterjesztés egyosztályos prioritizációra Kernel alapú prioritizáció Az SMO-MKL alapú fúzió GPU-s implementációja Az OpenCL eretrendszer A platform modell és az AMD (ATI) GPU- architetúrája A végrehajtási modell A memória modell A programozási modell Felhasznált eszözö A rendszer felépítése Optimalizáció A GPU-ra vonatozó optimalizáció Az algoritmusra vonatozó optimalizáció Teljesítményadato CPU alapú implementáció Kiteintés, fejlesztési irányo Példá a módszer alalmazására Adatbáziso, ernele származtatása Néhány eredmény További lehet sége Összefoglalás Köszönetnyilvánítás 37 1

3 Ábrá jegyzée 1. A laszterezés területén megfogalmazott adatfúziós eljáráso Sorrendi fúzió Kernel fúzió A Cypress architetúra Kernel osztálydiagram Solver osztálydiagram Tanulási id az adatponto számána függvényében Sálázódás a ernele számával Táblázato jegyzée 2. Hardveradato Tanuló és teszt adatmátrixo mérete Mérési eredménye Tanulási id és lassziációs pontosság, változásu a λ paraméter módosításával Prioritizálási eredménye Kernel súlyo

4 Szimbólumo α, β, γ Lagrange-multipliátoro vetorai. b, ρ A szeparáló hipersí egyenletéhez tartozó bias tag. C Cost (öltség) paraméter az SVM soft-margin formalizációjában, amely a omplexitás és az általánosító épesség özött egyensúlyoz. d A ernel súlyo vetora. Lépés a duál célfüggvény optimalizálása során. K A -adi ernel mátrix. λ MKL paraméter, amely a ernel súlyo nagyságát orlátozza az Lp-regularizáció ényszerítésével. ν Az egyosztályos SVM paramétere, amely a szupportvetoro arányát (omplexitást) szabályozza. p φ Az Lp regularizáció paramétere. A -adi ernel függvény. Q A -adi címézett ernel mátrix. w A szeparáló hipersí normálvetora. x i ξ Adatvetor. Slac változó vetora az SVM soft-margin formalizációjában. 3

5 Rövidítése AMD Advanced Micro Devices Inc.. CNN Cellular Nonlinear Networ. DMA Direct Memory Access, CPU-tól független memóriahozzáférés. GPGPU General Purpose GPU (általános célú GPU programozás). GPU Graus processzor. JIT Just-in-time compilation, itt: a host alalmazás futás özben fordítja a binárisoat. LRU Least Recently Used (gyorsítótárazási stratégia). MACCS Kémiai leíró (ngerprint), amely bizonyos émiai jegye meglétét/hiányát ódolja. MedDRA Medical Dictionary for Regulatory Activities, ontológia. MKL Multple Kernel Learning. PCI Peripherial Component Interconnect, a CPU és az eszözö özti ommuniáció útja. QP Quadratic Programming, matematiai optimalizálási feladat. RBF Radiális bázisfüggvény. SIMD Single Instruction, Multiple Data [1]. SMO Seuential Minimal Optimization [2]. SSE Streaming SIMD Extensions, CPU utasításészlet-b vítmény (vetorm velete). SVM Support Vector Machine, gépi tanulási algoritmus. UCI University of California, Irvine. UMLS Unied Medical Language System, ontológia. VLIW Very Long Instruction Word, utasításszint párhuzamosságot ihasználó architetúra [1]. WSS Woring Set Selection [3]. 4

6 1. Bevezetés E muna egy bioinformatiai utatási vonalat mutat be, amelyne célja a genomiai ísérlettervezés, adatelemzés és értelmezés segítése. A dolgozat az alábbi fejezetere oszli: 1. fejezet, ahol röviden átteintjü a orszer biológiai utatáso során felmerül problémáat és összefoglalju az eddigi módszereet. 2. fejezet, ahol a utatási probléma és a fejlesztett rendszer matematiai hátteréne részleteit és iterjesztését ismertetjü. 3. fejezet, ahol az olvasó megismeredhet a graus ártyán történ implementáció részleteivel. 4. fejezet, ahol valós bioinformatiai feladatora alalmazzu az eszözt. A dolgozatban összefoglalt muna f bb eredményei az alábbia: az SMO-MKL megözelítés eredeti levezetése alapján idolgoztun egy CPU-ra és GPU-ra implementálható pszeudoódot és formuláat (lásd 2.2 alfejezet), az SMO-MKL megözelítést a prioritizálási feladatoban fontos egyosztályos feladatra is átfogalmaztu, az implementációhoz szüséges formuláat ezen iterjesztés esetében is származtattu (lásd 2.4 alfejezet), elészítettün egy GPU alapú implementációt, amely egy általános referencia megoldó rendszerhez épest ét nagyságrend, az eredeti SMO-MKL megözelítéshez épest egy nagyságrend gyorsulást eredményez (lásd 3. fejezet), elészítettün egy CPU alapú implementációt is, amely grid alapú futtatásora is alalmas (lásd 3.6 alfejezet), több valós bioinformatiai génprioritizálási és gyógyszerutatási feladatban is alalmaztu, amelye eredményeine publiálása folyamatban van A genomia és a bioinformatia Ahhoz, hogy megértsü a jelen muna létjogosultságát, célját és helyét a modern biológiai utatásoban, el ször a genomia tudományáról ell szólnun néhány szót. Genomna nevezzü egy él lény DNS-állományát, amely legalábbis jelenlegi tudásun szerint az öröölhet információ legnagyobb részét hordozza; a genomia pedig a biológia rohamosan fejl d új területe, amely a genomot egészében, nem csa az egyes géne szintjén vizsgálja. Nem lehet olyan természettudományos diszciplínát említeni, ahonnan ne ölcsönözne eszözöet és módszereet, 5

7 ideértve a ziát, matematiát, informatiát, émiát, stb. A tudományág történeténe ismertetését l most elteintün (említhetnén például a Human Genome Projectet), helyette a jelenre összpontosítva az utóbbi egy-ét évtizedben felmerül problémáat ismertetjü. A XX. század utolsó negyedében számos biológiai eljárás látott napvilágot, amelye mára hatalmas mennyiség információ felhalmozódásához vezette. A orszer szevenálási, genotipizálási, génexpressziós, stb. módszere az éve során egyre olcsóbbá és olcsóbbá válta, az általu termelt adato pedig ember számára ezelhetetlen méreteet öltötte. Ez a tendencia hívta életre a bioinformatia tudományát, amelyne célja a utatás támogatása az adato elemzésével, adatbáziso fenntartásával, új módszere ifejlesztésével Nagy átereszt épesség módszere: a génhalászat Az eletronia területén megfogalmazott Moore-törvény az egy chip-en elhelyezhet tranzisztoro számára vonatozott, azonban a számítás és adattárolás más területein is hasonló törvényeet fogalmazta meg, amelye a csíszélesség csöenéséhez legfeljebb igen áttételesen apcsolódna. Az információfeldolgozás és adattárolás fejl dését ihasználva szinte minden tudományterületen a méréstechnia is hasonló ütemben fejl d tt, az asztroziától, nuleáris ziától, id járásel rejelzés és a límaváltozás utatásától iindulva a moleuláris biológiáig. A moleuláris biológiai méréstechniá esetében a Carlson-törvénye a biológiai szevenciá meghatározására, generálására, de aár fehérjé térszerezeténe a meghatározására is exponenciális jelleget állapította meg. A méréstechniá, adattárolási és elemzési módszere gyors fejl dése az orvosbiológia területén egy tudományelméleti szempontból is forradalmi megözelítést tett lehet vé, a hipotézismentes utatási paradigmát. A hipotézismentes utatási paradigma az omiai megözelítésen alapul, amely egy adott terület entitásaina (genomia-géne, proteomiafehérjé, stb.) együttes vizsgálatát teszi lehet vé, eltér en a hipotézise alapján generált ísérlettervezést l és adatgy jtést l. Az új megözelítéshez apcsolódó, nagy átereszt épesség biológiai eljárásora vonatozi a népszer szaszleng ifejezés, a génhalászat. A hipotézismentes utatási megözelítés legf bb ihívása az adatelemzés eredményeine értelmezése maradt. Az új paradgima és az omiai megözelítés mellett egy harmadi, tudományelméleti szempontból is ismét uniális hozzájárulása az orvosbiológia utatásona a apcsolt omiai szintene a vizsgálata. A genetiai, epigenetiai, transzriptomiai, proteomiai, metabolomiai, lipidomiai, fenomiai (fenotípuso) szinte egymással apcsolt értelmezése egy új adat- és tudásintegrációs ihívást jelent Fúziós módszere az orvosbiológiai utatásoban A normatív adat- és tudásintegráció érdése a helyes öveteztetés, és azon belül az indució évezredes problémaöreihez tartozi. A Jacob Bernoulli-tól, Thomas Bayes-t l eredeztett szubjetív értelmezés valószín ségi megözelítés az a priori hiedelme és a meggyelése normatív 6

8 ombinálására adott megoldást. Ez a fúziós módszer a bayesi döntéselmélet és a bayes statisztia alapját is jelenti, azonban az elméleti egyszer sége ellenére omplex modelle esetében analitiusan nem ezelhet megoldásohoz vezet, amelye nagy számításigény szimulációat igényelne. Enne megfelel en a bayesi tudásintegrációs megözelítése csupán az utóbbi ét évtizedben lette egyre népszer bbe. Alapjuat az elérhet háttértudás a priori modellosztályo feletti eloszlásoban való reprezentálása jelenti, amelyet az adato segítségével a posteriori eloszláso onstruálására vagy aár özvetlen módon maximális hasznosságú ació meghatározására használun fel. A bayesi tudásfúzió f ihívása az informális a priori ismerete transzformálása formális logiai (valitatív) szintre, ami modellosztályoat határoz meg és formális vantitatív szintre, ami egyes modellosztályoon belül a priori paramétereloszlásoat határoz meg. Az a priori információ felhasználása ülönösen fontosna t nt a omplex modelle, például a génszabályozási hálózato területén. A transzformáció nehézsége miatt azonban az egyes orvosbiológiai területeen speciális, ad hoc fúziós megözelítése alaulta i. A dolgozatban övetett módszerhez nagyon hasonló formalizációra vezetett az expressziós adato laszterezéséne vizsgálata heterogén információforráso felhasználásával. Mivel a laszterezési algoritmuso nagy része csa a hasonlósági mátrixoon alapul, ezért háromféle fúziót ülönböztethetün meg (1.ábra): 1. orai vagy adatalapú, amior az adatvetoroat onatenálju, 2. öztes vagy hasonlósági mátrix alapú, amior hasonlósági mátrixoat ombinálun, 3. és i vagy laszteralapú, amior az egyes információforráso alapján létrejöv laszterezési eredményeet ombinálju. A laszterezésben megfogalmazott hasonlósági mátrixoon alapuló standardizálás és az erre épül fúziós utatáso alapján a preditív vonalon is egy nagyon hasonló standardizálási és formalizálási javaslat fogalmazódott meg 2004-ben, ami a szupportvetor-gépeen alapult [4]. A ernel módszere használata a preditív vonalon is lehet vé tette a háromféle fúziót: az adatvetoro, a ernelmátrixo és az eredményül iadódó preditoro ombinálásával, ami egyfajta modellátlagolási vagy aár Mixture of Experts eretben is formalizálható. Az adat- és tudásfúziós utatásoban egy övetez orszaot egy új feladat, a génprioritizálás megjelenése hozta, ami a orábbi hálózati és laszterezési megözelítésene egy jelent s egyszer sítése. A génprioritizálás egy sorrendi tanulási feladat, amit nagyban motivált a szabadszöveges eres gépe m ödéséne egyszer sége (pl. PageRan). Leegyszer sítve a feladat adott pozitív mintához megeresni a leginább apcsolódóat a felcímézetlene özül, oherensen felhasználva az összes lehetséges adatforrást. Az egyes információforráso alapján történ sorrendezése naív fúziója mellett egy elméleti megözelítés a sorrende statisztiáján alapult (2. ábra) [5]. A omolyabb áttörést jelent, a laszterezési, majd a preditív megözelítésben is sieres 7

9 1. ábra. A laszterezés területén megfogalmazott adatfúziós eljáráso. A orai módszer a onatenált adatvetoro hasonlósági mátrixa alapján laszterez, a öztes az egyes információforráso adatvetoraina hasonlósági mátrixait ombinálja. A és i módszer lényege a forráso ülön-ülön történ laszterezése utáni fúzió. 2. ábra. A sorrendi fúzió, amelyne lényege a forráso alapján iszámított sorrende egyesítése naív vagy statisztiai módszereel. 8

10 3. ábra. Kernel fúzió, ahol hasonlósági mátrixoat ombinálun, majd az SVM-probléma megoldása után hipersítól való távolság alapján prioritizálun. hasonlósági mátrix-alapú fúziót a prioritizálási feladatra is sierrel adaptáltá [6]. Enne vázlatát a 3. ábra mutatja. A ernel fúzió vagy Multiple Kernel Learning legf bb el nye a heterogén adato standardizálása, illetve egy jelenleg még nem ell en felismert tulajdonsága, hogy adott érdés alapján, a érdés információtartalmára támaszodva épes elvégezni a fúziót, azaz a globális fúzió helyett választhatun egy intelligens, isebb tanuló adathalmazt. Ez a leérdezés specius fúzió lehet vé teszi, hogy a megadott mintá aár ismeretlen összetartozásána módja iemeljen egyes, az adott leérdezés szemponjtából fontos információforrásoat, amire a 4. fejezetben mutatun példát A GPU, mint lehet ség A számítástechniai iparban régóta ismert, hogy a jelenlegi gyártástechnológia igencsa özeledi ziai orlátaihoz, azaz a Moore-törvény érvényességéne is lassan a határára jutun. A tranzisztoro számána növelése, a csíszélesség csöentése egyre nagyobb és nagyobb nehézségebe ütözi, ahogy az elméleti határhoz özeledün. A hardvergyártó a növev nyomásra válaszolva számos stratégiát fogalmazta meg. Kézenfev a processzormago számána növelése, amely jelenleg is az egyi uralodó trend a piacon. Ett l eltér megözelítés a specializált feldolgozóegysége használata; ide sorolható a ülönböz vetorprocesszoro, vagy aár a még gyerecip ben járó, emberi neuronhálózat elvén m öd CNN-chipe. Napjain egyi legintenzívebben utatott területe az ún. heterogén feldolgozás, amelyne jelent ségét az utóbbi néhány évben ismerté fel. Enne alapja, hogy adott platformon egyszerre m ödhetne általános és speciális feldolgozóegysége, így a megfelel feladatora rendelezésre áll az összehasonlíthatatlanul gyorsabb eszöz is. A fenti paradigmát alalmazzu a GPU általános programozása (GPGPU) során. Nagy el nye, hogy a hagyományos CPU-hoz épest nagyságrendeel gyorsabb (megfelel feladatora 9

11 aár százszoros sebességnöveedést is elérhetün); a számítógépes játéo szélesör elterjedése pedig er s piacot és folyamatos intenzív fejlesztést biztosít. Hátrányai özé tartozi, hogy a hatéonyan végrehajtható számításo öre orlátozott nagy mértében(!) párhuzamosítható algoritmuso szüségese, valamint az eszözzel folytatott ommuniáció nagyrészt a lassú PCI-buszon zajli. E dolgozat alapját az a felismerés adja, hogy az SVM (MKL) módszer során alalmazott vetorm velete igen jól párhuzamosítható, így lehetséges a ernel fúziós génprioritizálás GPU-ra való implementációja Célit zés A fentie ismeretében megfogalmazhatju a jelen muna alapvet célját, amely az általános Multiple Kernel Learning módszer megvalósítása GPU-ra, valamint genomiai, farmaológiai alalmazhatóságána vizsgálata. 10

12 2. A ernel fúzió és az SMO algoritmus A heterogén információforráso fúziójána egyi modern megözelítése a Multiple Kernel Learning, amely az utóbbi 5-6 év egyi intenzíven utatott érdése. A módszer a gépi tanulás területén népszer szupportvetor-gépe (SVM) egy iterjesztése, amely arra eresi a választ, hogy hogyan lehet több ernel mátrix alapján, egyetlen feladat megoldásával megállapítani az optimális szeparáló hipersíot és az egyes ernelehez tartozó súlyoat. Erre számos formalizáció született, ám a legmodernebbene is özös gyenge pontja, hogy a duál célfüggvény nem dierenciálható, így a hagyományos SVM-nél bevált algoritmuso egyáltalán nem volta használható [7, 8], vagy csa a számításigényes Moreau-Yosida regularizáció alalmazása után [9]. Erre a problémára talált megoldást egy új módszer [10], amelyne gyaorlati alalmazását egy új területen, az egyosztályos prioritizálási feladatban vizsgálju meg. A ernel módszereet és a hozzáju apcsolódó általános matematiai fogalmaat ismertne tételezzü fel, amelye több átteintésben is megtalálható [11, 12]. A 2.1 alfejezetben els ént részletesen ismertetjü az SMO-MKL levezetését, a és bb ismertetett implementációhoz átdolgozva az eredeti levezetést [10]. A 2.2 alfejezetben leírju a probléma újszer megfogalmazása által lehetségessé vált SMO megözelítés alalmazását. A 2.3 alfejezetben a bizonytalan heterogén információforráso fúziója apcsán optimálisan teljesít speciális Lp, p = 2 esetet foglalju össze, amely analitiusan ezelhet. A 2.4 alfejezetben a prioritizálási problémában fontos, egyosztályos feladatra történ alalmazást özöljü. Végül a 2.5 alfejezetben a prioritizálásban történ alalmazás épleteit összegezzü Lp regularizált MKL Legyen adott darab ernel mátrix a megfelel Φ ernel függvényeel és d súlyoal. A Multiple Kernel Learning (MKL) probléma megfelel egy, a onatenált d Φ (x i ) vetoro által meghatározott feature térben megoldandó SVM problémána. Ennélfogva a primál feladat így írható: min w,b,ξ,d s.t. 1 w T 2 w + C ( ξ i + λ d p 2 i ( ) y i d w T φ (x i ) + b 1 ξ i ξ 0, d 0, ) 2 p (1) ahol a orábbi módszereel szemben a regularizáló fator része a célfüggvényne, λ pedig az egyensúlyt reprezentálja a ernel súlyo és a regularizáció özött. A célfüggvény onvexszé 11

13 tehet, ha w helyére d w -t helyettesítün. min w,b,ξ,d s.t. 1 w T w + C 2 d i ( y i w T φ (x i ) + b ξ 0, d 0. ξ i + λ 2 ) ( 1 ξ i d p ) 2 p (2) A primál feladat Lagrange-függvénye a övetez : L(w, b, ξ, d, α, β) = 1 2 i w T w + d i [ ( α i y i ( ) 2 p (C β i )ξ i + λ d p 2 ) ] 1 + ξ i w T φ (x i ) + b. (3) A (3) függvényt w, b és ξ i szerint deriválva az alábbi összefüggésehez jutun: w L = w α i y i Φ (x i ) = 0 d i w = α i y i Φ (x i ) (4) d i L b = i α i y i = 0 α i y i = 0 (5) i L = C β i α i = 0 ξ i 0 α C. (6) Jelölje Q a -adi ernel mátrix címézett változatát, azaz K (i, j) = (Φ (x i )) T (Φ (x j )) Q (i, j) = y i y j K (i, j). (7) A (4), (5), (6) és (7) összefüggéseet a célfüggvénybe visszahelyettesítve az alábbi nyeregpontproblémát apju: min max d α ( 1 d α T Q α + 1 T α + λ 2 2 s.t. d 0, 0 α C, y T α = 0. d p ) 2 p (8) A ernel súlyo eliminálásához ismét vesszü a feladat Lagrange-függvényét: ( L(d, α, γ) = 1 d α T Q α + 1 T α + λ 2 2 d p ) 2 p γ d. (9) 12

14 d szerint deriválva: L = 1 d 2 αt Q α γ + λ 2 2 p ( d p ) 2 p = 1 λ ( d p ) 2 p 1 p d p 1 = 0 d ( 1 2 αt Q α + γ ). (10) Célun, hogy a (10) egyenlet jobb oldalán lév d tagot eliminálju. Legyen Így (10) az alábbi formában írható: ( d p ) 1 p = 1 λ [ [ 1 p + 1 = 1. (11) d ( 1 2 αt Q α + γ ) ] 1 p ( ) ] 1 ( 1 d 2 αt Q α + γ A jobb oldalon minden tag bevihet az 1/p hatványitev alá, így ( melyb l d p = d d p 1 d p 1 d p ) 1 p = [ 1 ( ) 1 λ p d 2 αt Q α + γ ( ( ) ) p ( 1 d 2 αt Q α + γ felhasználásával: = 1 λ p ( 1 2 αt Q α + γ ) ( d p d p ) 1 p. ) 1 ( ) ) p ( 1 1 d 2 αt Q α + γ d) p. Mindent az 1/p hatványra emelve és a (11) egyenl séget is felhasználva, valamint a jobb oldal utolsó tagjával leosztva: ( Melyb l d 1/ d 1 d p ) 1 p = 1 λ ( ) αt Q α + γ p ( -val való osztással és a tago összevonásával: ( d p ) 1 p = 1 λ ( 1 p d ( 1 2 αt Q α + γ ) ) 1. ( ) 1 1+ ) 1 p 2 αt Q α + γ. Végül (11)-t alalmazva és négyzetre emelve megapju a regularizáló tagra vonatozó összefüggést: ( d p ) 2 p = 1 λ 2 ( ( ) ) αt Q α + γ. (12) 13,

15 A (9) Lagrange-függvény tovább alaítható az alábbi módon: L(d, α, γ) = 1 T α Melyb l a (10) és (12) egyenlete alapján ( ) ( ) 2 1 d 2 αt Q α + γ + λ d p p 2. (13) ( ) 2 p L(d, α, γ) = 1 T α λ 2 = 1 T α 1 2λ ( d p ( ) ) αt Q α + γ. (14) Mivel γ 0, α T Q α 0 γ = 0, azaz γ értée aor optimális, ha egyenl nullával. Így végül eljutottun a duál feladathoz: max α D(α) = 1 T α 1 8λ ( s.t. 0 α C, y T α = 0, ( α T Q α ) ) 2 1 p + 1 = 1. A ernel súlyo számolásához felhasználju (10) és (12) evivalenciáját. (15) ( d p A (11) összefüggés alapján: ) 2 p d α T Q α = 1 2λ d = 1 2λ d = 1 2λ 2.2. Az SMO algoritmus = 1 2λ d α T Q α = 1 4λ 2 ( α T Q α ) ( ( α T Q α ) 1 ( ( ( α T Q α ) ) 1 ( ( α T Q α ) ) 1 ( α T Q α ) ) 1 ( α T Q α ) ) 2. (16) p ( p ( ( α T Q α ) ) 1 ( α T Q α ) ) 1 1 p ( α T Q α ) p. (17) Az SMO (Seuential Minimal Optimization) az ún. coordinate ascent algoritmuso özé tartozi. Els ént Platt javasolta a memória- és számításigényes numerius módszere alternatívájaént [2]. Lényege, hogy iteratív módon, egyszerre mindig csa ét Lagrange-multipliátort optimalizál (míg a többit xen tartja), azaz a eredeti problémát minimális méret, analitiusan megoldható szub-problémára bontja szét, ierülve ezzel a QP-solver alalmazását (megjegyzend, hogy ez SVM-re vonatozi; jelen esetben az analitius megoldás csa L2 esetében lehetséges, egyébént a Newton-Raphson módszer vált be). A szub-problémá minimális mérete 14

16 a ényszerfeltételeb l ered, legevesebb ét multipliátor szüséges ugyanis ahhoz, hogy ezeet tiszteletben tartsu a megoldás során. Ismét felírju a duál problémát: max α D(α) = 1 T α 1 8λ ( s.t. 0 α C, y T α = 0, ( α T Q α ) ) 2 1 p + 1 = 1. Legyen a ét Lagrange-multipliátor α i és α j, a többi indexet jelölje N, azaz M {1, 2,..., l}, N M \ {i, j}. Eor a duál feladat így írható: max α i + α j 1 [ ( [ ] [ ] [ ] Q ii Q ij αi α α i,α j 8λ i α j + Q in α N α i + Q jn α N α j ) ] 2 s.t. 0 α i, α j C, y i α i + y j α j = c, Q ij Q jj 1 p + 1 = 1. Legyene az új értée α i α i +, α j α j +s, ahol s = y i y j. Eor így számolható: = arg max + s 1 [ ( [ ] [ ] [ ] Q ii Q ij αi + α 8λ i + α j + s Q ij Q jj α j + s ) ] 2 + Q in α N (α i + ) + Q jn α N (α j + s ) azaz: s.t. L U, = arg max 1 p + 1 = 1, (1 + s) 1 8λ [ a = Q ii + Q jj + 2sQ ij b = α T (Q im + sq jm ) c = α T Q α s.t. L U, α j (a 2 + 2b + c ) ] 2 1 p + 1 = 1. lehetséges értéeine halmaza alulról és felülr l orlátos a 0 α C és y T α = 0 ényszerfeltételeb l övetez en. El bbi miatt a ét multipliátor egy dobozban (box constraint), utóbbi miatt egy egyenesen (line constraint) helyezedi el. A határo így alaulna: { max( αi, α j ), ha s = 1 L = max( α i, α j C), ha s = 1 U = { min(c αi, C α j ), ha s = 1 min(c α i, α j ), 15 ha s = 1 (18)

17 tartományon ívülre es értéei esetében az algoritmus vágást alalmaz. A hatéonyság szempontjából ritius, hogy minden iterációban olyan multipliátoroat válasszun, amelyeel a legnagyobbat léphetün a megoldás felé (woring set selection). Az egyi legelterjedtebb módszer Lin WSS2 algoritmusa [13], amelyhez szüséges a célfüggvény gradienséne és Hesse-mátrixána iszámítása. Felhasználju, hogy a (16) egyenl ség ismeretében a célfüggvényt így is írhatju: A gradiens így számolható: A Hesse-mátrix: 2 αd = = Q = Q 1 2λ D(α) = 1 T α 1 d α T Q α. 2 α D = 1 (d Q + α d Q α) ( α 1 2λ ( ) ( 2 1 d Q α. ( α T Q α ) ) 2 1 ( α T Q α ) 1 Q α ( α T Q α ) ) 2 2 (α T Q α ) 1 2 Q α (α T Q α ) 1 Q α + ( 1) ( α T Q α ) 2 2 Q α ( ( α T Q α ) ) 2 1 Q α = Q 1 (2 ) ( α T Q α ) ( 2 2 ( α T Q α ) ) 2 2 λ + ( 1) ( α T Q α ) ( 2 ( α T Q α ) ) 2 1 (Q α) T (Q α), ahol ismét felhasználtu a (11) összefüggést. Látható, hogy a erneleb l egyszerre mindössze ét oszlop, illetve a diagonális tárolása szüséges, így a memóriaigény töredéére csöen Kiterjesztés biológiai problémára Általánosságban elmondható, hogy minél alacsonyabbna választju p értéét, annál ritább ernelombinációhoz jutun, azaz pl. p = 1 esetén evés súly ap magas értéet, míg a többi nullát vagy özel nullát. Ez hasznos, ha nagyszámú ernellel dolgozun, amelye özül a legjobbaat szeretnén iválasztani, el nytelen viszont biológiai problémá esetében; itt rendszerint evés, gondosan iválasztott ernelr l van szó, melye mindegyie fontos információt hordoz. [14] azt találta, hogy az L2-MKL szigniánsan jobban teljesített a sparse módszerenél mind 16

18 hatéonyság, mind prediciós teljesítmény teintetében. Enne megfel len a duál probléma így módosul: max α a (17) egyenlet alapján a ernel súlyo: (18) pedig: = arg max D(α) = 1 T α 1 8λ s.t. 0 α C, y T α = 0, d = 1 2λ ( α T Q α ) 2 1 p + 1 = 1, (19) α T Q α (20) (1 + s) 1 8λ a = Q ii + Q jj + 2sQ ij b = α T (Q im + sq jm ) c = α T Q α s.t. L U, A gradiens változatlanul így számolható: ( a 2 + 2b + c ) 2 (21) 1 p + 1 = 1. α D = 1 d Q α, (22) míg a Hesse-mátrix: 2 αd = Q 1 (Q α) T (Q α). (23) λ Látható, hogy (21) analitiusan megoldható, ugyanis deriválás valamint a négyzetes tag ifejtése után az alábbi egyenletet apju: 1 + s 1 ) (4a 2 8λ a b (2a c + 4b 2 ) + 4b c = 0, ahol a onstans c 2 tag iesett, pedig a harmadfoú egyenlete megoldóépletével megtalálható. 0 együtthatója itt: 1 + s 1 2λ b c = 1 1 2λ = α D i + s α D j, ahol felhasználtu a (20) és (22) összefüggéseet. d α T Q im + s 1 2λ d s α T Q jm 17

19 2.4. Kiterjesztés egyosztályos prioritizációra Az eddigieben leírta a étosztályos (illetve evés módosítással a többosztályos) MKLre vonatozta, enne m ödéséhez pozitív és negatív tanítómintá egyaránt szüségese. Biológiai problémá esetében ez a megoldás gyaran nem célravezet. Képzeljü el például, hogy adott géne pl. az asthma patogenezisében szerepet játszó jelátviteli útvonala génjei ismeretében próbálun további, eddig ismeretlen, ide apcsolódó genetiai tényez et felderíteni. Ezeet a tényez et nem sorolhatju egyöntet en az y = 1 osztályba, mivel mindegyi a maga egyéni módján negatív. A fenti feladat megoldására alalmas az egyosztályos (one-class) SVM, melyet el ször Schölopf javasolt [15]. A levezetés nem ülönbözi az eddigieben leírtatól, így ett l elteintün, és csa a végeredményt özöljü. MKL esetén a primál probléma: min w,b,ξ,d,ρ s.t. ( 1 w T w ρ + 1 ξ i + λ 2 d νl 2 i w T φ (x i ) ρ ξ i ξ 0, d 0, i = 1, 2,..., l. d p ) 2 p A duál: max α D(α) = 1 T α 1 8λ ( s.t. 0 α 1, 1 T α = νl, ( α T Q α ) ) 2 1 p + 1 = 1. Itt a orábbiatól eltér en az osztályoról nincs információn, csa egyetlen tanítóhalmazt szüséges megadni Kernel alapú prioritizáció Az optimális szeparáló hipersí iszámítása után a további adatponto (pl. géne) sorrendezhet a hipersítól való távolságu alapján. (4)-b l tudju, hogy w = α i y i d Φ (x i ), i így a z adatpont score-ja a övetez éppen számolható: f(z) = wt φ (z) + b i = α iy i d K (x i, z) + b w d, α T Q α illetve egyosztályos esetben: ahol K (x i, z) = (φ (x i )) T (φ (z)). f(z) = i α i d K (x i, z) ρ d, α T Q α 18

20 3. Az SMO-MKL alapú fúzió GPU-s implementációja 3.1. Az OpenCL eretrendszer Az OpenCL eredetileg egy Apple által ifejlesztett nyílt szabvány, amelyet a Khronos group tart arban, csaúgy, mint a jól ismert OpenGL-t [16]. Célja, hogy a heterogén platformoon zajló, általános célú párhuzamos programozás számára egy egységes eretrendszert nyújtson, amely megönnyíti a f leg, de nem izárólag teljesítmény-orientált alalmazáso fejlesztését. Az 1.1-es speciáció június 14-ére észült el, számos nagy- és isebb vállalat támogatásával (AMD, NVIDIA, Intel, stb.). Az alábbiaban egy rövid átteintés övetezi az OpenCL architetúráról, els sorban AMD szemszögb l, mivel a jelen muna AMD graus processzoro felhasználásával észült. Az architetúra az alábbi négy modellel írható le: Platform modell Végrehajtási (execution) modell Memória modell Programozási modell A platform modell és az AMD (ATI) GPU- architetúrája A modell alapját a host és a hozzá apcsolódó eszözö (devices) épzi. A host-on fut az OpenCL alalmazás, amely parancsoat (command) ad az eszözne jelen esetben a GPU-na, illetve magána a CPU-na. Az eszözben számítási egysége (compute unit) található, amelye GPU esetében megfelelne a SIMD egységene, CPU esetén az egyes magona. A SIMD egysége (Single Instruction, Multiple Data) tovább bontható ún. stream magora (stream core), amelye mindegyie egy VLIW-5 (very long instruction word) architetúrára épül feldolgozóegységet rejt. A 4. ábrán látható az ATI Radeon HD 5870 felépítése, az általun használt eszözö adatai a övetez alfejezetben megtalálható A végrehajtási modell Két részre osztható: a host alalmazásra, és az eszözön futó, ún. ernelere. A neve szerencsétlen ütözése miatt ebben a munában a ernel ifejezést továbbra is a matematiai értelemben használju, az eszözön futó függvényere az OpenCL függvény megnevezést fogju alalmazni. Mior a host alalmazás egy OpenCL függvényt íván futtatni, elüldi az eszözne a megfelel parancsot (függvény, paramétere, stb.), iegészítve a programozó által megadott index térre vonatozó információal, azaz meghatározza, hány példányban és milyen elrendezésben fog futni a függvény. A függvény egy futó példányát nevezzü munaegységne (wor item), adott mennyiség, azonos számítási egységen futó munaegységeet munacsoportna 19

21 4. ábra. A Cypress architetúra (HD5850 és HD5870) [1] (wor group, általában 64 vagy 256 egység). Egy munaegység egy stream magon fut, ami a párhuzamos feldolgozás ét szintjét jelenti: egyrészt több stream magon folyi egyszerre a számítás, másrészt a VLIW5 architetúra eredményeépp ún. utasításszint párhuzamosság is jelen van (4 lebeg pontos + 1 speciális m velet, pl. sin, exp). Az egyszerre végrehajtódó munaegysége bloját wavefront-na nevezi, azonos wavefront munaegységei özül 4 darab soraozi fel (pipeline) egy stream magra. Ez a memória latenciájána elrejtését szolgálja; amíg egy munaegység az adatora vár, egy mási használhatja a feldolgozóegységet helyette A memória modell Négy ülönböz memóriatípust ülönítene el: privát, loális, globális, onstans. A privát memória a leggyorsabb, a munaegység sajátja, gyaorlatban egy regiszter. A loális memória a SIMD egység on-chip memóirája, a munacsoport tagjai által megosztott. Leglassabb, viszont legnagyobb méret a globális memória, amely minden munaegység által elérhet, illetve a host alalmazás is ide tud írni. A onstans memória a is méret, nem változó adato gyorsítótárazott 20

22 tárolására szolgál. Speciális az ún. textúra (ép) memória, amelyr l most nem beszélün, az érdel d olvasót az AMD leírásához irányítju [1] A programozási modell Az OpenCL programozási modell támogatja az adatpárhuzamos (SIMD) és feladatpárhuzamos végrehajtást; utóbbiról itt nem beszélün. A örnyezetet, amelyben az OpenCL függvénye és memória-operáció futna, ontextusna (context) nevezzü, amely magában foglalja a hostot, az eszözöet és eze memóriáját és a parancssort (command ueue). Az OpenCL függvénye létrehozásához el ször az OpenCL programoat ell megírni, amelye tartalmazhatna hagyományos függvényeet is. Mindehhez egy iterjesztett C nyelvet lehet használni, majd a programot a host alalmazás futása özben lefordítja a megadott eszözre (JIT, just-in-time compilation). A ész binárisból hozható létre az OpenCL függvénye, majd eze felsoraoztatható a parancssorba, csaúgy, mint a ülönböz memória-operáció Felhasznált eszözö A fejlesztést Ubuntu és Windows 7 operációs rendszereen végeztü. A rendszer az alábbi fordítóal (biztosan) ompatibilis: gcc 4.4.5, msvc10. A fejlesztés során az AMD APP SDK 2.4-es verzióját használtu. A felhasznált eszözö adatai az alábbi táblázatban látható: Típus ATI Radeon ATI Radeon Intel Core i5 HD5470 HD M Órajel 750 MHz 725 MHz 2,26 GHz SIMD egysége (HyperThreading) Stream mago Munaegysége Maximális GFLOPS ,08 Globális memória méret 1 GB 2 GB 3 GB (host memória) Globális memória sávszél 25,6 GB/s 128 GB/s 8 GB/s (host memória) Loális memória/simd 32 B 32 B - 2. táblázat. Hardveradato 3.3. A rendszer felépítése A tervezés során alapvet szempont volt a hatéonyság és a megfelel teljesítmény biztosítása; nem elhanyagolható azonban a arbantartás és a iterjeszthet ség érdése sem. A orszer C++ irányzatona megfelel en az ún. policy-alapú tervezés mellett döntöttün, amelyet el ször Alexandrescu javasolt [17]. Ez azt jelenti, hogy az osztályhierarchiáat, virtuális függvényhívásoat használó objetumorientált programozás helyett a generius programozás elveit övetve 21

23 is policy osztályoat hozun létre, majd ezeet fordítási id ben, az igényene megfelel en összeapcsolva alaul i a végleges ód. Ez egyrészt az újrafelhasználást és az egyszer b vítést segíti, másrészt a gyaorlatban gyorsabbna bizonyult a lasszius objetumorientált megoldásonál [17]. További el nye a letisztult, felhasználóbarát felület, amelyne segítségével egy-egy tanulási feladat 8-10 sornyi óddal megvalósítható. Hátrányai özött említhet a hosszabb fordítási id, hiszen eor jönne létre a onrét osztályo a ülönböz policy- összef zésével, és a metaprogramo is eor futna le. További hátrány, hogy a bináris mérete növeszi, illetve egyes fordító (pl. clang 2.9) még nem épese értelmezni az így megírt ódot. Az OpenCL eszözöel való ommuniációt az Engine osztály végzi. Feladata a platformo, eszözö és a parancssor ezelése, az eszözön futó bináriso létrehozása, siertelen fordítás esetén a napló leérése, a hibaódo lefordítása, illetve az OpenCL munacsoporto számána és méreténe automatius beállítása (lásd Optimalizáció). Az eszöz memóriájána elérése a Buffer sablonosztályon eresztül lehetséges, amely számos ényelmi funciót (ll, host-ra másolás, stb.) is nyújt. A tipius felhasználás során a fent említette nem szüségese, de biztosítju a lehet séget az eszöz özvetlen ezelésére (b vítés, hibaelhárítás, stb.). A rendszer jelenleg az egy- és étosztályos (illetve többosztályos) MKL-t támogatja. Az SMO algoritmusna öszönhet en a erneleb l egyszerre mindössze ét oszlop, illetve a diagonális tárolása szüséges. Ezeet számolhatju a GPU-n, illetve megadhatun el re iszámolt mátrixoat is (pl. gén-gén interaciós mátrixo, ahol a vetoriális leírás nem létezi). El bbi esetben az alábbi hasonlóságmértée/függvénye támogatotta: RBF (Radial Basis Function): K(x i, x j ) = e γ x i x j 2 Polinomiális: K(x i, x j ) = (p x T i x j + ) r Szigmoid: K(x i, x j ) = tanh(p x T i x j + ) Koszinusz: K(x i, x j ) = (x T i x j)/( x i x j ) Tanimoto: K(x i, x j ) = (x T i x j)/( x i 2 + x j 2 x T i x j) A testreszabás, illetve a iterjesztés egyi módja b vítménye alalmazása, ezeet egy ún. template metaprogram apcsolja a ernelt reprezentáló osztályohoz. A jelenleg rendelezésre álló b vítménye: Adato permutálása. Adott entitás-feature mátrix esetén minden feature-ne megfelel oszlopot megpermutálun, és az így apott vetoro alapján számítju a ernelt. Mivel az OpenCL eretrendszerben nincs gyári pszeudorandom-generátor, erre a célra a statisztiai szimulációban gyaran alalmazott Mersenne Twistert valósítottu meg, melyet a host oldalon generált pszeudorandom számmal hajtun meg [18]. 22

24 5. ábra. Kernel osztálydiagram. A Kernel objetumo a mátrix oszlopait számoljá, a KernelCombination osztály az összegzést és a gyorsítótárazást végzi. A ernele b víthet tetsz leges számú b vítménnyel, ez az Extension_List template metaprogramon eresztül lehetséges. Szüséges még egy leezel megadása is. Hiányos adato ezelése. A hiányzó értéeet pótolhatju egy átlagos hasonlósággal, ehhez azonban el ször az összes érté iszámítása szüséges, amely hatéonysági érdéseet vet fel. Teljes ernel iszámítása. Kis adatmennyiség esetén el nyös lehet a teljes mátrix iszámítása; határt jelenthet a GPU-n rendelezésre álló memória. A policy-alapú tervezésne öszönhet en igen önny további b vítményeet írni, illetve a ernel objetumo önnyedén testreszabható az igényene megfelel leezel és b vítménye megadásával. A erneleet a KernelCombination osztály fogja össze, amely a lineáris ombinációt reprezentálja. Ugyancsa ez az osztály ezeli a gyorsítótárat, amelyr l részletesebben az optimalizáció fejezetben szólun. Összefoglalásént a 5. ábrán látható az idevágó osztálydiagram. A megoldást az L2_Solver osztályo szolgáltatjá, ehhez meg ell adnun az alalmazott Woring Set Selection eljárást és a szüséges paramétereet, név szerint: C vagy ν: mint az egyszer étosztályos vagy egyosztályos SVM-nél, ε: Konvergencia üszöb, λ: Lásd (1) egyenlet és leírás. A imenet a Model osztály egy példánya, amely tartalmazza a megoldáshoz tartozó Lagrangemultipliátoroat (pontosabban azo címével vett szorzatát), az optimális súlyozást, a bias 23

25 6. ábra. Solver osztálydiagram. A solver osztályo számítjá i az MKL-modellt, ehhez tetsz leges WSS eljárás választható. A Gradient osztály feladata a gradiens tárolása, frissítése és a Hesse-mátrix iszámítása. A prioritizálás bemenete a iszámolt MKL-modell. term értéét, a szupportvetoro számát és a ernelere vonatozó adatoat (függvény, paraméterezés, a nem nulla multipliátorohoz tartozó training vetoro). Visszaad továbbá egy SolutionInfo objetumot, amely a megoldás egyéb adatairól tájéoztat (iteráció, célfüggvény értée, duality gap). A lassziációhoz illetve prioritizációhoz szüséges hipersítól való távolságoat a Prioritizer osztály számolja Optimalizáció A GPU-ra vonatozó optimalizáció A GPU-ra történ optimalizáció más elve alapján történi, mint CPU esetében. Jelen munában az el bbire töreedtün, így a ód lassabban fut CPU-n, mint a natív szevenciális ód. Néhány alapelv és alalmazásu: Általában sz eresztmetszet az adato átvitele a graus ártyára, ugyanis ehhez a lassú PCI-buszt ell használni. A probléma iüszöbölésére megoldásun mindent a GPU memóriájában tárol, ami az esete legnagyobb részében elegend. Extrém méret training adat (milliós nagyságrend adatpont ezres dimenziószámmal) mostani implementációnal még nem ezelhet, csa a csúcsmodell HD6990 VGA segítségével. Soal nagyobb a számítási teljesítmény, mint a CPU esetében. Gyaran gyorsabb ismét iszámítani egy részeredményt, mint eltárolni. 24

26 Másépp m ödne az elágazáso. Ha egy munacsoporton belül az elágazáso divergálna, aor ezen munacsoport egységei étszer futtatjá le a függvényt oly módon, hogy el ször az egyi, majd a mási ág hajtódi végre. Enne övetezményeént érdemes erülni az if-eet. Ha mégis erre van szüség, aor célszer olyan elrendezést választani, hogy egy munacsoporton belül csa az egyi ág fusson (hiszen elég egyetlen autojás, és máris étszeresére nyúli a futásid ). Rendszerün ezt a beépített select függvénnyel oldja meg, amely nem hoz létre elágazást, hanem a apott logiai érté alapján, utasításszinten választja i a megfelel t ét érté özül. Hagyományos if-es cilusra csa a MapReduce implementációnnál volt szüség. A globális memóriára vonatozó elve: Ajánlott a 128 bites igazítás (alignment) alalmazása, ez gyaorlatban az adatsoro végéne itöltését (padding) jelenti. A sávszélesség ihasználása aor optimális, ha a szomszédos munaegysége szomszédos memóriacímehez férne hozzá. Ellenez esetben el fordulhat, hogy so munaegység ugyanazon a ban-on lév címet próbál elérni, eor a hardver szerializálja a hozzáférést. Ugyancsa aor optimális a ihasználás, ha egyszerre több értéet (pl. oat4 vetoroat) érün el. Az általun implementált fájlezel a tanuló adatoat automatiusan oszlopos (coloumn major) elrendezésbe olvassá és 128 bitre igazítjá. A függvénye oat4 és int4 vetoroat használna, az oszlopos elrendezés lehet vé teszi a szomszédos (coalesced) hozzáférést. Az on-chip loális memória használata. Enne elérése soal gyorsabb, mint a globális memóriáé, így érdemes a minden munaegység által használt özös adatoat el ször ide betölteni. A munacsoporthoz tartozó loális memória mérete azonban egy ponton túl az egyszerre futó csoporto számát orlátozza. Figyelni ell itt is a ban-ütözésere. Megfelel mennyiség munát ell adni a munaegységene, így evesebb példányban ell futtatni a függvényt, ami csöenti az indításnál fellép id veszteséget. VI- SZONT egyúttal megfelel mennyiség munacsoportot ell indítani, mivel a memóriaelérése (4-600 órajelcilus!) alatt a váraozó munacsoport helyett egy mási tud futni az adott stream magon, így elegend t felsoraoztatva (pipeline) a memória latenciája elrejthet. Az egyensúly megtalálása dönt érdés. A munacsoporto mérete ideálisan a 64 többszöröse. Mindebb l látszi, hogy ritius a munacsoporto méreténe és számána jó megválasztása. Mi az alábbi heurisztiára hagyatozun: legyen a munacsoporto száma annyi, hogy minden SIMD egységre 4 darab jusson. Ez épp elegend, hogy elrejtse a latenciát, azaz az egységet mindig lefoglalja. A méret legyen a lehet legnagyobb (pl. HD5470: 64, HD5850: 256), a munát pedig egyenletesen osszu el a létrejöv munaegysége özött. CPU esetében legyen mindét tényez 1. Minél evesebb regiszter használata. A használt regisztere száma csöenti az egyszerre futó munaegysége számát, s t egy ponton túl az értée a globális memóriába 25

27 erülne, ami hatalmas esést jelent a hatéonyságban. Vetorm velete használata. Mivel a munaegysége alatt valójában VLIW5/VLIW4 architetúrájú feldolgozóegység húzódi meg, az utasításszint párhuzamosság ihasználásához egyszerre több elemmel, gyaorlatban gentype4 (oat4, int4, stb.) vetoroal ajánlott dolgozni. Ebb l a CPU is protál, a fordító itt épes a m veleteet SSE-utasításoba csomagolni. Mivel a fordító nem tud cilusoon eresztül összevonni m veleteet, ezért ajánlott a loop unrolling, azaz egy cilusban több m velet elvégzése, evesebb ciluson át. További optimalizáció. Minden egyes ernel objetum egyedi OpenCL binárist használ, amelybe belefordít egyes paramétereet, pl. a tanuló adatmátrix méreteit, így a fordító további optimalizációat tud ivitelezni. Ez gondot jelenthet nagyszámú ernel esetén, azonban az L2-normalizációnál feltételeztü, hogy eveset fogun használni. A jelenleg még nem támogatott L1-normalizációnál is célszer a méreteet hasonlóépp ezelni, hiszen ott jelemz en arról van szó, hogy ugyanarra a tanuló adatmátrixra alalmazun igen so ernel függvényt Az algoritmusra vonatozó optimalizáció Öt ülönböz gyorsítótárat alalmazun az algoritmusban, melye özül els ént a ét ernel oszlop gyorsítótárazását mutatju be. Jelenleg az ún. LRU (Least Recently Used) módszert alalmazzu, ugyanis [19] megmutatta, hogy nagyobb eséllyel választun i ismét egy multipliátort (és ezzel együtt egy oszlopot), ha azt nemrég iválasztottu. A GPU memóriájána legnagyobb része erre a célra van fordítva, de természetesen megadhatun más méretet is. Valójában nem a ombinált ernel oszlopait tárolju, hanem az egyes erneleét, ezere ugyanis ülön-ülön is szüség van (pl. együtthatóina számolásaor). Megjegyzend, hogy a teljesítmény növeedése nem minden feladatnál ugyanaora; els sorban az adatotól függ, hogy mennyit nyerün ezzel az optimalizációval. A többi gyorsítótár a diagonálist (hiszen ez nem változi), a gradienst, a Q α, és az α T Q α szorzatoat tartalmazza. Utóbbi három α i és α j új értéeine ismeretében hatéonyan frissíthet. [10] azt találta, hogy a Hesse-mátrix tárolása túl öltséges, így ezt mi sem alalmazzu. A megfelel multipliátoro iválasztásához Lin WSS2 módszerét használju, amelyne els lépésében egy sorozat maximumát, másodiban egyne minimumát ell iválasztani [3]. Ehhez a Google által ifejlesztett MapReduce algoritmust implementáltu GPU-ra [20] Teljesítményadato A tesztelésnél referenciaént a [10] ci szerz ine ódját (a továbbiaban SMO-MKL), valamint a Shogun toolbox verzióját használtu [21]. A teljesítményt az UCI Adult adatbázisán 26

28 Tábla Tanuló adatponto Teszt adatponto Dimenziószám a1a a2a a3a a4a a5a a6a a7a a8a a9a táblázat. Tanuló és teszt adatmátrixo mérete mértü, amely 9 ülönböz méret táblát tartalmaz [22]. A 3. táblázatban látható a tanuló- és tesztadato méretére vonatozó információ. A mérést el ször a más özleményeel való összevethet ség érdeében étosztályos tanulási feladattal és bináris lassziációval végeztü. Az alalmazott ernel függvénye és paraméterei: RBF (γ = 0.1) RBF (γ = 0.5) Lineáris Polinomiális (p = 2) A választott MKL-paramétere: C = 100 ε = λ = 0.1 (csa SMO-MKL, HD5470 és HD5850) Megjegyzend, hogy a jelen fejezetben els sorban a teljesítményt vizsgálju, tehát nem töreedtün a lehet legnagyobb lassziációs pontosság elérésére. Megfelel erneleel és alaposan átgondolt paraméterezéssel nagyobb pontosságot lehet elérni; mi itt beérjü a tapasztalt 82-84%-al. A λ paraméter megválasztásáról és bb ülön szólun, itt el zetes ismerte hiányában önényesen 0.1-ne választottu. A 4. táblázatban található a mérési eredménye és az SMO-MKL algoritmushoz épest tapasztalt gyorsulás. A Shogun rendszer az utolsó ét tábla esetében nem adott eredményt belátható id n belül. Látható, hogy az igen gyenge, alsóategóriás HD5470 megfelel méret 27

29 Méret SMO-MKL HD5470 HD5850 Shogun HD5470 HD5850 (s) (s) (s) (s) gyorsulás gyorsulás x 0.57x x 0.79x x 1.01x x 1.48x x 2.26x x 9.53x x 15.18x x 22.72x x 29.70x 4. táblázat. Mérési eredménye Adatbázis Shogun HD5850 HD5850 (s) HD5850-λ HD5850-λ (s) a1a 84.00% 83.12% % 1.59 a2a 84.06% 82.63% % 2.34 a3a 83.41% 82.51% % 2.96 a4a 83.58% 82.95% % 4.26 a5a 83.49% 82.75% % 6.15 a6a 83.23% 82.69% % a7a 83.65% 82.74% % a8a % % a9a % % táblázat. Tanulási id és lassziációs pontosság, változásu a λ paraméter módosításával. adatora ötször gyorsabb volt, mint az SMO-MKL, a özépategóriát épvisel HD5850 harmincszoros gyorsulást hozott. E három módszer ugyanahhoz a megoldáshoz onvergált, míg a Shogun issé eltér en osztotta i a ernel súlyoat. A legnagyobb súlyt mindenhol a 2. RBF ernel apta, legalacsonyabbat a lineáris. A Shogun az 1. RBF ernelne özel aora súlyt adott, mint a 2.-na, míg a többi módszer a polinomiálist részesítette el nyben. A lassziáció pontosságát a 5. táblázatban írju le. A pontosság csöenéséne oa nagy valószín séggel a λ paraméter önényes megválasztása, ahogy azzal az SMO-MKL alotói is szembesülte [10]. Mivel ezzel apcsolatban semmilyen információ nem áll rendelezésre, itt javasolun egy tapasztalati úton származtatott összefüggést a paraméter belövésére. Hangsúlyozzu, hogy a probléma még özel sincs megoldva, mindenépp 28

30 7. ábra. Tanulási id az adatponto számána függvényében további vizsgálato szüségese. A javasolt összefüggés: e2 λ =, (24) lln() ahol a ernele száma, l pedig a ernele mérete. Az így számolt paraméterrel nem csa a pontosság emeledett, hanem az algoritmus is lényegesen gyorsabban onvergált (5. táblázat, 7. ábra). Egyosztályos MKL esetén hasonló gyorsulást és pontosságot mértün, így ezeet az adatoat ülön nem özöljü. Fontos azonban megvizsgálni, hogyan sálázódi a módszer a ernele számána emelésével. Enne méréséhez a legnagyobb méret tanuló adathalmazt és 2-10 ülönböz típusú és paraméterezés ernelt használtun. A 8. ábrán látszi, hogy a özleményene megfelel en a ernele száma és a futási id özött lineáris az összefüggés [10] CPU alapú implementáció Bár az OpenCL eretrendszer lehet vé teszi, hogy a ódot CPU-n futtassu, a GPU-ra történ optimalizáció miatt ez lassabb, mint a natív szevenciális ód. Így a ifejezetten is méret tanuló adatmátrixohoz, illetve a nagy számításigény permutációs tesztehez fejlesztettün egy CPU-s implementációt is. El bbi esetben a GPU inicializálása dominálná a számítási id t, ami 29

31 8. ábra. Sálázódás a ernele számával lassú, és az er forráso felesleges pazarlásával járna; utóbbi esetben célun a grid-alapú futtatás volt. Mivel az egyes permutáció függetlene egymástól, az algoritmust lehet nagy példányszámban, párhuzamosan futtatni grid rendszereen Kiteintés, fejlesztési irányo Rövid távú céljain özé tartozi a módszer hatéonyságána további foozása, els sorban a GPU jobb ihasználásán, valamint a lambda paraméter szerepéne mélyebb megértésén eresztül. A proladato szerint a futási id legnagyobb részét a ernel oszlopo iszámítása épviseli, azon belül is az adato memóriában való elérése a sz eresztmetszet. Egy-egy oszlop iszámításához átlagosan 0,18 ms szüséges a HD5850 típusú ártyán, az legnagyobb Adult táblát használva. Ezalatt összesen 4 ( ) byte adatot ell átvinni, az eetív sávszélesség tehát 84,24 GB/s-na adódi. Ez 65,8%-a az elméleti maximum 128 GB/s-na világos, hogy e téren van még hova fejl dni. Jelenleg ísérlete folyna az OpenCL függvénye további optimalizálására. El reszámolt ernele esetén tervezzü az aszinron memóriatranszfere beépítését (DMA), amint az AMD OpenCL implementációja erre lehet séget ad. Hosszabb távú célun a rendszer iterjesztése Lp-normalizációra tetsz leges p-érté mellett, amellyel rita és s r ernelombinációat egyaránt lehet tanulni; ez alalmas lehet a ernele el sz résére, so hasonló özül a legmegfelel bb iválasztására, illetve hierarchiá építésére. 30

32 4. Példá a módszer alalmazására Implementáción lehetséges alalmazásaina száma igen nagy, a spamsz rést l ezdve az beszéd- és arcfelismerésig, a játéo mesterséges intelligenciájától az orvosi döntéstámogatáson át a pénzügyi-gazdasági problémáig. A fejezet ét lehetséges felhasználást mutat be a genomia és a farmaológia területér l. Mindét esetben a övetez érdésre eressü a választ: hogyan lehet heterogén információforráso alapján, ismert entitásohoz további relevánsaat találni, illetve az egyes forráso meora szerepet játszana ebben? Azaz például: hogyan lehet egy adott indiációhoz olyan gyógyszereet találni, amelyeet eddig ott nem alalmazta, de más területen már beválta? A hatóanyago melyi leírása alapján gondolhatju, hogy sierese lehetne az új indiációban is? Azt találtam, hogy a utatott gén szerepet játszi a leuémia patogenezisében, milyen további géneet érdemes megvizsgálni? Világos, hogy ha a fenti érdésere válaszoat apun, azzal rengeteg id t és pénzt spórolhatun meg; a gyógyszeripar jelenlegi helyzetét teintve az els esetben millió dollár, és csanem 5 évnyi toxiológiai-biztonságossági vizsgálat elerülése a tét [23] Adatbáziso, ernele származtatása Egy orábbi munánban már foglaloztun a gyógyszer-újrapozicionálás, azaz az új indiációban való alalmazás lehet ségéne érdésörével [24, 25]. Ebben minden hatóanyaghoz el állítottun három leírást (émiai, melléhatásprol, szövegbányászati), majd egy özös logisztius regressziós modell alapján próbáltu megjósolni, hogy van-e a gyógyszerene özös célfehérjéje. Most az ett l eltér MKL megözelítést vizsgálju. Az információforráso, és a ernele számítása során felhasznált hasonlóságmértée: Kémiai ernel: MACCS leíró és Tanimoto-hasonlóság. Melléhatásprol alapú ernele: Melléhatás frevencia adato az online elérhet SIDER adatbázisból [26], cos-hasonlóság. A Dailymed betegtájéoztatóiból ivonatolt placebo-ontrollált melléhatásvizsgálato [27] alapján észült leírás és cos-hasonlóság. Melléhatáso bináris el fordulása a betegtájéoztató megfelel szeciójában, tf-idf súlyozás, cos-hasonlóság. PubMed o-ourencia alapú ernel: Melléhatáso és hatóanyago említése PubMed absztratoban, ölcsönös információ származtatása és cos-hasonlóság. 31