Babeş Bolyai Tudományegyetem, Kolozsvár Matematika és Informatika Kar Magyar Matematika és Informatika Intézet

Hasonló dokumentumok
Hash-alapú keresések

VIK A2 Matematika - BOSCH, Hatvan, 3. Gyakorlati anyag. Mátrix rangja

Vektorterek. =a gyakorlatokon megoldásra ajánlott

Keresés képi jellemzők alapján. Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék

Gépi tanulás. Féligellenőrzött tanulás. Pataki Béla (Bolgár Bence)

1. Házi feladat. Határidő: I. Legyen f : R R, f(x) = x 2, valamint. d : R + 0 R+ 0

Lin.Alg.Zh.1 feladatok

Regresszió. Csorba János. Nagyméretű adathalmazok kezelése március 31.

Miért fontos számunkra az előző gyakorlaton tárgyalt lineáris algebrai ismeretek

Gépi tanulás a gyakorlatban. Kiértékelés és Klaszterezés

Közösség detektálás gráfokban

Számítógépes képelemzés 7. előadás. Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék

Összeállította: dr. Leitold Adrien egyetemi docens

Lin.Alg.Zh.1 feladatok

Feladatok a Gazdasági matematika II. tárgy gyakorlataihoz

Norma Determináns, inverz Kondíciószám Direkt és inverz hibák Lin. egyenletrendszerek A Gauss-módszer. Lineáris algebra numerikus módszerei

Skalárszorzat, norma, szög, távolság. Dr. Takách Géza NyME FMK Informatikai Intézet takach/ 2005.

Kvadratikus alakok és euklideszi terek (előadásvázlat, október 5.) Maróti Miklós, Kátai-Urbán Kamilla

I. LABOR -Mesterséges neuron

FELVÉTELI VIZSGA, szeptember 12.

1. feladatsor Komplex számok

Lineáris regressziós modellek 1

Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs rendszerek Tanszék. Neurális hálók. Pataki Béla

7. Régió alapú szegmentálás

Gyakorló feladatok adatbányászati technikák tantárgyhoz

Mesterséges Intelligencia. Csató Lehel. Csató Lehel. Matematika-Informatika Tanszék Babeş Bolyai Tudományegyetem, Kolozsvár 2010/2011 1/363

Bevezetés az algebrába 2 Vektor- és mátrixnorma

Összeállította: dr. Leitold Adrien egyetemi docens

Gépi tanulás a gyakorlatban. Bevezetés

Totális Unimodularitás és LP dualitás. Tapolcai János

Babeş Bolyai Tudományegyetem, Matematika és Informatika Kar. szinte minden tudományterületen találkozhatunk. A sok fontos alkalmazás közül itt

17. előadás: Vektorok a térben

Matematika (mesterképzés)

GROVER-algoritmus. Sinkovicz Péter. ELTE, MSc II dec.15.

Megoldások. ξ jelölje az első meghibásodásig eltelt időt. Akkor ξ N(6, 4; 2, 3) normális eloszlású P (ξ

Gyakorló feladatok I.

Nagy Gábor compalg.inf.elte.hu/ nagy

Numerikus módszerek 1.

LINEÁRIS ALGEBRA. matematika alapszak. Euklideszi terek. SZTE Bolyai Intézet, őszi félév. Euklideszi terek LINEÁRIS ALGEBRA 1 / 40

Gépi tanulás Gregorics Tibor Mesterséges intelligencia

Kódverifikáció gépi tanulással

Gépi tanulás a gyakorlatban SVM

9. gyakorlat Lineáris egyenletrendszerek megoldási módszerei folyt. Néhány kiegészítés a Gauss- és a Gauss Jordan-eliminációhoz

Hibajavító kódolás (előadásvázlat, november 14.) Maróti Miklós

Saj at ert ek-probl em ak febru ar 26.

Diszkrét matematika 2.C szakirány

Dinamikus modellek szerkezete, SDG modellek

Vektorok, mátrixok, lineáris egyenletrendszerek

"Flat" rendszerek. definíciók, példák, alkalmazások

Számelméleti alapfogalmak

Gauss-Jordan módszer Legkisebb négyzetek módszere, egyenes LNM, polinom LNM, függvény. Lineáris algebra numerikus módszerei

Társadalmi és gazdasági hálózatok modellezése

Klaszterezés. Kovács Máté március 22. BME. Kovács Máté (BME) Klaszterezés március / 37

Konjugált gradiens módszer

A PiFast program használata. Nagy Lajos

1. feladatsor: Vektorterek, lineáris kombináció, mátrixok, determináns (megoldás)

Gauss elimináció, LU felbontás

1. Generátorrendszer. Házi feladat (fizikából tudjuk) Ha v és w nem párhuzamos síkvektorok, akkor generátorrendszert alkotnak a sík vektorainak

Optimalizálás alapfeladata Legmeredekebb lejtő Lagrange függvény Log-barrier módszer Büntetőfüggvény módszer 2017/

Markov-láncok stacionárius eloszlása

Felügyelt önálló tanulás - Analízis III.

Testek. 16. Legyen z = 3 + 4i, w = 3 + i. Végezzük el az alábbi. a) (2 4), Z 5, b) (1, 0, 0, 1, 1) (1, 1, 1, 1, 0), Z 5 2.

Diszkrét matematika 2.C szakirány

Mátrixok 2017 Mátrixok

Lineáris leképezések. Wettl Ferenc március 9. Wettl Ferenc Lineáris leképezések március 9. 1 / 31

Alap-ötlet: Karl Friedrich Gauss ( ) valószínűségszámítási háttér: Andrej Markov ( )

Nagy Gábor compalg.inf.elte.hu/ nagy

Jelfeldolgozás. Gyakorlat: A tantermi gyakorlatokon való részvétel kötelező! Kollokvium: csak gyakorlati jeggyel!

1. Mit jelent az, hogy egy W R n részhalmaz altér?

ANALÍZIS III. ELMÉLETI KÉRDÉSEK

Adatbányászati szemelvények MapReduce környezetben

Boros Zoltán február

A lineáris programozás alapjai

1. feladatsor: Vektorfüggvények deriválása (megoldás)

Osztályozás, regresszió. Nagyméretű adathalmazok kezelése Tatai Márton

Legkisebb négyzetek módszere, Spline interpoláció

Összefonódottság detektálása tanúoperátorokkal

Klaszterezés, 2. rész

Mit látnak a robotok? Bányai Mihály Matemorfózis, 2017.

Algoritmuselmélet gyakorlat (MMN111G)

Kernel gépek vizsgálata

Kernel gépek vizsgálata

11. Előadás. 11. előadás Bevezetés a lineáris programozásba

Nemkonvex kvadratikus egyenlőtlenségrendszerek pontos dualitással

Numerikus módszerek I. zárthelyi dolgozat (2017/18. I., A. csoport) Megoldások

3. Szűrés képtérben. Kató Zoltán. Képfeldolgozás és Számítógépes Grafika tanszék SZTE (

Hajder Levente 2017/2018. II. félév

Intelligens Rendszerek Elmélete. Versengéses és önszervező tanulás neurális hálózatokban

Adaptív dinamikus szegmentálás idősorok indexeléséhez

Bevezetés az algebrába 1

MATEMATIKA EMELT SZINTŰ SZÓBELI VIZSGA TÉMAKÖREI (TÉTELEK) 2005

A szimplex algoritmus

1. Az euklideszi terek geometriája

2018/2019. Matematika 10.K

Bevezetés az algebrába 2 Lineáris algebra alkalmazásai

Pere Balázs október 20.

MATEMATIKA TANMENET SZAKKÖZÉPISKOLA 10.B OSZTÁLY HETI 4 ÓRA 37 HÉT/ ÖSSZ 148 ÓRA

Felvételi tematika INFORMATIKA

egyenletesen, és c olyan színű golyót teszünk az urnába, amilyen színűt húztunk. Bizonyítsuk

Diszkrét matematika 2.C szakirány

Átírás:

/ Babeş Bolyai Tudományegyetem, Kolozsvár Matematika és Informatika Kar Magyar Matematika és Informatika Intézet

/ Tartalom

3/ kernelek segítségével Felügyelt és félig-felügyelt tanulás felügyelt: D = {(x i, y i ) x i X R d, y i {, +}, i =,..., l}; keressük f : X {, +}-et, amely egyezik D-vel félig-felügyelt: D = {(x i, y i ) i =,..., l} {x j j = l +,..., l + u =: N}, l u; induktív: keressük f : X {, +}-et, amely egyezik D-vel + D U felhasználása transzduktív: keressük f : DU {, +}-et felhasználva a D = D L D U adatokat 4 4 0 0 4 4 6 0 5 0 6 0 5 0

Kernel a gépi tanulásban James Mercer (909): minden folytonos szimmetrikus pozitív definit kernel függvény feĺırható skalárszorzatként egy (nagydimenziós) térben kernel: k(x, z) = φ(x), φ(z) = φ(x) φ(z), feature leképezés: φ : X H alkalmazható minden geometriai konstrukció esetén, ha az szögeket, FEJEZEThosszokat 6. KERNELés MÓDSZEREK távolságokat használ 3 0.8 0.8 0.4 0.4 0. 0. 0 0 0 0 0. 0.4 0.6 (a) (a) 0.6 0.6 X X 0.8 0.8 0.6 0.6 0.4 0.4 0. 0. 0.4 0. 0.6 0.8 0 X 0.8 0 X X X 6.. ábra. Az XOR feladat bal oldali ábra és a nemlineáris vetítés, mely szeparálhatóvá teszi az adatokat jobbra. ábra. Az XOR feladat: (a) input térben, (b) másodfokú polinomiális kernel által generált térben. tól a legtávolabb van. Ez összekapcsolható a.4. fejezetben említett regularizáció módszerével, ugyanis ez a hipersík a legstabilabb a lehetséges hipersíkok közül. A X X (b) (b) 4/

5/ Gyakran használt kernelek: lineáris: polynomiális: k(x, z) = x z k(x, z) = (ax z + b) c Gauss-féle, RBF: ) x z k(x, z) = exp ( σ szigmoid: k(x, z) = tanh(ax z + r)

6/ Félig-felügyelt kernelek Adatfüggő (data-dependent) kernelek hagyományos kernelek: D D adathalmazok esetén, x, z D D k(x, z) = k(x, z) adatfüggő kernelek: D D adathalmazok esetén, x, z D D k(x, z; D ) k(x, z; D ) ahol -et nem feltétlenül egyenlő -ként olvassuk felügyelt tanulás + adatfüggő kernelek = félig-felügyelt tanulás

B Klaszter-kernelek klaszter feltevés (cluster assumption): ha két Σ pont ugyanabban a klaszterben van, nagy valószínűséggel ugyanabba az osztályba is tartoznak A B (= ua. a címkéjük) hierarchikus klaszter-kernel: használjuk a hierarchikus klaszterezésből származó távolságokat (single, complete, average linkage) hasznos tulajdonság: ultrametrikus C3 távolságmátrixot C C eredményez az adatokon 5 3 3 A B C D E Tétel [Fischer, 003] A B C D E Adott ultrametrikus M esetén a Mc = JMJ mátrix egy Gram-mátrix lesz, amely a z i, i =,,..., N vektorok skalárszorzatait tartalmazza, melyek euklideszi távolságai az M-ben vannak (J = I (/N) ). az algoritmus: (i) pontok hierarchikus klaszterezése, (ii) M ij = linkage távolság az eredő ultrametikus fában a legközelebbi közös felmenőnél, M ii = 0. 7/

8/ átsúlyozó klaszter-kernelek: kernel kombinációk: K + K, a K, K K átsúlyozó klaszter-kernel: K = K rw K b, ahol K b = alap kernel (pl. Gauss, polinomiális stb.) K rw = átsúlyozó kernel Gauss-féle átsúlyozó kernel: k rw(x, z) = exp ( ) σ U x U z skalárszorzat alapú átsúlyozó kernelek: K rw = U U + α, α [0, ) K rw = β U U +, β (0, ) ahol U a K N méretű klaszter hovatartozási mátrix (oszlopokban) probléma: általánosítás közeĺıtő

9/ Legközelebbi szomszédok gyors keresése Legközelebbi szomszédok keresése pozitív definit kernelekkel egyenlőtlenségek: d (x, z) k(x, x) + k(z, z) k(x, x)k(z, z) d (x, z) k(z, z) k(x, x) tároljuk a maximális dmax távolságot, és mindig megnézzük, hogy pl. k(z, z) k(x, x) d max a számítások akár 50%-át megtakaríthatjuk y 6 3 9 5 0000 000......, 3, 6,... 4, 7, 8,......... 8 0000, 5, 9,... 4 x z 7. ábra. Locality-sensitive hashing

Hashing Locality-sensitive hashing véletlen hipersíkokkal Hamming-távolság hatékonyan kiszámítható: n d H (u, v) = (u XOR v) i= a k darab hash függvényünk legyen {, r h i (u) = i u 0 0, r i u < 0, i =,,..., k, r Rd véletlen vektor egy x ponthoz rendelt bináris hash szekvencia ekkor: θ(u, v) P(h r (u) = h r (v)) = π [h (x), h (x),..., h k (x)] v r u Helyérzékeny hasítás/hashelés 0/

/ Hash kulcsok kiterjesztése címkézett adatok segítségével feltételezzük, hogy vannak címkézett pontjaink (minden osztályból) valamilyen hashing módszerrel előálĺıtott bináris kulcsok + hibajavító kódok segítségével tanított félig-felügyelt (ECOC) ECOC: kódmátrix: M = M (osztályok száma c) minden oszlopára betanítunk egy félig-felügyelt modellt kimenet: fi (x) = a FF módszer kimenete, i =,..., c kiterjesztett kulcsok: [h (x),..., h k (x), f (x),..., f c (x)] }{{} kiterjesztés

/ Köszönöm a figyelmet!