Gépi tanulás a gyakorlatban SVM

Átírás

1 Gépi tanulás a gyakorlatban SVM

2 Klasszifikáció Feladat: előre meghatározott csoportok elkülönítése egymástól Osztályokat elkülönítő felület Osztályokhoz rendelt döntési függvények

3 Klasszifikáció Feladat: előre meghatározott csoportok elkülönítése egymástól Osztályokat elkülönítő felület Osztályokhoz rendelt döntési függvények

4 Lineáris klasszifikáció Feladat: lineáris diszkriminancia függvény meghatározása

5 Lineáris klasszifikáció Feladat: lineáris diszkriminancia függvény meghatározása szeparáló hipersík w

6 Lineáris klasszifikáció Feladat: lineáris diszkriminancia függvény meghatározása szeparáló hipersík Amelyre teljesül:,ha pozitív példa,ha negatív példa w

7 Lineáris klasszifikáció Feladat: lineáris diszkriminancia függvény meghatározása szeparáló hipersík Amelyre teljesül:,ha pozitív példa,ha negatív példa w

8 Lineáris klasszifikáció Feladat: lineáris diszkriminancia függvény meghatározása szeparáló hipersík De melyiket???

9 Lineáris klasszifikáció Feladat: lineáris diszkriminancia függvény meghatározása szeparáló hipersík De melyiket??? A legjobbat SVM

10 SVM (Support Vector Machine) Melyik a legjobb??? Amelyik maximalizálja a margó méretét margó

11 SVM (Support Vector Machine) Keressük azt a egyenest amelyik maximalizálja a margó méretét. Hogyan??? Azaz keressük azt a w-t amelyre: margó Bármely i példára:,ha,ha pozitív negatív

12 SVM (Support Vector Machine) Keressük azt a egyenest amelyik maximalizálja a margó méretét. Hogyan??? Azaz keressük azt a w-t amelyre: margó Bármely i példára:,ha,ha pozitív negatív

13 SVM (Support Vector Machine) Keressük azt a egyenest amelyik maximalizálja a margó méretét. Hogyan??? Azaz keressük azt a w-t amelyre: margó Bármely i példára:,ha,ha Support Vector-ok pozitív negatív

14 SVM (Support Vector Machine) Keressük azt a egyenest amelyik maximalizálja a margó méretét. Hogyan??? Support Vector (SV): A margó egyeneseire eső példák, azaz i példa SV, ha teljesül rá margó

15 SVM (Support Vector Machine) Keressük azt a egyenest amelyik maximalizálja a margó méretét. Hogyan??? x példa w egyenestől mért (előjeles) távolsága: margó

16 SVM (Support Vector Machine) Keressük azt a egyenest amelyik maximalizálja a margó méretét. Hogyan??? x példa w egyenestől mért (előjeles) távolsága: Mivel: margó

17 SVM (Support Vector Machine) Keressük azt a egyenest amelyik maximalizálja a margó méretét. Hogyan??? Egy SV példa w egyenestől mért távolsága: margó

18 SVM (Support Vector Machine) Keressük azt a egyenest amelyik maximalizálja a margó méretét. Hogyan??? Egy SV példa w egyenestől mért távolsága: Mivel:, ha x SV margó

19 SVM (Support Vector Machine) Keressük azt a egyenest amelyik maximalizálja a margó méretét. Hogyan??? Egy SV példa w egyenestől mért távolsága: Mivel:, ha x SV Így a margó mérete: margó

20 SVM (Support Vector Machine) Tehát az SVM feladata: maximalizálni a margó, amellett hogy jól osztályozza a példákat: A margó mérete: margó

21 SVM (Support Vector Machine) Tehát az SVM feladata: maximalizálni a margó, amellett hogy jól osztályozza a példákat (nem szeparálható eset): A margó mérete: margó

22 A feladatot a primál alakban oldja meg Pegasos SVM

23 Duális SVM A primál feladat átírható duális alakra a Lagrange-multiplikátorok segítségével:

24 Duális SVM Megmutatható: teljesül minden példára, azaz vagy csak a SV-ok esetén Tehát a hipersík megadható:

25 Duális SVM A hipersík megadható: Azaz az egyenes egyenlete: Kernel trükk:

26 Duális SVM kernel trükk Ha lineárisan nem szeparálhatóak a példák, transzformáljuk őket olyan térbe ahol igen!