Szeleteljük fel úgy a tulajdonságteret, hogy az egyes szeletekbe lehetőleg egyfajta objektumok kerüljenek, de túl sok szelet se legyen.

Átírás

1 KEMOMETRIA VIII-1/27 /2013 ősz CART Classification and Regression Trees Osztályozó fák Szeleteljük fel úgy a tulajdonságteret, hogy az egyes szeletekbe lehetőleg egyfajta objektumok kerüljenek, de túl sok szelet se legyen.

2 KEMOMETRIA VIII-2/27 /2013 ősz A szeletelés (split) sorozatos és dichotómikus. Az m-dimenziós tulajdonságteret első lépésben két részre hasítjuk. A cél az, hogy az egyik szelet viszonylag legnagyobb arányban tartalmazzon egyfajta objektumot, a másik tartalmazza a maradékot.

3 KEMOMETRIA VIII-3/27 /2013 ősz Egyfajta objektum nagy arányban: kis diverzitás. Sokfajta objektum egyenletesen előfordulva: nagy diverzitás Diverzitás: valamely sokaság sokféleségének mértéke

4 KEMOMETRIA VIII-4/27 /2013 ősz A diverzitás mérése Adott G független esemény. P i : egy i-dik esemény bekövetkezésének valószínűsége. i = 1,,G P j : egy j-edik esemény bekövetkezésének valószínűsége. j = 1,,G P ij = P i.p j : az i-edik és j-edik esemény együttes bekövetkezésének valószínűsége.

5 KEMOMETRIA VIII-5/27 /2013 ősz A Gini index: G G Gini = 1 1 P i P j 1. i = j = i j 2. P n j j = = G i=1 n i n n j. Gini = 1 n 2 G G i= 1 j= 1 i j n i n j

6 KEMOMETRIA VIII-6/27 /2013 ősz A Gini indexhez P 1 P 2... P G P 1 0 P 1 P 2... P 1 P G 1 P 2 P 1 P P 2 P G P G P 1 P G P 2 P G... 0 G 1 2 G = gini

7 KEMOMETRIA VIII-7/27 /2013 ősz MATLAB eljárás: X=x*x'; summa=sum(sum(x)); numerator=summa-trace(x); GI=numerator/(sum(x)^2);

8 KEMOMETRIA VIII-8/27 /2013 ősz Diverzitás esetek Diverzitás Eset Gini Minimális Egykomponensű 0 halmaz Közbülső Közbülső eset Maximális Egyenletes fajtaeloszlás 0 < Gini < (1 1/G) 1 1/G

9 KEMOMETRIA VIII-9/27 /2013 ősz Shannon entrópia H = G j= 1 P I j j = G j= 1 P j log 2 1 P j = G j= 1 P j log 2 P j vagy H = G j= 1 n n j log 2 n n j

10 KEMOMETRIA VIII-10/27 /2013 ősz Diverzitás Shannon entrópiája Diverzitás Eset Shannon H Minimális Egykomponensű 0 halmaz Közbülső Közbülső eset Maximális Egyenletes fajtaeloszlás 0 < H <-log 2 (1/G) log 2 G

11 KEMOMETRIA VIII-11/27 /2013 ősz Gini vs, Shannon Gini index Shannon entropy

12 KEMOMETRIA VIII-12/27 /2013 ősz Példa CART osztályozásra Herbicid tulajdonságú szerves vegyületek osztályozása Retrieving worksheet from file: D:\SCANWIN\DATA\OUR_DATA\BENZYL0.MTW Worksheet was saved on 11/16/2009

13 KEMOMETRIA VIII-13/27 /2013 ősz Input Predictors: Hydrph, Stermol1, Stermol2, Stermol3 Category: category Options: Prior: Proport., Loss Unit CrossValidation CV: LOO, Splitting Criterium: Gini. Graphs: tree, assignment, model validation

14 KEMOMETRIA VIII-14/27 /2013 ősz Output Classification and Regression Trees (CART) Category Variable: Category Gini Splitting Criterion Cross-validate FK with 66 validation groups

15 KEMOMETRIA VIII-15/27 /2013 ősz Class Prior N.obj Loss matrix No-model Error Rate: No-model Risk:

16 KEMOMETRIA VIII-16/27 /2013 ősz Model Selection Itt történik meg az optimális vágás-szám megállapítása keresztellenőrzött probálgatással

17 KEMOMETRIA VIII-17/27 /2013 ősz Id Split FK range Risk Xv Risk *** Selected Tree Id:3 FK =

18 KEMOMETRIA VIII-18/27 /2013 ősz A lehetséges 9 és 3 közé eső 5 vágás optimális. 5 vágásnál legkisebb a keresztellenőrzött félreosztályozás:

19 KEMOMETRIA VIII-19/27 /2013 ősz CART Model Selection = fitted = xval 0.35 fitted / xval risk tree id

20 KEMOMETRIA VIII-20/27 /2013 ősz Classification tree contains 5 nonterminal nodes Classification Tree Hydrphob 1.67 Hydrphob 1.40 Hydrphob 1.48 Stermol Hydrphob assigned class 6 5

21 KEMOMETRIA VIII-21/27 /2013 ősz A látható szükséges logikai állítások: 4. osztály (Hydr < 1.4) vagy (1.48 < Hydr < 1.67) 5. osztály (1.40 < Hydr < 1.48) vagy (Hydr > 1.67 és Stermol2 < 3,72 ) vagy (Stermol2 > 3.72 és Hydr > 3.78) 6. osztály Stermol2 > 3.72 és 1.67 < Hydr < 3.78

22 KEMOMETRIA VIII-22/27 /2013 ősz A részletszámítások (Nonterminal nodes) Node Left Right Class Risk Variable Threshold (N.obs) (N.obs) (N.obs) Split on Split at ( 66) ( 15) (51) Hydrphob Stermol Stermol

23 KEMOMETRIA VIII-23/27 /2013 ősz ( 15) ( 8) ( 7) Hydrphob Stermol Stermol Stermol Terminal Nodes Node N.obs Prob. Ass.Class Risk Class N.obs Prob

24 KEMOMETRIA VIII-24/27 /2013 ősz Misclassification Matrix True Total Assigned classes Class

25 KEMOMETRIA VIII-25/27 /2013 ősz Error Rate:

26 KEMOMETRIA VIII-26/27 /2013 ősz CART Class Assignments CART Xvalidated Class Assignments 6 6 true class 5 true class assigned class assigned class 6

27 KEMOMETRIA VIII-27/27 /2013 ősz