Az R statisztikai programozási környezet: az adatgyűjtéstől a feldolgozáson és vizualizáción át a dinamikus jelentéskészítésig

Átírás

1 : az adatgyűjtéstől a feldolgozáson és vizualizáción át a dinamikus jelentéskészítésig Ferenci Tamás ferenci.tamas@nik.uni-obuda.hu február 23.

2 Tartalom Az R mint programozási nyelv A könyvtárakról általában Lattice rms

5 Adattípusok Semmi meglepetés, van: Logikai Sztring (R szóhasználat: character) Szám (ebben flexibilis, nem kell ennél pontosabban megadni) Ami kicsit statisztikusabb: Kategoriális (R szóhasználat: factor, ordered és unordered) Dátum, idősor és egyéb egzotikumok Bármelyik lehet missing value (NA), ez nagyon jól kezelt

6 Adatstruktúrák Egydimenziós, homogén: vektor Kétdimenziós (szigorúan téglalap!), homogén: mátrix Egydimenziós, heterogén: lista Kétdimenziós (szigorúan téglalap!), heterogén: adatkeret (data frame)

7 Például 1 data ( b i r t h w t ) 2 head ( b i r t h w t ) low age lwt race smoke ptl ht ui ftv bwt black other white white white other

8 Például 1 s t r ( b i r t h w t ) data.frame : 189 obs. of 10 variables: $ low : int $ age : int $ lwt : int $ race : Factor w/ 3 levels "white","black",..: $ smoke: int $ ptl : int $ ht : int $ ui : int $ ftv : int $ bwt : int

10 Programszervezés Van: Változó, értékadás, függvény-fogalom Lehet objektum-orientáltnak is lenni... de csak ha nagyon akar az ember Elágazás Ciklus... de nem szeretjük! R-ben szinte minden, amihez ciklus kell, megoldható anélkül is (és jobb is úgy!)

16 Adatimport- és export Szinte minden formátumból tudunk olvasni, és írni Webes dolgok is jól működnek (XML, JSON stb. is)

17 Adatmanipuláció Indexelés (logikai vektorral, pozíciókkal, névvel; valamint mindez negálható is) Összefűzés (oszlop és sor szerint, illetve vektorok egymás mögé) Mintázatgenerálás Már így is elég erőteljes, de a data.table-lel igazán elképesztő

18 Alapvető adatfeldolgozás Alapvető aritmetika (számokkal és vektorokkal, valamint mátrix-műveletek) Nem-is-annyira-alapvető matematikai műveletek (mátrix spektrálfelbontása, lineáris egyenletrendszerek megoldása stb. mint egy-egy sor) Alapvető sztring-műveletek (hossz, rész-sztring kivágás, reguláris kifejezésekkel keresés stb.)

19 Konzisztens terminológia Egy modell (lásd később, hogy micsoda, most csak a szintaxis a lényeg): 1 lm ( b i r t h w t $bwt ~ b i r t h w t $ l w t + b i r t h w t $smoke ) Ráadásul csak a fekete anyák körében: 1 lm ( b i r t h w t $bwt [ b i r t h w t $ r a c e==" b l a c k " ] ~ b i r t h w t $ l w t [ b i r t h w t $ r a c e ==" b l a c k " ] + b i r t h w t $smoke [ b i r t h w t $ r a c e==" b l a c k " ] ) Ez azonban ugyanaz mint: 1 lm ( bwt ~ l w t + smoke, data = b i r t h w t, s u b s e t = r a c e==" b l a c k " )

23 Funkcionális programozás az R-ben Valamilyen szinte persze minden multi-paradigm De az R-hez érezhetően nagyon passzol a funkcionális paradigma Függvény átadható gátlástalanul függvénynek paraméterként Függvény alkalmazható listára Nagyon erőteljes tud lenni

29 Statisztikai funkciók az R-ben 19 eloszlást ismer (mindegyikre sűrűség-, eloszlás- és kvantilis-függvény, valamint véletlenszám-generálás, egységes terminológiával) Deskriptív statisztika (analitikus mutatók): átlag, medián, szórás, IQR, MAD, tartomány,... Kereszttábla Vizualizáció: hisztogram, magfüggvényes sűrűségbecslése, boxplot, szóródási diagram, QQ-ábra,... Induktív statisztika: számos becslés és hipotézisvizsgálat beépítve

30 Egydimenziós deskriptív statisztika (analitikus mutatók) 1 mean ( b i r t h w t $bwt ) [1] median ( b i r t h w t $bwt ) [1] sd ( b i r t h w t $bwt ) [1]

33 Egydimenziós adatvizualizáció 1 h i s t ( b i r t h w t $bwt ) Histogram of birthwt$bwt Frequency birthwt$bwt

34 Kis kitérő: minden testreszabható (És nagyon konzisztens terminológiával) 1 h i s t ( b i r t h w t $bwt, b r e a k s = seq ( 500, 5500, 750 ), x l a b = " Szü l e t é s i t ömeg [ g ] ", main = "Ú j s z ü l ö t t e k s z ü l e t é s i t ömegé nek e l o s z l á sa ", y l a b = " G y a k o r i s ág [ f ő ] ", c o l = " b l u e ", b o r d e r = " r e d " ) Újszülöttek születési tömegének eloszlása Gyakoriság [fő] Születési tömeg [g]

35 Egydimenziós adatvizualizáció 1 b o x p l o t ( b i r t h w t $bwt )

36 Egydimenziós adatvizualizáció 1 p l o t ( d e n s i t y ( b i r t h w t $bwt ) ) density.default(x = birthwt$bwt) Density 0e+00 1e-04 2e-04 3e-04 4e-04 5e N = 189 Bandwidth = 230

37 Kétdimenziós deskriptív statisztika (analitikus mutatók) 1 t a b l e ( b i r t h w t $ race, b i r t h w t $ ht ) 0 1 white 91 5 black 23 3 other 63 4

38 Kétdimenziós deskriptív statisztika (analitikus mutatók) 1 prop. t a b l e ( t a b l e ( b i r t h w t $ race, b i r t h w t $ ht ), 1 ) 0 1 white black other

39 Kétdimenziós adatvizualizáció 1 p l o t ( b i r t h w t $bwt, b i r t h w t $ l w t ) birthwt$lwt birthwt$bwt

40 Kétdimenziós adatvizualizáció 1 b o x p l o t ( bwt ~ race, data = b i r t h w t ) white black other

41 Induktív statisztika 1 t. t e s t ( low ~ smoke, data = b i r t h w t ) Welch Two Sample t-test data: low by smoke t = , df = , p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean in group 0 mean in group

42 Induktív statisztika 1? t. t e s t x a (non-empty) numeric vector of data values. y an optional (non-empty) numeric vector of data values. alternative a character string specifying the alternative hypothesis, must be one of "two.sided" (default), "greater" or "less". You can specify just the initial letter. mu a number indicating the true value of the mean (or difference in means if you are performing a two sample test). paired a logical indicating whether you want a paired t-test. var.equal a logical variable indicating whether to treat the two variances as being equal. If TRUE then the pooled variance is used to estimate the variance otherwise the Welch (or Satterthwaite) approximation to the degrees of freedom is used. conf.level confidence level of the interval. és így tovább...

43 Statisztikai modellek az R-ben Számos beépített modell (lineáris modell, általánosított lineáris modell, így logisztikus regresszió és Poisson-regresszió is), például: 1 f i t < lm ( bwt ~ l w t + r a c e + age + smoke, data = b i r t h w t )

44 Praktikus elemzések automatikusan 1 f i t Call: lm(formula = bwt ~ lwt + race + age + smoke, data = birthwt) Coefficients: (Intercept) lwt raceblack raceother age smoke

45 Praktikus elemzések automatikusan 1 summary ( f i t ) Call: lm(formula = bwt ~ lwt + race + age + smoke, data = birthwt) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-16 *** lwt * raceblack ** raceother ** age smoke *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 183 degrees of freedom Multiple R-squared: ,Adjusted R-squared: F-statistic: on 5 and 183 DF, p-value: 1.758e-05

46 Praktikus elemzések automatikusan 1 par ( mfrow = c ( 2, 2 ) ) 2 p l o t ( f i t ) Residuals vs Fitted Normal Q-Q Residuals Standardized residuals Fitted values Theoretical Quantiles Standardized residuals Scale-Location Standardized residuals Residuals vs Leverage Cook's distance Fitted values Leverage

47 A könyvtárakról általában Lattice rms Tartalom Az R mint programozási nyelv A könyvtárakról általában Lattice rms

49 A könyvtárakról általában Lattice rms Az R-könyvtárak A mai nap (!!!) hivatalos könyvtár érthető el (Nyílt forráskód előnye, annak előnye, hogy sokan használják... ) Központi, hivatalos repozitórium (CRAN) Pezsgő élet a Github-on

51 A könyvtárakról általában Lattice rms Adatvizualizáció szépen és tisztán 1 p l o t ( b i r t h w t $bwt, b i r t h w t $ l w t ) birthwt$lwt birthwt$bwt

52 A könyvtárakról általában Lattice rms Adatvizualizáció szépen és tisztán 1 x y p l o t ( l w t ~ bwt, data = b i r t h w t ) lwt bwt

53 A könyvtárakról általában Lattice rms Adatvizualizáció szépen és tisztán 1 x y p l o t ( l w t ~ bwt, data = b i r t h w t, g r o u p s = race, auto. key = l i s t ( columns = 3 ) ) white black other lwt bwt

54 A könyvtárakról általában Lattice rms Adatvizualizáció szépen és tisztán 1 x y p l o t ( l w t ~ bwt race, data = b i r t h w t, l a y o u t = c ( 3, 1 ) ) white black other lwt bwt

55 A könyvtárakról általában Lattice rms Adatvizualizáció szépen és tisztán 1 x y p l o t ( l w t ~ bwt, data = b i r t h w t, t y p e = c ( " p ", " smooth " ) ) lwt bwt

56 A könyvtárakról általában Lattice rms Adatvizualizáció szépen és tisztán 1 x y p l o t ( l w t ~ bwt, data = b i r t h w t, p a n e l = f u n c t i o n (... ) { 2 p a n e l. x y p l o t (... ) 3 p a n e l. smoother (... ) 4 } ) lwt bwt

58 A könyvtárakról általában Lattice rms Regressziós modellezés a teljes folyamat átfogva 1 f i t < lm ( bwt ~ l w t + r a c e + age + smoke, data = b i r t h w t ) 2 summary ( f i t ) Call: lm(formula = bwt ~ lwt + race + age + smoke, data = birthwt) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-16 *** lwt * raceblack ** raceother ** age smoke *** --- Signif. codes: 0 *** ** 0.01 * Residual standard error: on 183 degrees of freedom Multiple R-squared: ,Adjusted R-squared: F-statistic: on 5 and 183 DF, p-value: 1.758e-05

59 A könyvtárakról általában Lattice rms Regressziós modellezés a teljes folyamat átfogva 1 f i t < o l s ( bwt ~ lwt + r a c e + age + smoke, data = birthwt, x = TRUE, y = TRUE ) 2 f i t Linear Regression Model ols(formula = bwt ~ lwt + race + age + smoke, data = birthwt) Model Likelihood Discrimination Ratio Test Indexes Obs 189 LR chi R sigma d.f. 5 R2 adj d.f. 183 Pr(> chi2) g Residuals Min 1Q Median 3Q Max Coef S.E. t Pr(> t ) Intercept < lwt race=black race=other age smoke

60 A könyvtárakról általában Lattice rms Regressziós modellezés a teljes folyamat átfogva 1 p l o t ( summary ( f i t ), pch = 19 ) lwt - 140:110 bwt age - 26:19 smoke - 1:0 race - black:white race - other:white

61 A könyvtárakról általában Lattice rms Regressziós modellezés a teljes folyamat átfogva 1 p < p e n t r a c e ( f i t, seq ( 0, 100, 0. 1 ) ) 2 p l o t ( p ) 3 f i t < update ( f i t, p e n a l t y = p$ p e n a l t y ) Information Criterion (c 2 scale) Penalty Solid: AIC_c Dotted: AIC Dashed: BIC

62 A könyvtárakról általában Lattice rms Regressziós modellezés a teljes folyamat átfogva 1 f i t < o l s ( bwt ~ l w t + r a c e + r c s ( age ) + smoke, data = b i r t h w t, x = TRUE, y = TRUE ) 2 p l o t ( P r e d i c t ( f i t ), anova = anova ( f i t ), p v a l = TRUE ) race F 2,180 = 8.2 P < smoke F 1,180 = 12 P < bwt white black other age lwt F 4,180 = 1.6 P = F 1,180 = 5.4 P =

63 A könyvtárakról általában Lattice rms Regressziós modellezés a teljes folyamat átfogva 1 p l o t ( c a l i b r a t e ( f i t ) ) Observed bwt Apparent Bias-corrected Ideal B= 40 repetitions, boot Predicted bwt Mean absolute error= n=189

65 A Nemzeti Rákregiszter adatainak feldolgozása