A lineáris modellektől a nemlineáris kevert modellekig R-ben

Átírás

1 A lineáris modellektől a nemlineáris kevert modellekig R-ben Harnos Andrea Szent István Egyetem, Állatorvostudományi Kar Biomatematika Tanszék <Harnos.Andrea@gmail.com>

2 Tartalom Bevezetés Modellezés Az általános lineáris modell Általánosított lineáris modellek Additív modellek Kevert modellek Nemlineáris kevert modell

3 Sweave A kurzus diái Fritz Leisch s Sweave rendszerével készültek. Ebben a L A TEX és R kódok egyetlen fájlban szerkeszthetők. Egy Sweave fájlból (.Rnw kiterjesztésű általában) olyan L A TEX forrás fájl készíthető, amely tartalmazza az R inputokat, outputokat és ábrákat. Egy Sweave fájlból az R kódok automatikusan kinyerhetők.

4 A kurzus anyagához felhasznált könyvek és egyéb anyagok Brian S. Everitt, Torsten Hothorn: A Handbook of Statistical Analysis Using R (Chapman and Hall/CRC, 2006) José C. Pinheiro, Douglas M. Bates: Mixed Effects Models in S and S-PLUS (Springer, 2000) Julian J. Faraway: Extending the Linear Model with R. Generalized Linear, Mixed Effects and Nonparametric Regression Models (Chapman and Hall/CRC, 2006) Douglas M. Bates: Mixed-effects models in R. user!2006, Vienna, Austria, June 14, 2006

5 Felhasznált adatok pupa.txt mass.csv land-use.csv

6 Zerynthia polyxena

7 pupa.txt, mass.csv Az adatok egy olyan kísérletből származnak, amelyben lepkék (Zerynthia polyxena) imágóinak méret változatosságát vizsgálták. A lárvákat kísérletileg manipulált hőmérsékletű környezetben tartották. A KÍSÉRLET 1. faktor: TEMPR Fejlődő hernyók környezetének hőmérséklete hűtött szobahőmérséklet melegített 2. faktor: FOOD Táplálékellátottság limitált nem limitált A hernyók tömegét a kikeléstől a bábozódásig mérték. Referencia: J. Kis, F. Kassai, L. Peregovits (nem közölt adatok)

8 Változók BOX a dobozok azonosítója, amelyben a hernyókat tartották FOOD Táplálékellátottság limited limitált adlibitum nem limitált TEMPR A fejlődő hernyók környezetének hőmérséklete cooled hűtött room szobahőmérsékletű heated melegített PUPAMASS bábtömeg (g) 1 héttel a bábozódás után STARTMASS kezdeti tömeg (g)

9 Lepkebáb adatok > pupa[1:5, ] BOX FOOD TEMPR PUPAMASS STARTMASS limited cooled limited cooled limited cooled limited cooled limited cooled > str(pupa) data.frame : 58 obs. of 5 variables: $ BOX : int $ FOOD : Factor w/ 2 levels "adlibitum","limited": $ TEMPR : Factor w/ 3 levels "cooled","heated",..: $ PUPAMASS : num $ STARTMASS: num

10 land-use.csv Az adatok egy olyan kutatásból származnak, melyben a mezőgazdaság intenzifikációjának őszi gabona növényekre való hatását vizsgálták a Nagy-Alföldön, szikes talajú területeken. 5 gazda, illetve szövetkezet különböző intenzifikációval kezelt földjeit vizsgálták. 7 földhasználati intenzitás kategóriát állapítottak meg a felhasznált szerves- és műtrágya valamint növényvédő szer mennyisége alapján (kérdőíves felmérés a vizsgálatok előtt).

11 land-use.csv 3 őszi gabona földet vizsgáltak minden intenzitás szintből. Minden területen kijelöltek db 5 1 m-es egymástól 5 m-re egy vonalba eső kvadrátból álló transzektet, egyet a terület szélén, a másikat pedig 50 m-rel beljebb. Ezzel az elrendezéssel figyelembe vehető a lokális térbeli heterogenitás, ami nagyban meghatározza a biodiverzitási mintázatot. Referencia: Anikó Kovács, Péter Batáry, András Báldi, Andrea Harnos: Weed species richness and cover along an intensification gradient in Central-Hungarian cereal fields (a Weed Research-be beküldve)

12 Extenzíven használt gabonaföld

13 Extenzíven használt gabonaföld széle

14 Intenzíven használt gabonaföld

15 Intenzíven használt gabonaföld széle

16 Egy elemzés lépései A probléma hátterének megértése. Kérdésfeltevés. Elemző módszerek kiválasztása (adatgyűjtés előtt!) Adatgyűjtés. Az adatok elemezhető formába hozása! Exploratív elemzések (leíró statisztikák, grafikonok). A fő elemzés (modellezés). Interpretáció. Az eredmények közlése.

17 Milyen egy jó modell? Tisztáznia kell a dolgokat és nem összezavarni. Parszimóniára kell törekednie. Things should be made as simple as possible - but no simpler. A. Einstein Általánosítható. az eredményeknek nemcsak a mintánkra kell érvényesnek lennie, hanem arra a statisztikai populációra is, amelyből a megfigyeléseink származnak.

18 A modellezés folyamata Kiinduló modell illesztése. A modell redukálása. Modellellenőrzés. Modell megváltoztatása, ha szükséges. Új modell illesztése. Modellredukció. Modellellenőrzés....

19 Az általános lineáris modell General Linear Model Egy cél-, vagy függő változó (outcome, response) egyéb változóktól (effects) való függését vizsgáljuk. Az általános lineáris modell speciális esetei: Egyszerű Lineáris Regresszió Simple Linear Regression; ANOVA; ANCOVA; stb.

20 A modell általános felírása A lineáris modell: Y = β 0 + β 1 X 1 + β 2 X β p X p + ɛ, Vagy mátrix egyenlet formájában: Y = Xβ + ɛ, ahol Y célváltozó, β 0 intercept vagy konstans, β i ismeretlen paraméterek, X 1,..., X p magyarázó változók (prediktorok), lehetnek folytonosak (kovariánsok) vagy kvalitatív (faktor) változók. Indikátor (dummy) változók. ɛ A megfigyelt értékeknek és a modell szisztematikus részének a különbsége (mérési hiba vagy nem magyarázott hatás).

21 A modell praktikus alakja PUPAMASS = β 0 +β 1 STARTMASS+β 2 1 (TEMPR=high) + + β 3 1 (TEMPR=room) + ɛ β 4 1 (TEMPR=cooled) hiányzik (túlparaméterezettség) Wilkinson-Rogers formula: PUPAMASS = STARTMASS + TEMPR, ahol a TEMPR egy factor.

22 Modell formulák R-ben Általános forma: y tényező1+tényező2+... Interakció a:b, a*b=a+b+a:b Speciális tagok: offset, -1 (nincs konstans) Példák: y x y x1+x2+x3 y f1 y f1 f2 y f1 x - Egyszerű Lineáris Regresszió - Többszörös Lineáris Regresszió - Egytényezős ANOVA - Kéttényezős ANOVA interakcióval - ANCOVA

23 Lepkebáb adatok > pupa[1:5, ] BOX FOOD TEMPR PUPAMASS STARTMASS limited cooled limited cooled limited cooled limited cooled limited cooled > str(pupa) data.frame : 58 obs. of 5 variables: $ BOX : int $ FOOD : Factor w/ 2 levels "adlibitum","limited": $ TEMPR : Factor w/ 3 levels "cooled","heated",..: $ PUPAMASS : num $ STARTMASS: num

24 Változók BOX a dobozok azonosítója, amelyben a hernyókat tartották FOOD Táplálékellátottság limited limitált adlibitum nem limitált TEMPR A fejlődő hernyók környezetének hőmérséklete cooled hűtött room szobahőmérsékletű heated melegített PUPAMASS bábtömeg (g) 1 héttel a bábozódás után STARTMASS kezdeti tömeg (g)

25 Exploratív elemzések 1. lépés: Adatok leíró statisztikái és grafikonjai. Numerikus áttekintés: > summary(pupa) BOX FOOD TEMPR PUPAMASS Min. : 39.0 adlibitum:32 cooled:19 Min. : st Qu.: limited :26 heated:22 1st Qu.: Median : room :17 Median : Mean : Mean : rd Qu.: rd Qu.: Max. : Max. : STARTMASS Min. : st Qu.: Median : Mean : rd Qu.: Max. :

26 Grafikus sűrűségfüggvény becslések Hisztogram: durva becslés - érzékeny az osztályintervallumok megválasztására. Kernel sűrűség becslés: jobb. Simított hisztogram.

27 Hisztogram >hist(pupamass,main="bábtömeg egy héttel a bábozódás után",xlab="tömeg (g)") Bábtömeg egy héttel a bábozódás után 15 Frequency Tömeg (g)

28 Simított hisztogram >plot(density(pupamass),main="bábtömeg egy héttel a bábozódás után"); rug(pupamass) Bábtömeg egy héttel a bábozódás után Density N = 58 Bandwidth =

29 Boxplotok Kvalitatív és kvantitatv változók kapcsolata. Faktor kombinációk is lehetnek a vízszintes tengelyen. Különbségek és interakciók becslése.

30 Boxplot >boxplot(pupamass (TEMPR:FOOD),col=2:4, names=c("ca","ha","ra","cl","hl","rl")) CA HA RA CL HL RL

31 Hegedűábra vioplot(pupamass[food=="adlibitum"], PUPAMASS[FOOD=="limited"], col="white", names=c("ad libitum", "limited")) ad libitum limited

32 Interakciós ábra A célváltozó különböző faktor kombinációk szerinti átlagait ill. más leíró statisztikáit rajzolja ki így ábrázolva a lehetséges interakciókat (nem additív hatásokat). Ha a vonalak többé-kevésbé párhuzamosak, akkor nem várunk interakciót.

33 Interakciós ábra >interaction.plot(tempr,food,pupamass) mean of PUPAMASS FOOD adlibitum limited cooled heated room TEMPR

34 Szórásdiagram >plot(pupamass STARTMASS,main="PUPAMASS-STARTMASS Szórásdiagram", xlab="startmass",ylab="pupamass",pch=".") PUPAMASS STARTMASS Szórásdiagram STARTMASS PUPAMASS

35 Feltételes szórásdiagram >coplot(pupamass STARTMASSTEMPR*FOOD, xlab="startmass",ylab="pupamass",pch=20) Given : TEMPR cooled heated room PUPAMASS adlibitum limited Given : FOOD STARTMASS

36 Egyszerű Lineáris Regresszió 1. modell: PUPAMASS = β 0 + β 1 STARTMASS + ɛ > mod1.lm <- lm(pupamass ~ STARTMASS) > summary(mod1.lm) Call: lm(formula = PUPAMASS ~ STARTMASS) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(>t) (Intercept) <2e-16 STARTMASS Residual standard error: on 56 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 1 and 56 DF, p-value:

37 Szórásdiagram az illesztett egyenessel >abline(mod1.lm) PUPAMASS STARTMASS szórásdiagram STARTMASS PUPAMASS

38 Kéttényezős ANOVA > mod2.lm <- lm(pupamass ~ FOOD + TEMPR) > anova(mod2.lm) Analysis of Variance Table Response: PUPAMASS Df Sum Sq Mean Sq F value Pr(>F) FOOD e-14 TEMPR Residuals

39 Kéttényezős ANOVA interakcióval > mod3.lm <- lm(pupamass ~ FOOD * TEMPR) > anova(mod3.lm) Analysis of Variance Table Response: PUPAMASS Df Sum Sq Mean Sq F value Pr(>F) FOOD e-13 TEMPR FOOD:TEMPR Residuals

40 Kéttényezős ANOVA interakcióval és kovariánssal > mod4.lm <- lm(pupamass ~ FOOD * TEMPR + STARTMASS) > anova(mod4.lm) Analysis of Variance Table Response: PUPAMASS Df Sum Sq Mean Sq F value Pr(>F) FOOD e-13 TEMPR STARTMASS FOOD:TEMPR Residuals

41 Hipotézisvizsgálatok A modell egy vagy több prediktorának szignifikanciáját állapítjuk meg. Ha a hibatagok függetlenek és normális eloszlásúak. Két beágyazott modell (a szűkebb modell magyarázó változóinak halmaza részhalmaza a bővebb modellének) összehasonlítható egy F-teszttel: anova(model1, model2).

42 Hipotézisvizsgálatok Egy általánosan végzett tesz az aktuális modell nullmodellhez való hasonlítása (nincsenek prediktorok, csak a konstans (intercept)): anova(model). (A modell egészének szignifikanciája.) Egyedi prediktorok F-próbával, vagy egy t-próbával summary(model) tesztelhetők. Kerüljük a t-tesztek használatát kettőnél több szintű kvalitatív predictorok (faktorok) esetén!

43 A modellezés céljai Predikció: Megfigyelünk új X-eket és a hozzá tartozó Y -t szeretnénk megbecsülni. A predikciós teljesítmény javul az olyan változók eltávolításáaval, amik nem nagyon játszanak szerepet. Automatikus változó szelekciók jól működhetnek. A változók közötti kapcsolat megértése. Manuális szelekció jobb. Gyakran mindkettő célunk. Nam tanácsos teljesen automatikus szelekciós módszerekre hagyatkozni.

44 Változó szelekciós módszerek I. Akaike Information Criterion (AIC) AIC = 2logLik + 2p, ahol p a paraméterek száma. Általános, normál lineáris modelleken túl is használható. A step() függvény ezt használja. Lépésenkénti keresés a lehetséges modellek terében. Szekvenciálisan távolít el (vagy vesz be) változókat. Minimalizálja az AIC-ot.

45 Változó szelekciós módszerek II. Tesztelésen alapulnak. F -teszttel hasonlítják össze a beágyazott modelleket. Nem igazán jó módszer: a beválasztott változók sorrendje nagyon számít. Rosszabb, mint a kritériumra épülő módszerek. Manuális változó szelekcióra használható. drop1(model,test="f")

46 Automatikus változó szelekció > mod5.lm <- step(mod4.lm, trace = 0) > anova(mod5.lm) Analysis of Variance Table Response: PUPAMASS Df Sum Sq Mean Sq F value Pr(>F) FOOD e-14 Residuals

47 Két modell összehasonlítása > anova(mod4.lm, mod5.lm) Analysis of Variance Table Model 1: PUPAMASS ~ FOOD * TEMPR + STARTMASS Model 2: PUPAMASS ~ FOOD Res.Df RSS Df Sum of Sq F Pr(>F) Nincs szignifikáns különbség a modellek között. Válasszuk a szűkebb modellt!

48 Manuális változó szelekció > drop1(mod4.lm, test = "F") Single term deletions Model: PUPAMASS ~ FOOD * TEMPR + STARTMASS Df Sum of Sq RSS AIC F value Pr(F) <none> STARTMASS e FOOD:TEMPR e

49 Konfidencia-intervallumok Tartományok a paraméterek lehetséges értékeire. A hatásnagyságok becslésére hasznosabb, mint a p-érték. A p-értékek a statisztikai szignifikanciát mutatják, nem pedig a gyakorlati jelentőséget. > confint(mod4.lm) 2.5 % 97.5 % (Intercept) FOODlimited TEMPRheated TEMPRroom STARTMASS FOODlimited:TEMPRheated FOODlimited:TEMPRroom

50 Diagnosztika A lineáris modell feltételeinek ellenőrzése. Korrekt-e a modell szisztematikus része (linearitás)? A modell véletlen részét (ɛ) tekintve: konstans variancia, korrelálatlanság, normalitás. Torzító pontok keresése (olyan pontok, amelyeknek a többi pontnál sokkal nagyobb hatása van az illesztett modellre).

51 Diagnosztikus módszerek Lehetnek numerikusak vagy grafikusak. Általában a grafikus módszereket preferáljuk, mert informatívabbak. reziduális ábrák, normalitást ellenőrző ábrák. Gyakorlatilag lehetetlen megállapítani egy modellről, hogy teljesen korrekt-e. A diagnosztikák célja: leellenőrizni, hogy a modell nem durván rossz-e. Több figyelmet kell fordítani arra, hogy ne kövessünk el nagy hibákat, mint arra, hogy a modellünk optimális-e. Négy hasznos ábra: plot(model)

52 Diagnosztikus ábrák Residuals Residuals vs Fitted Standardized residuals Normal Q Q Fitted values Theoretical Quantiles Standardized residuals Scale Location Standardized residuals Residuals vs Leverage Cook's distance Fitted values Leverage

53 Illeszkedés ellenőrzése >plot(mod4.lm,1,pch=20) Residuals Residuals vs Fitted Fitted values lm(pupamass ~ FOOD * TEMPR + STARTMASS)

54 Reziduumok normalitása >plot(mod4.lm,2,pch=20) Normal Q Q Standardized residuals Theoretical Quantiles lm(pupamass ~ FOOD * TEMPR + STARTMASS)

55 A variancia állandóságának ellenőrzése >plot(mod4.lm,3,pch=20) Fitted values Standardized residuals lm(pupamass ~ FOOD * TEMPR + STARTMASS) Scale Location

56 Torzító pontok keresése >plot(mod4.lm,5,pch=20) Residuals vs Leverage 33 Standardized residuals Cook's distance Leverage lm(pupamass ~ FOOD * TEMPR + STARTMASS)

57 Hogy detektáljuk a problémákat? Illeszkedés ellenőrzése: A reziduumokban nem lehet trend (y = 0). Ha van, meg kell változtatni a modellt (transzformáció, nemlineáris modell etc). Reziduumok normalitása: QQ-ábra. A reziduumokat az "ideális" normális eloszlású megfigyelésekhez hasonlítjuk. Normális eloszlás esetén a pontok lineáris trendet követnek (y = x). Egyébként ferdeséget jeleznek. Scale-location ábra: a variancia homogenitását lehet vele ellenőrizni.

58 Hogy detektáljuk a problémákat? Residuals vs. Leverage ábra: Torzító pontok keresése. A pontoknak az adott Cook távolság (Cook s distance) szinteken belül kell lennie. A számozott pontok lehetnek gyanúsak. Cook-féle távolság: az illeszkedés megváltozásának standardizált mértéke, ha az adott megfigyelést kivesszük az adatok közül.

59 Cook s distance plot >plot(mod4.lm,4,pch=20) Cook's distance Cook's distance Obs. number lm(pupamass ~ FOOD * TEMPR + STARTMASS)

60 Lineáris modell - korlátok Nagyon sok kapcsolatot nem írható le egyszerű lineáris modellel, mivel a függő változó lehet nem folytonos (és nem normális) eloszlású (pl. gyakoriságok, bináris adatok); a magyarázó változók hatása a függő változóra lehet, hogy nem lineáris; a megfigyelési egységek lehet, hogy nem függetlenek; a variancia lehet, hogy nem konstans.

61 Általánosított lineáris modellek (Generalized Linear Models) Az általános lineáris modell általánosítása: Megengedi, hogy az eloszlás nem normális legyen (pl. Poisson, binomiális ill., multinomiális (exponenciális eloszláscsalád)). A variancia állandóságának feltétele sem olyan szigorú, mint a hagyományos lineáris modelleknél.

62 Hogy általánosít ez a módszer? A függő változót most is a magyarázó változók lineáris kombinációjából becsüljük. A függő és magyarázó változók egy ún. link függvénnyel vannak összekapcsolva: η = β 0 + β 1 X 1 + β 2 X β k X k, lineáris egyenlet, ahol η lineáris prediktor, X magyarázó változók, β együtthatók. Maximum likelihood (ML) módszerrel illesztünk. g(y ) = η link függvény. glm(formula, family = gaussian,...) Súgó a függvény családról:?family

63 Gyakorisági adatok regressziója (count regression) A függő változó gyakorisági adat (pozitív egész). Ha az összes lehetőség egy adott korlátos szám, akkor binomiális modellt használunk. Van-nincs (0-1) adatok esetén a binomiális modell használatos (logisztikus regresszió). Ha a gyakoriságok elegendően nagyok, akkor az általános lineáris modell is jó lehet. Egyéb esetekben a Poisson és - kevésbé gyakran - a negatív binomiális modell használható.

64 Poisson regresszió Ha Y Poisson eloszlású µ > 0 várható értékkel, akkor: P (Y = y) = eµ µ y, y = 0, 1, 2,... y! E(Y ) = var(y ) = µ.

65 Honnan származhatnak Poisson-eloszlású adatok? Ha a gyakoriságok egy előre rögzített számú megfigyelésből származnak, akkor a függő változót binomiálisként modellezhetjük. Kis siker valószínűségek, és nagyszámú összes lehetőség esetén alkalmazhatjuk a Poisson közelítést. (Pl. ritka incidenciája egy adott fajnak egy földrajzi területen.) Ha gyakoriságokat számolunk egy adott időintervallumban, területen, térrészben, anyagmennyiségben, és a siker valószínűsége arányos az intervallum hosszával, térrész térfogatával stb., és független más eseményektől. (Pl. bejövő telefonhívások, földrengések száma stb.) Fontos: Poisson-eloszlású véletlen változók összege is Poisson. (Hasznos, ha csak aggregált adataink vannak.)

66 Földhasználati példa 36 mintavételi terület esetén vannak adataink a következőkről: Weedcover Az adott transzekt teljes gyomborítottsága százalékosan. Totspeciesnb A gyomnövény fajok száma. N input Éves nitrogén bevitel. Transectpos A transzekt elhelyezkedése a földterületen. 0 - a transzekt közvetlenül a terület szélén helyezkedik el, 1 - belül van. Transect pair Ugyanahhoz a földhöz tartozó transzekt párok azonosítója.

67 Földhasználati példa Noncrop area A tanulmányozott transzekt körül húzott 500 m sugarú körbe eső nem művelt terület százalékos aránya (főleg füves terület, de lehet erdős, beépített, mocsaras vagy nyílt vizes terület). Modellezni szeretnénk a gyomnövény fajok számát és a gyomborítottságot a nitrogén bevitel, a nem művelt terület aránya és a transzekt pozíció függvényében.

68 Az adatok struktúrája > str(land) data.frame : 42 obs. of 10 variables: $ SampleArea : Factor w/ 42 levels "AG30E ","AG30I ",..: $ Weedcover : int $ Totspeciesnb : int $ Intensity : int $ N_input : int $ Herbicide_use: int $ Transectpos : Factor w/ 2 levels "0","1": $ Transect_pair: int $ Noncrop_area : int $ Farmer : Factor w/ 5 levels "AG","ET","NL",..:

69 Density plot >plot(density(totspeciesnb)) density.default(x = Totspeciesnb) Density N = 42 Bandwidth = 4.453

70 Boxplot >plot(totspeciesnb Transectpos) Totspeciesnb Transectpos

71 Hegedűábra >vioplot(totspeciesnb[transectpos==0],totspeciesnb[transectpos== col="white")

72 Szórásdiagram >plot(totspeciesnb Noncrop area) Noncrop_area Totspeciesnb

73 Feltételes szórásdiagram >coplot(totspeciesnb Noncrop areatransectpos,pch=20) Noncrop_area Totspeciesnb 0 1 Given : Transectpos

74 Interakciós ábra >interaction.plot(as.factor(n-input),transectpos,totspeciesnb) mean of Totspeciesnb Transectpos as.factor(n_input)

75 Lineáris modell > mod1.lm <- lm(totspeciesnb ~ N_input * Transectpos + + Noncrop_area) > summary(mod1.lm) Call: lm(formula = Totspeciesnb ~ N_input * Transectpos + Noncrop_area) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(>t) (Intercept) e-09 N_input Transectpos Noncrop_area N_input:Transectpos Residual standard error: on 37 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 4 and 37 DF, p-value: 1.172e-06

76 Reziduum vs. becsült érték ábra >plot(mod1.lm,1,pch=20) Fitted values Residuals lm(totspeciesnb ~ N_input * Transectpos + Noncrop_area) Residuals vs Fitted

77 Normalitás vizsgálat (Normal QQ-plot) >plot(mod1.lm,2) Theoretical Quantiles Standardized residuals lm(totspeciesnb ~ N_input * Transectpos + Noncrop_area) Normal Q Q

78 Szórás-becsült érték ábra (Scale-location plot) >plot(mod1.lm,3,pch=20) Fitted values Standardized residuals lm(totspeciesnb ~ N_input * Transectpos + Noncrop_area) Scale Location

79 Problémák Enyhén nemlineáris trend. Nem konstans variancis. Enyhén nem normális eloszlású hibatag. Próbáljuk meg transzformálni az adatokat, pl. logaritmus transzformáció!

80 Lineáris modell log transzformált függő változóval > mod2.lm <- lm(log(totspeciesnb + 1) ~ N_input * Transectpos + + Noncrop_area) > summary(mod2.lm) Call: lm(formula = log(totspeciesnb + 1) ~ N_input * Transectpos + Noncrop_area) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(>t) (Intercept) 3.406e e < 2e-16 N_input e e Transectpos e e Noncrop_area 4.777e e N_input:Transectpos e e Residual standard error: on 37 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 4 and 37 DF, p-value: 2.685e-07

81 Reziduum vs. becsült érték ábra >plot(mod2.lm,1,pch=20) Fitted values Residuals lm(log(totspeciesnb + 1) ~ N_input * Transectpos + Noncrop_area) Residuals vs Fitted

82 Normal QQ-plot >plot(mod2.lm,2,pch=20) Theoretical Quantiles Standardized residuals lm(log(totspeciesnb + 1) ~ N_input * Transectpos + Noncrop_area) Normal Q Q

83 Scale-location plot >plot(mod2.lm,3,pch=20) Fitted values Standardized residuals lm(log(totspeciesnb + 1) ~ N_input * Transectpos + Noncrop_area) Scale Location

84 A két modell összehasonlítása > summary(mod1.lm)$adj.r.squared [1] > summary(mod2.lm)$adj.r.squared [1] Nem nagy javulás. Jobb illeszkedés. Nehézkes interpretáció.

85 Poisson modell > mod1.pois <- glm(totspeciesnb ~ N_input * Transectpos + + Noncrop_area, family = poisson) > mod1.pois Call: glm(formula = Totspeciesnb ~ N_input * Transectpos + Noncrop_area Coefficients: (Intercept) N_input Transectpos Noncrop_area N_input:Transectpos Degrees of Freedom: 41 Total (i.e. Null); Null Deviance: Residual Deviance: AIC: Residual

86 summary(mod1.pois) Call: glm(formula = Totspeciesnb ~ N_input * Transectpos + Noncrop_area, family = poisson) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(>z) (Intercept) < 2e-16 N_input Transectpos e-08 Noncrop_area N_input:Transectpos (Dispersion parameter for poisson family taken to be 1) Null deviance: on 41 degrees of freedom Residual deviance: on 37 degrees of freedom AIC: Number of Fisher Scoring iterations: 4

87 Hatások tesztelése A summary(model) közelítő Wald teszteket csinál. Az SE-k lehet, hogy túlbecsültek, és így elvesztünk szignifikáns eredményeket. A deviancia alapú tesztek jobbak. A deviancia azt méri, hogy a modell mennyire van közel a tökéleteshez. (A lineáris modell esetén: deviancia = RSS.) Chi 2 eloszlású. A determinációs együttható (R-négyzet a lineáris modelleknél): > 1-77/198 [1]

88 Anova a Poisson modellre > anova(mod1.pois, test = "Chi") Analysis of Deviance Table Model: poisson, link: log Response: Totspeciesnb Terms added sequentially (first to last) Df Deviance Resid. Df Resid. Dev P(>Chi) NULL N_input e-05 Transectpos e-22 Noncrop_area N_input:Transectpos

89 Poisson modell interakciókkal > mod2.pois <- glm(totspeciesnb ~ (N_input + Noncrop_area + + Transectpos)^2, family = poisson) > anova(mod2.pois, test = "Chi") Analysis of Deviance Table Model: poisson, link: log Response: Totspeciesnb Terms added sequentially (first to last) Df Deviance Resid. Df Resid. Dev P(>Chi) NULL N_input e-05 Noncrop_area Transectpos e-22 N_input:Noncrop_area N_input:Transectpos Noncrop_area:Transectpos

90 A két modell összehasonlítása > anova(mod1.pois, mod2.pois, test = "Chi") Analysis of Deviance Table Model 1: Totspeciesnb ~ N_input * Transectpos + Noncrop_area Model 2: Totspeciesnb ~ (N_input + Noncrop_area + Transectpos)^2 Resid. Df Resid. Dev Df Deviance P(>Chi)

91 Modell szelekció > drop1(mod2.pois, test = "Chi") Single term deletions Model: Totspeciesnb ~ (N_input + Noncrop_area + Transectpos)^2 Df Deviance AIC LRT Pr(Chi) <none> N_input:Noncrop_area N_input:Transectpos Noncrop_area:Transectpos

92 Diagnosztikus ábrák Predicted values Residuals Residuals vs Fitted Theoretical Quantiles Std. deviance resid. Normal Q Q Predicted values Std. deviance resid. Scale Location Leverage Std. deviance resid. Cook's distance Residuals vs Leverage

93 Illeszkedés ellenőrzése >plot(mod1.pois,1,pch=20) Predicted values Residuals glm(totspeciesnb ~ N_input * Transectpos + Noncrop_area) Residuals vs Fitted

94 Parciális reziduális ábrák >library(gam) > par(mfrow=c(1,3),pty="s") >plot.gam(mod1.pois,resid=t,pch=20) >par(mfrow=c(1,1)) N_input partial for N_input partial for Transectpos Transectpos Noncrop_area partial for Noncrop_area

95 Illeszkedés ellenőrzése Az ábrák majdnem ugyanúgy használhatók, mint a lineáris modell esetén. A normalitás általában nem teljesül tökéletesen. A parciális reziduálisok ellenőrzésére a plot.gam használható a gam csomagból.

96 Túlszóródás Poisson változó esetén az átlag és a variancia megegyezik. A variancia függvényt az átlag teljesen meghatározza, nem szabad paraméter. Az ún. diszperziós paraméter 1. Gyakran túlságosan szigorú ez a feltétel. Gyakran túlszóródás (overdispersion) van. A túlszóródást a reziduális deviancia és a hozzá tartozó szabadsági fokból határozható meg. Többé-kevésbé egynelőnek kell lenniük. Ha nagyon különbözőek, akkor az ún. quasilikelihood módszert használhatjuk, amellyel a modellparaméterek a hiba eloszlás teljes ismerete nélkül határozhatók meg.

97 A diszperziós paraméter ellenőrzése > deviance(mod1.pois)/df.residual(mod1.pois) [1]

98 Null deviance: on 41 degrees of freedom Residual deviance: on 37 degrees of freedom Poisson modell túlszóródással > mod1.qpois <- glm(totspeciesnb ~ N_input * Transectpos + + Noncrop_area, family = quasipoisson) > summary(mod1.qpois) Call: glm(formula = Totspeciesnb ~ N_input * Transectpos + Noncrop_area, family = quasipoisson) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(>t) (Intercept) < 2e-16 N_input Transectpos Noncrop_area N_input:Transectpos (Dispersion parameter for quasipoisson family taken to be )