THE EFFECTIVENESS OF THE E-LEARNING APPLICATION: IMPACT ASSESSMENT OF THE QUALITY

Átírás

1 THE EFFECTIVENESS OF THE E-LEARNING APPLICATION: IMPACT ASSESSMENT OF THE QUALITY P E T E R L E N G Y E L - I S T VÁ N F Ü Z E S I - J Á N O S PA N C S I R A - G E R G E LY R ÁT H O N Y I U N I V E R S I T Y O F D E B R E C E N FA C U LT Y O F E C O N O M I C S A N D B U S I N E S S D E PA R T M E N T O F B U S I N E S S I N F O R M A T I C S

2 INTRODUCTION Welcome to Moodle! Moodle is an open source web application used to create interactive online learning sites. Who is Moodle? Moodle that is the acronym for Modular Object- Oriented Dynamic Learning Environment It's an online Learning Management System (LMS) EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 2

3 INTRODUCTION EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 3

4 INTRODUCTION Why Moodle? It's available in 78 languages! It is used all over the world by teachers and educators and it's probably the best E-Learning tool in the net! It runs on almost all platform, supporting a lot of useful function and customization, thanks to his modular structure EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 4

5 INTRODUCTION What teachers can do with Moodle EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 5

6 INTRODUCTION What students can do with Moodle EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 6

7 RESEARCH Research objective: establish the quality development and support of e-learning at our faculty. Benchmark: e-learning application of Corvinus University Budapest (CUB) e-learning at the CUB is applied under organized institutional circumstances. The e-learning application of CUB is support by an organization. Hypothesis: The quality development of e-learning should be ensured under organized circumstances. Questionnaire survey - Limesurvey Faculty of Business and Economics Corvinus University students teachers EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 7

8 Questionnaires We examined the answers about the e-learning s quality in this research on the basis of two context (student-lecturer, CUB - FEB). The basis of the answers comparability was that both institutions applied the Moodle system. We tried to find the answer what level they use the possibilities offered by the system in the two institutions. 273 students and 50 lecturers at the CUB, 288 students and 46 lecturers at the FEB The groups of questions are the following: Quality of the system (1-7) Quality of the information (8-12) Quality of the service (13-17) Benefit of the e-learning system (18-24) Conclusions (25-27) The 27 questions could be answered in a scale of EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 8

9 points Results question number EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 9

10 Variances Significant differences based on t-test (lecturers answers) 2. Easy to use. 7. The system is fast (speed ofinformation access). 9. The necessary information is always at the right time published. 13. The e-learning system an appropriate level of on-line help for. 14. The system is in constant contact developer(s) to users. 15. The operator (s) available (s) to solve problems. 16. The operators of the future development of cooperative relation. 17. The operator(s) provide appropriate assistance (they) use the system. 26. The e-learning system is successful. The e-learning application of the CUB is more successful than the FEB Quality of the system s operation of the CUB is higher than the FEB. This result supports our hypothesis Levene's Test for Equality of t-test for Equality of Means F Sig. t df Sig. (2-tailed) Mean Difference Std. Error Difference A rendszer folyamatosan elérhető (rendelkezésre áll) E.v.a. 0,522 0,472-0, ,957-0,0087 0,1618 E.v. not a. -0,053 85,827 0,958-0,0087 0,1633 Könnyen használható. E.v.a. 2,704 0,103 3, ,001 0,7461 0,2233 E.v. not a. 3,380 90,657 0,001 0,7461 0,2207 Felhasználóbarát. E.v.a. 0,170 0,681 0, ,773 0,0739 0,2556 Kommunikációs funkcióval kitünően támogatja a felhasználók kapcsolatát. E.v. not a. 0,292 92,320 0,771 0,0739 0,2533 E.v.a. 3,084 0,082-1, ,076-0,7591 0,4224 E.v. not a. -1,775 82,237 0,080-0,7591 0,4277 Személyre szabott információkat biztosít. E.v.a. 66,751 0,000-0, ,677-0,2113 0,5050 E.v. not a. -0,408 65,778 0,684-0,2113 0,5176 Sokszínű funkcióival vonza a felhasználókat. E.v.a. 20,328 0,000-0, ,569-0,3157 0,5525 E.v. not a. -0,557 64,087 0,580-0,3157 0,5670 A rendszer működése gyors (információ hozzáférési sebesség). E.v.a. 21,558 0,000-5, ,000-2,0417 0,4064 A kurzusaimban pontosan azokat az információkat teszem közzé, mely E.v. not a. -4,895 64,022 0,000-2,0417 0,4171 E.v.a. 0,084 0,773 0, ,550 0,1409 0,2348 E.v. not a. 0,606 91,786 0,546 0,1409 0,2325 A szükséges információk mindig a megfelelő időben közzé teszem. E.v.a. 34,140 0,000-2, ,029-0,7078 0,3195 E.v. not a. -2,141 53,624 0,037-0,7078 0,3306 A közzé tett információk szorosan kapcsolódnak a kurzus témájához. E.v.a. 4,344 0,040-0, ,678-0,0513 0,1232 E.v. not a. -0,410 77,674 0,683-0,0513 0,1252 A kurzus elegendő információt biztosít a hallgatóknak a tárgy elsa E.v.a. 8,410 0,005-1, ,193-0,3748 0,2859 E.v. not a. -1,290 77,898 0,201-0,3748 0,2905 A kurzus tartalmát folyamatosan aktualizálom, frissítem. E.v.a. 9,713 0,002-1, ,092-0,3765 0,2211 Az e-learning rendszer megfelelő szintű on-line segítséget, használati útmutatót biztosít. A rendszer fejlesztői folyamatos kapcsolatban van(nak) a felhasználókkal a rendszer tov E.v. not a. -1,652 57,927 0,104-0,3765 0,2280 E.v.a. 10,075 0,002-2, ,010-0,9400 0,3581 E.v. not a. -2,539 54,687 0,014-0,9400 0,3702 E.v.a. 8,619 0,004-4, ,000-1,1870 0,2650 E.v. not a. -4,342 57,460 0,000-1,1870 0,2733 Az üzemeltető(k) rendelkezésre áll(nak) a felmerülő problémák E.v.a. 47,302 0,000-3, ,001-0,8243 0,2349 megoldásában. E.v. not a. -3,413 61,405 0,001-0,8243 0,2415 Az üzemeltetők együttműködőek a jövőbeni fejlesztésekkel E.v.a. 18,063 0,000-4, ,000-0,9452 0,2357 kapcsolatban. E.v. not a. -3,908 64,075 0,000-0,9452 0,2419 Az üzemeltető(k) megfelelő segítséget nyújt(anak) a rendszer E.v.a. 56,573 0,000-3, ,000-1,2791 0,3232 használatában. E.v. not a. -3,817 51,447 0,000-1,2791 0,3351 Az e-learning rendszer használata javítja a tanulmányi E.v.a. 18,243 0,000-1, ,310-0,5991 0,5866 eredményeket. E.v. not a. -1,003 74,161 0,319-0,5991 0,5976 Növeli az Intézmény versenyképességét a felsőoktatásban. E.v.a. 43,213 0,000-1, ,234-0,6383 0, EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 10 E.v. not a. -1,164 60,894 0,249-0,6383 0,5485

11 Factor Analysis We examined whether background variables influencing the variables are possible to be formed. We used factor analysis to demonstrate this which contracts the coherent factors into one common factor. We examined the variables on the basis of the Kaiser-Meyer-Olkin (KMO) criteria to determine whether they are suitable for factor analysis. The value of the KMO is 0.886, which means that the variables are suitable for factor analysis. Kaiser-Meyer-Olkin Measure of Sampling Adequacy Bartlett's Test of Sphericity Approx. Chi-Square df 351 Sig The table also indicates the null hypothesis of the Bartlett test was rejected, which means that there is no correlation between the basic variables, because the level of significance (Sig.) is smaller than Consequently, the basic condition of the factor analysis, according to which the variables must correlate, is fulfilled EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 11

12 Factor Az selection üzemeltető(k) együttműködő(ek) - the variance a javasolt jövőbeni fejlesztésekkel ratio method kapcsolatban. Factor ,871 0,151 0,179 0,124 Az üzemeltető(k) megfelelő segítséget nyújt(anak) a rendszer használatában. 0,864 0,143 0,211 0,117 The fourth Az üzemeltető(k) row of rendelkezésre the Cumulative áll(nak) a felmerülő % problémák column megoldásában. shows the cumulated 0,834 variance 0,159 of 0,137 the four factors (64.219%) based on Kaiser-criteria. It is above the necessary 60%. A rendszer fejlesztő(i)/üzemeltető(i) folyamatos kapcsolatban van(nak) a felhasználókkal a rendszer tov Sokszínű funkcióival Initial vonza Eigenvalues a felhasználókat. Extraction Sums of Squared Loadings 0,783 0,114 0,231 Rotation 0,765Sums 0,245 of Squared Loadings 0,190 Kommunikációs funkcióval kitünően % of támogatja Cumulatia felhasználók kapcsolatát. % of Cumulative 0,721 0,201 0,336 Factor Total Variance ve % Total Variance % Total % of Variance Cumulative % Személyre 1 szabott információkat biztosít ,587 0, , ,208 A rendszer 2 funkcióival 3.621és szolgáltatásaival elégedett vagyok ,477 0, , ,324 3 Használata növeli az oktatás és tanulás hatékonyságát ,123 0, Használata csökkenti az oktatási-tanulási folyamat időtartamát. 0,826 0, Növeli az Intézmény versenyképességét a felsőoktatásban. 0,182 0,822 0,218 0, Az e-learning rendszer használata javítja a tanulmányi eredményeket. 0,816 We have chosen a 4-factor solution which means that we replaced 27 variables (which explain Az rendszer bevezetése hozzájárul az Intézmény elektronikus szolgáltatásainak 0,341 0,735 0, %) with 4 factors (which explain in 64.22%). javításához. Lehetővé teszi, hogy az Intézmény az oktatásban gyorsabban reagáljon bármilyen 0,374 0,717 0,127 We used változásra the Varimax rotational method during which the orthogonal rotation results correlating Az e-learning factors. rendszer hasznos. 0,181 0,671 0,316 0,223 Használata csökkenti az oktatásra (a teljes oktatási folyamatra) fordított költségeket Finally, Az we e-learning reached rendszer sikeres. a 4-factor solution as a result of the analysis, 0,464 where 0,528 0,243 the KMO 0,274 = and the explained A rendszer működése variance gyors (információ is 64.22%. hozzáférési The sebesség). names of the factors 0,126 are the 0,366 following: 0,187 0,230 A közzé tett információk szorosan kapcsolódnak a kurzus témájához. FACTOR1: Quality of the service A kurzusban pontosan azokat az információk találhatók, melyek szorosan kapcsolódnak FACTOR2: a tárgyhoz Efficiency of the system FACTOR3: Quality of the online material FACTOR4: Usability of the system 0,160 0,615 0,120 0,106 0,291 0,784 0,201 0,109 0,260 0,690 A kurzus tartalma folyamatosan aktualizált, frissített. 0,517 0,612 A szükséges információk mindig a megfelelő időben rendelkezésre állnak. 0,446 0,573 A kurzus elegendő információt biztosít a tárgy elsajátításához 0,422 0,105 0,561 Az e-learning rendszer megfelelő szintű on-line segítséget, használati útmutatót biztosít. 0,401 0,260 0,434 0,343 A rendszer folyamatosan elérhető (rendelkezésre áll) 0,301 0,388 0, Felhasználóbarát. EBEEC TH INTERNATIONAL CONFERENCE 0,407 -SPLIT 0,195 0,125 0,850 12

13 Binominal logistic regression We used logistic regression based on the results of the factor analysis. Our aim was to determine the importance of a given factor for the users of the CUB compared to the FEB. If the given variable is significant, it supports the model. It is obvious that FACTOR1, FACTOR2 and FACTOR3 contributes to the model, while FACTOR4 does not. The Exp(B) indicates how each variables correct the estimation. FACTOR1 corrects the estimation the most (Exp(B)=2.135) with 113.5%, while FACTOR2 corrects it with 68.3%. FACTOR3 worsens the estimation with 44.9%, which means that according to the CUB users the first factor is twice, while the second factor is times more important than according to the FEB. Wald-statistic B S.E. Wald df Sig. Exp(B) 95,0% C.I.for EXP(B) Lower Upper Step 1(a) FAKTOR FAKTOR FAKTOR FAKTOR Constant EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 13

14 Conclusions We found significant differences between the CUB s and the FEB s application as well as between the students and the lecturers evaluation by performing a t-test. We determined that relying on the result, it is more effective and better in quality to operate the e-learning system under organized circumstances. We have created 4 factors from the 27 variables by factor analysis and we performed logistic regression on them. Our result was that according to the CUB users the quality of the service is more than twice as good, while the efficiency of the system is times as more important than according to the FEB users EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 14

15 Peter Lengyel István Füzesi János Pancsira Gergely Ráthonyi University of Debrecen EBEEC TH INTERNATIONAL CONFERENCE -SPLIT 15