Vol. 33 No. 1 (2018)
Research Articles

Une analyse automatisée des modalités d'évaluation dans les MOOC

PDF HTML ePub
Matthieu Cisel
ENS Paris-Saclay
Bio

Published 2018-05-20

Keywords

  • MOOC,
  • evaluation,
  • instructional design

How to Cite

Cisel, M. (2018). Une analyse automatisée des modalités d’évaluation dans les MOOC. International Journal of E-Learning & Distance Education Revue Internationale Du E-Learning Et La Formation à Distance, 33(1). Retrieved from https://ijede.ca/index.php/jde/article/view/1052
Copyright Notice

Abstract

Nous nous penchons sur les modalités d’évaluation d’une centaine de MOOC de la plate-forme France Université Numérique pour chercher à appréhender dans quelle mesure celles-ci pourraient contribuer à expliquer les faibles taux de certification qui y sont observés. Sur la base de plusieurs milliers d’exercices, nous avons recueilli de manière automatisée des données sur le type d’évaluation mobilisée – évaluations par les pairs, évaluations automatisées – ainsi que sur leur nombre ou sur leur paramétrage, comme le nombre d’essais autorisés par exercice. Nous suggérons que si la charge de travail peut varier considérablement d’un MOOC à l’autre, les exercices se comptant parfois par centaines, le niveau d’exigence de ces évaluations est généralement faible, car elles ne sont pas conçues pour mettre en difficulté les apprenants. Dans ces conditions, il est peu vraisemblable que les faibles taux de certification observés puissent s’expliquer par une incapacité d’une part significative des apprenants à réussir avec succès ces évaluations.

Abstract

We focus on how assessment was performed in more than a hundred MOOCs of the French platform France Université Numérique in order to better comprehend to which extent MOOCs’ low completion rates could be a consequence of assessment policies. We gathered automatically detailed data on which type of assessment was favored – peer assessment, automatized assessment – as well as their number and their settings, like the number of attempts allowed by exercise. We suggest that, if the workload is sometimes heavy, with hundreds of exercises sometimes required to obtain the certificate, the level of requirement is low, since evaluation is apparently not meant to challenge learners in these MOOCs. Therefore, it is unlikely that their low completion rates could be explained by the inability of a significant proportion of learners to succeed in passing assessment tests.

PDF HTML ePub

References

  1. Agarwal, P. K., Karpicke, J. D., Kang, S. H. K., Roediger, H. L., & McDermott, K. B. (2008). Examining the testing effect with open- and closed-book tests. Applied Cognitive Psychology, 22(7), 861–876.
  2. Cisel, M. (2016). Manuscrit de thèse non publié.
  3. Cisel, M. (2018). Le MOOC vu comme projet d’apprentissage. Éducation et Formation. e-309.
  4. Alraimi, K. M., Zo, H., & Ciganek, A. P. (2015). Understanding the MOOCs continuance: The role of openness and reputation. Computers & Education, 80, 28–38.
  5. Bean, J. P., & Metzner, B. S. (1985). A Conceptual Model of Nontraditional Undergraduate Student Attrition. Review of Educational Research, 55(4), 485–540.
  6. Bourdages, L., & Delmotte, C. (2007). La persistance aux études universitaires à distance. International Journal of E-Learning & Distance Education, 16(2), 23–36.
  7. Brown, K.M. (1996). The role of internal and external factors in the discontinuation of off-campus students. Distance Education, 17(1), 44-71.
  8. Daniel, J. (2012). Making Sense of MOOCs: Musings in a Maze of Myth, Paradox and Possibility. Journal of Interactive Media in Education, 3(0).
  9. D’Oliveira, C., Carson, S., James, K., & Lazarus, J. (2010). MIT OpenCourseWare: Unlocking Knowledge, Empowering Minds. Science, 329(5991), 525–526.
  10. Engle, D., Mankoff, C., & Carbrey, J. (2015). Coursera’s introductory human physiology course: Factors that characterize successful completion of a MOOC. The International Review of Research in Open and Distributed Learning, 16(2).
  11. Evans, S., & Myrick, J. G. (2015). How MOOC instructors view the pedagogy and purposes of massive open online courses. Distance Education, 36(3), 295–311.
  12. Greene, J. A., Oswald, C. A. et Pomerantz, J. (2015). Predictors of retention and achievement in a massive open online course. American Educational Research Journal, 52(5), 925-955.
  13. Henderikx, M. A., Kreijns, K., & Kalz, M. (2017). Refining success and dropout in massive open online courses based on the intention–behavior gap. Distance Education, 38(3), 353–368.
  14. Ho, A. D., Reich, J., Nesterko, S. O., Seaton, D. T., Mullaney, T., Waldo, J. et Chuang, I. (2014). HarvardX and MITx: The first year of open online courses, Fall 2012-Summer 2013 (SSRN Scholarly Paper No. ID 2381263). Récupéré du site SSRN : http://ssrn.com
  15. Hollands, F. M., & Tirthali, D. (2014). Resource requirements and costs of developing and delivering MOOCs. The International Review of Research in Open and Distance Learning, 15(5).
  16. Hollands, F. M., & Tirthali, D. (2015). MOOCs in Higher Education: Institutional Goals and Paths Forward. Palgrave Macmillan.
  17. Joo, Y. J., Lim, K. Y., & Kim, J. (2013). Locus of control, self-efficacy, and task value as predictors of learning outcome in an online university context. Computers & Education, 62, 149–158.
  18. Jordan, K. (2014). Initial trends in enrollment and completion of massive open online courses. The International Review of Research in Open and Distributed Learning, 15(1).
  19. Jordan, K. (2015). Massive open online course completion rates revisited: Assessment, length and attrition. The International Review of Research in Open and Distributed Learning, 16(3).
  20. Kemp, W. C. (2002). Persistance of Adult Learners in Distance Education. American Journal of Distance Education, 16(2), 65–81.
  21. Khaneboubi, M., Baron, G. (2015). Analyse de la participation à un cours en ligne ouvert à tous : le cas d’« enseigner et former avec le numérique (eFAN) ». Revue internationale des technologies en pédagogie universitaire, 12(1-2)
  22. Kizilcec, R. F., Pérez-Sanagustín, M., & Maldonado, J. J. (2017). Self-regulated learning strategies predict learner behavior and goal attainment in Massive Open Online Courses. Computers & Education, 104(Supplement C), 18–33.
  23. Koller, D., Ng, A., Do, C., & Chen, Z. (2013). Retention and intention in massive open online courses. EDUCAUSE Review.
  24. Koller, D. (2015) An update on assessments, grades, and certification. Récupéré à http://Coursera.tumblr.com/post/131520811622/an-update-on-assessments-grades-an
  25. Kolowich, S. (2013). The Professors behind the MOOC Hype. Chronicle of Higher Education. Récupéré à l’adresse http://chronicle.com/article/The-Professors-Behind-the-MOOC/137905/
  26. Kulkarni, C., Wei, K. P., Le, H., Chia, D., Papadopoulos, K., Cheng, J., … Klemmer, S. R. (2013). Peer and Self Assessment in Massive Online Classes. ACM Trans. Comput.-Hum. Interact., 20(6), 33:1
  27. Lee, Y., & Choi, J. (2011). A Review of Online Course Dropout Research: Implications for Practice and Future Research. Educational Technology Research and Development, 59(5), 593–618.
  28. Ma, J., Han, X., Yang, J., & Cheng, J. (2015). Examining the necessary condition for engagement in an online learning environment based on learning analytics approach: The role of the instructor. The Internet and Higher Education, 24, 26–34.
  29. Margaryan, A., Bianco, M., & Littlejohn, A. (2015). Instructional quality of Massive Open Online Courses (MOOCs). Computers & Education, 80, 77–83.
  30. Radford, A. W., Robles, J., Cataylo, S., Horn, L., Thornton, J., & Whitfield, K. E. (2014). The employer potential of MOOCs: A mixed-methods study of human resource professionals’ thinking on MOOCs. The International Review of Research in Open and Distributed Learning, 15(5).
  31. Roediger, I., & Karpicke, J. (2006). Test-Enhanced Learning: Taking Memory Tests Improves Long-Term Retention. Psychological Science, 17(3), 249–255.
  32. Rootman, I. (1972). Voluntary Withdrawal from a Total Adult Socializing Organization: A Model. Sociology of Education, 45(3), 258–270.
  33. Rovai, A. P. (2003). In Search of Higher Persistance Rates in Distance Education Online Programs. Internet and Higher Education, 6(1), 1–16.
  34. Spady, W. G. (1970). Dropouts from higher education: An interdisciplinary review and synthesis. Interchange, 1(1), 64–85.
  35. Thomas, S. L. (2000). Ties That Bind: A Social Network Approach to Understanding Student Integration and Persistance. The Journal of Higher Education, 71(5), 591–615.
  36. Tinto, V. (1975). Dropout from Higher Education: A Theoretical Synthesis of Recent Research. Review of Educational Research, 45(1), 89–125.
  37. Tinto, V. (2006). Research and Practice of Student Retention: What Next? Journal of College Student Retention: Research, Theory et Practice, 8(1), 1–19.
  38. Toven-Lindsey, B., Rhoads, R. A., & Lozano, J. B. (2015). Virtually unlimited classrooms: Pedagogical practices in massive open online courses. The Internet and Higher Education, 24, 1–12.
  39. Zaromb, F. M., & Roediger, H. L. (2010). The testing effect in free recall is associated with enhanced organizational processes. Memory & Cognition, 38(8), 995–1008.
  40. ---
  41. Auteur
  42. Matthieu Cisel. Laboratoire STEF, Post-doctoral student, ENS Paris-Saclay. E-mail: matthieucisel@gmail.com
  43. ---
  44. Footnotes
  45. Précisons dès à présent que l’attrition désigne, dans les paragraphes qui suivent, la part des personnes qui s’inscrivent à un diplôme sans l’obtenir ; la rétention et la persistance représentent l’inverse de l’attrition, à savoir la part de ceux qui obtiennent le diplôme. Dans le contexte d’un MOOC, ces termes ont une signification sensiblement différente, puisque l’on s’intéresse à l’obtention du certificat d’un MOOC, par ailleurs gratuit, et non d’un diplôme nécessitant plusieurs années d’investissement.
  46. Une API est une interface de programmation applicative ; c’est une interface fournie par la plate-forme d’hébergement à partir de laquelle des informations peuvent être extraites, dans notre cas au format JSON. Le JSON est un format de données textuelles, dérivé de la notation des objets du langage Javascript.
  47. Précisons que FUN est une plate-forme dont les inscriptions sont gratuites, et sur la période analysée ici, qui s’étend de janvier 2014 à juin 2015, les certificats étaient tous gratuits.
  49. Nous n’avons néanmoins pas cherché à quantifier l’étendue d’outils autres que ceux de la plate-forme FUN.