基于教育大数据的高校线上教学质量评价指标体系研究

    孟宁 冯琳

    [摘 要]在抗击新冠肺炎疫情的关键时刻,为了实现“停课不停教、停课不停学”,各高校积极开展了线上教学活动。为保障线上教学的有序开展,针对原有线下教学质量评价体系无法应对大规模线上教学管理的状况,文章分析了线上教学的现状及特点,以教育大数据为依托,建立了高校线上教学质量评价指标体系,为教学管理决策提供了参考。

    [关键词]教育大数据;线上教学;教学质量评价指标体系

    [中图分类号] G640 [文献标识码] A [文章编号] 2095-3437(2021)08-0191-05

    2020年新年伊始,国内外遭受新冠肺炎疫情的重创,在抗击疫情的关键时刻,教育部发布《疫情防控期间做好高校在线教学组织与管理工作》的指导意见,要求各高校应充分利用线上的慕课和省、校两级优质在线课程教学资源,依托各级各类在线课程平台、校内网络学习空间等,积极开展线上授课和线上学习等在线教学活动,保证疫情防控期间的教学进度和教学质量,实现“停课不停教、停课不停学”。

    全国各高校积极响应教育部的号召,全国上下开展了一场迄今为止规模最大的在线教育,教育内容、工具、平台如潮水般涌来,冲击性地推动了在线教学的发展。对于学生学习、教师授课和学校管理来说几乎是一项全新的挑战。

    面对这种情况,线上教学质量评价工作成为这次在线教育服务保障工作的重要一环。对于线上教学的新形式,传统的线下教学质量评价体系已不适用,教学质量评价体系也应随着教学形式的变化而重新建立。得益于信息技术的快速发展,大数据、云计算、移动互联的深度应用,各种在线平台可以提供丰富的教育大数据。如何从庞大的数据库中选取对教学管理有意义的数据,并对这些数据进行分析,从而对教学质量进行评价,是目前急需解决的问题。充分发挥教育大数据在提升教育質量、促进教育公平、实现个性学习、优化资源配置、辅助教育科学决策等方面的重要作用[1],这不仅对现在疫情期间线上教学管理来说有重大意义,同时也为今后急速发展的在线教学提供了完善的保障支持。

    一、研究现状

    目前,学生评教、教师自评,以及督导、同行、管理者评价等方式是高校主要的教学评价方式,侧重的是学生、督导、同行评价[1]27。这种方式简单、易行,被很多高校沿用至今。虽然2003年北京师范大学的教师余胜泉就提出了基于互联网络的远程教学评价模型,该模型从宏观上把网络教学分成了几个大的部分或分系统,对每个系统中的几个方面进行评价,没有具体指标的设计和与具体教学系统的结合[2]。并且,在疫情发生之前,高校只有少数课程采取线上线下混合式教学,占所有课程的比重非常小,因此高校并没有形成针对线上教学的教学质量评价指标体系。

    随着大数据科学技术的发展,近些年有研究者对教学大数据在教学评价方面的应用做出了一定研究,王敏提出基于spoc混合教学模式的评价模型[3],马星提出“以学生为中心”和“以数据为依托”是构建基于大数据的高校教学质量评价体系的价值引领和技术支持[4]。仇德成提出关联规则在教学评价中的应用[1]28。在数据采集方面,由于之前主要针对线下教学,学者们关心的重点是如何对线下课堂的数据进行采集。如,在美国高校中,通过采用收集与学生日常课堂表现的数据,对学生进行评价的方法称为课程嵌入式评价[4]。李葆萍提出智能学习环境以及具有数据采集能力的学习终端如平板电脑、智能手机、数码笔、可穿戴设备等的应用,为破解学生学习数据采集难题提供了技术方案[5]。随着在线教学的大力推进,我们不难从线上的教学平台中获取丰富的教育大数据,为评价方法提供支持。因此本研究应对教学管理者的迫切需求,希望能够充分利用教学数据,建立高校线上教学质量评价指标体系,帮助校院两级进行督导工作。

    二、高校线上教学的主要教学活动

    线上教学和传统教学相比,体现出鲜明的云端、多样性、互动性强等特点。任课教师出于多种因素的考虑,会选择不同的教学形式,同一门课也可能采取不同的形式。这些因素主要包括教学内容对应的教学需求,教学平台稳定性、便利性等属性,教师对平台使用熟练程度,学生对平台的喜好等。因此,存在大量形式多样的教学形式,会产生形式多样的教学数据,主要包括到课率、互动情况、直播时长、作业布置情况、测试情况等。虽然形式多样,但是线上系统的数据采集相对传统教学更加方便,我们需要确定的是如何筛选和汇总繁杂的数据形式,形成科学的评价指标。本章重点梳理目前高校师生广泛使用的教学平台及其教学活动。

    (一)主要线上教学模式

    目前广泛使用的在线教学模式主要分为:会议形式、课堂直播形式、慕课形式、自学形式、群聊等。

    使用会议形式的平台主要包括:腾讯会议、钉钉、ZOOM、企业微信会议、welink、ZOOM等。

    课堂直播形式的平台主要包括:雨课堂、腾讯课堂、CCtalk等。

    MOOC平台主要包括:中国大学MOOC、学堂在线、智慧树网、实验空间等。

    自学平台主要包括:超星、BLACKBORD、知道等。

    群聊主要包括:微信群、QQ群等。

    娱乐平台主要包括:抖音、B站等。

    (二)主要教学活动及特点

    综合以上在线教学平台,在线教学的教学活动主要包括:视频直播、语音直播、PPT播放、共享屏幕、弹幕、举手连麦、签到、白板、PPT画板、红包、评论、测试、随机点名、分组讨论、视频回放、发布学习文档、课前准备及测试、圈子、日志、AI翻译、交际等。

    1.课堂直播形式主要的教学活动

    音视频直播连麦应该是最常用、最高效的互动方式。视频直播中学生的注意力能够更加集中,师生可以互动,增进师生间感情,授课效果要好于音频直播。举手连麦的方式在语言类课程中尤其重要,比如,在口语教学课堂,通过音视频连麦,讲师可以非常方便地帮助学员纠正发音甚至口型变化。连麦分为一对一和一对多等方式。但由于网络带宽和稳定性的限制,视频直播可能会出现不流畅的情况,影响课堂效果。为了后期督导可以查阅相关授课资料和课堂效果,直播形式需要录屏并提供回放功能。

    评论、留言、答疑,是在线教育比较常用的互动方式,比较符合大家经常聊QQ群、微信群的习惯,也比较容易烘托课堂气氛。不过,其也有一定的局限性,比如有价值的信息或问题会因为刷屏而被埋没。另外,也需要启动审核机制。

    测试和作业,不仅可以增强讲师与学员之间的互动,更可作为评估教学效果、测试学生水平的常用方式。除此之外,直播答题还可以设计成问卷调查的形式,及时搜集学员反馈。

    PPT画板功能可以随时在PPT上进行注释,鼠标的移动也类似线下的激光笔,可以增强学生的注意力;白板也有类似作用,方便讲师演示某个知识点或公式,便于学员更深刻理解,可以作为PPT画板功能的补充。

    弹幕指的是在网络上观看视频时弹出的评论性文字。最早出现在影视娱乐,被借鉴到在线教育视频直播中。弹幕具有及时性、匿名性、强互动性、高临场性等特点,深受学员的喜爱,因此也容易激活课堂气氛。但弹幕过多或过频也会干扰课堂画面,影响上课效果。一般建议在直播开始前播放暖场视频或音乐的时候使用弹幕,或中途休息及课堂快结束时,允许学员们通过弹幕的方式交流、提问、吐槽、评论。

    红包打赏是教师和学生之间产生强互动、活跃课堂气氛的妙招。

    共享屏幕是指直播时,教师通过共享自己电脑屏幕的形式向学生演示实际操作的功能。在很多计算机实践类教育比如编程教学等,或者演示桌面的其他教学内容,教师可通过具体的实际操作,来给学生传达准确及时的知识信息。

    签到、随机点名主要为了帮助教师掌握学生的出勤率。

    2.会议形式主要的教学活动

    会议平台多用于视频会议,因此其更注重互动。除共享屏幕、音视频连麦等功能外,可以多人同时视频连线,适合小班授课、分组讨论或其他翻转课堂等形式。

    3.其他平台的主要教学活动

    教师在自主学习平台发布教学内容,学生自主观看慕课,阅读学习材料。教师在QQ或微信群里布置作业或答疑等。

    (三)重点线上教学活动研究对象的选取

    某高校分别向进行线上教学的教师和学生发放了调查问卷,共回收教师有效问卷575份,回收学生有效问卷7759份。调查结果显示,教师作为主平台使用的主要是腾讯课堂、雨课堂、腾讯会议等(除校内某平台强制使用外),如图1所示。教师开展线上教学的方式,主要包括直播教学、MOOC/SPOC教学、线上研讨教学、自主学习、录播教学等,如图2所示;并有55.65%的教师在教学中会用到两种教学方式混合,使用三种以上方式的也占到24.17%,只使用单一教学方式的占20.17%。而关于教师使用的在线教学资源来源,超过一半的教师选择使用自制教学资源,有1/4的教师选择使用MOOC资源,来满足线上教学的需求。在直播过程中,有超过85%的教师选择音频或者视频直播,由于疫情期间平台载荷过重,超过半数的教师选择更加流畅的音频进行直播,如图3所示。

    三、线上教学质量评价指标体系的确定

    (一)教学质量评价相关教学数据

    首先,根据调查问卷中师生主要选用的教学形式和主要教学活动,对照线下教学的评价指标,找到线上教学重点采集的教学数据。

    (二)评价对象及评价指标分类

    确定评价对象,教师与学生是教学活动中的两大主体,教学平台对教师与学生沟通起到了桥梁作用。因此,本研究确定的评价对象主要分为三方面:一是对教师运用教育技术实施智能教学等一系列教学水平进行有效的评价;二是对学生在学习中的行为、实践的学习活动和效果进行评价;三是对媒体网络教学支撑平台进行综合评价。

    其次,将评价指标总体分为两大类:过程性评价指标、总结性评价指标。

    1.过程性评价

    强调对线上教学的过程进行实时的监控,过程性数据主要反映单次课堂的实时情况,以旁听为主要手段,辅助以学生学习活动的实时数据、互动数据和教师操作数据。使督導对课堂情况有直观、清晰的了解。实现线上教学评价系统与教学平台的无缝结合,利用教学平台系统的教学活动记录功能搜集评价信息,实现对线上教学的动态评价和动态调控。网络评价注重评价的过程性,利用及时反馈信息来指导、调控甚至补救网络教学与学习活动。

    2.总结性评价

    总结性评价应充分考虑一段时间内,多次课堂累计后产生的累积分布数据,可以反映该课程的总体教学运行情况。到课率、迟到早退人数、学习时长数据不仅体现出学生的学习习惯、学习态度和努力程度,还在一定程度上反映出教师的教学管理力度。线上互动次数等数据体现出学生学习的积极性、学习兴趣、是否积极思考问题以及与同学之间的融洽程度,同时也反映出课堂教学是否活跃,教师的教学方法是否灵活、是否具有启发性。作业、测试等学生学习效果等数据,也可反映教师的教学方法是否适当:能够充分调动学生学习的积极性和主动性,则完成率高,平均分高;反之,则完成率低,平均分亦低。同时,教学平台的运行数据,可以让督导人员掌握教学平台的总体运行情况,为教师在教学平台的选择上提出参考建议。

    由于教学方案从实施到产生一定的教学效果需要时间,具有后效性,因此需要一次、多次课等不同维度的数据[3]77。通过以上过程性和总结性评价相结合的方法,可以得到评价对象一次课、多次课等不同维度的课程数据。

    (三)评价指标体系的建立(见图4)

    四、可视化线上教学质量评价数据看板

    目前,多数在线平台不提供管理数据或数据无效。多数平台仅提供部分数据给教师,教师可以根据数据对课程教学进行相应的调整。这些平台并没有对高校开放管理后台,高校只能采取旁听形式,或要求教师保留所有教学痕迹事后进行评估的方式。由于无法及时得到教学数据,高校无法进行及时的督导和监控。另有部分平台以采取付费的方式提供管理后台,后台采集的数据多数是无效数据,并不能反映教学存在的核心问题,需要进一步优化。如活跃用户统计、PPT页数、按日统计课堂互动数等,这些数据对于教学管理部门来说是没有意义的数据。

    首先,教学数据看板的设计目的以用户需求为对象,所以定义督导人员核心所需非常重要,帮助督导人员迅速获得课程评价相关的信息并找到问题所在。大多数看板都以看为主,辅以功能控制,大体可分为监控类Operational Dashboard和数据分析类Analytical Dashboard,即对应我们之前评价体系中的过程性数据和总结性数据两方面展示教学数据。

    1.实时动态(督导进入一门授课中的课程)

    (1)教师教学方法:

    互动次数=本次课堂中已发生的互动次数之和,并分项统计次数(包括弹幕、红包、点名、提问等);

    功能使用=本次课堂中已发生的功能操作次数,并分项统计次数(包括白板、画板、提问、视频直播、弹幕等);

    (2)学生学习活动:

    到课率=本次课堂中签到人数/班级总人数;

    迟到早退人数=上线时长小于本次课堂中开课时间的学生数;

    在线时长分布(本次课)=所有学生在线时长的直方图;

    除了为督导人员从教师、学生维度提供所有过程性评价数据,督导人员还可以进入课堂旁听,以学生身份查看课堂PPT、习题互动、语音、板书、视频等教学内容。

    2.统计数据(进入一门课程)

    为督导人员从教师、学生、平台三个维度提供所有总结性评价数据。

    (1)教师:

    教师教学内容、教学态度:所有教学材料、提供回放;

    ①教学管理:

    平均到课率=统计期内每次到课率之和/课次;

    平均迟到早退人数=统计期内上线时长小于该次课堂开课时间的学生数之和/课次;

    在线时长分布(总计)=统计期内所有学生在线总时长的直方图。

    ②教学方法:

    互动统计=统计期内所有互动次数之和,并分项统计次数(包括弹幕、红包、点名、提问、答疑等);

    功能使用统计=统计期内所有功能操作次数,并分项统计次数(包括白板、画板、麦克、视频、弹幕等);

    作业批改率=统计期内作业批改数量/作业提交总量;

    答疑回复率=统计期内教师回复数量/提问数量;

    扩展文献布置=统计期内布置扩展文献总量。

    (2)学生:

    ①学习活动:同教师教学管理和教学方法部分数据;

    ②学习效果:

    平均作业(测试)完成量=作业(测试)完成总量/学生人数;

    作业(测试)完成率=作业(测试)完成总量/作业(测试)布置数*学生总数;

    作业(测试)分数分布=所有作业(测试)分数的直方图。

    (3)平台:

    易操作=同互动次数统计;

    功能性=同功能使用统计;

    断线率=统计期内所有用户掉线次数/成功完成连接建立次數;

    平均延迟=统计期内所有用户网络延迟的平均值。

    五、结语

    在线教学是“战疫”应急之举,却蕴含着教育创新和教学改革的契机。唯有积极应对新的风险,新的机遇,才能保障疫情下高校线上教学的高质量发展。目前高校的线上教学尚处于起步阶段,通过建立以教学数据为依托的高校教学质量评价方法,分析得出最有效的课堂教学方案,为教师教学能力的发展提供指导,为今后更为广泛的线上教学应用提供研究基础。此外,多数应急而运营起来的教学平台,多注重前台教学界面的设计,没有专业的教学管理人员进行后台管理设计。在明确评价指标后,高校可以向在线教学平台提出后台管理需求,以保障长期在线教学的有效开展。

    [ 参 考 文 献 ]

    [1] 仇德成,仇思宇,赵国营. 大数据分析在教学质量评价中的应用[J].计算机时代,2019(2):26-29.

    [2] 于杭路佳. 数据挖掘在网络教学评价中的应用[D]. 北京:北京邮电大学,2010.

    [3] 王敏,舒江波. 基于教育大数据的SPOC教学评价模型研究[J]. 中国教育信息化,2020(3):74-79.

    [4] 马星,王楠. 基于大数据的高校教学质量评价体系构建[J]. 清华大学教育研究,2018(4): 38-43.

    [5] 李葆萍,周颖. 基于大数据的教学评价研究. 现代教育技术,2016(26): 5-11.

    [责任编辑:刘凤华]