混合现实技术在教育领域的应用研究

     潘枫 刘江岳

    

    

    摘要：混合现实（MR）是在虚拟现实（VR）与增强现实（AR）的基础上进一步发展的新兴技术，其在沉浸感与交互性等方面带来了更好的用户体验。目前，已有越来越多的教育研究者与实践者开始投身于MR技术的教育应用研究中。文章利用CiteSpace可视化工具，分析了国内外MR在教育领域中的应用研究热点，总结出其在教育领域的六大具体应用：学科教学、steam教育、教育游戏、远程指导和在线虚拟课堂、非物质文化遗产教育以及特殊领域技能培训等，并展开相关论述，对探索新兴技术与教育深度融合创新发展具有一定的借鉴意义。

    关键词：混合现实技术;虚拟现实;增强现实;教育应用

    中图分类号：G434? ? ? ?文献标志码：A? ? ? ? ? 文章编号：1673-8454（2020）08-0007-04

    2016年和2018年《地平线报告》中均提及MR技术，并预计其将会在未来四至五年里成为教育领域采取的重要技术。在最新的2019年《地平线报告》中，提出学习分析、移动学习、MR、人工智能、区块链以及虚拟助手是推动高等教育变革的六大技术，其中MR作为中期技术预计在未来两至三年间在教育领域中得到广泛应用[1]。目前，MR技术已运用于医疗、军事、航空、娱乐等领域，其与教育的结合也在逐步加深。

    一、概念界定

    1.国内外混合现实相关概述

    介导现实（Mediated Reality）和混合现实（Mixed Reality）在智能穿戴行业都简称MR。介导现实是数字化现实与虚拟数字画面的结合，最早由“智能硬件之父”多伦多大学教授Steve Mann提出，认为智能硬件最后都会从AR技术逐步向MR技术过渡。

    1994年，保罗·米尔格拉姆（Paul Milgram）和岸野文郎（Fumio Kishino）提出现实—虚拟连续统一体（Milgram's Reality-Virtuality Continuum）的概念，对MR的内涵进行了开创性的探讨，认为在虚拟现实统一体中，左端代表完全真实的世界，右端表示完全虚拟的可视化环境，而在两极之间的区域即为混合现实，既包含增强现实，也包含增强虚拟，强调了混合现实是真实世界与虚拟环境的无缝融合。

    2.混合现实在教育领域的应用特征

    根据不同学者的定义归纳出MR具有虚实融合、深度互动、实现异时空场景共存等教育特征。

    （1）虚实融合

    VR仅创设虚拟空间，AR将虚拟信息简单叠加到现实世界，而MR技术则模糊了虚拟与现实世界的界线。对于虚实融合的方式，学者有三种不同观点：一是认为MR将真实事物叠加到虚拟数字空间。陈一提出MR先把真实的东西虚拟化，然后叠加到虚拟世界里，在新的环境中现实和数字对象共存[2];二是认为MR将虚拟对象叠加到现实世界中。王汉江等提出MR在现实场景呈现虚拟场景信息，在现实、虚拟和用户三者之间搭起交互反馈的信息回路[3];三是认为MR将现实与虚拟世界相互叠加。范文翔等提出混合现实学习环境（Mixed Reality Learning Environments，简称MRLE）是一种由现实世界与虚拟世界交叠融合而成的学习环境，既可将虚拟学习资源融入到真实教学环境中，也可将真实学习资源融入虚拟教学环境中[4]。该特征与教育结合可以弥补传统课堂无法提供的真实情境，带来更逼真的用户体验。

    （2）深度互动

    交互性主要体现在两个方面：一是人与MR场景的交互。MR结合了VR和AR的优势，可实现人与MR场景的深度交互[5]。依托于传感技术，用户在体验的过程中能够感知MR环境中的画面变化、震动、语音等多方面的实时信息反馈，并能够通过触摸、手势、体感、语言等多种形式与MR环境进行交互，进而形成了一种自然有效的信息回路;二是MR环境下人与人的交互。徐菊红通过分析网络游戏环境具有虚拟与现实良好交互性的特点，总结出MR学习环境能够为学习者提供更丰富有效的交流互动手段[6]。该特征与教育结合，可以进行在线学习、模拟仿真、具象教学等方面的应用。

    （3）异时空场景共存

    MR在实现虚拟与现实深度融合的同时，可将不同时空下的场景通过计算机技术进行结合，实现异时空场景共存，也可将位置不同的学习者的虚拟影像耦合连接在同一个在线虚拟的环境中[5]。该特征与教育领域结合，将对远程指导学习、在线协作学习等具有很大的启发意义。

    3.混合现实概念界定

    综上所述，笔者认为MR是一种利用计算机图像技术、传感技术与可视化穿戴设备等相关技术与设备，实现数字虚拟对象与现实世界对象共存的可视化环境，并能够使用户在对现实世界正常感知的基础上构建虚拟与现实世界的交互反馈回路，达到虚拟世界与现实世界及时与深度的互动。MR既可将数字对象叠加到现实世界，也可将真实对象虚拟化叠加到虚拟环境，但并不是简单叠加，而是达到虚与实的深度融合，从而形成有机的统一体。

    二、关于混合现实在教育领域中应用的研究现状

    基于CNKI与Web of Science数据库，笔者以“混合现实（Mixed Reality）”與“教育（Education）”为关键词进行检索，得到52篇中文文献和113篇英文文献，首先将筛选的文献数据导入CiteSpace 进行数据格式转化以及去重等预处理，然后生成可视化科学知识图谱，如图1、图2所示。

    通过对图中热点关键词进行归类，总结出目前国内外学者关于混合现实在教育领域中的应用的六个方面的研究热点以及相关学者的主要观点，如表1所示。

    三、混合现实在教育中的具体应用

    MR技术可创建一个现实与虚拟无缝融合，并能实现人与人、人与机互动的可视化学习空间，为变革传统教育带来机遇。通过分析国内外相关文献，我们总结出MR在教育中应用的六个主要方面：学科课堂教学、STEAM教育、教育游戏、远程指导和在线虚拟课堂、非物质文化遗产教育以及特定领域技能培训。

    1.在K-12学科课堂教学中的应用

    Edgar Dale的“经验之塔”理论认为通过体验习得的知识远超过单纯学习获取的知识，MR与学科知识的深度融合可以改变传统教学资源的形式，相比于传统课堂“纸上谈兵”的教学方式，MR技术支持的课堂教学具有更好的临场感与沉浸感，让学生亲自体验地理课中的天体运转规律、生物课中的人体组成结构、数学课中的立体几何特征等等。

    目前，国内不少教学研究者与实践者尝试在K-12阶段打造“混合现实智慧课堂”，随着微软推出MR技术后，LETINVR（兰亭数字）作为微软MRPP（微软混合现实全球合作伙伴计划）之一，相继推出了MR智慧教室并在国内外多所学校进行了试点教学，认为MR教学具有智慧教学、同步课堂、教学资源共享、区域教育均衡四大优势[7]。2019年9月，青岛、成都、上海以及北京的四所中学异地同步开展全国首场5G+MR全息物理公开课[8]，学生在教室中通过MR眼镜观看虚拟的天蓝色地球与围绕在其周围的北极光，教师在此情境中讲解电磁场相关理论，MR将抽象知识具象化，基于具身认知促进学生知识建构。

    实践证明，MR应用于学科教学能够带给学生传统课堂中无法感受的体验，虽然现阶段MR应用于中小学课堂仍存在一些问题，如设备价格贵、教学模型资源有限、可能增加学生认知负荷等，但随着技术的不断发展，MR未来将会更加广泛地应用于K-12教育中，应用于地理、化学、物理、数学、语言、体育等更多的学科教学中。

    2.在STEAM教育中的应用

    STEAM教育强调多学科融合，注重培养学生动手能力、问题解决与创新能力，其教学理念已渗透到国内外中小学的教学模式中，但在师资、教学资源与环境等方面仍存在不足。陈一运用切克兰德系统分析法分析了 MR 技术应用于 STEAM 教育的作用机制，提出将MR应用于STEAM教育中可有效解决教学过程中课程资源匮乏、师资力量不足与危险系数大等问题[2]。

    Lisa Tolentino等学者介绍了美国政府与国家科学基金会等机构资助，并由教育学、心理学、计算机等多领域专家开发的多媒体艺术学习实验室——SMALLab [9]。SMALLab是一个混合现实学习环境，为学习参与者提供交互协作的中介空间。在设计实验中构建了高中化学滴定实验学习场景，在该场景中学生可向“虚拟烧瓶”中添加酸、碱与指示剂，避免真实情景中存在的资源不足与危险性等问题，学生能够看到溶液的颜色变化并能听到化学反应发出的声音。此外，MR技术也可以通过远程专家指导来有效缓解学校STEAM教育师资力量不足的问题，在未来MR与STEAM远程教育结合将会促进教育的变革。

    3.在教育游戏中的应用

    近年来，教育模式的变革越来越提倡将教育性与游戏性相结合。教育游戏将情景、任务、情感等游戏元素与知识进行巧妙融合，达到用隐性方式表达、传递知识与技能[10]。目前，人工智能、VR/AR/MR与语音智能交互等技术在娱乐游戏中应用较为广泛，并在教育游戏中进行了初步应用，如严肃游戏、自闭症训练游戏以及急救知识与安全教育游戏等。AR/MR技术借助传感与可视化技术将数字化对象与真实场景融为一体，使学生获得高度沉浸感与及时交互。

    外国学者Gary Grant等被科幻小说Ready Player One中所描述的瓦肯沉浸式全息景象与卢德斯虚拟学习星球所吸引，在澳大利亚格里菲斯大学药学与设计学科中构建了可实现游戏化体验的MR学习和教学框架[11]，证实了基于游戏学习的必要性，学生若在游戏体验中发现经历是有意义的，那么相关技能将会被保留。我国学者陈向东等基于AR技术开发了一款适用于儿童英语词汇学习的教育游戏——泡泡星球[12]，该案例通过创设虚拟泡泡星球情境、角色选择与互动、关卡与任务递进、情境问答、个性化推送学习资料供学生自主学习、学习成果分享等，取得了较好的用户体验。在未来的教育游戏中，MR教育游戏将会注重位置识别、团队合作、角色扮演等因素，引入多感官体验，使学习者与游戏场景进行体感、语音等更加自然的交互，不仅可以感受到逼真的画面与音效，甚至能够接收嗅觉和触觉的信息。

    4.在远程指导和在线虚拟课堂中的应用

    传统远程指导通过互联网音频或者视频进行，对于问题复杂性高或者难以清楚表述成因的问题无法进行有效指导。在MR技术支持的自然交互界面中，协助者可进行演示与添加注释等在线操作，并通过本地子系统显示在操作者用户界面投影上，从而更加高效地解决问题[4]。MR技术具备可使异时空对象共存的教育特性，打破了时空限制，通过计算机技术将不同地区学习者的虚拟形象耦合连接到同一个在线虚拟课堂环境。

    英国学者Callaghan等力图创建一个“混合现实教学环境”（MiRTLE），使参与在线课程的所有学生和教师生成虚拟形象并共存于同一个MR学习环境，有助于产生社区感，提高在线课程参与度[13]。利用MR进行远程教学使教师面向所有学生授课，无需重复授课并可节省差旅费，同时也节省了教育的时间与资金成本。此外，MR不僅使师生、生生在学习内容上进行交流互动，并且在情感方面也可以进行交互。

    5.在非物质文化遗产教育中的应用

    非物质文化遗产通常以纸质文字、图片或者实物等物理形式保存，在教育传承中存在资源缺乏、获取困难与损耗高等问题。利用MR技术对珍贵文物进行采集、处理、整合、储存、再现的数字化处理方式[14]，再通过云终端提取数字化的虚拟资源，可降低非遗的教育成本，同时，学生可对非遗有真实的体验，比如体验昆曲着装、亲临戏曲舞台虚拟现场等。随着5G时代的到来，数字博物馆不断建设完善，场馆学习也逐渐为大众所提倡，这些都为学习者提供了更加广泛的学习空间与资源。如我国故宫博物馆通过MR技术再现了圆明园被破坏前的辉煌景象，满足参观者的学习研究需求。

    6.在特定领域技能培训中的应用

    MR也广泛应用于众多领域的模拟训练与技能培训中，其具有许多相似之处：各领域为培养专业人才对学习者进行专业化技能训练，而在真实环境中训练往往存在危险性高、成本大或者其他特殊情况的限制而无法展开等原因，因此MR技术在医疗、工业、航天、军事等特殊领域的专业技能训练中发挥着重要作用。

    例如，哈尔滨医科大学第二医院心脏外科从数据库中提取病例影像资料，基于核磁共振生产出三维心脏模型，使学生更加直观地了解病理结构，并可通过MR眼镜使用手势对虚拟模型进行切割、缝纫、拿取设备等操作[15]。

    在工业领域，应用于自动化生产的机器人数量日益增加，M.Ostanin等学者提出一种基于MR的工业机器人交互编程系统[16] ，开发了一种规划路径与时间的方案，使用户能够通过直观的界面与机器人和空间环境进行交互，通过仿真技术使没有编程技能的用户也可给机械手分配任务。将MR技术与具有很强实践性的领域结合，为学习者提供了逼近真实的知识学习与技能训练环境，对提高专业技能、降低训练风险具有良好的效果。

    四、总结与启发

    国内外学者对MR技术的相关研究大多涉及概念、特征、技术原理、设备、不同领域应用现状、存在的问题以及未来展望等方面。目前，MR与教育领域进行了初步融合，以其虚实融合、深度互动以及可实现异时空对象共存等教育特性，在学科课堂教学、STEAM教育、教育游戏、远程指导和在线虚拟课堂、非物质文化遗产教育和特定领域技能培训等方面展现了明显的技术优势，并具有无限潜在的发展应用空间。从教育领域总体来看，MR对于学科课堂教学、教育游戏以及STEAM教育的价值更显著，因此作为新时代的教育研究者，我们不仅需要深入研究新技术，更要积极投入新技术的应用实践，如开发智慧教学资源、建设MR智慧课堂、建设虚拟在线学习环境等，努力应用新技术为教育带来创新性变革。

    参考文献：

    [1]Educause Publications.NMC Horizon Report Preview 2019[EB/OL].https：// library.educause.edu/-/media/files/library/2019/2/2019horizonreportpreview.pdf/.

    [2]陈一.混合现实技术在 STEAM 远程教育中的应用探析[J].信息通信，2019（3）：268-270.

    [3]王汉江，刘修军.混合现实技术在未来教育应用中的展望[J].科教导刊（电子版），2017（29）：259.

    [4]范文翔，赵瑞斌.数字学习环境新进展：混合现实学习环境的兴起与应用[J].电化教育研究，2019，40（10）：40-46+60.

    [5]孔玺，孟祥增，徐振国，等.混合现实技术及其教育应用现状与展望[J].现代远距离教育，2019（3）：82-89.

    [6]徐菊红.基于Vega与OpenGL的智能混合现实教室技术[J].艺术科技，2012（5）：185-186.

    [7]兰亭数字.MR智慧教学[DB/OL].https：//www.letinvr.

    com/mr.html.

    [8]吕栋，刘耀泽.全国首场四地5G+MR全息物理名师公开课开讲[EB/OL]. https：//www.thepaper.cn/newsDetail_forward_4541353.

    [9]Lisa Tolentino，David Birchfield，Colleen Megowan-Romanowicz， et al.Teaching and Learning in the Mixed-Reality Science Classroom[M].J Sci Educ Technol，2009：501-517.

    [10]王庆，钮沭联，陈洪，等.国内教育游戏研究发展综述[J].电化教育研究，2012，33（1）：81-84+89.

    [11]Gary Grant， Daniel Della Bosca， Dale Patterson，et al. Explorations in Mixed Reality with Learning and Teaching Frameworks： Lessons from Ludus and the Vulcan Academy[M].Augmented Reality Games II，2019：103-122.

    [12]陈向东，万悦.增强现实教育游戏的开发与应用——以“泡泡星球”为例[J].中国电化教育，2017（3）：24-30.

    [13]Callaghan V，Gardner M，Horan B，et al.A mixed reality teaching and learning environment[M].International Conference on Hybrid Learning and Education.Springer，Berlin，Heidelberg，2008：54-65.

    [14]付尧.混合现实技术（mixed reality）在高校非物质文化遗产教育传承的应用研究[J].中国多媒体与网络教学学报（中旬刊），2019 （7）：222-224.

    [15] Yuwei Ji， Xiangjun Zhang， Hanze Tang，et al.Education Platform of Congenital Heart Disease Based on Mixed Reality Technology[C]. ICPCSEE Steering Committee.Abstracts of the 5th International Conference of Pioneering Computer Scientists，Engineers and Educators（ICPCSEE 2019）Part II.ICPCSEE Steering Committee：中科國鼎数据科学研究院（北京）有限公司，2019：49.

    [16]M. Ostanin，A. Klimchik. Interactive Robot Programing Using Mixed Reality[J]. IFAC PapersOnLine，2018（22）：50-55.（编辑：李晓萍）