在线课程的学生参与度实时可视化分析方法

计算;推算;计数设备的制造及其应用技术1.本发明属于图像数据处理领域，具体涉及一种在线课程的学生参与度实时可视化分析方法。背景技术：2.随着经济技术的发展和人们生活水平的提高，人们对于新知识和新技能的学习变得更加积极。因此，网络上已经出现了越来越多的在线课程，人们也越来越愿意参与到这些在线课程当中。3.参与度是学生在在线课程中的重要评价指标，而且参与度的高度都直接影响和课程的质量和学生学习的质量。因此，对于学生在课程中的参与度进行实时评估和可视化，一直是在线课程平台的研究重点之一。4.但是，目前针对学生在在线课程中的参与度的实时评估，往往存在各类问题。有些研究者通过多样的检测手段获取学生的参与度相关特征，如心率传感器，眼动跟踪仪，计算机视觉方法等，然后通过自动化方法计算学生的参与度。然而，自动化方法仍然难以解决上述问题。首先自动化分类方法通常直接给出学生参与度类别，但是因为教师不理解模型背后逻辑，很难分析出学生参与度背后的原因；其次由于学生数量多，数据实时性，且包含上下文信息，数据规模大且复杂，教师很难做到实时分析；最后，当前大部分学生参与度分析工作是对离线的历史数据进行分析，在分析速度和感知效率方面很难满足在线课堂实时分析需求。技术实现要素：5.本发明的目的在于提供一种可靠性高、准确性好、实时性高且方便快捷的在线课程的学生参与度实时可视化分析方法。6.本发明提供的这种在线课程的学生参与度实时可视化分析方法，包括如下步骤：7.s1.实时获取在线课程中学生的视频；8.s2.对步骤s1获取的视频数据进行预处理，从而提取得到学生的面部特征；9.s3.从注意力、情感、疲劳程度和认知状态四个方面，建立学生参与度分析模型；10.s4.对步骤s3建立的学生参与度分析模型的分析结果进行可视化，从而完成在线课程的学生参与度实时可视化分析。11.步骤s1所述的实时获取在线课程中学生的视频，具体包括如下步骤：12.采用摄像头采集在线课程中学生的实时视频；13.根据人眼的眨眼频率，设定每秒采集图像的帧数；14.在采集视频开始之前，采集学生正视屏幕中心和在屏幕中心观察屏幕四周四个顶点时的图像{ic,ilt,ilb,irt,irb}，用于头部方向和视线方向的检验；其中ic为学生正视屏幕中心的图像，ilt为学生在屏幕中心观察屏幕左上角顶点时的图像，ilb为学生在屏幕中心观察屏幕左下角顶点时的图像，irt为学生在屏幕中心观察屏幕右上角顶点时的图像，irb为学生在屏幕中心观察屏幕右下角顶点时的图像。15.步骤s2所述的对步骤s1获取的视频数据进行预处理，从而提取得到学生的面部特征，具体包括如下步骤：16.在学生所在的客户端进行预处理；预处理包括人脸识别预处理、人脸对齐预处理、情感识别预处理、头部姿态估计预处理和视线估计预处理；17.其中，人脸识别预处理为采用深度学习模型检测所采集到的图像中是否存在人脸信息；人脸对齐预处理为采用神经网络模型提取所采集的图像中的人脸坐标位置信息；情感识别预处理为采用神经网络模型识别学生的实时情感；所述情感包括愤怒、自然、悲伤、惊讶、开心、厌恶和害怕；头部姿态估计预处理为采用头部姿态技术从所采集的图像中提取人的头部姿态角，并根据头部姿态角判断学生头部与屏幕之间的关系；视线估计预处理为采用基于全脸的视线估计算法提取学生的视线方向，并根据视线方向判断学生视线与屏幕之间的关系。18.所述的人脸识别预处理，具体包括如下步骤：19.采用多任务级联卷积神经网络深度学习模型检测图像中是否包含人脸信息；多任务级联卷积神经网络深度学习模型检测出图像中人脸矩阵在图像中的位置(x,y,w,h)，其中(x,y)表示以图像左上角为坐标原点时人脸矩阵的左上角的坐标，w表示检测到的人脸矩阵所对应的矩形区域的宽度，h为检测到的人脸矩阵所对应的矩形区域的高度；具体实施时，若检测得到了人脸矩阵，则表示识别到了人脸信息。20.所述的人脸对齐预处理，具体包括如下步骤：21.采用级联卷积神经网络模型提取人脸关键点坐标；提取坐标时，以图像的左上角为原点，提取得到的人脸关键点坐标为[xi,yi]。[0022]所述的情感识别预处理，具体包括如下步骤：[0023]采用resnet-50作为卷积神经网络模型，并采用fer2013面部表情识别公开数据集进行训练，得到最终的预处理模型；预处理模型输出的情感包括愤怒、自然、悲伤、惊讶、开心、厌恶和害怕。[0024]所述的头部姿态估计预处理，具体包括如下步骤：[0025]采用头部姿态估计算法从图像中获取人的头部姿态；头部姿态用三个欧拉角表示，分别为俯仰角、偏航角和滚转角，并依次用于表示点头、摇头和转头；[0026]采用基于关键点2d投影到3d方法作为头部姿态估计算法，提取得到的头部姿态；头部姿态采用三维向量[pitch,yaw,roll]表示，其中pitch为俯仰角，yaw为偏航角，roll为滚转角；[0027]在头部姿态估计预处理前，进行事先校验；校验时，提取学生正视屏幕中心的头部姿态角，以及学生的头部在屏幕中心时观察屏幕四周时的四个方向的头部姿态角；校验时，对学生头部姿态进行比例转换处理，使得学生观看屏幕中心时的pitch值和yaw值均为0，学生观看屏幕上下沿时头部的俯仰角和左右沿时的偏航角的绝对值为0.5；[0028]校验时，采用如下公式计算校验后的俯仰角pitch2为式中pitch1为检测得到的俯仰角，pitchc为学生正视屏幕中心时的俯仰角，pitcht为学生观看屏幕上边界时的俯仰角；[0029]校验后，若偏转的角度值大于1，则直接修正为最大值1；[0030]最后，当偏转角度在-0.5～0.5之间时，认定学生的头部方向面向屏幕。[0031]所述的视线估计预处理，具体包括如下步骤：[0032]采用基于全脸的视线估计算法提取学生的视线方向，得到学生的视线方向为[x,y]，其中x为视线在水平方向的旋转角度，y为视线在垂直方向的旋转角度；[0033]在视线估计预处理前，进行事先校验；校验时，提取学生头部在屏幕正中心时注视屏幕正中和屏幕四周的视线角；然后根据校验结果，对视线数据进行转换，使学生观看屏幕中心时的视线为[0,0]，学生观看屏幕四周的视线所对应的角度的绝对值为0.5；[0034]校验时，采用如下公式计算校验后的视线方向的角度值y2为式中y1为检测得到的视线方向的角度值，yc为学生正视屏幕中心时的视线方向的角度值，yt为学生观看屏幕上边界时的视线方向的角度值；[0035]校验后，若视线方向的的角度值大于1，则直接修正为最大值1；[0036]最后，当视线方向的角度值在-0.5～0.5之间时，认定学生的注视屏幕。[0037]步骤s3所述的从注意力、情感、疲劳程度和认知状态四个方面，建立学生参与度分析模型，具体包括如下步骤：[0038]注意力方面：[0039]采用如下算式计算得到学生观看屏幕状态变量s为s＝"|x|≤0.5"&"|y|≤0.5"；式中[x,y]为预处理后的学生视线方向；"a"的取值规则为：若a为真则"a"＝1，若a为假则"a"＝0；&为与操作；当学生观看屏幕状态变量s为1，表明学生正在观看屏幕；当学生观看屏幕状态变量s为0，表明学生未在观看屏幕；[0040]采用时间跨度为30s的滑动窗口接收学生的视线方向[x,y]以及学生观看屏幕状态变量s，得到n＝[x1,x2,...,xn]、m＝[y1,y2,...,yn]和w＝[s1,s2,...,sn]，其中xi为第i帧中学生的水平视线方向，yi为第i帧中学生的垂直视线方向，si为第i帧中学生观看屏幕的状态变量；计算得到学生发呆状态变量d为d＝"(max(n)-min(n))≤t"&"(max(m)-min(m))≤t"，式中max(n)为n中元素的最大值，min(n)为n中元素的最小值，d为1表示学生未发呆，d为0表示学生发呆；最后，采用如下算式计算得到学生的注意力变量a为[0041]疲劳程度方面：[0042](1)针对学生，选取平均眼睛长宽比b2、眨眼频率p2、平均眨眼时长d2和打哈欠频数m2作为指标，对学生的疲劳程度进行建模；[0043]提取人脸的眼部关键点和嘴部关键点信息：其中眼部关键点包括6个关键点，最外侧眼角处的眼部关键点e1，最内侧眼角处的眼部关键点e4，眼睛上轮廓外侧1/4处的眼部关键点e2，眼睛上轮廓内侧1/4处的眼部关键点e4，眼睛下轮廓外侧1/4处的眼部关键点e6，以及眼睛下轮廓内侧1/4处的眼部关键点e5；嘴部关键点信息包括4个关键点，嘴部轮廓最左侧关键点m1，嘴部轮廓最右侧关键点m3，上嘴唇最高处关键点m2，以及下嘴唇最低处关键点m4；每个关键点都是二维坐标；[0044]采用如下算式计算得到学生的眼睛长宽比α为式中|e2-e6|表示关键点e2与关键点e6之间的直线距离；|e3-e5|表示关键点e3与关键点e5之间的直线距离；|e1-e4|表示关键点e1与关键点e4之间的直线距离；[0045]采用如下算式计算得到学生的嘴部长宽比β为式中|m3-m1|表示关键点m3和关键点m1之间点直线距离距离，|m2-m4|表示关键点m2和关键点m4之间的直线距离；[0046]预先获取每一名学生的眼部长宽比和嘴部长宽比进行归一化处理，使得眼睛完全闭合时眼睛长宽比α为0，眼睛完全打开时眼睛长宽比α为1；嘴部完全闭合时嘴部长宽比β为0，嘴部完全打开时嘴部长宽比β为1；[0047]当检测到学生的眼睛长宽比α小于设定阈值时，认定学生闭眼；[0048](2)采用时长为30s的滑动窗口，对视频图像进行截取，得到f＝[b1,b2,...,bn]，其中bi为滑动窗口中第i帧图像的眼部长宽比；采用如下公式计算得到学生的平均眼部长宽比b为[0049]定义眨眼频率p为30s中学生眨眼动作的次数；[0050]采用时长为30s的滑动窗口，对视频图像进行截取，得到g＝[d1,d2,...,dm]，其中在滑动窗口中共检测出m次眨眼，di为第i次眨眼的时长；采用如下公式计算得到学生的平均眨眼时长d为[0051]当嘴部长宽比大于设定阈值且持续时间大于设定阈值时，认定学生发生打哈欠行为；学生的打哈欠频数m为30s内的打哈欠的次数；[0052]采用动态权重模糊综合评价法分析学生的疲劳程度：最终得到初始的平均眼部长宽比b权重、眨眼频率p权重、平均眨眼时长d权重和打哈欠频数m权重依次为0.42、0.13、0.32和0.13；在b＜0.2时，调整平均眼部长宽比b权重、眨眼频率p权重、平均眨眼时长d权重和打哈欠频数m权重依次为0.8、0.1、0.1和0；每个指标在不同数值时对应着相应的价值v；b＝1时价值为0，b＝0.8时价值为0.2，b＝0.6时价值为0.4，b＝0.4时价值为0.6，b＝0.2时价值为0.8，b＝0时价值为1；p在6～8区间时价值为0，p为5或9时价值为0.2，p等于4或在10～12区间时价值为0.4，p等于3或在12～14区间时价值为0.6，p等于2或在15～16区间时价值为0.8，p≤1时或p＞16时价值为1；d在0.2～0.4区间时价值为0，d在0.5～0.6区间时价值为0.2，d在0.7～0.8区间时价值为0.4，d在0.8～1.5区间时价值为0.6，d在1.5～3区间时价值为0.8，d在3以上时价值为1；m等于0时价值为0，m等于1时价值为0.4，m等于2时价值为0.6，m等于3时价值为0.8，m≥4时的价值为1；最后计算疲劳程度f为：f＝vb*wb+vp*wp+vd*wd+vm*wm，其中wb为平均眼部长宽比b权重，wp为眨眼频率p权重，wd为平均眨眼时长d权重，wm为打哈欠频数m权重，vb为眼部长宽比b的价值，vp为眨眼频率p的价值，vd为平均眨眼时长d的价值，vm为打哈欠频数m的价值。[0053]情感方面：[0054]采用情感分类模型，将情感分为愤怒、自然、悲伤、惊讶、开心、厌恶和害怕；[0055]认知状态方面：[0056]规定学生听懂课程内容时点头，未听懂课程内容时摇头；[0057]对学生的头部动作进行检测：提取学生的头部的偏航角和俯仰角，然后建立两个时间跨度为3s的滑动窗口分别对偏航角和俯仰角进行接收；[0058]采用如下步骤检测学生的点头行为，[0059]规定若头部方向连续下降超过设定的阈值，则判定发生低头行为；若头部方向连续上升超过设定的阈值，则判定发生抬头行为；在观察区间内同时检测到低头和抬头行为则判定发生点头行为。[0060]步骤s4所述的对步骤s3建立的学生参与度分析模型的分析结果进行可视化，具体包括如下步骤：[0061](1)构建摘要视图、监控视图、分布视图和个人视图进行分析结果的可视化；其中，摘要视图用于实时呈现全体学生参与度；监控视图用于实时呈现指定学生群体的参与度；分布视图用于呈现学生在指定的时间段内的参与度分布情况；个人视图用于展示个体学生的参与度相关特征；[0062](2)摘要视图：基于堆叠柱状图构建摘要试图，用于同时呈现学生的情感、疲劳程度、注意力和学生状态四个指标；从三个角度呈现学生的参与度，分别是注意力、疲劳程度和情感；[0063]从注意力角度和疲劳角度概览学生参与的视图：y轴表示不同程度的注意力区间，由低到高总共分为四组；x轴表示每组内学生的人数；每个柱由若干小矩形组成，每个矩形代表一名学生，矩形的颜色对应学生的情感；在每个小矩形中用内嵌的深色矩阵表示疲劳程度；其中内嵌矩阵的高度表示疲劳程度的值；按照疲劳程度下降的方式进行排序，以避免出现视觉混乱的问题；在每个矩形下方用不同颜色的圆形图标呈现学生的认知状态和发呆状态；通过从注意力角度和疲劳角度概览学生参与的视图，教师可以快速概览学生的参与度；[0064]从情感角度概览学生参与的视图：y轴表示学生的情感类别，矩形柱的长度对应某类情感中的学生人数；每个柱由若干矩形组成，每个矩形代表一名学生，在矩形中嵌入两个深色的矩形，上部矩形的高度对应学生的注意力，下部矩形的高度对应学生的疲劳程度；按照注意力进行排序；教师能够根据教学场景切换不同的角度来概览学生的参与度；当教师把鼠标悬浮在视图上方时，视图会停止实时更新，以方便教师查看或选取学生；当鼠标悬浮在某位学生上方时会呈现学生的详细信息；点击时可以查看学生的信息；教师能够在视图中选取感兴趣的学生群，并进行进一步分析；[0065](3)监控视图：用于帮助教师持续关注感兴趣学生的参与度；构建人脸模型；每一个人脸表示一名学生，使用头发的颜色对应学生的情感，情感颜色与摘要视图保持一致；使用眼珠在眼睛中的相对位置对应学生的视线方向；若学生正视屏幕则眼珠处在眼睛的正中心；使用头发、眼睛、鼻子和嘴巴在人脸中的相对位置编码头部转动方向；使用眼皮的高度编码学生的疲劳程度；通过监控视图，教师能够感知学生的异常参与行为；[0066](4)分布视图：用于帮助教师理解某时间段内学生的参与度分布情况；分布视图为一个矩阵，矩阵中每个格子代表一名学生；用glyph设计表示每个学生，其中中间的饼图表示在指定时间段内学生的情感分布情况；挨着饼图的圆环表示注意力，深色圆环的角度对应该时间段内的平均注意力，浅色圆环的顶端角度对应注意力的上四分位数；最外层的圆环表示疲劳程度，深色圆环的角度对应平均疲劳程度，一个满圆表示完全疲劳；浅色圆环顶端的角度表示疲劳程度的上四分位数；分布视图能够按照多种方式排序，排序完成后学生位置会保持固定并实时更新；当教师从摘要视图中选择部分学生后，分布视图会默认按照注意力由高到低对这些学生群体进行排序；分布视图中存在一个时间条滑块，教师能够通过滑块选择某个时间段区间并查看对应信息；教师能够通过鼠标悬浮的方式查看学生的详细信息，并通过点击的方式将学生加入到监控视图和个人视图中；[0067](5)个人视图：用于为教师提供学生参与度的相关特征信息和学生的原始图像；个人视图中呈现的时间跨度与分布视图中的时间滑块保持一致；个人视图中包含视线方向、头部方向、眼部长宽比、嘴部长宽比、学生原始图像和学生动作信息；个人视图中的x坐标轴表示时间；个人视图上下方各有一组虚线，用于表示学生观看屏幕上沿和屏幕下沿时的视线方向；虚线中存在一个流图，流图的宽度等于两条虚线间的宽度，位置表示头部的方向；上方的流图表示头部绕y轴旋转方向，下方的流图表示头部绕x轴旋转方向；用颜色编码的实线用于表示视线方向；若线在两条颜色线中间表示观看屏幕，若线在颜色线外则表示学生视线脱离屏幕。线的颜色编码学生的情感类别；情感的颜色与摘要视图保持一致；在两个河图中间存在两个甘特图，第一甘特图表示眨眼信息，甘特图中空白的区域表示眼睛闭合，甘特图中矩阵的透明度编码两次眨眼之间平均眼睛长宽比；第二甘特图呈现张嘴信息，若出现特定颜色矩形则表示张嘴，没有则表示闭嘴；在第一甘特图下方用颜色编码的圆形图标表示学生的动作，第一颜色表示点头，第二颜色表示摇头；当教师点击图中某时刻的流图时，会展示该时刻学生的原始图像，以帮助教师验证自己的分析结果。[0068]本发明提供的这种在线课程的学生参与度实时可视化分析方法，使用计算机视觉方法提取学生面部特征，然后建立学生参与度分析模型，然后使用可视分析方法帮助教师从多角度分析学生参与度；相比于传统的线性查看学生视频方法，本发明方法可以自动提取学生参与度信息并进行可视化展示，可靠性高、准确性好、实时性高且方便快捷。附图说明[0069]图1为本发明方法的方法流程示意图。[0070]图2为本发明中的人脸68个关键坐标点示意图。[0071]图3为本发明的眼部和嘴部关键点坐标示意图。[0072]图4为本发明的摘要视图从注意力角度观察的示意图。[0073]图5为本发明的摘要视图从情感的角度观察的示意图。[0074]图6为本发明的监控视图示意图。[0075]图7为本发明分布视图示意图，[0076]图8为本发明的分布视图中的glyph设计示意图。[0077]图9为本发明的个人视图示意图。[0078]图10为本发明的实施例一的注意力分布视图示意图。[0079]图11为本发明的实施例一的学生认知状态分布情况示意图。[0080]图12为本发明的实施例一的分布视图示意图。[0081]图13为本发明的实施例二的监控视图示意图。[0082]图14为本发明的实施例二的个人视图示意图。[0083]图15为本发明的实施例二的学生200048上课睡觉时的视图示意图。[0084]图16为本发明的实施例三的对比分析不同学生的参与度的监控视图示意图。[0085]图17为实施例三的的分布视图和个人视图示意图。具体实施方式[0086]如图1所示为本发明的方法流程示意图：本发明提供的这种在线课程的学生参与度实时可视化分析方法，包括如下步骤：[0087]s1.实时获取在线课程中学生的视频；具体包括如下步骤：[0088]采用摄像头采集在线课程中学生的实时视频；[0089]根据人眼的眨眼频率，设定每秒采集图像的帧数；[0090]在采集视频开始之前，采集学生正视屏幕中心和在屏幕中心观察屏幕四周四个顶点时的图像{ic,ilt,ilb,irt,irb}，用于头部方向和视线方向的检验；其中ic为学生正视屏幕中心的图像，ilt为学生在屏幕中心观察屏幕左上角顶点时的图像，ilb为学生在屏幕中心观察屏幕左下角顶点时的图像，irt为学生在屏幕中心观察屏幕右上角顶点时的图像，irb为学生在屏幕中心观察屏幕右下角顶点时的图像；[0091]s2.对步骤s1获取的视频数据进行预处理，从而提取得到学生的面部特征；具体包括如下步骤：[0092]在学生所在的客户端进行预处理；预处理包括人脸识别预处理、人脸对齐预处理、情感识别预处理、头部姿态估计预处理和视线估计预处理；[0093]其中，人脸识别预处理为采用深度学习模型检测所采集到的图像中是否存在人脸信息；人脸对齐预处理为采用神经网络模型提取所采集的图像中的人脸坐标位置信息；情感识别预处理为采用神经网络模型识别学生的实时情感；所述情感包括愤怒、自然、悲伤、惊讶、开心、厌恶和害怕；头部姿态估计预处理为采用头部姿态技术从所采集的图像中提取人的头部姿态角，并根据头部姿态角判断学生头部与屏幕之间的关系；视线估计预处理为采用基于全脸的视线估计算法提取学生的视线方向，并根据视线方向判断学生视线与屏幕之间的关系；[0094]具体实施时，人脸识别预处理具体包括如下步骤：[0095]采用多任务级联卷积神经网络深度学习模型检测图像中是否包含人脸信息；多任务级联卷积神经网络深度学习模型检测出图像中人脸矩阵在图像中的位置(x,y,w,h)，其中(x,y)表示以图像左上角为坐标原点时人脸矩阵的左上角的坐标，w表示检测到的人脸矩阵所对应的矩形区域的宽度，h为检测到的人脸矩阵所对应的矩形区域的高度；具体实施时，若检测得到了人脸矩阵，则表示识别到了人脸信息；[0096]人脸对齐预处理具体包括如下步骤：[0097]采用级联卷积神经网络模型提取人脸关键点坐标；提取坐标时，以图像的左上角为原点，提取得到的人脸关键点坐标为[xi,yi]；[0098]情感识别预处理具体包括如下步骤：[0099]采用resnet-50作为卷积神经网络模型，并采用fer2013面部表情识别公开数据集进行训练，得到最终的预处理模型；预处理模型输出的情感包括愤怒、自然、悲伤、惊讶、开心、厌恶和害怕；[0100]头部姿态估计预处理具体包括如下步骤：[0101]采用头部姿态估计算法从图像中获取人的头部姿态；头部姿态用三个欧拉角表示，分别为俯仰角、偏航角和滚转角，并依次用于表示点头、摇头和转头；[0102]采用基于关键点2d投影到3d方法作为头部姿态估计算法，提取得到的头部姿态；头部姿态采用三维向量[pitch,yaw,roll]表示，其中pitch为俯仰角，yaw为偏航角，roll为滚转角；[0103]在头部姿态估计预处理前，进行事先校验；校验时，提取学生正视屏幕中心的头部姿态角，以及学生的头部在屏幕中心时观察屏幕四周时的四个方向的头部姿态角；校验时，对学生头部姿态进行比例转换处理，，使得学生观看屏幕中心时的pitch值和yaw值均为0，学生观看屏幕上下沿时头部的俯仰角和左右沿时的偏航角的绝对值为0.5；[0104]校验时，采用如下公式计算校验后的俯仰角pitch2为式中pitch1为检测得到的俯仰角，pitchc为学生正视屏幕中心时的俯仰角，pitcht为学生观看屏幕上边界时的俯仰角；[0105]校验后，若偏转的角度值大于1，则直接修正为最大值1；[0106]最后，当偏转角度在-0.5～0.5之间时，认定学生的头部方向面向屏幕；[0107]视线估计预处理具体包括如下步骤：[0108]采用基于全脸的视线估计算法提取学生的视线方向，得到学生的视线方向为[x,y]，其中x为视线在水平方向的旋转角度，y为视线在垂直方向的旋转角度；[0109]在视线估计预处理前，进行事先校验；校验时，提取学生头部在屏幕正中心时注视屏幕正中和屏幕四周的视线角；然后根据校验结果，对视线数据进行转换，使学生观看屏幕中心时的视线为[0,0]，学生观看屏幕四周的视线所对应的角度的绝对值为0.5；[0110]校验时，采用如下公式计算校验后的视线方向的角度值y2为式中y1为检测得到的视线方向的角度值，yc为学生正视屏幕中心时的视线方向的角度值，yt为学生观看屏幕上边界时的视线方向的角度值；[0111]校验后，若视线方向的的角度值大于1，则直接修正为最大值1；[0112]最后，当视线方向的角度值在-0.5～0.5之间时，认定学生的注视屏幕；[0113]s3.从注意力、情感、疲劳程度和认知状态四个方面，建立学生参与度分析模型；具体包括如下步骤：[0114]注意力方面：[0115]采用如下算式计算得到学生观看屏幕状态变量s为s＝"|x|≤0.5"&"|y|≤0.5"；式中[x,y]为预处理后的学生视线方向；"a"的取值规则为：若a为真则"a"＝1，若a为假则"a"＝0；&为与操作；当学生观看屏幕状态变量s为1，表明学生正在观看屏幕；当学生观看屏幕状态变量s为0，表明学生未在观看屏幕；[0116]采用时间跨度为30s的滑动窗口接收学生的视线方向[x,y]以及学生观看屏幕状态变量s，得到n＝[x1,x2,...,xn]、m＝[y1,y2,...,yn]和w＝[s1,s2,...,sn]，其中xi为第i帧中学生的水平视线方向，yi为第i帧中学生的垂直视线方向，si为第i中学生观看屏幕状态变量；计算得到学生发呆状态变量d为d＝"(max(n)-min(n))≤t"&"(max(m)-min(m))≤t"，式中max(n)为n中元素的最大值，min(n)为n中元素的最小值，d为1表示学生未发呆，d为0表示学生发呆；最后，采用如下算式计算得到学生的注意力变量a为[0117]疲劳程度方面：[0118](1)针对学生，选取平均眼睛长宽比b2、眨眼频率p2、平均眨眼时长d2和打哈欠频数m2作为指标，对学生的疲劳程度进行建模；[0119]提取人脸的眼部关键点和嘴部关键点信息：其中眼部关键点包括6个关键点，最外侧眼角处的眼部关键点e1，最内侧眼角处的眼部关键点e4，眼睛上轮廓外侧1/4处的眼部关键点e2，眼睛上轮廓内侧1/4处的眼部关键点e4，眼睛下轮廓外侧1/4处的眼部关键点e6，以及眼睛下轮廓内侧1/4处的眼部关键点e5；嘴部关键点信息包括4个关键点，嘴部轮廓最左侧关键点m1，嘴部轮廓最右侧关键点m3，上嘴唇最高处关键点m2，以及下嘴唇最低处关键点m4；每个关键点都是二维坐标；[0120]采用如下算式计算得到学生的眼睛长宽比α为式中|e2-e6|表示关键点e2与关键点e6之间的直线距离；|e3-e5|表示关键点e3与关键点e5之间的直线距离；|e1-e4|表示关键点e1与关键点e4之间的直线距离；[0121]采用如下算式计算得到学生的嘴部长宽比β为式中|m3-m1|表示关键点m3和关键点m1之间点直线距离距离，|m2-m4|表示关键点m2和关键点m4之间的直线距离；[0122]预先获取每一名学生的眼部长宽比和嘴部长宽比进行归一化处理，使得眼睛完全闭合时眼睛长宽比α为0，眼睛完全打开时眼睛长宽比α为1；嘴部完全闭合时嘴部长宽比β为0，嘴部完全打开时嘴部长宽比β为1；[0123]当检测到学生的眼睛长宽比α小于设定阈值时，认定学生闭眼；[0124](2)采用时长为30s的滑动窗口，对视频图像进行截取，得到f＝[b1,b2,...,bn]，其中bi为滑动窗口中第i帧图像的眼部长宽比；采用如下公式计算得到学生的平均眼部长宽比b为[0125]定义眨眼频率p为30s中学生眨眼动作的次数；[0126]采用时长为30s的滑动窗口，对视频图像进行截取，得到g＝[d1,d2,...,dm]，其中在滑动窗口中共检测出m次眨眼，di为第i次眨眼的时长；采用如下公式计算得到学生的平均眨眼时长d为[0127]当嘴部长宽比大于设定阈值且持续时间大于设定阈值时，认定学生发生打哈欠行为；学生的打哈欠频数m为30s内的打哈欠的次数；[0128]采用动态权重模糊综合评价法分析学生的疲劳程度：最终得到初始的平均眼部长宽比b权重、眨眼频率p权重、平均眨眼时长d权重和打哈欠频数m权重依次为0.42、0.13、0.32和0.13；在b＜0.2时，调整平均眼部长宽比b权重、眨眼频率p权重、平均眨眼时长d权重和打哈欠频数m权重依次为0.8、0.1、0.1和0；每个指标在不同数值时对应着相应的价值v；b＝1时价值为0，b＝0.8时价值为0.2，b＝0.6时价值为0.4，b＝0.4时价值为0.6，b＝0.2时价值为0.8，b＝0时价值为1；p在6～8区间时价值为0，p为5或9时价值为0.2，p等于4或在10～12区间时价值为0.4，p等于3或在12～14区间时价值为0.6，p等于2或在15～16区间时价值为0.8，p≤1时或p＞16时价值为1；d在0.2～0.4区间时价值为0，d在0.5～0.6区间时价值为0.2，d在0.7～0.8区间时价值为0.4，d在0.8～1.5区间时价值为0.6，d在1.5～3区间时价值为0.8，d在3以上时价值为1；m等于0时价值为0，m等于1时价值为0.4，m等于2时价值为0.6，m等于3时价值为0.8，m≥4时的价值为1；最后计算疲劳程度f为：f＝vb*wb+vp*wp+vd*wd+vm*wm，其中wb为平均眼部长宽比b权重，wp为眨眼频率p权重，wd为平均眨眼时长d权重，wm为打哈欠频数m权重，vb为眼部长宽比b的价值，vp为眨眼频率p的价值，vd为平均眨眼时长d的价值，vm为打哈欠频数m的价值；[0129]情感方面：[0130]采用情感分类模型，将情感分为愤怒、自然、悲伤、惊讶、开心、厌恶和害怕；[0131]认知状态方面：[0132]规定学生听懂课程内容时点头，未听懂课程内容时摇头；[0133]对学生的头部动作进行检测：提取学生的头部的偏航角和俯仰角，然后建立两个时间跨度为3s的滑动窗口分别对偏航角和俯仰角进行接收；[0134]采用如下步骤检测学生的点头行为和摇头行为：[0135]规定若头部方向连续下降超过设定的阈值tnod，则认为发生低头行为；反过来，若头部方向连续上升超过设定的阈值tnod，则认为发生抬头行为；在观察区间内，若同时检测到低头和抬头行为则判定发生点头行为；经过大量的实验结果统计，设定的阈值tnod的值优选为0.25；[0136]s4.对步骤s3建立的学生参与度分析模型的分析结果进行可视化，从而完成在线课程的学生参与度实时可视化分析；具体包括如下步骤：[0137](1)构建摘要视图、监控视图、分布视图和个人视图进行分析结果的可视化；其中，摘要视图用于实时呈现全体学生参与度；监控视图用于实时呈现指定学生群体的参与度；分布视图用于呈现学生在指定的时间段内的参与度分布情况；个人视图用于展示个体学生的参与度相关特征；[0138](2)摘要视图：基于堆叠柱状图构建摘要试图，用于同时呈现学生的情感、疲劳程度、注意力和学生状态四个指标；从三个角度呈现学生的参与度，分别是注意力、疲劳程度和情感；[0139]从注意力角度和疲劳角度概览学生参与的视图(如图3所示)：y轴表示不同程度的注意力区间，由低到高总共分为四组；x轴表示每组内学生的人数；每个柱由若干小矩形组成，每个矩形代表一名学生，矩形的颜色对应学生的情感；在每个小矩形中用内嵌的深色矩阵表示疲劳程度；其中内嵌矩阵的高度表示疲劳程度的值；按照疲劳程度下降的方式进行排序，以避免出现视觉混乱的问题；在每个矩形下方用不同颜色的圆形图标呈现学生的认知状态和发呆状态；通过从注意力角度和疲劳角度概览学生参与的视图，教师可以快速概览学生的参与度；[0140]从情感角度概览学生参与的视图(如图4所示)：y轴表示学生的情感类别，矩形柱的长度对应某类情感中的学生人数；每个柱由若干矩形组成，每个矩形代表一名学生，在矩形中嵌入两个深色的矩形，上部矩形的高度对应学生的注意力，下部矩形的高度对应学生的疲劳程度；按照注意力进行排序；教师能够根据教学场景切换不同的角度来概览学生的参与度；当教师把鼠标悬浮在视图上方时，视图会停止实时更新，以方便教师查看或选取学生；当鼠标悬浮在某位学生上方时会呈现学生的详细信息；点击时可以查看学生的信息；教师能够在视图中选取感兴趣的学生群，并进行进一步分析；[0141](3)监控视图：用于帮助教师持续关注感兴趣学生的参与度；构建人脸模型(如图5所示)；每一个人脸表示一名学生，使用头发的颜色对应学生的情感，情感颜色与摘要视图保持一致；使用眼珠在眼睛中的相对位置对应学生的视线方向；若学生正视屏幕则眼珠处在眼睛的正中心；使用头发、眼睛、鼻子和嘴巴在人脸中的相对位置编码头部转动方向；使用眼皮的高度编码学生的疲劳程度；通过监控视图，教师能够感知学生的异常参与行为；[0142](4)分布视图：用于帮助教师理解某时间段内学生的参与度分布情况(如图6所示)；分布视图为一个矩阵，矩阵中每个格子代表一名学生；用glyph设计表示每个学生，其中中间的饼图(如图7所示)表示在指定时间段内学生的情感分布情况；挨着饼图的圆环表示注意力，深色圆环的角度对应该时间段内的平均注意力，浅色圆环的顶端角度对应注意力的上四分位数；最外层的圆环表示疲劳程度，深色圆环的角度对应平均疲劳程度，一个满圆表示完全疲劳；浅色圆环顶端的角度表示疲劳程度的上四分位数；分布视图能够按照多种方式排序，排序完成后学生位置会保持固定并实时更新；当教师从摘要视图中选择部分学生后，分布视图会默认按照注意力由高到低对这些学生群体进行排序；分布视图中存在一个时间条滑块，教师能够通过滑块选择某个时间段区间并查看对应信息；教师能够通过鼠标悬浮的方式查看学生的详细信息，并通过点击的方式将学生加入到监控视图和个人视图中；[0143](5)个人视图：用于为教师提供学生参与度的相关特征信息和学生的原始图像；个人视图中呈现的时间跨度与分布视图中的时间滑块保持一致；个人视图中包含视线方向、头部方向、眼部长宽比、嘴部长宽比、学生原始图像和学生动作信息；个人视图(如图8所示)中的x坐标轴表示时间；个人视图上下方各有一组虚线，用于表示学生观看屏幕上沿和屏幕下沿时的视线方向；虚线中存在一个流图，流图的宽度等于两条虚线间的宽度，位置表示头部的方向；上方的流图表示头部绕y轴旋转方向，下方的流图表示头部绕x轴旋转方向；用颜色编码的实线用于表示视线方向；若线在两条颜色线中间表示观看屏幕，若线在颜色线外则表示学生视线脱离屏幕。线的颜色编码学生的情感类别；情感的颜色与摘要视图保持一致；在两个河图中间存在两个甘特图，第一甘特图表示眨眼信息，甘特图中空白的区域表示眼睛闭合，甘特图中矩阵的透明度编码两次眨眼之间平均眼睛长宽比；第二甘特图呈现张嘴信息，若出现特定颜色矩形则表示张嘴，没有则表示闭嘴；在第一甘特图下方用颜色编码的圆形图标表示学生的动作，第一颜色表示点头，第二颜色表示摇头；当教师点击图中某时刻的流图时，会展示该时刻学生的原始图像，以帮助教师验证自己的分析结果。[0144]以下结合一个实验，证明了本发明的实用性和有效性。[0145]实验过程：为了验证系统的有效性和可用性，邀请合作教师中的其中一名教师使用本发明提出的学生参与度可视分析方法开展在线课堂教学实验。在本实验中教师为53名学生教授《机器学习》课程。首先要求学生在浏览器上登陆数据采集和预处理系统，通过浏览器打开摄像头，在上课前完成视线和头部方向校验工作，并将浏览器放在桌面角落。然后我们明确告知每位学生，教师可通过图像检测方法感知学生是否在屏幕前或是否认真上课。此外，也告知学生可以通过点头或摇头行为随时向教师传递自己对知识的认知情况。最后为教师介绍学生参与度可视分析方法的使用方法。为教师提供一块额外的显示屏以显示可视分析系统。在实验过程中，通过三个案例证明系统的有效性和可用性。[0146]案例分析一：快速概览学生参与[0147]在线下教学过程中，教师会不定时地查看全体学生的参与情况，然后根据学生状态采取多样的教学手段，从而增强课堂的学习氛围，提高教学质量。但是在在线课堂中，因为教师很难快速感知学生的参与情况，所以教师通常会自顾自地上课，很少与学生进行互动。在本次实验中，教师利用提出的参与度可视分析方法快速感知全体学生的参与情况，并做出一系列积极的教学决策。首先他在摘要视图中选择按照注意力排序。在课程开始时，学生的注意力都比较集中，但是课程进行一段时间后，教师发现大部分学生的注意力转移到0.25-0.75区间，且部分学生的情感是难过，疲劳程度也较之前有所提高，如图9所示。教师意识到自己的课程可能让学生感到无聊了。于是教师停顿了一下，跟大家说：“大家请注意听讲，接下来我讲的是重点了。”并在接下来的课程中适当提高音量，在讲到重要知识点时也会加重语气。在教师采取一些列教学措施后，学生的注意力恢复到0.75-1区间。[0148]因为本发明提供认知状态反馈功能，所以在上课过程中教师会频繁的与学生进行互动。例如教师在讲完一个知识点后，向学生提出问题：“大家都听懂了吗？”在提出问题后，教师查看摘要视图中学生的点头和摇头情况。他发现大部分学生下方呈现的是红色圆形，但有几名同学显示的绿色圆形，如图10所示，这说明大部分学生听懂了，但还是有几名学生存在疑惑。于是他停止授课，请这几位学生将问题打入到聊天界面中。在解答完学生问题后再继续课程。[0149]此外，教师也十分关注学生的情感状态。教师说他在上课过程中会尽量让学生保持自然和开心的情感状态。但在上课过程中，教师发现摘要视图中新增了较多难过、愤怒、沮丧等负面情感。于是在摘要视图中选择按照情感排序，然后刷取这些负面情绪的学生，在分布视图中查看过去半分钟内学生的情感分布情况，如图11所示，他发现学生负面情绪已经持续了一段时间。因此教师暂时中断课程，为学生们讲了一个小笑话以活跃课堂氛围。随后摘要视图中开心的学生人数显著增加。教师表示他得到了及时的反馈，明显提高了教学信心。在接下来的授课过程中，他放慢了课堂节奏，尽可能讲清楚每一个知识点。[0150]以上案例表明本发明可以有效地为教师传递学生的参与度信息，有助于教师做出适当的教学决策。此外，本发明可以有效地促进师生间的互动，提高在线课堂的教学质量和学习效果。[0151]案例分析二：识别异常参与度学生[0152]在线课堂中，师生间存在较严重的时空隔离的问题，教师很难发现脱离课堂或参与异常的学生，因此无法及时纠正这些学生，导致其学习效果不好。而本发明可以帮助教师快速地发现参与度异常的学生。例如，在实验过程中，教师发现注意力0-0.25的区间始终存在一名学生，颜色时不时为黑色，这表示该名学生偶尔未检测到。为了分析原因，教师在摘要视图中查看该学生的个人信息，并将该名学生加入到监控视图和个人视图中。教师发现监控视图中该学生始终低头，视线方向也是朝下，如图12所示。于是教师将时间滑块设定为最近90s，然后查看学生的个人视图，如图13所示。由此他得知学生在380s左右时开始低头并保持很长一段时间。因此，教师怀疑该学生低头玩手机。接下来教师点击最近的时间点查看学生的原始图像，通过观看学生的原始图片，教师坚定了自己的判断。于是对该名学生口头警告。[0153]此外教师在上课过程中将分布视图的时间跨度调整为最近30s以查看最近一段时间内学生的参与度。通过分布视图，教师很容易检测出学生的异常参与行为。例如教师发现学生200048的疲劳程度提高到1，如图14(a)所示，教师将其加入到监控视图中并持续观察一段时间，发现其眼皮始终是全闭状态，如图14(b)所示。最后教师在个人视图中查看该学生的细节信息，如图14(c)所示，他发现最近一段时间学生的眼睛长宽比小于闭眼阈值，由此教师判断学生睡着了。教师点名批评但是学生没有反应，于是教师让其他同学打电话叫醒这么学生。[0154]通过分布视图，教师还发现一名学生中间的饼图几乎全部为紫色，这表示学生对课程产生了厌恶的感觉。当教师发现这个现象后，他对这名学生提问，从而将学生重新拉回到课堂之中。[0155]教师表示，该系统可以有效地帮助他发现参与度异常的学生，并理解学生参与度异常背后的原因，然后采用有效的教学干预措施。这是在正常线上教学中难以做到的事情。[0156]案例分析三：比较不同学生的参与度[0157]对于教师来说比较不同学生的参与度十分重要。通过学生之间的比较，教师可以发现上课积极和不积极的学生，这为教师的课堂表现打分提供有利支撑，同时也可以帮助教师发现感兴趣的学生。在本次试验中，教师发现较多的学生情感处于消极状态，于是他在摘要视图中按照情感排序。然后他将情感为难过和厌恶的学生选入到监控视图中观察。为了活跃气氛，教师讲了一个笑话，监控视图中大部分的学生情感转变为开心或自然。但是通过比较教师发现学生100015仍然处于难过状态，如图15所示，由此教师判断该名学生需要一些帮助。于是他点名这位学生，并与其连麦，询问其是否有什么困难。[0158]在课程完成后，教师将分布视图中的时间滑块设置为整个课程时长，然后比较不同学生的参与度。如图16(a)所示，通过分布视图教师发现参与度高和参与度低的学生。最后他在个人视图中比较不同学生的参与细节。如图16(b)所示，他发现参与度高的学生头部的动作相对较少，视线波动较小，情感相对积极，而参与度低的学生头部动作较多，视线波动较大，且有较多的负面情感。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!