一种公式图片识别判题系统的制作方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及试卷批改技术领域，具体而言，涉及一种公式图片识别判题系统。背景技术：2.在教师教学的过程中，为了能够提高教师试题录入效率，减少阅卷压力。使用了ocr技术帮助教师进行试题录入和阅卷，自动识别图片中题目信息和学生的答案信息。而在数学、物理、化学等科目的试卷中存在大量的学生作答的手写体公式，如何对试卷中学生答案的手写体公式进行识别，则成了智能阅卷的难点之一。在具体使用时，可以利用深度学习中的lstm网络建立模型，将数学公式图片使用循环神经网络转为序列识别问题，通过序列识别进而识别出图片中公式的latex语言格式，这种方法在多种类型的公式共存的情况下如：数学公式、物理公式、化学公式，由于不同公式的特征不同，识别率不高，不具有普适性。3.中国专利公开了一种基于深度学习的公式图片识别判题系统，公开号：cn112926571a，其只能对公式进行识别，难以对单位进行识别，导致学生在公式中使用单位时，容易识别不准。技术实现要素：4.本发明的主要目的在于提供一种公式图片识别判题系统，以改善相关技术中, 只能对公式进行识别，难以对单位进行识别，导致学生在公式中使用单位时，容易识别不准的问题。5.为了实现上述目的，本发明提供了一种公式图片识别判题系统，中央处理模块，用于读取指令，对指令译码并执行指令；图像录入模块，所述图像录入模块和中央处理模块电性连接，用于采集和录入图像；科目分类模块，所述科目分类模块和中央处理模块电性连接，用于将题目分类成不同的科目；公式识别模块，所述公式识别模块和所述中央处理模块电性连接，用于对图片进行识别得到latex语言；计量单位识别模块，所述计量单位识别模块和所述中央处理模块电性连接，用于识别latex语言中的计量单位中文字符；数据转化模块，所述数据转化模块和所述中央处理模块电性连接，用于将得到的latex语言转换python能够直接识别的sympy语法格式；答案对比模块，所述答案对比模块和所述中央处理模块电性连接，用于与正确答案相对比，得到学生的各个题目的作答情况。6.在本发明的一种实施例中，所述图像录入模块包括灰度识别单元、灰度处理单元、图片矫正单元和阈值分割单元；所述灰度识别单元用于对图片进行灰度化处理，得到灰度图片；所述灰度处理单元用于得到灰度直方图均衡化提升图片亮度；所述图片矫正单元通过霍夫变换对图片倾斜的情况进行矫正；所述阈值分割单元阈值分割得到图片中手写体公式的主体位置并切割出来，填入到预设的固定大小的空白图片中。7.在本发明的一种实施例中，所述图像录入模块的使用方法包括以下步骤：s1.二值化，使用大津阈值法得到，背景为白色，字体为黑色的二值化图像；s2.倾斜矫正，利用霍夫变换的原理检测图片的倾斜角度，并进行矫正；s3.阈值分割，截取图片中手写字体的主体部分，删除空白部分；s4.改变图片大小，判断图片中手写体部分的尺寸大小，如果过小或过大均需要对图片进行放大或缩小操作，之后将缩放后的图片，填入到预设尺寸的空白图片中，方便后续模型识别。8.在本发明的一种实施例中，科目分类模块包括数据库单元；所述数据库单元设置分类模型，可以对预处理过的图片进行图片分类，得到图片所对应的类别，进而可以判断后续应使用哪种公式识别模型。9.在本发明的一种实施例中，所述科目分类模块包括科目设置单元，用户可通过科目设置单元设置待识别的科目，从而直接对科目进行识别；所述科目分类模块包括级别设置单元，将科目分为若干个级别，对于低年级的公式进行识别时，可屏蔽高年级的知识，可进一步简化识别的难度。10.在本发明的一种实施例中，所述公式识别模块包括latex语言转换单元、特征向量提取单元、向量筛选单元、对照单元、结果提取单元；latex语言转换单元采集到不同科目的手写体图片，分别进行图片预处理，图片中公式所对应的latex语言进行预处理得到latex语言的字符集，得到公式图片数据集，和图片所对应的latex语言的标签数据集；特征向量提取单元利用seq2seq模型，其编码器端使用的是卷积神经网络提取预处理后的图片特征；其解码器是循环神经网络进行的解码得到图片特征所对应的向量；向量筛选单元；使用注意力机制将图片特征向量进一步概率权重计算，突出其中重要的特征向量；所述对照单元对得到的特征向量经过束搜索将得到的特征向量与latex语言的字符集对应，得到图片中latex语言；使用该神经网络对不同科目的数据集进行训练，得到不同科目的识别模型；所述结果提取单元根据图片分类模型判断的结果，使用不同科目的公式识别模型进行预处理后的手写体公式的图片识别，得到识别的latex语言。11.在本发明的一种实施例中，所述计量单位中文字符包括但不限于：天干字符：甲、乙、丙、丁、戊、己、庚、辛、壬、葵；国标单位：毫米、厘米、米、千米、克、千克、平方毫米、平方厘米、平方米、平方千米、度、摄氏度；非国标单位：斤、两、亩、公分、尺、寸。12.在本发明的一种实施例中，所述数据转化模块将latex语言中的关键词和特殊符号与python中对应关键词和特殊符号一一对应并替换，得到python能够正确识别的sympy格式的公式语法。13.在本发明的一种实施例中，所述答案对比模块包括相同数据替换库；所述相同数据替换库中设置相同意义的字符作为一组；形式不同但含义相同的字符可相互替换。14.在本发明的一种实施例中，所述答案对比模块包括运算律替换单元，对于字符不同但含义相同的公式进行替换。15.与现有技术相比，本发明的有益效果是：1、设置科目分类模块，用于将题目分类成不同的科目，在识别时，直接调用相应科目的数据模型进行对比识别，大幅提高不同科目之间的公式识别的准确率；2、相同数据替换库，相同数据替换库中设置相同意义的字符作为一组；形式不同但含义相同的字符可相互替换；设置运算律替换单元所述答案对比模块包括运算律替换单元，对于字符不同但含义相同的公式进行替换；3、通过设置计量单位识别模块，可以对中文书写的计量单位进行识别，提高识别的成功率，确保识别的准确性。附图说明16.图1为根据本发明实施例提供的公式图片识别判题系统的结构框图；图2为根据本发明实施例提供的公式图片识别判题系统的图像录入模块的结构框图；图3为根据本发明实施例提供的公式图片识别判题系统的图像录入模块的使用流程框图；图4为根据本发明实施例提供的公式图片识别判题系统的实施例1的科目分类模块的结构示意图；图5为根据本发明实施例提供的公式图片识别判题系统的实施例2的科目分类模块的结构框图；图6为根据本发明实施例提供的公式图片识别判题系统的公式识别模块的结构框图；图7为根据本发明实施例提供的公式图片识别判题系统的答案对比模块的结构框图。实施方式17.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。18.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。19.在本发明中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。20.并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。21.另外，术语“多个”的含义应为两个以及两个以上。22.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。实施例23.请参阅图1、图2、图3、图4、图6和图7，本发明提供了一种公式图片识别判题系统，包括中央处理模块，用于读取指令，对指令译码并执行指令；科目分类模块、公式识别模块、计量单位识别模块、数据转化模块和答案对比模块。24.所述图像录入模块和中央处理模块电性连接，用于采集和录入图像，所述图像录入模块包括灰度识别单元、灰度处理单元、图片矫正单元和阈值分割单元；所述灰度识别单元用于对图片进行灰度化处理，得到灰度图片；所述灰度处理单元用于得到灰度直方图均衡化提升图片亮度；所述图片矫正单元通过霍夫变换对图片倾斜的情况进行矫正；所述阈值分割单元阈值分割得到图片中手写体公式的主体位置并切割出来，填入到预设的固定大小的空白图片中。25.图像录入模块的使用方法包括以下步骤：s1.二值化，使用大津阈值法得到，背景为白色，字体为黑色的二值化图像；s2.倾斜矫正，利用霍夫变换的原理检测图片的倾斜角度，并进行矫正；s3.阈值分割，截取图片中手写字体的主体部分，删除空白部分；s4.改变图片大小，判断图片中手写体部分的尺寸大小，如果过小或过大均需要对图片进行放大或缩小操作，之后将缩放后的图片，填入到预设尺寸的空白图片中，方便后续模型识别。26.所述科目分类模块和中央处理模块电性连接，用于将题目分类成不同的科目，所述科目分类模块包括数据库单元；所述数据库单元设置分类模型，可以对预处理过的图片进行图片分类，得到图片所对应的类别，进而可以判断后续应使用哪种公式识别模型；所述公式识别模块和所述中央处理模块电性连接，用于对图片进行识别得到latex语言，所述公式识别模块包括latex语言转换单元、特征向量提取单元、向量筛选单元、对照单元、结果提取单元；latex语言转换单元采集到不同科目的手写体图片，分别进行图片预处理，图片中公式所对应的latex语言进行预处理得到latex语言的字符集，得到公式图片数据集，和图片所对应的latex语言的标签数据集；特征向量提取单元利用seq2seq模型，其编码器端使用的是卷积神经网络提取预处理后的图片特征；其解码器是循环神经网络进行的解码得到图片特征所对应的向量；向量筛选单元；使用attention（注意力机制）将图片特征向量进一步概率权重计算，突出其中重要的特征向量；所述对照单元对得到的特征向量经过beam search（束搜索）将得到的特征向量与latex语言的字符集对应，得到图片中latex语言；使用该神经网络对不同科目的数据集进行训练，得到不同科目的识别模型；所述结果提取单元根据图片分类模型判断的结果，使用不同科目的公式识别模型进行预处理后的手写体公式的图片识别，得到识别的latex语言。27.所述计量单位识别模块和所述中央处理模块电性连接，用于识别latex语言中的计量单位中文字符，计量单位中文字符包括但不限于：天干字符：甲、乙、丙、丁、戊、己、庚、辛、壬、葵；国标单位：毫米、厘米、米、千米、克、千克、平方毫米、平方厘米、平方米、平方千米、度、摄氏度；非国标单位：斤、两、亩、公分、尺、寸。28.需要说明的是：有些公式中包含中英文的字符，需要使用能够识别中英文字符的公式模型进行。模型使用abinet网络。abinet（asymmetric bilinear network）是一种新型的深度学习文本识别算法，该算法主要探索了对齐（alignment）和池化（pooling）之间的协同作用。其中，对齐模块主要作用是反向搜索，将目标尽量对齐到固定的位置或者固定的空间视图中；池化模块的作用则是为了获取更高层次的特征表示，以便进行更准确的分类。29.abinet算法的优势在于采用了一个新型的卷积结构——双线性卷积。双线性卷积能够有效地捕捉不同输入之间的关联性，从而提高了特征提取的质量。在abinet中，双线性卷积被用来捕获前后单词之间的关系。此外，abinet还使用了一个新的基于位置的池化算法，将池化操作根据不同的位置进行分组，提高了算法在位置信息不是很明显的场景下的性能表现。abinet算法在多个场景下都取得了不错的效果，和一般的文本识别算法相比，abinet算法不仅效果更加准确，而且在计算效率上也表现出优势，是一种非常优秀的文本识别算法。30.abinet网络主要分为3部分：视觉模型，语言模型和融合部分。首先输入图像到视觉模型，提取图像特征以及输出预测结果；将视觉模型的预测结果送入语言模型来提取语言特征并预测结果；将视觉模型的视觉特征和语言模型的语言特征进行融合来得到融合的预测结果；融合的预测结果再送入语言模型，迭代地进行细化，以得到最终的预测结果。31.所述数据转化模块和所述中央处理模块电性连接，用于将得到的latex语言转换python能够直接识别的sympy语法格式，数据转化模块将latex语言中的关键词和特殊符号与python中对应关键词和特殊符号一一对应并替换，得到python能够正确识别的sympy格式的公式语法。32.所述答案对比模块和所述中央处理模块电性连接，用于与正确答案相对比，得到学生的各个题目的作答情况，答案对比模块包括相同数据替换库；所述相同数据替换库中设置相同意义的字符作为一组；形式不同但含义相同的字符可相互替换，如0.5和1/2可替换。答案对比模块包括运算律替换单元，对于字符不同但含义相同的公式进行替换。如加法交换律，a+b和b+a可相互替换；如乘法交换律，a×b和b×a可相互替换。实施例33.请参阅图1、图2、图3、图4、图6和图7，本发明提供了一种公式图片识别判题系统，包括中央处理模块，用于读取指令，对指令译码并执行指令；科目分类模块、公式识别模块、计量单位识别模块、数据转化模块和答案对比模块。34.所述图像录入模块和中央处理模块电性连接，用于采集和录入图像，所述图像录入模块包括灰度识别单元、灰度处理单元、图片矫正单元和阈值分割单元；所述灰度识别单元用于对图片进行灰度化处理，得到灰度图片；所述灰度处理单元用于得到灰度直方图均衡化提升图片亮度；所述图片矫正单元通过霍夫变换对图片倾斜的情况进行矫正；所述阈值分割单元阈值分割得到图片中手写体公式的主体位置并切割出来，填入到预设的固定大小的空白图片中。35.图像录入模块的使用方法包括以下步骤：s1.二值化，使用大津阈值法得到，背景为白色，字体为黑色的二值化图像；s2.倾斜矫正，利用霍夫变换的原理检测图片的倾斜角度，并进行矫正；s3.阈值分割，截取图片中手写字体的主体部分，删除空白部分；s4.改变图片大小，判断图片中手写体部分的尺寸大小，如果过小或过大均需要对图片进行放大或缩小操作，之后将缩放后的图片，填入到预设尺寸的空白图片中，方便后续模型识别。36.所述科目分类模块和中央处理模块电性连接，用于将题目分类成不同的科目，所述科目分类模块包括数据库单元；所述数据库单元设置分类模型，可以对预处理过的图片进行图片分类，得到图片所对应的类别，进而可以判断后续应使用哪种公式识别模型。优选的，所述科目分类模块包括科目设置单元，用户可通过科目设置单元设置待识别的科目，从而直接对科目进行识别；优选的，所述科目分类模块包括级别设置单元，将科目分为若干个级别，对于低年级的公式进行识别时，可屏蔽高年级的知识，可进一步简化识别的难度。37.所述公式识别模块和所述中央处理模块电性连接，用于对图片进行识别得到latex语言，所述公式识别模块包括latex语言转换单元、特征向量提取单元、向量筛选单元、对照单元、结果提取单元；latex语言转换单元采集到不同科目的手写体图片，分别进行图片预处理，图片中公式所对应的latex语言进行预处理得到latex语言的字符集，得到公式图片数据集，和图片所对应的latex语言的标签数据集；特征向量提取单元利用seq2seq模型，其编码器端使用的是卷积神经网络提取预处理后的图片特征；其解码器是循环神经网络进行的解码得到图片特征所对应的向量；向量筛选单元；使用attention（注意力机制）将图片特征向量进一步概率权重计算，突出其中重要的特征向量；所述对照单元对得到的特征向量经过beam search（束搜索）将得到的特征向量与latex语言的字符集对应，得到图片中latex语言；使用该神经网络对不同科目的数据集进行训练，得到不同科目的识别模型；所述结果提取单元根据图片分类模型判断的结果，使用不同科目的公式识别模型进行预处理后的手写体公式的图片识别，得到识别的latex语言。38.所述计量单位识别模块和所述中央处理模块电性连接，用于识别latex语言中的计量单位中文字符，计量单位中文字符包括但不限于：天干字符：甲、乙、丙、丁、戊、己、庚、辛、壬、葵；国标单位：毫米、厘米、米、千米、克、千克、平方毫米、平方厘米、平方米、平方千米、度、摄氏度；非国标单位：斤、两、亩、公分、尺、寸。39.需要说明的是：有些公式中包含中英文的字符，需要使用能够识别中英文字符的公式模型进行。模型使用abinet网络。abinet（asymmetric bilinear network）是一种新型的深度学习文本识别算法，该算法主要探索了对齐（alignment）和池化（pooling）之间的协同作用。其中，对齐模块主要作用是反向搜索，将目标尽量对齐到固定的位置或者固定的空间视图中；池化模块的作用则是为了获取更高层次的特征表示，以便进行更准确的分类。40.abinet算法的优势在于采用了一个新型的卷积结构——双线性卷积。双线性卷积能够有效地捕捉不同输入之间的关联性，从而提高了特征提取的质量。在abinet中，双线性卷积被用来捕获前后单词之间的关系。此外，abinet还使用了一个新的基于位置的池化算法，将池化操作根据不同的位置进行分组，提高了算法在位置信息不是很明显的场景下的性能表现。abinet算法在多个场景下都取得了不错的效果，和一般的文本识别算法相比，abinet算法不仅效果更加准确，而且在计算效率上也表现出优势，是一种非常优秀的文本识别算法。41.abinet网络主要分为3部分：视觉模型，语言模型和融合部分。首先输入图像到视觉模型，提取图像特征以及输出预测结果；将视觉模型的预测结果送入语言模型来提取语言特征并预测结果；将视觉模型的视觉特征和语言模型的语言特征进行融合来得到融合的预测结果；融合的预测结果再送入语言模型，迭代地进行细化，以得到最终的预测结果。42.所述数据转化模块和所述中央处理模块电性连接，用于将得到的latex语言转换python能够直接识别的sympy语法格式，数据转化模块将latex语言中的关键词和特殊符号与python中对应关键词和特殊符号一一对应并替换，得到python能够正确识别的sympy格式的公式语法。43.所述答案对比模块和所述中央处理模块电性连接，用于与正确答案相对比，得到学生的各个题目的作答情况，答案对比模块包括相同数据替换库；所述相同数据替换库中设置相同意义的字符作为一组；形式不同但含义相同的字符可相互替换，如0.5和1/2可替换。答案对比模块包括运算律替换单元，对于字符不同但含义相同的公式进行替换。如加法交换律，a+b和b+a可相互替换；如乘法交换律，a×b和b×a可相互替换。44.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!