基于相对位置结构的票据字段匹配方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及票据信息提取技术领域，具体涉及一种基于相对位置结构的票据字段匹配方法。背景技术：2.近年来，得益于深度学习迅猛发展，基于深度学习的文本检测与识别技术在各类实际场景中得到了广泛的应用。3.将深度学习应用于票据识别中时，首先将票据图像输入文本检测模型，得到票据图像内各行文本的文本检测框；然后通过文本识别模型得到检测框内的文本内容。在实际业务需求中，还需要对票据中的字段名和字段值进行匹配，其中，字段名通常为票据生产时统一印刷的，而字段值为开票时通过打印机进行打印的。4.在现有方法中，往往通过票据模板来确定各个字段值文本所在的位置，再与文本检测框的位置对比进行匹配。然而在实际应用场景中，票据图像中的字段值文本的打印位置往往存在旋转，偏移等情况，给票据字段匹配带来了困难。技术实现要素：5.为解决上述问题，提供一种基于相对位置结构的票据字段匹配方法，利用票据图像中字段名与字段值相对位置结构的相似性来对字段名与字段值进行匹配，从而在不使用模板的情况下实现票据字段匹配，并且可以消除字段值文本打印位置旋转、偏移对票据字段匹配的影响，本发明采用了如下技术方案：6.本发明提供了一种基于相对位置结构的票据字段匹配方法，其特征在于，包括：步骤s1，对票据图像的各个字段值文本以及各个字段名文本进行检测，获取多个文本检测框及其坐标，其中，文本检测框包括字段值文本检测框以及字段名文本检测框；步骤s2，分别计算得到各个所述文本检测框的相对位置特征编码；步骤s3，计算每个所述字段值文本检测框的所述相对位置特征编码与每个所述字段名文本检测框的所述相对位置特征编码两两之间的特征距离；步骤s4，基于各个所述特征距离，获取所述字段值文本与所述字段名文本之间的匹配关系，其中，将每个所述字段值文本和与该字段值文本的所述特征距离最小的所述字段名文本相匹配。7.本发明提供的基于相对位置结构的票据字段匹配方法，还可以具有这样的技术特征，其中，步骤s2包括以下子步骤：步骤s2-1，对每个所述文本检测框，计算从该文本检测框的左上角端点到该文本检测框的右上角端点的向量，作为该文本检测框的自身参考向量；步骤s2-2，对每个所述文本检测框，计算从该文本检测框的左上角端点到每个其他所述文本检测框的左上角端点的向量，作为相对参考向量，从而获取一组所述相对参考向量；步骤s2-3，将步骤s2-2得到的一组所述相对参考向量记为一组极坐标，其中，每个所述极坐标的极角为所述相对参考向量与对应的所述文本检测框的所述自身参考向量的逆时针夹角，极径为所述相对参考向量的长度；步骤s2-4，按照预定的归一化算法对每个所述极坐标的所述极径进行归一化；步骤s2-5，将每个所述文本检测框的归一化后的一组所述极坐标记为该文本检测框的所述相对位置特征编码。8.本发明提供的基于相对位置结构的票据字段匹配方法，还可以具有这样的技术特征，其中，步骤s2-4中，根据以下归一化公式来进行归一化：[0009][0010]式中，ρj是极坐标j的极径，ρ′i是归一化后的极坐标i的极径，ρi是归一化前的极坐标i的极径。[0011]本发明提供的基于相对位置结构的票据字段匹配方法，还可以具有这样的技术特征，其中，将步骤s3中的两个所述相对位置特征编码分别记作相对位置特征编码a以及相对位置特征编码b，步骤s3包括以下子步骤：步骤s3-1，分别计算所述相对位置特征编码a中每个所述极坐标与所述相对位置特征编码b中的每个所述极坐标的极坐标不相似度；步骤s3-2，根据所述极坐标不相似度，对相对位置特征编码a中每个极坐标和相对位置特征编码b中的每个极坐标进行二分图匹配，其中，极坐标不相似度较小的优先进行匹配；步骤s3-3，根据步骤s3-2的匹配结果计算所述相对位置特征编码a和所述相对位置特征编码b的所述特征距离。[0012]本发明提供的基于相对位置结构的票据字段匹配方法，还可以具有这样的技术特征，其中，步骤s3-1中，根据以下公式计算所述极坐标不相似度：[0013]vector_distance[i,j]＝(1+de[i,j])2+(1+dc[i,j])2-2[0014][0015]dc[i,j]＝0.5+0.5*cos(θi-θj)[0016]式中，vector_distance[i,j]为所述极坐标不相似度，de[i,j]为所述相对位置特征编码a中的第i个所述极坐标与所述相对位置特征编码b中的第j个所述极坐标之间的欧几里得距离，dc[i,j]为所述相对位置特征编码a中的第i个所述极坐标与所述相对位置特征编码b中的第j个所述极坐标之间的余弦距离，ρi表示第i个所述极坐标的所述极径，θi表示第i个所述极坐标的所述极角。[0017]本发明提供的基于相对位置结构的票据字段匹配方法，还可以具有这样的技术特征，其中，步骤s3-3中，根据以下公式计算所述特征距离：[0018]code_distance(a,b)＝∑matched_distance(a,b,i)[0019]式中，code_distance(a,b)为所述特征距离，matched_distance(a,b,i)为所述位置特征编码a的第i个所述极坐标与所述位置特征编码b中相匹配的所述极坐标的所述极坐标不相似度。[0020]发明作用与效果[0021]根据本发明的基于相对位置结构的票据字段匹配方法，首先对票据图像中的各个字段值文本以及字段名文本进行了检测，得到了多个文本检测框及其坐标；然后计算得到了各个文本检测框的相对位置特征编码；接着计算每个字段值文本检测框的相对位置特征编码和每个字段名文本检测框的相对位置特征编码两两之间的特征距离；最后基于多个特征距离，获取了字段值文本和字段名文本之间的匹配关系，并将字段值文本和与其特征距离最小的字段名文本相匹配。票据的字段值文本在开票打印时难免存在打印旋转、偏移等情况，但字段名文本的相对位置结构和字段值文本的相对位置结构的相似关系仍然存在，因此，通过本发明的方法就能基于特征距离，也即基于相对位置结构将对应的字段名文本和字段值文本进行匹配，有效消除了票据字段值文本打印旋转、偏移情况对票据字段匹配造成的不利影响。附图说明[0022]图1是本发明实施例中基于相对位置结构的票据字段匹配方法的流程图；[0023]图2是本发明实施例中票据图像的示意图；[0024]图3是本发明实施例中带文本检测框的票据图像的示意图；[0025]图4是本发明实施例中字段名文本检测框的分布位置示意图；[0026]图5是本发明实施例中字段值文本检测框的分布位置示意图；[0027]图6是本发明实施例中字段名文本检测框的自身参考向量的示意图；[0028]图7是本发明实施例中字段值文本检测框的自身参考向量的示意图；[0029]图8是本发明实施例中一个字段名文本检测框的相对位置特征编码示意图；[0030]图9是本发明实施例中一个字段值文本检测框的相对位置特征编码示意图；[0031]图10是本发明实施例中另一个字段值文本检测框的相对位置特征编码示意图；[0032]图11是本发明实施例中两个相对位置特征编码中的极坐标的二分图匹配结果示意图；[0033]图12是本发明实施例中另两个相对位置特征编码中的极坐标的二分图匹配结果示意图；[0034]图13是本发明实施例中字段名文本的相对位置特征与字段值文本的相对位置特征的特征距离矩阵。具体实施方式[0035]为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于相对位置结构的票据字段匹配方法作具体阐述。[0036]《实施例》[0037]图1是本发明实施例中基于相对位置结构的票据字段匹配方法的流程图。[0038]如图1所示，本实施例中，基于相对位置结构的票据字段匹配方法具体包括以下步骤：[0039]步骤s1，对票据图像的各个字段值以及各个字段名进行检测，获取多个文本检测框及其坐标。[0040]图2是本发明实施例中票据图像的示意图。[0041]如图2所示，票据图像的内容包含多个文本，其中，文本内容包括字段名文本和对应的字段值文本，本实施例中，票据图像中的字段值文本存在打印旋转、偏移的情况，但字段名文本与字段值文本的相对位置结构的相似关系仍然存在。[0042]图3是本发明实施例中带文本检测框的票据图像的示意图。[0043]如图3所示，采用现有技术中的票据文本检测方法对票据图像进行了文本检测，在票据图像上标示出了多个文本检测框，并获取了这些文本检测框的坐标，其中，文本检测框包括字段名文本检测框以及字段值文本检测框，现有技术中的票据文本检测方法也能对其进行区分。[0044]图4是本发明实施例中字段名文本检测框的分布位置示意图。[0045]图5是本发明实施例中字段值文本检测框的分布位置示意图。[0046]如图4和图5所示，字段名文本为票据生产时统一印刷的，因此其位置端正，字段值文本为开票时打印时，存在打印旋转、偏移的情况，但字段值文本的相对位置结构与字段名文本的相对位置结构存在相似性和对应性。[0047]步骤s2，分别计算得到各个文本检测框的相对位置特征编码。[0048]本实施例中，步骤s2具体包括以下子步骤：[0049]步骤s2-1，对每个文本检测框，计算从该文本检测框的左上角端点到该文本检测框的右上角端点的向量，作为该文本检测框的自身参考向量；[0050]步骤s2-2，对每个文本检测框，计算从该文本检测框的左上角端点到每个其他文本检测框的左上角端点的向量，作为相对参考向量，从而获取一组相对参考向量；[0051]步骤s2-3，将步骤s2-2得到的一组相对参考向量记为一组极坐标，其中，每个极坐标的极角为相对参考向量与对应的文本检测框的自身参考向量的逆时针夹角，极径为相对参考向量的长度；[0052]步骤s2-4，按照预定的归一化算法对每个极坐标的极径进行归一化，具体地，根据以下公式进行归一化：[0053][0054]式中，ρj是极坐标j的极径，ρ′i是归一化后的极坐标i的极径，ρi是归一化前的极坐标i的极径。[0055]步骤s2-5，将每个文本检测框的归一化后的一组极坐标记为该文本检测框的相对位置特征编码。[0056]图6是本发明实施例中字段名文本检测框的自身参考向量的示意图。[0057]图7是本发明实施例中字段值文本检测框的自身参考向量的示意图。[0058]如图6和图7所示，按照上述方法计算得到的各个文本检测框的自身参考向量。[0059]图8是本发明实施例中一个字段名文本检测框的相对位置特征编码示意图。[0060]如图8所示，按照上述方法计算得到一个字段名文本检测框的一组相对参考向量，进一步，将这一组相对参考向记作一组极坐标并进行归一化得到相对位置特征编码，其中，该字段名文本检测框的自身参考向量的极角为0°，相对位置特征编码表示为一组极坐标形式的向量：[0061][(0.731,0.00°),(1.000,4.53°),(0.100,269.46°),(0.285,269.81°),(0.194,269.73°),(0.547,327.72°),(0.496,336.32°),(0.954,342.11°),(0.935,348.18°),(0.738,352.32°)]。[0062]图9是本发明实施例中一个字段值文本检测框的相对位置特征编码示意图。[0063]如图9所示，同样地，按上述方法得到一个字段值文本检测框的相对位置特征编码，其中，该字段值文本检测框的自身参考向量的极角为-3.27°，相对位置特征编码表示为一组极坐标形式的向量：[0064][(0.963,3.87°),(0.215,260.57°),(0.309,264.06°),(0.603,327.44°),(0.545,335.65°),(1.000,342.02°),(0.988,346.44°),(0.831,351.90°),(0.819,358.35°)]。[0065]图10是本发明实施例中另一个字段值文本检测框的相对位置特征编码示意图。[0066]如图10所示，另一个字段值文本检测框的自身参考向量的极角也为-3.27°，相对位置特征编码表示为一组极坐标形式的向量：[0067][(0.511,157.74°),(0.473,168.88°),(0.498,179.51°),(0.507,191.09°),(0.093,271.55°),(0.512,33.34°),(0.359,32.37°),(0.327,17.47°),(0.437,0.21°),(0.453,347.86°)][0068]步骤s3，计算每个字段值文本检测框的相对位置特征编码与每个字段名文本检测框的相对位置特征编码两两之间的特征距离。[0069]本实施例中，将按上述方法得到的两个不同的相对位置特征编码分别记作相对位置特征编码a和相对位置特征编码b，步骤s3具体包括以下子步骤：[0070]步骤s3-1，分别计算相对位置特征编码a中每个极坐标与相对位置特征编码b中的每个极坐标的极坐标不相似度vector_distance[i,j]，具体地，按照以下公式进行计算：[0071]vector_distance[i,j]＝(1+de[i,j])2+(1+dc[i,j])2-2[0072][0073]dc[i,j]＝0.5+0.5*cos(θi-θj)[0074]式中，de[i,j]为相对位置特征编码a中的第i个极坐标与相对位置特征编码b中的第j个极坐标之间的欧几里得距离，dc[i,j]为相对位置特征编码a中的第i个极坐标与相对位置特征编码b中的第j个极坐标之间的余弦距离，ρi表示第i个极坐标的极径，θi表示第i个极坐标的极角；[0075]步骤s3-2，根据步骤s3-1得到的极坐标不相似度，对相对位置特征编码a中每个极坐标和相对位置特征编码b中的每个极坐标进行二分图匹配，其中，极坐标不相似度较小的优先进行匹配；[0076]步骤s3-3，根据步骤s3-2的匹配结果计算相对位置特征编码a和相对位置特征编码b的特征距离code_distance(a,b)，具体地，根据以下公式进行计算：[0077]code_distance(a,b)＝∑matched_distance(a,b,i)[0078]式中，matched_distance(a,b,i)是位置特征编码a的第i个极坐标与位置特征编码b中相匹配的极坐标的极坐标不相似度。[0079]图11是本发明实施例中两个相对位置特征编码中的极坐标的二分图匹配结果示意图。[0080]图11左侧所示为一个字段名文本检测框的相对位置特征编码中的极坐标，右侧所示为一个字段值文本检测框的相对位置特征编码中的极坐标，该字段名文本检测框与该字段值文本检测框的相对位置特征距离为所有匹配的极坐标对的极坐标不相似度之和，即0.123。[0081]图12是本发明实施例中另两个相对位置特征编码中的极坐标的二分图匹配结果示意图。[0082]图12左侧所示为另一个字段名文本检测框的相对位置特征编码中的极坐标，右侧所示为另一个字段值文本检测框的相对位置特征编码中的极坐标，该字段名文本检测框与该字段值文本检测框的相对位置特征距离为所有匹配的极坐标对的极坐标不相似度之和，即45.947。[0083]步骤s4，基于步骤s3得到的各个特征距离，获取字段值文本与字段名文本之间的匹配关系，其中，将每个字段值文本和与该字段值文本的特征距离最小的字段名文本相匹配。[0084]图13是本发明实施例中字段名文本的相对位置特征与字段值文本的相对位置特征的特征距离矩阵。[0085]如图13所示，本实施例中，票据字段匹配结果为：[0086]日期：2021/09/14[0087]工程编号：sh135084321[0088]施工单位：a建筑公司[0089]工程名称：l路改造工程fxa68[0090]施工部位：匝道w2-7#承台车号：153[0091]发车时间：13:43[0092]车载方量：16.00[0093]单号：m488551360905[0094]到达时间：15:56[0095]累计方量：34.00[0096]本实施例中，通过字段名文本检测框与字段值文本检测框的相对位置关系对票据字段进行匹配，有效消除了票据字段值打印旋转、偏移情况对票据字段匹配造成的不利影响，得到了准确的匹配结果。[0097]实施例作用与效果[0098]根据本实施例提供的基于相对位置结构的票据字段匹配方法，首先对票据图像中的各个字段值文本以及字段名文本进行了检测，得到了多个文本检测框及其坐标；然后计算得到了各个文本检测框的相对位置特征编码；接着计算每个字段值文本检测框的相对位置特征编码和每个字段名文本检测框的相对位置特征编码两两之间的特征距离；最后基于多个特征距离，获取了字段值文本和字段名文本之间的匹配关系，并将字段值文本和与其特征距离最小的字段名文本相匹配。票据的字段值文本在开票打印时难免存在打印旋转、偏移等情况，但字段名文本的相对位置结构和字段值文本的相对位置结构的相似关系仍然存在，因此，通过本发明的方法就能基于特征距离，也即基于相对位置结构将对应的字段名文本和字段值文本进行匹配，有效消除了票据字段值文本打印旋转、偏移情况对票据字段匹配造成的不利影响。[0099]此外，上述实施例中，对每一步的具体计算都给出了相应的公式，因此这些步骤都可以用编程等方法实现全自动化的执行，结合机器学习的方法，就能够对票据字段进行全自动化的匹配，因此，还节省了大量的人力。[0100]上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!