一种结构光场多视角单帧相位解调方法及相关组件

计算;推算;计数设备的制造及其应用技术1.本发明涉及光场成像技术领域，尤其涉及一种结构光场多视角单帧相位解调方法及相关组件。背景技术：2.光场成像(light field imaging)可通过单帧曝光同时记录光线的强度信息与方向信息，具备计算反演场景三维形貌的能力。3.被动式的光场深度估计技术无需投射主动照明，仅需要光场成像系统对场景的单次曝光成像，即可利用算法从光场数据中恢复出场景的深度信息，具有灵活高效，适用于动态场景的优点，但其缺点是精度低、稳定性差；针对该缺点，研究人员将相位编码结构光技术引入光场成像中，实现主动式光场成像，可大幅提升光场深度估计精度。4.主动式的结构光场成像(structured lightfield)对空间进行相位编码，从采集的条纹图像中通过计算恢复受场景深度调制的相位信息，该过程需对所采集条纹图像进行相位解调；现有技术中通常采用傅里叶变换法进行单帧条纹相位解调，该方法通过对条纹图像进行傅里叶变换、加窗滤波及傅里叶逆变换得到包裹相位，属于空间相位解调方法。5.除此外，研究人员针对普通相机研究出基于深度学习的单帧条纹相位解调方法，但该类方法仅针对单视角进行单帧解调，对具有多视角成像的特点的光场相机，此类方法解调效率低。技术实现要素：6.本发明的目的是提供一结构光场多视角单帧相位解调方法及相关组件，旨在解决现有基于深度学习的单帧条纹相位解调方法对具有多视角成像的单帧解调效率低的问题。7.第一方面，本发明实施例提供一种结构光场多视角单帧相位解调方法，包括：8.构建lfdnet神经网络；9.通过结构光场系统采集数据集并对所述lfdnet神经网络进行训练以优化所述lfdnet神经网络；10.将待预测的多视角条纹图像输入优化后的所述lfdnet神经网络，输出多视角的分子项与分母项，将所述多视角的分子项与分母项经反正切函数计算并得到多视角的包裹相位。11.第二方面，本发明实施例提供一种结构光场多视角单帧相位解调装置，包括：12.构建单元，用于构建lfdnet神经网络；13.训练单元，用于通过结构光场系统采集数据集并对所述lfdnet神经网络进行训练以优化所述lfdnet神经网络；14.计算单元，用于将待预测的多视角条纹图像输入优化后的所述lfdnet神经网络，输出多视角的分子项与分母项，将所述多视角的分子项与分母项经反正切函数计算并得到多视角的包裹相位。15.第三方面，本发明实施例提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的结构光场多视角单帧相位解调方法。16.第四方面，本发明实施例提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的结构光场多视角单帧相位解调方法。17.本发明实施例公开了一种结构光场多视角单帧相位解调方法及相关组件。该方法包括构建lfdnet神经网络；通过结构光场系统采集数据集并对lfdnet神经网络进行训练以优化lfdnet神经网络；将待预测的多视角条纹图像输入优化后的lfdnet神经网络，输出多视角的分子项与分母项，将多视角的分子项与分母项经反正切函数计算并得到多视角的包裹相位。本发明实施例将深度学习与结构光场系统多视角成像的特点相结合，利用神经网络学习多视角条纹图像到分子项与分母项的映射关系，具有通过一次预测实现光场多个视角的单帧高精度相位解调的优点。附图说明18.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。19.图1为本发明实施例提供的结构光场多视角单帧相位解调方法的流程示意图；20.图2为本发明实施例提供的结构光场多视角单帧相位解调方法的子流程示意图；21.图3为本发明实施例提供的结构光场多视角单帧相位解调方法的又一子流程示意图；22.图4为本发明实施例提供的结构光场多视角单帧相位解调方法的又一子流程示意图；23.图5为本发明实施例提供的lfdnet神经网络的示意框图；24.图6为本发明实施例提供的结构光场多视角单帧相位解调装置的示意性框图；25.图7为本发明实施例提供的计算机设备的示意性框图。具体实施方式26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。27.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。28.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。29.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。30.请参阅图1，图1为本发明实施例提供的结构光场多视角单帧相位解调方法的流程示意图；31.如图1所示，该方法包括步骤s101～s103。32.s101、构建lfdnet神经网络；33.s102、通过结构光场系统采集数据集并对lfdnet神经网络进行训练以优化lfdnet神经网络；34.该步骤中，通过数据集对lfdnet神经网络进行优化以提高网络预测的精准度。35.s103、将待预测的多视角条纹图像输入优化后的lfdnet神经网络，输出多视角的分子项与分母项，将多视角的分子项与分母项经反正切函数计算并得到多视角的包裹相位。36.该步骤基于优化后的lfdnet神经网络，对输出的视角的分子项与分母项机械能反正切函数计算，可得到高精度的多视角的包裹相位。37.本实施例将深度学习与结构光场系统多视角成像的特点相结合，利用神经网络学习多视角条纹图像到分子项与分母项的映射关系，具有通过一次预测实现光场多个视角的单帧高精度相位解调的优点。同时实验对比，本发明提供的相位解调方法相比现有技术采用的傅里叶变换法的解调误差降低了70％，较用于普通相机的基于深度学习的单帧条纹相位解调方法效率提高了v倍，v为待解调的光场视角数。38.在一实施例中，步骤s101包括：39.s201、获取多视角条纹图像的张量特征h×w×v，并作为lfdnet神经网络的输入张量，其中h表示张量高度，w表示张量宽度，v表示张量通道数；40.s202、对输入张量进行多次卷积处理、下采样处理和上采样处理，得到lfdnet神经网络的输出张量h×w×2v。41.本实施例将光场中获取的多视角条纹图像的张量特征h×w×v作为输入，输出输出张量h×w×2v，该输出对应于v个输入视角各自的分子项与分母项。42.具体的，如图5所示，步骤s202中多次卷积处理、下采样处理和上采样处理的具体过程包括：43.通过第一密集卷积块101对输入张量进行卷积处理，得到特征张量h×w×4v；44.通过第一下采样块106对特征张量h×w×4v进行下采样处理，得到特征张量45.通过第二密集卷积块102对特征张量进行卷积处理，得到特征张量46.通过第二下采样块107对特征张量进行下采样处理，得到特征张量47.通过第三密集卷积块103对特征张量进行卷积处理，得到特征张量48.通过第一上采样块108对特征张量进行上采样处理，得到特征张量49.通过第一跳转连接112将第一上采样块输出的特征张量与第二密集卷积块输出的特征张量在通道维度上进行拼接，得到第一拼接张量；50.通过第四密集卷积块104对第一拼接张量进行卷积处理，得到特征张量51.通过第二上采样块109对特征张量进行上采样处理，得到特征张量h×w×4v；52.通过第二跳转连接111将第二上采样块输出的特征张量h×w×4v与第一密集卷积块输出的特征张量h×w×4v在通道维度上进行拼接，得到第二拼接张量；53.通过第五密集卷积块105对第二拼接张量进行卷积处理，得到特征张量h×w×11v；54.通过输出卷积块110对特征张量h×w×11v进行卷积处理，得到lfdnet神经网络的输出张量h×w×2v，其中输出张量对应于v个多视角条纹图像各自的分子项与分母项。55.本实施例提出的lfdnet神经网络中，所采用的模块细节如下：56.在密集卷积块中，输入张量先后经过三个卷积块，且每个卷积块的输入由该密集卷积块中之前所有层的输出与密集卷积块输入拼接得到。57.下采样块中，输入张量经过1×1卷积将特征通道数变为4v，经过步长为2的3×3卷积使得特征张量分辨率降为一半。58.上采样块中，输入张量经过1×1卷积将特征通道数变为4v，经过步长为2的3×3的转置卷积使得特征张量分辨率增大一倍。59.输出卷积块中，输入连续经过两个1×1卷积与3×3卷积后，经3×3卷积得到输出。60.在一实施例中，如图3所示，步骤s102中通过结构光场系统采集数据集，包括：61.s301、通过结构光场系统测量s个不同场景，并对每个场景进行12步相移条纹投影并采集得到12步相移条纹图像；62.该步骤中，结构光场系统包括投影光机和光场相机；通过投影光机对待测场景投射单幅条纹图像；通过光场相机采集待测场景中的变形条纹并得到多个视角的12步相移条纹图像。63.s302、按如下公式对每个场景中的每个视角的12步相移条纹图像进行分子项和分母项计算：[0064][0065][0066]其中，nu表示分子项，de表示分母项，n为相移步数，in为相移条纹图，δn表示相移量；[0067]该步骤中，将n、in和δn带入上述计算公式进行计算即可得到每个视角的12步相移条纹图像的分子项和分母项。[0068]s303、将分子项nu与分母项de在通道维度上拼接得到输出张量h×w×2v，从而得到每个场景的数据可表示为{i→nu,de}；[0069]s304、基于测量的s个不同场景，得到数据集{is→nus,des|s＝1,2,…,s}；[0070]本实施例通过结构光场系统采集s个不同场景的数据集，以对lfdnet神经网络进行优化训练。[0071]具体的优化训练如图4所示，可以包括：[0072]s401、将数据集划分为训练集、验证集和测试集；[0073]s402、利用训练集对lfdnet神经网络进行训练，并在训练过程中利用验证集进行预测并计算预测结果误差，以优化lfdnet神经网络；[0074]s403、利用测试集对优化后的lfdnet神经网络进行预测并计算预测结果误差，以验证网络效果及相位解调方法的精度。[0075]基于s401-s403的训练，即可的得到高精度预测结果的lfdnet神经网络。[0076]在一实施例中，步骤s103包括：[0077]按如下公式计算多视角的包裹相位：[0078][0079]其中，atan()表示反正切函数，v表示视角数量。[0080]本实施例中，将待预测的多视角条纹图像输入优化训练后的lfdnet神经网络，经lfdnet神经网络预测得到输出张量h×w×2v，张量中前v个通道为v视角的分子项{nuv,v＝1,2,…v}，张量中后v个通道为v个视角的分母项{dev,v＝1,2,…v}，将得到分子项nuv与分母项dev带入上述计算公式经反正切函数计算即可得到多视角的包裹相位。[0081]本发明实施例还提供一种结构光场多视角单帧相位解调装置，该结构光场多视角单帧相位解调装置用于执行前述结构光场多视角单帧相位解调方法的任一实施例。具体地，请参阅图6，图6是本发明实施例提供的结构光场多视角单帧相位解调装置的示意性框图。[0082]如图6所示，结构光场多视角单帧相位解调装置600，包括：构建单元601、训练单元602以及计算单元603。[0083]构建单元601，用于构建lfdnet神经网络；[0084]训练单元602，用于通过结构光场系统采集数据集并对lfdnet神经网络进行训练以优化lfdnet神经网络；[0085]计算单元603，用于将待预测的多视角条纹图像输入优化后的lfdnet神经网络，输出多视角的分子项与分母项，将多视角的分子项与分母项经反正切函数计算并得到多视角的包裹相位。[0086]该装置将深度学习与结构光场系统多视角成像的特点相结合，利用神经网络学习多视角条纹图像到分子项与分母项的映射关系，具有通过一次预测实现光场多个视角的单帧高精度相位解调的优点。同时实验对比，本发明提供的相位解调方法相比现有技术采用的傅里叶变换法的解调误差降低了70％，较用于普通相机的基于深度学习的单帧条纹相位解调方法效率提高了v倍，v为待解调的光场视角数。[0087]所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0088]上述结构光场多视角单帧相位解调装置可以实现为计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。[0089]请参阅图7，图7是本发明实施例提供的计算机设备的示意性框图。该计算机设备700是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。[0090]参阅图7，该计算机设备700包括通过系统总线701连接的处理器702、存储器和网络接口705，其中，存储器可以包括非易失性存储介质703和内存储器704。[0091]该非易失性存储介质703可存储操作系统7031和计算机程序7032。该计算机程序7032被执行时，可使得处理器702执行结构光场多视角单帧相位解调方法。[0092]该处理器702用于提供计算和控制能力，支撑整个计算机设备700的运行。[0093]该内存储器704为非易失性存储介质703中的计算机程序7032的运行提供环境，该计算机程序7032被处理器702执行时，可使得处理器702执行结构光场多视角单帧相位解调方法。[0094]该网络接口705用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。[0095]本领域技术人员可以理解，图7中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图7所示实施例一致，在此不再赘述。[0096]应当理解，在本发明实施例中，处理器702可以是中央处理单元(central processing unit，cpu)，该处理器702还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。[0097]在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的结构光场多视角单帧相位解调方法。[0098]所述存储介质为实体的、非瞬时性的存储介质，例如可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。[0099]所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0100]以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!