一种多光谱深度相机、光谱及深度测量方法与流程 专利技术说明

测量装置的制造及其应用技术1.本发明属于光学测量技术领域，尤其涉及一种多光谱深度相机、光谱及深度测量方法。背景技术：2.基于深度信息能够分析目标的三维信息，基于光谱信息能够体现目标对各个光谱的响应，便于对目标进行定性甚至定量分析。但是，目前相机功能单一，深度相机只能测量目标的深度信息，多光谱相机只能测量目标的光谱信息，终端必须集成深度相机和多光谱相机才能够测量目标的深度信息和光谱信息。技术实现要素：3.本技术实施例的目的在于提供一种多光谱深度相机、光谱及深度测量方法，旨在解决功能单一，终端必须集成深度相机和多光谱相机才能够测量目标的深度信息和光谱信息的问题。4.为实现上述目的，本技术采用的技术方案是：5.第一方面，提供一种多光谱深度相机，包括发射模组、采集模组和控制处理器。发射模组包括宽光谱光源及脉冲光源，宽光谱光源用于朝目标持续发射宽光谱光束，脉冲光源用于朝目标发射预定波长的脉冲光束；采集模组包括图像传感器，图像传感器包括多个像素，多个像素用于分别接收目标反射回的宽光谱光束中多个不同预定波段的子光束、及均接收反射回的脉冲光束；控制处理器用于接收各像素产生的电荷信号，根据电荷信号计算目标的深度数据和光谱数据。6.在一些实施例中，宽光谱光束的波长范围为400nm至1000nm，脉冲光束的波长为850nm或940nm。在一些实施例中，像素包括滤光片及感光芯片，滤光片允许预定波段的子光束通过，不同像素的滤光片的滤光曲线不同，且均允许脉冲光束通过，感光芯片用于接收经滤光片过滤后的光束。7.在一些实施例中，感光芯片包括光电转换元件及三个抽头，光电转换元件用于接收反射回的子光束及脉冲光束产生电荷量，三个抽头依次错开采集电荷量得到第一电荷量、第二电荷量和第三电荷量，控制处理器用于根据第一电荷量、第二电荷量和第三电荷量，计算对应像素的深度值和光谱响应。控制处理器根据下式计算对应像素的深度值：其中，q1为第一个采集到由脉冲光束所生成的电荷量的抽头所采集到的电荷量，q2为第二个采集到由脉冲光束所生成的电荷量的抽头所采集到的电荷量，q0为仅采集到由子光束所生成的电荷量的抽头所采集到的电荷量，m＝n-1，n为q1对应的抽头的序号，th为发射模组及三个抽头的脉宽。在一些实施例中，控制处理器用于将q0作为对应像素的光谱响应，目标的光谱数据包括各个像素的光谱响应。8.第二方面，本技术实施例还提供一种光谱及深度测量方法，包括：控制宽光谱光源朝目标持续发射宽光谱光束、及脉冲光源朝目标发射脉冲光束；控制图像传感器接收反射回的子光束及脉冲光束，图像传感器包括多个像素，多个像素用于分别接收目标发射回的宽光谱光束中多个不同预定波段的子光束、及均接收反射回的脉冲光束；接收各像素产生的电荷信号，根据电荷信号计算目标的光谱数据及深度数据。9.在一些实施例中，像素包括滤光片及感光芯片，滤光片允许预定波段的子光束通过，不同像素的滤光片的滤光曲线不同，且均允许脉冲光束通过，感光芯片用于接收经滤光片过滤后的光束，感光芯片包括光电转换元件及三个抽头，光电转换元件接收反射回的子光束及脉冲光束产生电荷量，三个抽头依次错开采集电荷量得到第一电荷量、第二电荷量和第三电荷量，根据电荷信号计算目标的光谱数据及深度数据，包括：根据第一电荷量、第二电荷量和第三电荷量，计算对应像素的深度值和光谱响应。10.在一些实施例中，根据下式计算深度值：其中，q1为第一个采集到由脉冲光束所生成的电荷量的抽头所采集到的电荷量，q2为第二个采集到由脉冲光束所生成的电荷量的抽头所采集到的电荷量，q0为仅采集到由子光束所生成的电荷量的抽头所采集到的电荷量，m＝n-1，n为q1对应的抽头的序号，th为发射模组及三个抽头的脉宽。在一些实施例中，像素的光谱响应为q0，目标的光谱数据包括各个像素的光谱响应。11.本技术的有益效果在于：通过设计发射模组及采集模组中的图像传感器，在对目标进行测量时，宽光谱光源朝目标持续发射多个不同波段的子光束，脉冲光源朝目标发射脉冲光束，多个像素分别采集反射回的多个预定波段的子光束和脉冲光束产生对应的电荷信号，控制处理器分析处理各个像素产生的电荷信号，计算得到目标的光谱数据和深度数据，从而实现了对目标进行光谱测量和深度测量，则本技术的多光谱深度相机具有光谱测量和深度测量两个功能，应用范围更加广泛。附图说明12.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或示范性技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。13.图1是本技术实施例提供的多光谱深度相机的结构原理示意图；14.图2是本技术实施例提供的图像传感器的部分结构示意图；15.图3是本技术实施例提供的像素的结构示意图；16.图4是本技术实施例提供的九个像素的滤光片的滤光曲线示意图；17.图5是本技术实施例提供的多光谱深度相机的光信号发射和采集的示意图；18.图6是本技术另一实施例中光谱及深度测量方法的步骤示意图。19.其中，图中各附图标记：20.100、多光谱深度相机；10、发射模组；11、宽光谱光源；12、脉冲光源；13、扩散器；14、壳体；20、采集模组；21、镜头；22、图像传感器；23、镜筒；30、控制处理器；220、像素单元；221、第一像素；222、第二像素；223、第三像素；224、第四像素；225、第五像素；226、第六像素；227、第七像素；228、第八像素；229、第九像素；2211、滤光片；2212、感光芯片；2213、微透镜。具体实施方式21.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本技术。22.需说明的是，当部件被称为“固定于”或“设置于”另一个部件，它可以直接在另一个部件上或者间接在该另一个部件上。当一个部件被称为是“连接于”另一个部件，它可以是直接或者间接连接至该另一个部件上。术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。术语“第一”、“第二”仅用于便于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明技术特征的数量。“多个”的含义是两个或两个以上，除非另有明确具体的限定。23.请参阅图1，本技术实施例提供了一种多光谱深度相机100，多光谱深度相机100具有光谱测量和深度测量两个功能，相机的功能集成度更高，应用范围更加广泛。多光谱深度相机100包括发射模组10、采集模组20以及控制处理器30。24.发射模组10包括宽光谱光源11及脉冲光源12。宽光谱光源11用于朝目标持续发射宽光谱光束，宽光谱光束的波长范围在400nm至1000nm之间，即宽光谱光源11的发射光谱覆盖可见光波段与近红外波段，以使后续生成的多光谱图像中的光谱信息更加丰富，宽光谱光束由波长为400nm至1000nm的子光束组成。其中，宽光谱光源11可为宽谱led灯、卤素灯等，在此不一一列举。脉冲光源12用于朝目标发射特定波长的脉冲光束，脉冲光源12按照特定时序开启和关闭以发射脉冲光束，脉冲光源12发射的波长为红外波长，例如850nm或940nm等。脉冲光源12可以是垂直腔面发射激光器(vertical cavity surface emitting laser，vcsel)等激光光源。25.请参阅图1，发射模组10还包括扩散器13及壳体14，宽光谱光源11和脉冲光源12均安装于壳体14内，扩散器13安装于壳体14并相对宽光谱光源11及脉冲光源12设置，用于扩散宽光谱光源11和脉冲光源12发射的光束而投射出均匀的面光。26.请参阅图1，采集模组20包括图像传感器22，图像传感器22包括至少一个像素单元220，像素单元220包括多个像素(如图2中的221至229分别表示9个不同的像素)，多个像素用于分别接收反射回的宽光谱光束中的多个不同波段的子光束、及均接收脉冲光束，进而可得到多个不同波长的光谱数据以及脉冲光束的相位信息。多个像素的工作时序相同，以避免出现像素数据不同步的现象。在一个实施例中，多个不同波段包括多个不同的可见光波段和多个不同的红外光波段，以提升光谱的多样性。27.如图3和图4所示，每个像素均包括滤光片2201及感光芯片2202，不同的像素的滤光片2201的滤光曲线不同，分别过滤掉宽光谱光束中的非目标子光束，允许对应的目标子光束(即相应波段的子光束)通过，进而不同的像素分别接收不同波长的子光束便于测量目标的光谱信息，但不同像素的滤光片2201均允许脉冲光束通过，以基于接收到的脉冲光束计算相位偏移进而计算飞行时间及深度数据。例如，部分滤光片2201允许绿光通过，部分滤光片2201允许红光通过，部分滤光片2201允许蓝光通过，部分滤光片2201允许黄光通过，部分滤光片2201允许红外光通过，多个像素的滤光片2201可根据应用场景进行选择。在一个实施例中，多个像素所接收的子光束包括可见光光束(绿色、红色、蓝色、黄色等)以及近红外光束(例如760nm、850nm、940nm等)，进而可得到可见光光谱和近红外光光谱信息。28.感光芯片2202用于接收经滤光片2201过滤后的光束(包括反射回的目标子光束及脉冲光束)产生电荷量。感光芯片2202包括光电转换元件、第一抽头、第二抽头及第三抽头，光电转换元件用于接收光束(包括目标子光束及脉冲光束)并产生电荷量，第一抽头、第二抽头及第三抽头用于依次错开采集光电转换元件产生的电荷量分别得到第一电荷量、第二电荷量及第三电荷量。其中，第一抽头、第二抽头及第三抽头的工作时序不同但脉宽相同。29.控制处理器30与发射模组10及采集模组20均连接，用于控制发射模组10和采集模组20的开启及关闭，且控制处理器30接收各个像素所产生的电荷信号并据此计算各个像素的光谱响应和深度值，以得到目标的深度图像和多光谱图像。例如，电荷信号包括三个抽头所采集到的第一电荷量、第二电荷量及第三电荷量，控制处理器30接收并分析处理第一电荷量、第二电荷量及第三电荷量，计算像素对应的光谱响应和深度值，基于所有像素的深度值生成深度图像，基于所有像素的光谱数据生成多光谱图像。30.控制处理器30根据下式(1)计算深度数据d，根据下式(2)计算光谱响应s。[0031][0032]s＝min(q0，q1，q2)；ꢀꢀ(2)[0033]上述式(1)和式(2)中，q1为第一个采集到由脉冲光束所生成的电荷量的抽头所采集到的电荷量，q2为第二个采集到由脉冲光束所生成的电荷量的抽头所采集到的电荷量，q0为采集到仅由接收环境光所生成的电荷量的抽头采集到的电荷量，m＝n-1，n为q1对应的抽头的序号，th为发射模组10及三个抽头的脉宽，c表示光速，第一抽头、第二抽头、第三抽头的序号分别为1、2、3；min(q0，q1，q2)指的是q0、q1及q2三者中的最小值。[0034]本实施例提供的多光谱深度相机，通过设计发射模组10及采集模组20中的图像传感器，在对目标进行测量时，宽光谱光源朝目标持续发射多个不同波段的子光束，脉冲光源朝目标发射脉冲光束，多个像素分别采集反射回的多个预定波段的子光束和脉冲光束产生对应的电荷信号，控制处理器30分析处理各个像素产生的电荷信号，分别计算得到目标的光谱数据和深度数据，从而实现同时测量目标的光谱信息和深度信息，测量效率较高，应用范围更加广泛。[0035]如图2所示，为了更清楚的说明本技术的技术方案，本技术以像素单元220包括九个像素为例进行说明，九个像素以3*3的形式排列，如图4所示，图4(a)至图4(i)分别示出了9个像素的滤光片的滤光曲线，互不相同以使一个像素单元220能够获取到9种光谱响应，有助于后续基于多光谱图像进行人脸识别、活体检测等应用场景的准确性。九个像素分别为第一像素221、第二像素222、第三像素223、第四像素224、第五像素225、第六像素226、第七像素227、第八像素228及第九像素229。[0036]以第一像素221为例说明控制处理器30计算第一像素221的深度值d1和光谱响应s1的具体内容。如图6所示，图6中的l1表示宽光谱光源11的工作时序，l2表示脉冲光源12的工作时序，r1表示反射回的脉冲光束信号，a1、b1及c1分别表示第一像素221的第一抽头、第二抽头及第三抽头的工作时序，l1、l2、a1、b1及c1中的高电平表示开启、低电平表示关闭。测量过程中，宽光谱光源11持续开启，第一抽头与脉冲光源12均在th1时段开启，第二抽头在th2时段开启，第三抽头在th3时段开启，第一光电转换元件在th1、th2、th3三个时段均开启接收光束并产生电荷量。脉冲光束从发射至被接收具有一定的时间差，该时间差即为飞行时间t，本技术通过计算发射的脉冲光束与反射回的脉冲光束之间的相位偏差而得到飞行时间t。[0037]如图6所示，若在第一个周期tp1内的th1时段内，脉冲光束经飞行时间t后反射至第一光电转换元件而被接收，则在th1时段第一光电转换元件接收第一预定波段的第一子光束及脉冲光束，生成电荷量qa1被第一抽头采集，qa1包括接收宽光谱光束中的第一子光束生成的子电荷量qa11和接收脉冲光束生成的子电荷量qa12；在th2时段内有部分时段第一光电转换元件同时接收第一子光束和脉冲光束，另部分时段接收第一子光束，而生成电荷量qb1被第二抽头采集，电荷量qc1包括接收第一子光束而生成的电荷量qb11和接收脉冲光束而生成的电荷量qb12；在th3时段第一光电转换元件只接收第一子光束而生成电荷量qc1而被第三抽头采集；其中，qa11＝qb11＝qc1，qb1-qc1表示第二抽头采集到的由脉冲光束所生成的电荷量(即qb12)，qa1+qb1-2qc1表示一个脉宽th内采集到的由脉冲光束所生成的电荷量(即qa12+qb12)，则上述n＝1，m＝0，光谱响应为目标对第一子光束的响应，因此，光谱数据s1＝qc1。[0038]若在th1时段内，脉冲光束未反射至第一光电转换元件，而在th2时段开始反射至第一光电转换元件，则在th1时段第一光电转换元件只接收第一子光束而生成电荷量qa1被第一抽头采集，th2时段部分时段只接收第一子光束、另部分时段接收第一子光束和脉冲光束，生成电荷量qb1被第二抽头采集，电荷量qb1包括接收第一子光束生成的电荷量qb11和接收脉冲光束生成的电荷量qb12，th3时段部分时段接收第一子光束和脉冲光束、另部分时段只接收第一子光束，生成电荷量qc1被第三抽头采集，电荷量qc1包括接收第一子光束生成的电荷量qc11和接收脉冲光束生成的电荷量qc12。其中，qa1＝qb11＝qc11，qc1-qa1表示第三抽头采集到的由脉冲光束所生成的电荷量(即qc12)，qc1+qb1-2qa1表示一个脉宽th内采集到的由脉冲光束所生成的电荷量(即qb12+qc12)，进而可计算出th2时段内的飞行时间，然后再加上th1时段即可得到总飞行时间t，即，上述n＝2、m＝1，s1＝qa1。[0039]若在th1及th2时段，脉冲光束未反射回第一光电转换元件，而在th3时段开始反射至第一光电转换元件，并持续至下一周期tp2的th1时段。即，单帧测量包括两个周期tp，在th2时段第一光电转换元件只接收第一子光束生成电荷量qb1被第二抽头采集，在th3时段的部分时段第一光电转换元件只接收第一子光束另部分时段接收第一子光束和脉冲光束，而生成电荷量qc1被第三抽头采集，电荷量qc1包括接收第一子光束生成的电荷量qc11和接收脉冲光束生成的电荷量qc12；在下一周期tp2的th1时段，部分时段第一光电转换元件接收第一子光束和脉冲光束另部分时段只接收第一子光束，而生成电荷量qa1被第一抽头采集，电荷量qa1包括接收第一子光束生成的电荷量qa11和接收脉冲光束生成的电荷量qa12。其中，qb1＝qc11＝qa11，qa1-qb1表示第一抽头采集到的由脉冲光束所生成的电荷量，qa1+qc1-2qb1表示一个脉宽th内采集到的由脉冲光束所生成的电荷量，进而可计算出th3时段内的飞行时间t，然后再加上th1及th2即可得到总飞行时间，即，上述n＝3、m＝2，即可得到总飞行时间，即，上述n＝3、m＝2，s1＝qb1。[0040]第二像素222、第三像素223、第四像素224、第五像素225、第六像素226、第七像素227、第八像素228及第九像素229与第一像素221类似，区别在于接收到子光束存在一定的差异，参照第一像素221的计算方式，可计算得到第二像素222的深度d2及对宽光谱光源的响应s2、第三像素223的深度d3及对宽光谱光源的响应s3、第四像素224的深度d4及对宽光谱光源的响应s4、第五像素225的深度d5及对宽光谱光源的响应s5、第六像素226的深度d6及对宽光谱光源的响应s6、第七像素227的深度d7及对宽光谱光源的响应s7、第八像素228的深度d8及对宽光谱光源的响应s8、第九像素229的深度d9及对宽光谱光源的响应s9。[0041]通过上述方式可计算得到像素单元220的9个深度信息、9个像素的光谱响应构成一个像素单元220的一条光谱信息，该光谱信息为1*9的向量[s1，s2，s3，s4，s5，s6，s7，s8，s9]。其中，像素单元220中第一像素221至第九像素229的数量可为一个或多个，在此不做限制。计算得到所有的像素单元220的深度信息与光谱信息后，基于所有像素的深度值可生成深度图像，基于所有像素的光谱响应可生成多光谱图像，多光谱图像为9通道图像，具有9种不同波段的光谱数据，进而可得到目标的深度信息和光谱信息。[0042]在一个实施例中，若某个像素无法计算得到深度信息，例如某个像素无法接收到脉冲光束或接收到较少的脉冲光束，控制处理器30可以通过邻近的像素的深度值进行插值的方式计算得到该像素的深度信息。[0043]请参阅图1至图2，在一些实施例中，采集模组20还包括镜头21和镜筒23，图像传感器22安装于镜筒23内，镜头21安装于镜筒23并位于图像传感器22的入光侧，用于汇聚入射的光束至图像传感器22。像素还包括设置于滤光片2201上并用于汇聚光束的微透镜2203。[0044]本发明还提出了一种光谱及深度测量方法，该光谱及深度测量方法使用上述多光谱深度相机100对目标进行成像，该多光谱深度相机100的具体结构参照上述实施例，由于本光谱及深度测量方法采用了上述所有实施例的全部技术方案，因此同样具有上述实施例的技术方案所带来的所有有益效果，在此不再赘述。[0045]如图6所示，光谱及深度测量方法包括如下步骤：[0046]601、控制宽光谱光源朝目标持续发射宽光谱光束、及脉冲光源朝目标发射脉冲光束；[0047]602、控制图像传感器接收反射回的子光束及脉冲光束，图像传感器包括多个像素，多个像素用于分别接收目标发射回的宽光谱光束中多个不同预定波段的子光束、均接收反射回的脉冲光束；[0048]603、接收各像素产生的电荷信号，根据电荷信号计算目标的光谱数据及深度数据。[0049]其中，光谱及深度测量方法中各个步骤的具体内容可参照上述多光谱深度相机实施例中的相关内容，在此不做赘述。[0050]本发明还提出了一种终端，该终端包括多光谱深度相机，该多光谱深度相机的具体结构参照上述实施例，由于本终端采用了上述所有实施例的全部技术方案，因此同样具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。其中，终端可以是手机、智能门锁、门禁设备、刷脸支付设备等，在此不一一列举。[0051]需要说明的是，如图4所示，本技术实施例仅以像素单元220包括九种不同的像素，每个像素包括三个抽头为例进行说明，在其它实施例中，像素单元220还可以包括其它数量种像素，例如4、5、6、7、8或更多数量，每个像素也可以包括2、4、5或更多抽头，工作原理及计算方式类似，在此不做赘述也不做限制。实际上多光谱深度相机测量目标的光谱及深度时，还会存在有环境光的影响，上述计算深度值及光谱响应时未考虑环境光。[0052]以上仅为本技术的可选实施例而已，并不用于限制本技术。对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!