用于生成后拼接全景视图的系统和方法与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术用于生成后拼接全景视图的系统和方法1.本技术是于2018年1月4日提交的名称为“用于后视图可视化的后拼接全景视图”的中国专利申请201880013567.9的分案申请。技术领域2.本发明总体涉及车辆中的后视图可视化。背景技术：3.在大多数当前的车辆中，在驾驶员可用的车辆的侧面和后面可用的视场(fov)限于在侧视镜和后视镜中可以看到的视场。然而，常规三镜系统存在安全问题，因为驾驶员需要将注意力转移到观察每个镜子以获得后视fov的完全可视化，这转移了车辆前方场景的注意力。相机监控系统(cms)正变得越来越可用，但这些系统只是简单地用相机替换镜子，因此仍需要驾驶员在显示器之间转移注意力，随后在精神上将整个后fov的聚合视图拼接在一起。此外，当侧视镜/相机的角度被调整到包括车辆侧面的典型位置时，盲点仍然位于侧面fov的外侧，由于驾驶员必须回头看以检查这些盲点，因此造成额外的安全隐患。技术实现要素：4.在一个方面，后拼接全景视图(rsvp)系统包括至少一个处理器，以及存储软件指令的存储器，该软件指令在由至少一个处理器执行时使rsvp系统计算左中心后方图像和右中心后方图像的视差图，左中心后方图像和右中心后方图像由安装在车辆后部的立体相机捕获，使用虚拟相机参数将右后方图像、左后方图像、左中心后方图像和右中心后方图像的参考中心后方图像以及视差图变换为虚拟世界视图，右后方图像由安装在车辆右侧的右相机捕获并且左后方图像由安装在车辆左侧的左相机捕获，基于变换后的视差图计算变换后的左后方图像和变换后的参考中心后方图像之间的最佳左缝，基于变换后的视差图计算变换后的右后方图像和变换后的参考中心后方图像之间的最佳右缝，并且基于最佳左缝拼接变换后的左后方图像和变换后的参考中心后方图像并且基于最佳右缝拼接变换后的右后方图像和变换后的参考中心后方图像，以生成全景图。5.在一个方面，一种用于生成后拼接全景视图的方法包括计算左中心后方图像和右中心后方图像的视差图，左中心后方图像由安装在车辆后部的立体相机捕获，使用虚拟相机参数将右后方图像、左后方图像、左中心后方图像和右中心后方图像中的一个的参考中心后方图像以及视差图变换为虚拟世界视图，右后方图像由安装在车辆右侧的右相机捕获并且左后方图像由安装在车辆左侧的左相机捕获，基于变换后的视差图计算变换后的左后方图像和变换后的参考中心后方图像之间的最佳左缝，基于变换后的视差图计算变换后的右后方图像和变换后的参考中心后方图像之间的最佳右缝，并且基于最佳左缝拼接变换后的左后方图像和变换后的参考中心后方图像并且基于最佳右缝拼接变换后的右后方图像和变换后的参考中心后方图像，以生成全景图。附图说明6.图1为包括后拼接全景视图(rsvp)系统的示例车辆的俯视图。7.图2为图1的rsvp系统的简化框图。8.图3描绘了围绕图1的车辆的三个校准图表的示例布置。9.图4为用于生成可以由图2的rsvp系统实现的后拼接全景视图的方法的流程图。10.图5为一组示例捕获图像。11.图6为将右镜图像投影到虚拟显示表面上的示例可视化。12.图7为用于计算投影变换的方法的流程图。13.图8为示出与全景图中的左图像、中心图像和右图像对应的区域的示例。14.图9示出图5的变换后的图像。15.图10为用于找到用于将两个图像拼接在一起的最小成本缝的方法的流程图。16.图11为用于时间平滑以确定最终缝的方法的流程图。17.图12示出位移阈值可以如何影响选择最终缝的方式的示例。18.图13为用于确定重叠区域中的最小成本缝的方法的流程图。19.图14为混合查找表(lut)的示例。20.图15示出盲区的示例。21.图16为一个盲区中的对象的示例。22.图17为可以在图2的rsvp系统中使用的片上系统(soc)的简化框图。具体实施方式23.为了一致性，各附图中的相同元件由相同的附图标记表示。24.实施例涉及生成车辆的后视场(fov)的单个后视拼接全景图，该全景图至少为三个镜子可以提供的fov。全景图可以在单个显示器上呈现给车辆的驾驶员，因此消除了驾驶员在三个镜子之间转移注意力的需要。使用四个相机：在车辆的每侧有一个相机，以取代典型的外部侧装镜，以及在车辆后部的一对立体相机，以取代典型的中心内后视镜。侧相机可以定位成减小由典型侧镜定位引起的典型盲点的范围。来自两侧相机的图像与来自立体对的参考相机的图像融合或拼接，以生成车辆的后fov的无缝全景图。25.为了将侧图像和后图像拼接在一起以形成无缝全景图，将图像变换到相同的可视化坐标系中。因此，基于系统校准参数独立地变换图像，使得每个图像看起来好像用位于车辆的上方和前方的面向后方的相同虚拟相机捕获。26.在图像被变换之后，变换后的图像在边界处被拼接在一起，该边界被选择以最小化对象表示中的视觉失真效果和不连续性。使用来自立体相机对的深度信息确定用于融合图像的最佳边界或缝。此外，可以对缝选择应用时间平滑以平滑缝随时间变化的过渡。在一些实施例中，使用计算出的最佳缝线生成单个混合查找表(lut)，该lut指定用于将图像拼接在一起以形成全景图的权重。27.车辆上的相机配置可在车辆后保险杠的任一角点(corner)处产生盲区。如果对象紧挨着保险杠，则对象可能只在一个相机的fov中。在这种情况下，图像的拼接可以完全从所得到的全景图中移除对象，或者对象可以呈现幻影，即以小偏移复制。在一些实施例中，使用另一传感器模态来检测盲区中对象的存在。如果检测到对象，则缝选择被偏置以包括存在对象的更多图像，使得对象的至少一些将在全景图中可见。28.图1为包括后拼接全景视图(rsvp)系统的实施例的示例车辆100的俯视图。rsvp系统(未具体示出)联接到安装在车辆100上的不同位置处的四个相机102、104、106、108。rsvp系统包括硬件和软件以接收由相机捕获的视频流并处理视频流以生成向车辆100的驾驶员显示的后视全景图。29.相机102和108安装在车辆100的相对侧以替换侧视镜，并且相机104和106为安装在车辆100后部的立体对，以捕获通常通过中心内后视镜看到的视图。因此，相机102捕获右镜图像，本文可以称为rmirror，相机108捕获左镜图像，本文可以称为lmirror，相机104捕获右立体图像，本文可以称为rstereo，并且相机106捕获左立体图像，本文可以称为lstereo。相机102、104、106、108被定位成使得每个相机具有相应的后视场(fov)角。可以使用任何合适的fov角。在一些实施例中，fov角在50至60度的范围内。30.如本文更详细描述的，输出全景图为来自相机102、108的图像和来自立体相机104、106的参考相机的图像的组合。本文描述了假设参考相机为左立体相机106的实施例。其中，参考相机为右立体相机104的实施例是可能的。此外，来自相机104、106的深度信息用于确定缝线以用于拼接来自相机102、106、108的图像以形成全景图。31.图2为包括在图1的车辆100中的示例rsvp系统202的简化框图。rsvp系统202包括联接到相机102-108和显示装置208以及存储器206的片上系统(soc)204。soc 204可以为适合于实时图像生成的任何soc。合适的soc的一些示例为可从德州仪器公司(texas instruments incorporated)获得的tda2x和tda3x soc系列。存储器206可以为存储器技术(诸如随机存取存储器、只读存储器和/或闪存)的任何合适组合。32.存储器206存储可以在soc 204的一个或多个处理器上执行的rsvp系统202的可执行软件指令。可执行软件指令包括如本文所述的后视全景图像生成的实施例的指令。显示装置208被配置为向驾驶员显示后视全景图。例如，显示装置208可以安装在典型的内部中心后视镜的位置。33.为了从三个图像生成全景图，需要提供图像的每个相机102、106、108的外在参数，即相机位置和取向。如本文中更详细描述的，使用外在参数来变换每个图像以便看起来好像图像由具有任意位置和取向的虚拟相机捕获。该虚拟相机被认为是生成的全景图的捕获装置。基于图表的校准过程可以离线执行，例如在工厂中执行，以确定三个相机102、106、108中的每个的外在参数。34.参考图3，在一些实施例中，为了执行校准，具有已知尺寸和相对位置的一组三个校准图表300、302、304被放置成与车辆100周围的地平面共面。车辆100与校准图表300-304对准，使得每个相机102-108可看到一个完整的正方形图案。确定相应相机图像中每个图表的八个角点像素(即特征像素)的位置提供了与已知世界坐标的充分对应，以校准相机，因为每个捕获图像中的每个角点都具有在图像平面中的相关联的二维(2d)坐标和真实世界三维(3d)坐标。在2016年10月14日提交的专利申请公开号us2017/0124710中描述了用于在图像中找到角点像素的示例技术，该申请通过引用并入本文。35.在一些实施例中，由于需要左立体相机和右立体相机之间的距离或基线，因此对所有四个相机执行校准。在一些实施例中，立体相机对可以在固定组件中预校准，并且基线是已知的。在这样的实施例中，不对右立体相机执行校准。36.使用这些对应关系，可以使用直接线性变换来估算从相机图像平面到世界坐标的单应性(homography)。此外，将单应性矩阵投影在正交子空间上提供了世界坐标系中相机的外在姿态。因为图表上的像素是用物理尺寸测量，所以在相机的姿态估算中转换相同的物理解释。在一些实施例中，应用附加非线性优化以改进估算。例如，可以使用已知的文伯格-马夸特(levenberg-marquardt)方法的实施例。37.图4为用于生成可以在诸如图2的soc 204上实现的后拼接全景视图的方法的流程图。基于来自立体相机104、106的左立体图像和右立体图像来生成404视差图。可以使用任何合适的技术来生成视差图。38.使用相应相机的内在和外在参数将来自每个相机102、106、108的后视角的车辆100的后方场景的图像变换402到虚拟世界视图。该变换假设车辆100周围的虚拟世界由位于车辆后面一定距离的平坦表面表示，并且将来自每个相机的适当fov投影到平坦表面上。更具体地，该变换包括使用虚拟相机参数将每个图像像素投影到车辆100后面的平坦表面上以将图像投影到虚拟相机图像中。此外，将应用于来自左立体相机106的图像的相同变换应用于视差图以获得视差的虚拟相机“视图”。下文参考图5-图9更详细地描述图像变换。39.通常，可以基于车辆确定虚拟相机参数。需要与物理相机在同一坐标系中的位置和视角。例如，虚拟相机位置可以固定在左相机和右相机的中间像素上方0.5米并向前移动0.5米处，使得虚拟相机位置具有从车辆前方观察的视角。虚拟相机与水平地平面的角度也可以固定在-30度。虚拟相机角度和位置可以是允许车辆的驾驶员改变虚拟相机参数以匹配观看需求(非常类似于调整物理后视镜)的用户参数。40.然后执行缝检测406以确定最佳边界，相邻图像将沿着该最佳边界被组合。使用变换后的图像和变换后的视差图来执行缝检测。缝检测的结果为具有权重的与输出全景图相同大小的混合查找表(lut)，其中，该权重指定用于在缝处组合图像以生成全景图的阿尔法混合系数。下文参考图10-图14更详细地描述了缝检测和lut生成。41.然后通过将lut中的权重应用于图像，将图像拼接408在一起以形成输出全景图。下文更详细地描述图像的拼接。42.现在更详细地描述变换、缝检测和拼接。图5示出来自右相机、立体相机对和左相机(诸如相机102-108)的一组示例捕获图像502-508，以及从右相机、左立体相机和左相机的图像生成的全景图510。下文基于该组示例图像描述变换、缝检测和拼接。来自左相机和右相机的图像在本文中可以分别称为lmirror和rmirror，并且来自立体相机对的图像在本文中可以称为lstereo和rstereo。43.如上所述，全景图被投影在车辆后面的虚拟平坦表面上。因此，可以为图像lmirror、lstereo和rmirror中的每个计算单个投影变换。每个投影变换根据在校准期间针对对应相机估算的内在和外在参数进行计算。对相应图像应用每个投影变换以获得变换后的图像l'mirror、l'stereo和r'mirror。针对lstereo计算的投影变换也用于变换视差图d以生成变换后的视差图d'。图6为将右镜图像502投影到虚拟显示表面510上的示例可视化。44.图7为用于计算图像的投影变换的方法的流程图。该方法可以作为工厂校准的一部分来执行，因为图像的投影变换基于物理相机外在参数、平坦表面与相机的距离以及虚拟相机的位置，所有这些在物理相机已校准之后都是已知的。最初，确定700变换后的图像的区域中心。基于全景图的已知尺寸w×h和左相机投影到全景图的左三分之一、左立体相机投影到全景图的中心以及右相机投影到全景图的右三分之一的近似约束，可以确定与图像对应的区域的中心像素(xrc，yrc)。45.接下来，在变换后的图像中选择702与中心像素(xrc，yrc)的小偏移δ0ffset处的四个非共线像素。选择像素使得没有三个像素共线。可以使用δoffset的任何合适的值。通常，最终投影变换随着距中心像素的距离的增加而改善。因此，δoffset的最大可能值是可取的。例如，对于1920×480全景图，δoffset的值可以为240。图8为示出与1920×480的全景图中的左图像、中心图像和右图像对应的区域的简单示例。示出每个区域的中心像素和四个非共线像素。46.再次参考图7，使用虚拟相机参数将四个像素投影704到世界坐标中。然后将世界像素投影706为图像像素。虚拟相机的位置和取向是已知的，并且平坦表面的位置是已知的。该信息用于将虚拟相机图像中的四个像素投影到平坦表面或世界。此外，基于相机校准，平坦表面上的像素如何映射到输入相机图像也是已知的。因此，虚拟相机图像的最终输出上的四个像素与输入图像中的四个像素之间存在关系。然后计算708将图像像素映射到变换后的像素的投影变换矩阵。给定四个像素从输出图像到输入图像的对应关系，可以用四组像素对应关系生成投影变换矩阵。47.图9示出对应于图5的相应图像502、504、508的变换后的图像以及每个变换后的图像中的感兴趣fov 902、904、908。通过沿着通过场景检测确定的缝拼接来组合fov 902、904、908以形成全景图。图9还示出为立体图像504、506生成的视差图700和变换后的视差图906。48.因为全景图基本上为在平坦表面上的具有预定深度的投影，所以如果选择缝使得缝在表面距离处经过对象，则这些对象在输出全景图中无缝地拼接。因此，在从每个捕获图像投影到虚拟表面的过程中，位于虚拟表面上并被相邻相机捕获的世界位置将投影回虚拟视图中的相同世界位置并因此看起来对准。立体信息可以用于定位靠近投影表面的世界空间中的像素，从而可以计算延伸穿过其对应图像像素的缝。49.图10为用于找到用于将两个图像拼接在一起的最小成本缝的方法的流程图。该方法可以用于找到用于拼接左相机图像和左立体图像的最小成本缝以及用于拼接左立体图像和右相机图像的最小成本缝。在重叠区域中执行对最小成本缝的搜索。左相机图像和左立体图像之间以及左立体图像和右相机图像之间的重叠区域可以被确定为rsvp系统的校准的一部分。50.在该方法中，确定两个候选缝，通过将平坦表面视差与变换后的视差图匹配而找到最小成本缝，并且通过将地平面视差与变换后的视差图匹配而找到最小成本缝。选择两个缝中具有最小成本的缝作为最终缝用于拼接。沿地平面的缝被认为允许没有重要对象位于平坦表面深度的情况，即，投影表面视差与变换后的视差图之间存在匹配不足的情况。51.最初，计算1000世界视差图dw。因此，使用像素相对于立体相机的已知位置来计算虚拟平坦表面上的每个像素的视差。视差值可以计算如下。等式52.z＝b*f/d53.可以用来计算给定立体图像的深度，其中，b为两个相机之间的距离，f为相机焦距，d为视差，以及z为给定位置的深度。该等式用于估算立体相机图像中的位置的深度。为了计算平坦表面上的视差，平坦表面被限定在距立体相机的特定的已知深度处，即，预定拼接图像所处的距离。因此，可以通过下式计算视差值54.d＝b*f/z55.其中，z为已知的，并且d为未知的。56.然后通过比较dw和变换后的视差图d’中的对应视差值来计算1002世界视差差异图dδ。具体地，可以根据下式通过取dw和d’中的对应视差值之间的差的大小来计算dδ57.dδ＝|d’‑dw|。58.如参考图13更详细描述的，候选缝的成本由dδ中的一组像素视差来定义。59.然后确定1004在重叠区域中的最小成本世界缝smin,w。因此，搜索重叠区域中的候选缝以找到具有如通过世界视差差异图dδ中的对应的一组像素视差来确定的最小成本的缝。缝s由重叠区域中从全景图的顶部到底部的线性路径中的一组像素指定。因此，缝在全景图中每行包括一个像素。参考图13描述用于找到最小成本缝的方法。60.然后通过比较预定地平面视差图dg和变换后的视差图d’中的对应视差值来计算1006地平面视差差异图dδ。具体地，可以根据下式通过取dg和d’中的对应视差值之间的差异的大小来计算dδ61.dδ＝|d’‑dg|。62.如参考图13更详细描述的，候选缝的成本由dδ中的一组像素视差来定义。63.然后确定1008重叠区域中的最小成本地平面缝smin,g。因此，搜索重叠区域中的候选缝以找到具有如通过世界视差差异图dδ中的一组对应像素视差所确定的最小成本的缝。参考图13描述用于找到最小成本缝的方法。64.从地平面缝smin,g和世界缝smin,w选择1010总体最小成本缝smin，因此根据下式选择具有最低成本的缝作为总体最小成本缝65.smin＝min(smin,w,smin,g)。66.然后将时间平滑应用1012到最小成本缝smin以确定最终缝st。参考图11描述用于时间平滑的方法。应用时间平滑，因为如果针对每个全景图独立地计算新缝，则在连续全景图之间的拼接边界中可能存在大的跳跃和抖动，这可能使车辆的驾驶员分散注意力并使其失去方向感。为了保持时间一致性，考虑先前全景图中的缝位置以及缝移动的最小距离阈值pmin和最大距离阈值pmax。最小距离阈值pmin用于避免抖动，并且最大距离阈值pmax用于避免从先前全景图中的缝到当前全景图的缝的大跳跃。可以使用任何合适的pmin和pmax值。在一些实施例中，根据经验选择值。67.图11为用于确定最终缝st的时间平滑的方法的流程图。首先，确定1100最小成本缝smin中的所有像素是否在前一缝st-1的pmin像素内。如果所有像素都在pmin像素内，则将最终缝st设置1102为前一缝st-1。否则，确定1104最小成本缝smin中的任何像素远离前一缝st-1是否大于pmax像素。如果没有像素远离前一缝st-1大于pmax像素，则将最终缝st设置1106为最小成本缝smin。68.否则，缩放(scale)1108最小成本缝smin，使得最小成本缝smin和前一缝st-1之间的最大像素位移为pmax，以确定最终缝st。更具体地，考虑包括每个缝的像素：69.[0070][0071][0072]其中，hrsvp为全景图的高度，那么最终缝st的x坐标可以根据下式通过缩放最小成本缝smin来计算[0073]δx1＝|x1，min-x1，t-1|[0074][0075][0076][0077]图12示出位移阈值可以如何影响选择最终缝st的方式的示例。如左边的示例所示，当最小成本缝smin的所有像素都在前一缝st-1的pmin像素内时，则前一缝用于拼接以最小化抖动，即st＝st-1。如右边的示例所示，当最小成本缝隙smin中的像素远离前一缝st-1超出pmax像素时，最小成本缝隙smin被缩放以避免从前一缝st-1到最低成本缝smin的大跳跃。[0078]图13为用于确定重叠区域中的最小成本缝的方法的流程图。该方法可以用于在世界中(即在平坦表面上)找到最小成本缝，以及在地平面上找到最小成本缝。该方法的输入为视差差异图dδ，其可以为地平面视差图dg与变换后的视差图d’之间的视差差异图或世界视差差异图dδ与变换后的视差图d’之间的视差差异图。[0079]最初，计算1300重叠区域中的竖直候选缝的成本。因此，从重叠区域中的预定竖直缝开始，自前一竖直缝以预定步长(例如，16个像素)计算重叠区域内的竖直缝的成本。可以使用任何合适的步长，并且可以选择该步长以获得最佳计算性能。例如，预定竖直缝可以位于重叠区域的左侧。确定预定竖直缝的成本，然后确定预定竖直缝右侧16个像素的竖直缝的成本，然后确定预定竖直缝右侧32个像素的竖直缝的成本等。从候选竖直缝中选择1302最佳竖直候选缝，即具有最小成本的竖直缝。[0080]然后计算1304在重叠区域内所选择的最佳竖直候选缝的小邻域(例如，±16个像素)内的候选缝的成本。可以使用任何合适的邻域尺寸。在一些实施例中，邻域位于所选竖直候选缝的任一侧上的竖直缝之间。对于小邻域顶部的每个像素，计算从该像素到邻域中的每个底部像素的缝的成本。选择1306小邻域中的具有最小成本的缝作为最小成本缝。[0081]可以将候选缝s＝{(xi，yi)}的成本计算为与候选缝s中的像素对应的视差差异图dδ中的视差值的总和，其通过变换后的视差图d’中的有效对应视差值的数量来归一化。因此，可以通过下式计算具有离散化像素的候选缝的成本cs[0082][0083]其中，|d’(s)》0|为在d’中具有有效视差值的候选缝s中的像素的数量，并且hrsvp为以像素为单位的全景图的高度。[0084]在一些实施例中，在成本计算中施加约束以仅允许具有小于阈值视差值δw的视差估算的表面像素来贡献成本。可以使用任何合适的δw值。在一些实施例中，该值凭经验确定，并且可以取决于拼接精度要求。在没有这种约束的情况下，缝选择将偏向于沿地平面选择缝，因为在大多数车辆操作情形中地面为主要特征。使用阈值视差值δw，可以通过下式计算候选缝s的成本cs[0085][0086]在为两个重叠区域中的每个重叠区域选择最终缝st之后，使用指定用于组合图像对的阿尔法混合系数的权重来计算与全景图相同大小的单个混合lut。在一些实施例中，计算阿尔法值，使得对于最终缝st中的每个像素，每个阿尔法值为0.5，并且在缝st周围的预定混合宽度上，阿尔法值从1到0线性减小。可以凭经验确定合适的混合宽度。也可以使用其他合适的阿尔法值。[0087]可以使用单个混合lut，因为左缝总是落在全景图的左半部分中，而右缝总是落在全景图的右半部分中。因此，可以在这些假设下生成混合lut，并且可以相对于要组合的每对图像的左图像来定义权重。图14为混合lut的示例，其中，两个缝线上的每个像素处的权重为0.5。线1400、1402指示缝位置。[0088]鉴于混合lut通过下式表示[0089]{wij，i∈{1，...，hrsvp}，j∈{1，...，wrsvp}}，[0090]其中，wrsvp为以像素为单位的全景图的宽度，可以根据以下等式针对全景图rsvp的左半部分和右半部分分别执行图像的拼接以形成全景图：[0091]对于和对于和rsvp(i，j)＝wijl′stereo(i，j)+(1-wij)l′mirror(i，j)。[0092]相机配置消除了传统后视镜配置产生的传统盲点，但是如上所述，可能在车辆的后保险杠的任一角点处产生盲区。如果对象在一个盲区中，则上文描述的方法可能选择在所显示的全景图中完全消除对象的缝，因为这些区域中的对象可能仅出现在一个图像中。盲区的位置通常由图16的左侧示例中的表演者描绘。盲区可以在本文中被称为b11、b12、b21和b22，如图15的右侧示例中所示。[0093]在一些实施例中，用于对象检测的模态(诸如雷达、光雷达、超声波、计算机视觉等)将关于这些盲区中存在对象的信息提供给图10的方法的缝发现。更具体地，如果在盲区中检测到对象，则对应于包含检测到的对象的图像的最终缝被偏置以确保对象的至少一些将在全景图中可见。该偏置可以如下执行。如果在b11或b22中检测到对象，则朝向全景图的中心偏置最终缝。如果在b12中检测到对象，则朝向全景图的左侧偏置最终缝。如果在b21中检测到对象，则朝向全景图的右侧偏置最终缝。可以使用任何合适的偏置。在一些实施例中，偏置被设置成使得前一的缝位置移动到重叠区域的相应边缘，使得如果检测到任何对象，则新缝将不会从边缘明显移动。[0094]图16为盲区b11中的对象的示例。右镜图像rmirror捕获站在区域b11中的人，该人在左立体图像lstereo中不可见。如全景图1600中所示，可以拼接图像以使得人不可见。如全景图1602中所示，如果对象检测模态检测到人，则rmirror和lstereo之间的缝可以远离人朝向全景图的中心偏置，使得人的至少一些在全景图中可见。[0095]图17为可以用作图2的soc 204的示例多处理器片上系统(soc)1700的高级框图。特别地，示例soc 1700为可从德州仪器公司获得的tda3x soc的实施例。本文提供了soc 1700的部件的高级描述。可以在m.mody等人20117年12月16日至19日在印度班加罗尔的《20117年ieee第22届高性能计算国际会议论文集》第4176-463页的“tf tda3x平台上的高性能前置相机adas应用”(m.mody,et al.,"high performance front camera adas applications on tfs tda3x platform,"proceedings of 20117ieee 22nd international conference on high performance computing,december 16-19,20117,bangalore,india,pp.4176-463)和在2014年10月德州仪器的sprt704a第1-6页的“用于高级驾驶员辅助系统(adas)的tda3x soc处理器技术简介”("tda3x soc processors for advanced driver assist systems(adas)technical brief,"texas instruments,sprt704a,october,2014,pp.1-6)中找到对示例部件的更详细描述，其通过引用并入本文。[0096]soc 1700包括经由高速互连件1722联接的双通用处理器(gpp)1702、双数字信号处理器(dsp)1704、视觉处理器1706和图像信号处理器(isp)1724。soc 1700进一步包括直接存储器存取(dma)部件1708、联接到外部相机1724的相机捕获部件1710、显示管理部件1714、片上随机存取(ram)存储器1716(例如计算机可读介质)，以及各种输入/输出(i/o)外围设备1720，所有这些均经由互连件1722联接到处理器。此外，soc 1700包括安全部件1718，该安全部件1718包括安全相关功能以使得能够符合汽车安全要求。这样的功能可以包括支持数据的crc(循环冗余校验)、用于漂移检测的时钟比较器、错误信令、窗口看门狗定时器，以及针对损坏和故障的soc的自测试。实现如本文所述的后视全景图像生成的实施例的软件指令可以存储在存储器1716中，并且可以在soc 1700的一个或多个可编程处理器上执行。[0097]其他实施例[0098]可以设计不脱离本文描述的范围的其他实施例。[0099]例如，本文已经描述了这样的实施例，其中，校准图表由位于较大黑色正方形的中心的白色正方形组成，该黑色正方形位于较大的白色正方形的中心。但是使用其他合适的校准图表的实施例是可能的。其他合适的校准图表的一些示例可以在上文引用的专利申请公开号us2017/0124710中找到。[0100]在另一示例中，本文已经描述了虚拟世界视图被假设为平坦表面的实施例。但是使用其他世界表示(诸如圆柱形表面)的实施例是可能的。[0101]在另一示例中，本文已经描述了混合宽度是预定的实施例。但是可以基于场景的知识动态地改变混合宽度的实施例是可能的。[0102]在另一示例中，用于生成全景图的视差图为针对前一对立体图像计算的视差图的实施例是可能的。[0103]在另一示例中，本文已经描述了成本计算被偏置为相对于地面缝更偏袒于表面缝的实施例。但是成本计算被偏置以选择地面缝的实施例是可能的。[0104]在另一示例中，虚拟相机位置可以在车辆操作期间由车辆驾驶员改变以使用操纵杆或其他输入机构调整最终全景图的实施例是可能的。在这样的实施例中，响应于虚拟相机位置的改变而改变投影变换参数。[0105]在另一示例中，本文已经描述了使用粗到细搜索来定位重叠区域中的最小成本缝的实施例。但是使用其他搜索方法(诸如搜索重叠区域中的所有可能的缝)的实施例是可能的。[0106]在另一示例中，本文已经描述了与全景图相同大小的单个混合lut被计算并用于将三个图像拼接在一起的实施例。但是生成两个混合lut(针对每个重叠区域生成一个混合lut)的实施例是可能的。在这样的实施例中，可以将不在重叠区域中的图像中的像素复制到输出全景图，并且将混合lut应用于相应重叠区域中的像素。[0107]实现本文描述的全部或部分方法的软件指令可以最初存储在计算机可读介质中，并由一个或多个处理器加载和执行。在一些情况下，软件指令可以经由可移除计算机可读介质、经由来自另一数字系统上的计算机可读介质的传输路径等来分发。计算机可读介质的示例包括不可写存储介质(诸如只读存储器装置)、可写存储介质(诸如磁盘、闪存、存储器)或其组合。[0108]尽管本文可以以按顺序的方式呈现和描述方法步骤，但是附图中示出的和/或本文描述的步骤中的一个或多个步骤可以同时执行、可以组合执行和/或可以以与在附图中示出和/或本文描述的顺序不同的顺序执行。因此，实施例不限于附图中示出和/或本文描述的步骤的特定顺序。[0109]在本说明书中，术语“联接”及其派生词意指间接、直接、光学和/或无线电连接。例如，如果一个装置联接到另一个装置，则该连接可以通过直接电连接、通过经由其他装置和连接的间接电连接、通过光学电连接和/或通过无线电连接。[0110]在所描述的实施例中可以进行修改，并且在权利要求的范围内，其他实施例也是可能的。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!