视频生成方法、装置、计算机设备以及全息录播系统与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本技术涉及增强现实领域，更具体地，涉及一种视频生成方法、装置、计算机设备以及全息录播系统。背景技术：2.近年来，随着混合现实技术的逐渐发展，全息视频因其独特的用户体验，逐渐被应用于更多的技术领域。例如在远程教学领域，通常情况下，教师会预先通过图像采集装置录制三维立体的教学视频，学生通过终端头显装置观看教学视频，能够看到三维立体的教师形象，但这种教学方式中，学生与教师之间的互动性不强，学生的观看视角仍然是受到限制的，容易影响学生学习的积极性。技术实现要素：3.鉴于上述问题，本技术提出了一种视频生成方法、装置、计算机设备以及全息录播系统，可以得到具有6自由度的全息视频数据，提升用户的视频观看体验。4.第一方面，本技术实施例提供了一种视频生成方法，所述方法包括：通过获取第一图像采集装置在不同位姿下对目标现实环境进行图像采集得到的多帧图像数据以及与每帧所述图像数据对应的位姿数据；基于所述多帧图像数据以及与每帧所述图像数据对应的位姿数据，生成所述目标现实环境对应的三维立体模型；获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据；在所述三维立体模型中叠加所述三维视频数据，得到全息视频。5.第二方面，本技术实施例提供了一种视频生成装置，所述装置包括：数据获取模块、模型生成模块、视频获取模块以及数据叠加模块，其中，数据获取模块用于获取第一图像采集装置在不同位姿下对目标现实环境进行图像采集得到的多帧图像数据以及与每帧所述图像数据对应的姿态数据；模型生成模块用于基于所述多帧图像数据以及与每帧所述图像数据对应的姿态数据，生成所述目标现实环境对应的三维立体模型；视频获取模块用于获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据；数据叠加模块用于在所述三维立体模型中叠加所述三维视频数据，得到全息视频。6.第三方面，本技术实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的视频生成方法。7.第四方面，本技术实施例提供了一种全息录播系统，所述全息录播系统包括视频编辑装置以及视频播放装置，所述视频编辑装置用于执行上述第一方面提供的视频生成方法，所述视频播放装置用于播放所述视频编辑装置生成的全息视频。8.第五方面，本技术实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的视频生成方法。9.本技术提供的方案，通过获取第一图像采集装置在不同位姿下对目标现实环境进行图像采集得到的多帧图像数据以及与每帧所述图像数据对应的位姿数据；基于所述多帧图像数据以及与每帧所述图像数据对应的位姿数据，生成所述目标现实环境对应的三维立体模型；获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据；在所述三维立体模型中叠加所述三维视频数据，得到全息视频。通过目标现实环境对应的多帧图像数据，得到目标现实环境对应的三维立体模型，进而将目标用户的三维视频数据叠加至三维立体模型中，得到具有6自由度的全息视频，提升用户的视频观看体验。附图说明10.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。11.图1示出了本技术一个实施例提供的视频生成方法的流程示意图。12.图2示出了本技术实施例中深度相机的原理示意图。13.图3示出了本技术另一个实施例提供的视频生成方法的流程示意图。14.图4示出了本技术实施例中生成全息视频的原理示意图。15.图5示出了本技术实施例提供的视频生成装置的结构示意图。16.图6示出了本技术实施例提供的一种计算机设备的结构框图。17.图7示出了本技术实施例提供的一种全息录播系统的结构框图。18.图8示出了本技术实施例提供的计算机可读取存储介质的结构框图。具体实施方式19.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。20.发明人提出了本技术实施例提供的视频生成方法、装置、计算机设备以及全息录播系统，可以通过目标现实环境对应的多帧图像数据，得到目标现实环境对应的三维立体模型，进而将目标用户的三维视频数据叠加至三维立体模型中，得到具有6自由度的全息视频，提升用户的视频观看体验。21.下面将结合附图具体描述本技术实施例提供的视频生成方法。22.请参阅图1，图1示出了本技术一个实施例提供的视频生成方法的流程示意图，下面将针对图1所示流程进行详细阐述，所述视频生成方法具体可以包括以下步骤：23.步骤s110：获取第一图像采集装置在不同位姿下对目标现实环境进行图像采集得到的多帧图像数据以及与每帧所述图像数据对应的位姿数据。24.在本技术实施例中，计算机设备可以通过第一图像采集装置采集目标现实环境对应的多帧图像数据，其中，第一图像采集装置可以在采集多帧图像数据的过程中不断改变位置和姿态数据，也就是说第一图像采集装置可以以不同的位姿数据获取目标现实环境的多帧图像数据。同时，计算机设备基于第一图像采集装置不仅可以获取目标现实环境中的多帧图像数据，还可以得到第一图像采集装置在采集每一帧图像数据时对应的位姿数据，并将该位姿数据与该帧图像数据相关联，用以后续基于目标现实环境对应的多帧图像数据以及分别对应的位姿数据，得到目标现实环境对应的三维立体模型。25.具体来说，计算机设备获取的目标现实环境中的图像数据，可以包括图像数据中各个像素点分别对应的色彩值以及深度值，计算机设备仅就一帧图像数据，就可以得到该图像数据对应的位置和视角下目标现实环境的三维图像数据。而计算机设备基于第一图像采集装置在不同位姿下采集了目标现实环境的多帧图像数据，因此，计算机设备可以将这多帧图像数据以及每帧图像数据分别对应的位姿数据，对图像数据进行拼接，进而得到目标现实环境对应的三维立体模型。26.在一些实施方式中，第一图像采集装置可以包括深度相机模块以及惯性测量(inertial measurement unit，imu)模块。其中，深度相机模块不仅可以采集当前位置和视角下目标现实环境对应的图像数据，也就是确定其中每个像素点对应的像素值，还可以获取图像数据中每个像素点对应的深度值，也就是该像素点在目标现实环境中于深度相机模块之间的距离信息。如图2所示，其示出了深度相机的原理示意图，对于目标现实环境中的m点，深度相机能够获取其在rgb图像中的成像点xm，以及m点到深度相机所在垂直平面(xy平面)的距离，这个距离即是m点的深度值。27.同时，imu模块可以获取第一图像采集装置采集目标现实环境的图像数据时在三维空间的三个坐标轴上分别对应的加速度数据和角速度数据，计算机设备可以基于imu模块得到的三轴角速度和加速度数据，确定第一图像采集装置获取每一帧图像数据时的位置和姿态数据，也就是获取每一帧图像数据时第一图像采集装置所处位置的位置数据以及设备朝向角度的姿态数据。28.步骤s120：基于所述多帧图像数据以及与每帧所述图像数据对应的位姿数据，生成所述目标现实环境对应的三维立体模型。29.在本技术实施例中，计算机设备在基于第一图像采集装置得到目标现实环境中的多帧图像数据以及每帧图像数据对应的位姿数据后，就可以直接基于采集到的图像数据以及分别对应的位姿数据，生成目标现实环境对应的三维立体模型。在一些实施方式中，计算机设备可以基于第一图像采集装置获取的imu数据，确定第一图像采集装置采集每一帧图像数据时的位姿数据，进而基于每一帧图像数据分别对应的位姿数据，将多帧图像数据拼接在一起，得到目标现实环境对应的三维立体模型。30.步骤s130：获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据。31.在本技术实施例中，计算机设备还可以获取目标用户的深度图像数据，并基于深度图像数据生成目标用户对应的三维视频数据，用以后续将目标用户对应的三维视频数据叠加至前述步骤生成的目标现实环境对应的三维立体模型中，以形成6自由度的全息视频。具体来说，计算机设备可以通过包括深度相机模块的图像采集装置，获取的目标用户的深度图像数据，深度相机模块可以直接采集得到目标用户对应的深度图像数据中的图像数据以及深度数据，以便于计算机设备基于深度图像数据生成目标用户对应的三维视频数据。值得注意的是，此时计算机设备得到的深度图像数据，是图像采集装置处于固定位置和姿态的情况下得到的目标用户的深度图像数据，计算机设备可以通过多个位于不同固定位置和处于不同姿态的图像采集装置获取相同目标用户的多个深度图像数据，但这些图像采集装置之间并不是连贯的，也就是相互之间的相对位置关系并不清楚，计算机设备可以针对每一个图像采集装置，单独生成一个对应的处于不同视角下的目标用户的三维视频数据。32.其中，此时计算机设备采集到的目标用户的深度图像数据，并不是某一时刻目标用户的深度数据和图像数据，而是包括一段连续时长内目标用户不间断的深度图像数据，计算机设备可以将连续时长内的每一帧深度图像数据进行处理，得到目标用户在连续时长内对应的三维视频数据。33.在一些实施方式中，计算机设备不仅可以获取的目标用户的深度图像数据中，还可以同步获取目标用户的声音数据和时间数据等，计算机设备在基于深度图像数据生成目标用户对应的三维视频数据的过程中，同样可以基于时间数据将声音数据与深度图像数据融合在一起，由此得到的目标用户对应的三维视频数据中，不仅可以包括目标用户的三维动作数据，还可以包括目标用户发出的与三维动作数据同步的声音数据。34.在一些实施方式中，目标用户可以包括至少两个用户，计算机设备获取的目标用户的深度图像数据，也可以包括获取至少两个用户中每个用户对应的第一深度图像数据，由此计算机设备可以根据每个用户对应的第一深度图像数据，生成每个用户对应的参考三维数据，以便于后续将所有用户分别对应的参考三维数据均叠加至三维立体模型中，得到包括多个用户三维视频数据的全息视频。具体来说，目标用户中的每个用户可以实际处于不同的空间位置，计算机设备将每个用户分别对应的参考三维数据，同步叠加至三维立体模型中，即可以实现处于不同空间位置的多个用户在相同的目标现实环境中进行沟通交流或者协助实验等效果。35.在一些实施方式中，计算机设备还可以将每个用户对应的参考三维数据实时叠加至三维立体模型中，即不再等待用户完成所有的动作后生成对应的长时间的参考三维数据，而是每获取每个用户对应的一帧的深度图像数据后，即将该帧深度图像数据转换为参考三维数据，并实时将这一帧参考三维数据叠加至三维立体模型中，此时得到的全息视频就可以实时展示用户当前的动作。显然，若存在多个用户在同一时间都分别生成了一帧当前时刻的参考三维数据，计算机设备可以将多个单帧的参考三维数据进行时间校准后，同时叠加至三维立体模型中，由此可以实现多个不同用户在目标现实环境对应的三维立体模型中进行实时交互的效果。36.同时，计算机设备还可以将每一帧实时生成的全息视频同步在各个用户对应的头戴显示设备上进行播放，由此用户还可以看到处于三维立体模型中的其他用户的实时动作，并针对其他用户的实时动作做出反馈，由此可以实现处于不同空间位置的多个目标用户在三维立体模型中产生互动协助的效果。例如，计算机设备可以同时获取学生和教师分别对应的每一帧参考三维数据，并将获取的每一帧数据实时叠加至目标现实环境对应的三维立体模型中，同时将生成的每一帧全息视频同步在学生和教师的头戴显示设备上进行播放，由此学生和教师都可以看到对方的实时动作，并基于对方的动作做出相应的反馈动作，即可以实现学生和教师的互动以及远程协助的功能。37.步骤s140：在所述三维立体模型中叠加所述三维视频数据，得到全息视频。38.在本技术实施例中，计算机设备在分别得到目标现实环境对应的三维立体模型，以及目标用户对应的三维视频数据后，可以将三维视频数据叠加至三维立体模型中，由此可以得到在三维立体模型构建的目标现实环境中，目标用户实施的三维视频数据。此时计算机设备叠加完成后的全息视频，不仅包括目标用户连贯的三维动作数据，还包括目标用户所处的目标现实环境的三维立体模型。用户在通过相关头显设备观看叠加后得到的全息视频时，不仅可以看到目标用户对应的三维视频数据，还可以看到目标现实环境的三维数据，并且可以支持任意切换视角观察目标现实环境对应的三维立体模型。39.在一些实施方式中，计算机设备还可以仅获取目标用户的二维图像数据，也就是获取固定视角下目标用户的图像数据。计算机设备仍然可以将这个二维的图像数据叠加至前述步骤生成的目标现实环境对应的三维立体模型中，用户观看叠加后的视频数据时，仍然可以观看到6自由度的视频数据，这是由于虽然叠加的是图像数据，但计算机设备是在具有6自由度的目标现实环境对应的三维立体模型的基础上进行的图像数据叠加，因此，根据最终叠加后生成的视频数据，用户仍然可以观看到6自由度的视频数据，但显然由于计算机设备并没有采集到目标用户的三维立体深度数据，因此，叠加得到的视频数据中，用户也无法观看到目标用户的三维立体深度数据。40.在一些实施方式中，若计算机设备可以获取至少两个用户分别对应的参考三维数据，那么计算机设备通过在三维立体模型中叠加三维视频数据，得到全息视频的过程，还可以包括在三维立体模型中同时叠加每个用户分别对应的参考三维数据，由此得到的全息视频中就可以包括多个用户的三维视频数据。但应当理解的是，若多个用户之间不存在预先设定的操作，那么全息视频中的每个用户分别对应的三维视频数据之间就是相互独立，不会存在交互动作的。在一些实施方式中，计算机设备在获取参考三维数据的时候，也可以根据预设的交互指令，指示用户在任意时刻执行指定操作，由此在将多个参考三维数据叠加至三维立体模型后，各个用户的三维三维视频数据之间就可以产生交互的动作。41.本技术实施例提供的视频生成方法，可以由包括前端环境感知模块以及后端视频生成模块组成的全息录播系统实现，用于生成教师在特定实训环境进行的三维授课视频。其中，系统的前端环境感知模块可以是mr相机等能够对实训场景进行快速扫描和数字重构的设备，后端视频生成模块可以将教师录制的包含授课内容的三维视频数据与前端环境感知模块获取的实训场景对应的三维环境模型融合，得到用于教学特定内容的课程资源包。其中，学生可以通过mr头显、个人计算机或者移动终端等设备观看系统生成的全息视频，以提升学生的学习体验，实现理论与实践的同步。42.本技术实施例提供的视频生成方法，通过获取第一图像采集装置在不同位姿下对目标现实环境进行图像采集得到的多帧图像数据以及与每帧所述图像数据对应的位姿数据；基于所述多帧图像数据以及与每帧所述图像数据对应的位姿数据，生成所述目标现实环境对应的三维立体模型；获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据；在所述三维立体模型中叠加所述三维视频数据，得到全息视频。通过目标现实环境对应的多帧图像数据，得到目标现实环境对应的三维立体模型，进而将目标用户的三维视频数据叠加至三维立体模型中，得到具有6自由度的全息视频，提升用户的视频观看体验。43.请参阅图3，图3示出了本技术另一个实施例提供的视频生成方法的流程示意图，下面将针对图3所示流程进行详细阐述，所述视频生成方法具体可以包括以下步骤：44.步骤s201：获取第一图像采集装置在不同位姿下对目标现实环境进行图像采集得到的多帧图像数据以及与每帧所述图像数据对应的位姿数据。45.在本技术实施例中，步骤s201可以参阅其他实施例的内容，在此不再赘述。46.步骤s202：基于每帧所述图像数据中的第一深度数据以及第一像素数据，确定每帧所述图像数据对应的三维数据。47.在本技术实施例中，第一图像采集装置采集到的目标现实环境的每一帧图像数据，都包括第一深度数据以及第一像素数据，也就是说，第一图像采集装置采集到的图像数据中为每一个像素点记录的数据，不仅包括用于表征这个像素点色彩的像素值数据，也就是第一像素数据，还可以包括这个像素点与第一图像采集装置之间的距离数据，也就是第一深度数据。具体来说，第一图像采集装置可以通过深度相机实现同时采集目标现实环境的第一深度数据以及第一像素数据，计算机设备可以在第一图像采集装置采集到每帧图像对应的第一深度数据以及第一像素数据后，结合第一深度数据以及第一像素数据，生成每帧图像对应的三维数据，以便于后续基于每帧图像的三维数据，得到目标现实环境对应的三维立体模型。48.其中，深度相机可以为结构光深度相机，通过近红外激光器，将具有特定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集，将采集到的结构光的变化转换为深度信息，依次获取图像数据对应的三维数据；深度相机还可以为飞行时间(time of flight，tof)深度相机，通过向目标现实环境发射连续激光脉冲，通过传感器接收反射光线，通过测量探测光脉冲的飞行往返时间来得到确定目标现实环境的深度信息；深度相机还可以为双目立体视觉深度相机，基于视差原理并利用成像设备从不同位置获取目标现实环境的两幅图像，通过计算这两幅图像对应点之间的位置偏差，来确定目标现实环境的深度信息。49.步骤s203：基于每帧所述图像数据对应的所述三维数据以及所述位姿数据，生成所述目标现实环境对应的三维立体模型。50.在本技术实施例中，所述位姿数据为所述第一图像采集装置采集每帧所述图像数据时对应的位姿数据。第一图像采集装置的位姿数据包括该装置在采集每帧图像数据时在三维空间坐标系中对应的位置数据和姿态数据，其中，第一图像采集装置可以安装的imu模块，以便于在装置采集图像数据的时候，获取装置本身的位姿数据。计算机设备可以基于第一图像采集装置在采集每一帧图像数据时对应的位姿数据，以及基于每一帧图像数据分别生成的三维数据，生成目标现实环境对应的三维立体模型。51.具体来说，imu模块可以记录第一图像采集装置在采集图像数据时，在三维空间坐标系的三个坐标轴上分别对应的角速度和加速度。第一图像采集装置可以在开始图像数据采集时预先获取装置在世界坐标系下对应的参考坐标数据，其后，装置每采集一张目标现实环境对应的图像数据，就会记录一次采集图像数据时装置在三维空间的角速度和加速度，由此计算机设备可以在参考坐标数据的基础上，基于三维空间中的角速度和加速度，得到装置采集该帧图像数据时的坐标数据，其后若装置再次采集了的一帧图像数据，那么计算机设备可以在前一帧图像数据对应的坐标数据的基础上，根据新的角速度和加速度，得到新的坐标数据。依次循环，计算机设备可以基于imu模块得到第一图像采集装置采集每一帧图像数据时对应的坐标数据。可以理解的，第一图像采集装置的位姿数据包括第一图像采集装置在采集每一帧图像数据时的位置数据以及方向数据，也就是在世界坐标系下的坐标数据以及在三个坐标轴上的角度信息。显然，第一图像采集装置可以基于imu模块直接获取装置采集图像数据时的角度信息，也就是方向数据。并且，通过前述分析可知，第一图像采集装置也可以基于imu模块得到装置采集每一帧目标现实环境对应的图像数据时的坐标数据，也就是位置数据。因此，第一图像采集装置可以通过imu模块获取采集每一帧图像数据时的位姿数据。52.步骤s204：基于所述深度图像数据中所述目标用户的相同动作在不同视角下分别对应的生成时刻，校准所述目标用户的身体在所述不同视角下分别对应的所述第二深度数据以及第二像素数据。53.在本技术实施例中，所述深度图像数据包括第二图像采集装置在不同视角下对所述目标用户的身体采集得到的第二深度数据以及第二像素数据。为了方便用户从不同角度和视角观看全息视频，计算机设备可以通过多个第二图像采集装置，分别在不同视角下获取目标用户的身体对应的深度图像数据，用以基于每一个视角下的深度图像数据，生成对应的三维视频数据，以及计算机设备将多个视角下分别对应的三维视频数据合并叠加至三维立体模型中，得到包括多个不同视角的全息视频。但应当理解的是，由于存在多个不同的第二图像采集装置，并且后续在三维视频数据生成的过程中，各个第二图像采集装置之间并不存在数据关联，因此，若直接将各个视角分别对应的三维视频数据进行合并叠加，那么最终得到的全息视频中，不同视角下的三维视频数据可能并不同步。因此为确定最终生成的全息视频中，各个视角下的三维视频数据之间是同步的，计算机设备可以在各个第二图像采集装置采集不同视角的深度图像数据的过程中，对不同视角下的深度图像数据进行时间校准。具体来说，计算机设备可以基于深度图像数据中目标用户的相同动作在不同视角下分别对应的生成时刻，校准目标用户的身体在不同视角下分别对应的第二深度数据以及第二像素数据。54.在一些实施方式中，用户在录制三维视频数据的过程中，还可以手动校准各个第二图像采集装置之间的时间，各个第二图像采集装置在接收到用户发送的时间校准指令，可以主动相互传递时间信号，以便于相互之间校准时间。55.步骤s205：基于预设时长内所述目标用户的身体在不同视角下分别对应的第二深度数据以及第二像素数据，生成所述目标用户在不同视角下分别对应的三维视频数据。56.在本技术实施例中，计算机设备可以通过多个第二图像采集装置，在不同视角下获取目标用户的身体对应的深度图像数据，即第二深度数据以及第二像素数据，并基于相同视角下目标用户对应的第二深度数据以及第二像素数据，生成目标用户在该视角下对应的三维视频数据，进而基于多个第二图像采集装置，得到目标用户在多个视角下分别对应的三维视频数据。其中，第二图像采集装置可以通过深度相机模块获取固定视角下目标用户的身体的第二深度数据以及第二像素数据，第二图像采集装置中的深度相机模块可以与前述步骤中的第一图像采集装置中的深度相机模块相同，在此不做具体描述。显然，计算机设备通过多个第二图像采集装置获取不同视角下目标用户的三维视频数据，也就是说，每一个第二图像采集装置所对应的目标用户的视角是固定的，也就是说，第二图像采集装置无法移动。57.步骤s206：获取所述目标用户佩戴的第三图像采集装置在目标视角下采集的所述目标用户的手部对应的第三深度数据以及第三像素数据。58.步骤s207：基于所述第三深度数据以及所述第三像素数据，生成所述目标用户在所述目标视角下对应的三维视频数据。59.在本技术实施例中，计算机设备还可以通过第三图像采集装置获取在目标视角下目标用户的手部对应的第三深度数据以及第三像素数据，并基于第三深度数据以及第三像素数据，生成目标用户在目标视角下对应的三维视频数据。可以理解的，为了便于用户更加仔细地观看全息视频中目标用户的手部操作，计算机设备还可以通过用户佩戴的第三图像采集装置，获取目标用户的手部对应的三维视频数据，用以将目标视角下的三维视频数据合并叠加至三维立体模型中，由此用户在观看全息视频的过程中，就可以通过选择目标用户对应的目标视角，进而可以更加近距离地观察目标用户的手部操作。60.在一些实施方式中，计算机设备生成目标用户在目标视角下对应的三维视频数据的方式，还可以包括下述步骤：61.通过所述目标用户佩戴的动捕传感器，获取所述目标用户的身体关节对应的动作数据，所述动作数据包括所述目标用户的各个身体关节在世界坐标系下分别对应的坐标数据；基于所述动作数据、所述第三深度数据以及所述第三像素数据，生成所述目标用户在所述目标视角下对应的三维视频数据。62.也就是说，计算机设备不仅可以通过目标用户佩戴的第三图像采集装置在目标视角下采集的目标用户的手部对应的第三深度数据以及第三像素数据，还可以通过目标用户佩戴的动捕传感器，获取目标用户的身体关节对应的动作数据，进而基于动作数据以及第三深度数据和第三像素数据，生成目标用户在目标视角下对应的三维视频数据。其中，用户佩戴的动捕传感器可以实时获取目标用户身体各个关节在世界坐标系下的坐标数据，用以基于第三深度数据综合确定用户身体的各个关节在每一帧图像时刻对应的位置坐标数据，进而形成目标用户的三维视频数据。63.步骤s208：获取空间标注数据，所述空间标注数据为第四采集装置采集到的所述目标用户所做的标记。64.在本技术实施例中，为了便于观看全息视频的用户理解三维视频数据中目标用户所讲解的内容，目标用户在录制三维视频数据的过程中，还可以基于第四采集装置在空间中做一些适当的标记。计算机设备可以直接基于第四采集装置获取目标用户所做的标记对应的空间标注数据，用以将这些空间标注数据叠加至三维立体模型中。65.在一些实施方式中，计算机设备获取的空间标注数据，可以包括目标用户做出标记的时间数据和位置数据。第四采集装置可以包括一个imu模块，根据实施例的前述步骤可以知道，计算机设备可以基于imu模块记录的第四采集模块对应的角速度和加速度数据，得到第四采集装置在任意时刻对应的位姿数据。同时计算机设备还可以获取目标用户对于第四采集装置的操作数据，由此可以综合确定目标用户在三维空间中所做的空间标注数据。66.步骤s209：在所述三维立体模型中叠加所述空间标注数据，以使所述三维立体模型中包括所述目标用户所做的标记。67.在本技术实施例中，计算机设备在获取目标用户基于第四采集装置所做的空间标注数据后，可以将空间标注数据叠加至三维立体模型中，以便于在最终得到的全息视频中显示目标用户所做的空间标记。其中，计算机设备获取的空间标注数据中不仅可以包括目标用户做出该标记的空间位置，还可以包括目标用户做出该标记的时刻。由此，计算机设备可以基于空间标注数据中的时刻，在适当的时间将空间标注数据叠加至三维立体模型中。68.步骤s210：获取所述三维立体模型中的第一标记数据，以及所述三维视频数据中的第二标记数据。69.步骤s211：基于所述第一标记数据以及所述第二标记数据，在所述三维立体模型中叠加所述三维视频数据，得到所述全息视频。70.在本技术实施例中，第一标记数据位于目标现实环境中，在第一图像采集装置采集目标现实环境对应的图像数据的过程中，第一标记数据会一并被采集到图像数据中，第一图像采集装置在采集的过程中会将其视为目标现实环境中的一部分，计算机设备基于图像数据最终生成的目标现实环境对应的三维立体模型中，也会存在第一标记数据。同理，第二图像采集装置以及第三图像采集装置在各自对应的视角下采集目标用户的深度图像数据的过程中，可以将第二标记数据视为目标用户的身体或者手部的一部分数据，计算机设备基于深度图像数据生成的各个视角下的三维视频数据中，也可能会包括第二标记数据。71.可以理解的，第一标记数据以及第二标记数据是为了便于计算机设备将三维视频数据叠加是三维立体模型中而设置的数据。计算机设备在通过上述步骤得到的目标现实环境对应的三维立体模型，以及目标用户在各个视角下对应的三维视频数据后，需要将三维视频数据叠加至三维立体模型中，如此才能形成全息视频。其中叠加的二者都是三维数据，计算机设备需要基于一个在三维视频数据以及三维立体模型中都存在的相同数据作为参照，才能够顺利实现数据叠加。因此，计算机设备可以在获取了三维立体模型以及三维视频数据后，分别在三维立体模型以及三维视频数据中寻找第一标记数据以及第二标记数据，并基于第一标记数据以及第二标记数据，将三维视频数据叠加至三维立体模型中。具体来说，计算机设备可以将三维视频数据逐步叠加至三维立体模型中，并在叠加过程中获取第一标记数据以及第二标记数据的重合程度。计算机设备可以在第一标记数据与第二标记数据完全重合的情况下，完成数据叠加的操作。72.如图4所示，其示出了本技术实施例提供的全息视频的示意图，其中计算机设备通过第一图像采集装置获取目标现实环境中的多帧图像数据，并生成目标现实环境对应的三维立体模型；第二图像采集装置(图中仅示出一个)采集固定视角下目标用户的深度图像数据，并生成相应的三维视频数据；目标用户可以通过佩戴第三图像采集装置，生成固定视角下目标用户的手部对应的三维视频数据；最终计算机设备可以将各个视角下的三维视频数据叠加至三维立体模型中，得到全息视频。73.步骤s212：响应于第一用户根据播放的所述全息视频输入的视频询问信息，获取所述目标用户的增补视频数据。74.在本技术实施例中，计算机设备生成全息视频后可以用于将其发送至指定用户以便于用户观看学习，目标用户通过全息视频的形式讲解知识点，可以提升用户观看视频时的体验，获得更好的学习效果。同时，为了进一步提升用户对于全息视频的观看质量，计算机设备还可以获取第一用户针对全息视频产生的疑问，也就是用户在观看全息视频的过程中可以针对全息视频的内容提出反馈，并通过显示设备输入视频询问信息。具体来说，第一用户反馈的视频询问信息可以是语音类型的数据，也可以是文字类型的数据，在此可以不做限定，而拍摄全息视频的目标用户可以实时接收到第一用户反馈的视频询问信息并进行解答。其中，目标用户可以基于第一用户反馈的视频询问信息，通过上述步骤中提供的方式补录一份增补视频数据，以便于计算机设备将增补视频数据与原本录制的三维视频数据进行拼接，得到包括解答视频询问信息的增补三维视频数据。75.步骤s213：将所述增补视频数据与所述三维视频数据进行拼接，得到增补三维视频数据。76.步骤s214：在所述三维立体模型中叠加所述增补视频数据，得到补充全息视频。77.在本技术实施例中，计算机设备在将目标用户针对视频询问信息补录的增补视频数据与原有的三维视频数据拼接后，可以将得到的增补三维视频数据叠加至三维立体模型中，形成补充全息视频。显然，该补充全息视频中目标用户解答了第一用户关于全息视频内容所反馈的疑问。计算机设备可以按照相同的流程，获取多个不同用户对于全息视频内容反馈的不同疑问，并获取目标用户针对这些疑问所补录的增补三维视频数据，不断补充全息视频中的内容，以助于后续用户观看补充全息视频时对于知识点的理解。78.本技术实施例提供的视频生成方法，通过第一图像采集装置采集目标现实环境中的图像数据以及第一图像采集装置对应的姿态数据，生成目标现实环境对应的三维立体模型；基于第二图像采集装置在不同视角下采集目标用户的身体对应的深度图像数据，以及基于第三图像采集装置获取目标视角下目标用户的手部对应的深度图像数据，进而各个视角下目标用户对应的三维视频数据；基于三维立体模型中的第一标记数据，以及三维视频数据中的第二标记数据，将三维视频数据叠加至三维立体模型中，得到全息视频。通过目标现实环境对应的多帧图像数据，得到目标现实环境对应的三维立体模型，进而将目标用户的三维视频数据叠加至三维立体模型中，得到具有6自由度的全息视频，可以提升用户的观看全息视频的体验。79.请参阅图5，其示出了本技术一种实施例提供的视频生成装置200的结构框图，视频生成装置200包括：数据获取模块210、模型生成模块220、视频获取模块230以及数据叠加模块240。其中，数据获取模块210用于获取第一图像采集装置在不同位姿下对目标现实环境进行图像采集得到的多帧图像数据以及与每帧图像数据对应的位姿数据；模型生成模块220用于基于多帧图像数据以及与每帧图像数据对应的位姿数据，生成目标现实环境对应的三维立体模型；视频获取模块230用于获取目标用户的深度图像数据，并基于深度图像数据生成目标用户对应的三维视频数据；数据叠加模块240用于在三维立体模型中叠加三维视频数据，得到全息视频。80.作为一种可能的实施方式，每帧图像数据包括第一深度数据以及第一像素数据，位姿数据为采集设备采集每帧图像数据时对应的位姿数据，模型生成模块220还用于基于每帧图像数据中的第一深度数据以及第一像素数据，确定每帧图像数据对应的三维数据；基于每帧图像数据对应的三维数据以及位姿数据，生成目标现实环境对应的三维立体模型。81.作为一种可能的实施方式，深度图像数据包括第二图像采集装置在不同视角下对目标用户的身体采集得到的第二深度数据以及第二像素数据，视频获取模块230还用于基于预设时长内目标用户的身体在不同视角下分别对应的第二深度数据以及第二像素数据，生成目标用户在不同视角下分别对应的三维视频数据。82.作为一种可能的实施方式，视频生成装置200还包括数据校准模块，用于基于深度图像数据中目标用户的相同动作在不同视角下分别对应的生成时刻，校准目标用户的身体在不同视角下分别对应的第二深度数据以及第二像素数据。83.作为一种可能的实施方式，视频获取模块230还用于获取目标用户佩戴的第三图像采集装置在目标视角下采集的目标用户的手部对应的第三深度数据以及第三像素数据；基于第三深度数据以及第三像素数据，生成目标用户在目标视角下对应的三维视频数据。84.作为一种可能的实施方式，视频获取模块230还用于通过所述目标用户佩戴的动捕传感器，获取所述目标用户的身体关节对应的动作数据，所述动作数据包括所述目标用户的各个身体关节在世界坐标系下分别对应的坐标数据；基于所述动作数据、所述第三深度数据以及所述第三像素数据，生成所述目标用户在所述目标视角下对应的三维视频数据。85.作为一种可能的实施方式，数据叠加模块240还用于获取三维立体模型中的第一标记数据，以及三维视频数据中的第二标记数据；基于第一标记数据以及第二标记数据，在三维立体模型中叠加三维视频数据，得到全息视频。86.作为一种可能的实施方式，视频生成装置200还包括标记获取模块以及标记叠加模块，其中，标记获取模块用于获取空间标注数据，空间标注数据为第四采集装置采集到的目标用户所做的标记；标记叠加模块用于在三维立体模型中叠加空间标注数据，以使三维立体模型中包括目标用户所做的标记。87.作为一种可能的实施方式，所述目标用户包括至少两个用户，视频获取模块230还用于获取所述至少两个用户中每个用户对应的第一深度图像数据；基于所述每个用户对应的第一深度图像数据，生成所述每个用户对应的参考三维数据；数据叠加模块240还用于在所述三维立体模型中同时叠加所述每个用户对应的参考三维数据，得到全息视频。88.作为一种可能的实施方式，视频生成装置200还包括视频增补模块、视频拼接模块以及视频叠加模块，其中，视频增补模块用于响应于第一用户根据播放的所述全息视频输入的视频询问信息，获取所述目标用户的增补视频数据；视频拼接模块用于将所述增补视频数据与所述三维视频数据进行拼接，得到增补三维视频数据；视频叠加模块用于在所述三维立体模型中叠加所述增补视频数据，得到补充全息视频。89.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。90.在本技术所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。91.另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。92.综上所述，本技术提供的方案，通过获取第一图像采集装置在不同位姿下对目标现实环境进行图像采集得到的多帧图像数据以及与每帧所述图像数据对应的位姿数据；基于所述多帧图像数据以及与每帧所述图像数据对应的位姿数据，生成所述目标现实环境对应的三维立体模型；获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据；在所述三维立体模型中叠加所述三维视频数据，得到全息视频。通过目标现实环境对应的多帧图像数据，得到目标现实环境对应的三维立体模型，进而将目标用户的三维视频数据叠加至三维立体模型中，得到具有6自由度的全息视频，提升用户的视频观看体验。93.请参考图6，其示出了本技术实施例提供的一种计算机设备400的结构框图。其中，计算机设备400可以为物理服务器、云服务器等。本技术中的计算机设备400可以包括一个或多个如下部件：处理器410、存储器420、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器420中并被配置为由一个或多个处理器410执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。94.处理器410可以包括一个或者多个处理核。处理器410利用各种接口和线路连接整个计算机设备内的各个部分，通过运行或执行存储在存储器420内的指令、程序、代码集或指令集，以及调用存储在存储器420内的数据，执行计算机设备的各种功能和处理数据。可选地，处理器410可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器410可集成中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器410中，单独通过一块通信芯片进行实现。95.存储器420可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。存储器420可用于存储指令、程序、代码、代码集或指令集。存储器420可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储计算机设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。96.请参考图7，其示出了本技术实施例提供的一种全息录播系统600。所述全息录播系统600包括视频编辑装置610以及视频播放装置620，其中，所述视频编辑装置610用于执行上述方法实施例中描述的方法，所述视频播放装置620用于播放所述视频编辑装置610生成的全息视频，所述视频播放装置620可以设置于电脑、电视等任意终端播放设备中，或者设置于手机、平板等任意移动播放设备中。97.请参考图8，其示出了本技术实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。98.计算机可读存储介质800可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。99.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!