信息处理设备、生成方法和渲染方法与流程

计算;推算;计数设备的制造及其应用技术1.本技术涉及信息处理设备、生成方法和渲染方法，并且更特别地涉及能够在抑制渲染负荷的同时生成高质量图像的信息处理设备、生成方法和渲染方法。背景技术：2.已经提出了各种技术作为用于生成或传输3d数据的方法。例如，提出了将对象的3d模型和uv纹理图像传输至再现侧的设备并在再现侧执行显示的方法。3.当以3d模型和uv纹理图像的格式表示3d数据时，3d数据的量变小并且渲染负荷变低。4.引文列表5.专利文献6.专利文献1：pct申请第2019-534511号的日文译文技术实现要素：7.技术问题8.通过使用3d模型和uv纹理图像进行渲染而生成的观看视点图像的图像质量与3d模型的精度成比例。例如，当3d模型大于实际对象时，纹理可能会移位，或者纹理可能会被拉伸且不自然。9.作为用于减少由于拉伸纹理引起的不自然的技术，例如，专利文献1提出了一种用于使用流动uv贴图进行渲染的技术。流动uv贴图是指示用于拉伸纹理以使来自虚拟相机的失真的可见性最小化的方法的信息。10.然而，当使用流动uv贴图时，用于渲染的数据量变得巨大，并且计算成本很高。11.因此，需要一种3d数据格式，其允许通过以小数据和受抑制的渲染负荷进行渲染来生成高质量图像。12.鉴于这种情况做出了本技术，并且本技术使得可以在抑制渲染负荷的同时生成高质量图像。13.问题的解决方案14.本技术的第一方面的一种信息处理设备包括：生成单元，其被配置成根据与指示对象的形状的3d形状数据对应的纹理信息，生成与在不同的多个视点处对对象进行成像时的图像对应的多条纹理信息。15.本技术的第二方面的一种信息处理设备包括：渲染单元，其被配置成使用与在不同的多个视点处对对象进行成像时的图像对应的多条纹理信息来执行渲染。16.在本技术的第一方面中，根据与指示对象的形状的3d形状数据对应的纹理信息，生成与在不同的多个视点处对对象进行成像时的图像对应的多条纹理信息。17.在本技术的第二方面中，通过使用与在不同的多个视点处对对象进行成像时的图像对应的多条纹理信息来执行渲染。附图说明18.图1示出了从生成捕获的图像到观看图像的一系列流程。19.图2是示出一般3d数据的数据格式的示例的图。20.图3是示出uv纹理信息的投影的示例的图。21.图4是示出uv纹理信息的投影的另一示例的图。22.图5是示出uv纹理信息的投影的又一示例的图。23.图6是示出优化的相机的示例的图。24.图7是示出在选择成像设备cam作为优化的相机时优化uv纹理信息的示例的图。25.图8是示出本技术的3d数据的数据格式的示例的图。26.图9是示出本技术的渲染方法的示例的图。27.图10是示出本技术的渲染方法的示例的图。28.图11是示出应用本技术的信息处理系统的配置示例的框图。29.图12是示出成像设备的布置示例的图。30.图13是示出3d模型生成单元的配置示例的框图。31.图14是示出渲染单元的配置示例的框图。32.图15是示出确定重要度p(i)的方法的示例的图。33.图16是示出确定重要度p(i)的方法的另一示例的图。34.图17是示出确定重要度p(i)的方法的又一示例的图。35.图18是示出根据观看时间的经过的混合偏移系数的示例的图。36.图19是示出由信息处理系统执行的处理的流程的流程图。37.图20是示出在选择虚拟相机作为优化的相机时的uv纹理信息生成处理的流程的流程图。38.图21是示出选择相机cam作为优化的相机时的uv纹理信息生成处理的流程的流程图。39.图22是示出uv纹理信息选择处理的流程图。40.图23是示出在混合系数blend_1st被设置成随着观看时间的经过而逐渐增大时的混合系数计算处理的流程的流程图。41.图24是示出观看视点图像生成处理的流程图。42.图25是示出计算机硬件的配置示例的框图。具体实施方式43.在下文中，将描述用于实现本技术的模式。将按以下顺序给出描述。44.1.信息处理系统的概述45.2.信息处理系统的配置46.3.信息处理系统的操作47.4.应用示例48.5.计算机49.《1.信息处理系统的概述》50.图1示出了从生成捕获的图像到观看图像的一系列流程。51.在图1中，示出了使用三个成像设备cam1至cam3以执行预定操作的人作为对象#ob1来执行成像的示例。如图1的左侧所示，被布置成围绕对象#ob1的三个成像设备cam1至cam3对对象#ob1进行成像。52.在以下描述中，当不需要区分成像设备cam1至cam3时，成像设备cam1至cam3在描述中被简称为成像设备cam。这同样适用于提供多个成像设备的其他配置。53.如图1的中心处所示，使用从布置在不同位置处的多个成像设备cam获得的捕获图像执行3d建模，并且生成对象#ob1的3d模型mo1。例如通过使用诸如visual hull的方案来生成3d模型mo1，该方案使用通过从不同方向对对象#ob1进行成像获得的捕获图像来切出三维形状。54.如上所述生成的对象的3d模型的数据(3d数据)被传输至再现侧的设备并被再现。即，在再现侧的设备中，基于3d数据执行3d模型的渲染，使得在观看设备上显示观看视点图像。在图1中，显示器d1和头戴式显示器(hmd)d2被示出为由观看者使用的观看设备。55.·一般3d数据56.图2是示出一般3d数据的数据格式的示例的图。57.如图2所示，3d数据一般由指示对象的3d形状(几何信息)的3d形状数据me1和指示对象的颜色信息的uv纹理信息uvt1来表示。58.以网格数据的格式表示3d形状数据me1，其中指示对象的表面形状的形状信息由被称为多边形网格的顶点与顶点之间的连接来表示。表示3d形状数据me1的方法不限于此，并且可以通过利用点的位置信息执行表示的所谓的点云表示方法来描述3d形状数据me1。59.uv纹理信息uvt1是例如贴图格式的信息，其中粘贴至作为3d形状数据的每个多边形网格或每个点的纹理在uv坐标系中被表示并保存。60.uv纹理信息uvt1是通过以下操作来生成的：将通过使用通过在成像设备cam中进行成像获得的图像生成的纹理投影到3d模型mo1上；并且将3d模型mo1上的投影部分与每个投影部分的纹理相关联。61.图3是示出uv纹理信息的投影的示例的图。62.如图3所示，当通过3d建模生成的3d模型mo11的大小与实际对象的大小相同时，相机纹理tex1至tex3无偏差地被投影到3d模型mo11上。63.相机纹理tex1是通过使用由成像设备cam1捕获的图像生成的纹理，并且相机纹理tex2是通过使用由成像设备cam2捕获的图像生成的纹理。此外，相机纹理tex3是通过使用由成像设备cam3捕获的图像生成的纹理。成像设备cam1至cam3安装在实际的成像空间中。64.图4是示出uv纹理信息的投影的另一示例的图。65.如图4所示，当通过3d建模生成的3d模型mo12大于上述的3d模型mo11(实际对象)时，相机纹理tex1和相机纹理tex2在这些相机纹理之间生成间隙的状态下被投影。此外，相机纹理tex2和相机纹理tex3在这些相机纹理之间生成间隙的状态下被投影。66.在这种情况下，将具有接近构成3d模型mo12的每个网格的法线方向的视角的成像设备cam的相机纹理投影到在相机纹理之间生成的间隙上。例如，将作为成像设备cam1的相机纹理和成像设备cam2的相机纹理的混合的相机纹理tex4投影到在相机纹理tex1与相机纹理tex2之间生成的间隙上。此外，将作为成像设备cam2的相机纹理和成像设备cam3的相机纹理的混合的相机纹理tex5投影到在相机纹理tex2与相机纹理tex3之间生成的间隙上。67.使用以这种方式投影的纹理，生成要与比实际对象大的3d模型mo12的3d形状数据一起传输的uv纹理信息。因此，在uv纹理信息中，在不同的成像设备cam的相机纹理之间生成移位或双图像。68.类似地，在3d模型的形状与实际对象的形状不同的情况下，例如在3d模型小于实际对象的情况下，在不同的成像设备cam的相机纹理之间生成移位或双图像。69.图5是示出uv纹理信息的投影的又一示例的图。70.在图5的示例中，通过将相机纹理tex1至tex3拉伸来实现匹配，以防止在参照图4描述的情况下生成的纹理的移位或双图像。71.例如，将经拉伸的相机纹理tex1的右端的一部分和经拉伸的相机纹理tex2的左端的一部分投影到3d模型的包括在长椭圆c1中的区域上。此外，将经拉伸的相机纹理tex2的右端的一部分和经拉伸的相机纹理tex3的左端的一部分投影到3d模型的包括在长椭圆c2中的区域上。72.通过将相机纹理tex1至tex3拉伸和投影来防止纹理的移位或双图像的生成，但是因为纹理被拉伸和收缩，因此基于包括投影的相机纹理的3d数据的渲染结果可能看起来不自然。73.通过根据观看视点改变拉伸相机纹理的方式，可以减少渲染结果的不自然外观。然而，由于需要保存示出拉伸纹理的方式的流动uv贴图，因此3d数据量变得巨大。此外，在渲染时，需要实时计算拉伸纹理的方式，并且在再现侧需要计算成本。74.因此，在本技术中，生成针对优化的相机的视角优化的uv纹理信息。75.优化的相机是这样的相机：其uv纹理信息被优化，使得相机纹理被投影在其上的3d模型看起来自然。在下文中，将优化的相机的位置和方向称为优化视点。假设视点包括位置和方向。此外，针对优化的相机优化的uv纹理信息是与以优化的相机的视角对对象成像的情况下的图像对应的uv纹理信息。76.·本技术的生成uv纹理信息的方法77.图6是示出优化的相机的示例的图。78.如图6所示，分发侧通过使用通过在成像设备cam1至cam3中进行成像获得的捕获图像来生成针对优化的相机vcam1的视角优化的uv纹理信息。79.优化的相机vcam1可以是虚拟相机，或者可以是实际安装的任何成像设备cam。80.当优化的相机vcam1为虚拟相机时，分发侧首先将使用成像设备cam1至cam3的捕获图像生成的相机纹理投影到3d模型mo21上，以生成与3d模型mo21对应的uv纹理信息。此处，允许纹理的拉伸。81.分发侧选择n个不同的虚拟相机作为优化的相机。例如，选择具有观看者可能观看的视角例如3d模型的正面的虚拟相机作为优化的相机。82.分发侧的用户(例如，垂直方向上的3d内容的创建者)利用所选择的n个虚拟相机之中的某个优化相机(i)(i∈n)的视角来校正uv纹理信息，使得不存在不自然。经校正的uv纹理信息被存储为针对优化的相机(i)优化的uv纹理信息(i)。83.针对n个优化的相机(i)中的每一个执行根据分发侧的用户的操作校正uv纹理信息并存储uv纹理信息(i)的处理。因此，存储了n条uv纹理信息(i)。84.如上所述，当分发侧的用户可以进行校正时，生成针对每个虚拟相机的视角优化的纹理信息。85.图7是示出在选择成像设备cam作为优化的相机的情况下优化uv纹理信息的示例的图。86.分发侧选择n个不同的成像设备cam作为优化的相机。例如，选择具有观看者可能观看的视角例如对象的正面的成像设备cam，作为优化的相机。87.分发侧处理通过使用通过在所选择的n个成像设备cam之中的除某个优化的相机(i)之外的成像设备cam中进行成像而获得的捕获图像生成的相机纹理，以生成uv纹理信息(i)。88.图7示出了选择成像设备cam2作为优化的相机(i)的情况的示例。如图7所示，通过使用通过在成像设备cam2中进行成像而获得的捕获图像生成的相机纹理tex2是在未经处理的情况下投影到3d模型mo12上的纹理。89.另一方面，通过使用通过在成像设备cam1中进行成像而获得的捕获图像生成的相机纹理tex1被拉伸并且是其中右端的一部分被投影到3d模型mo12的包括在圆c1中的区域上的纹理。此外，通过使用通过在成像设备cam3中进行成像而获得的捕获图像生成的相机纹理tex3被拉伸并且是其中左端的一部分被投影到3d模型mo12的包括在圆c2中的区域上的纹理。90.将以这种方式针对成像设备cam2的视角优化的uv纹理信息存储为uv纹理信息(i)。91.针对n个优化的相机(i)中的每一个执行用于适当地处理纹理和存储uv纹理信息(i)的处理。因此，存储了n条uv纹理信息(i)。92.因为在成像设备cam的数量大时存在大量类型的uv纹理信息(i)，因此生成针对成像设备cam的视角优化的uv纹理信息(i)是有效的方案。93.尽管已经参照图6描述了由分发侧的用户校正uv纹理信息以针对虚拟相机的视角优化uv纹理的情况，但是可以由分发侧的设备使用现有方案以优化的相机(i)的视角自动地生成具有很小拉伸的uv纹理信息。94.在这种情况下，由分发侧的设备针对优化的相机(i)的视角优化的uv纹理信息被存储为uv纹理信息(i)。对n个优化的相机的每个视角执行用于优化和存储uv纹理信息的处理。因此，存储了n条uv纹理信息。95.当成像设备cam的数量小时，分发侧的设备自动地生成uv纹理信息(i)，使得生成比成像设备cam的数量多的多条uv纹理信息(i)。因此，当成像设备cam的数量小时，使用分发侧的设备自动地生成uv纹理信息(i)是有效的方案。96.图8是示出本技术的3d数据的数据格式的示例的图。97.如图8的左侧所示，本技术的3d数据由单个网格数据和多条uv纹理信息来表示。98.如图8的中心的上部所示，网格数据me11由顶点数据(xyz坐标值)、面数据(顶点索引)和uv贴图数据(uv坐标值)组成。99.顶点数据和面数据例如是指示梯形3d模型mo15的3d形状的3d形状数据。在图8的示例中，面数据指示面f1由顶点v1、v2和v3形成，面f2由顶点v2、v3和v4形成，并且面f3由顶点v3、v4和v5形成。顶点数据指示顶点v1至v5的位置。100.作为对应于3d形状数据的uv纹理信息，针对不同的优化的相机的视角优化的uv纹理信息uvt1至uvt3与网格数据me11相关联。101.例如，uv纹理信息uvt1是针对成像设备cam1的视角优化的uv纹理信息，并且uv纹理信息uvt2是针对成像设备cam2的视角优化的uv纹理信息。此外，uv纹理信息uvt3是针对成像设备cam3的视角优化的uv纹理信息。102.uv贴图数据指示uv纹理上的与由顶点数据表示的顶点对应的点的坐标。即，可以说uv贴图数据是指示3d形状数据与uv纹理信息uvt1至uvt3之间的对应关系的映射信息。例如，uv贴图数据指示顶点v1对应于uv纹理信息上的点uv1，并且顶点v2对应于uv纹理信息上的点uv2。103.因此，多条uv纹理信息中的每个uv纹理信息对应于共同的单个映射信息。3d数据从分发侧传输至再现侧，并且用于在再现侧渲染3d模型。104.可以将多条uv纹理信息生成为独立数据并传输至再现侧。例如，在由分发侧生成的多条uv纹理信息之中，可以选择根据观看视点的uv纹理信息并且将其传输至再现侧，或者可以选择根据用于传输的频带的uv纹理信息的条数并将其传输至再现侧。105.当生成多条uv纹理信息作为独立数据时，分发侧可以根据观看视点或频带来控制uv纹理信息的传输。106.·本技术的渲染方法107.接下来，将参照图9和图10描述基于上述3d数据的渲染方法。108.图9是示出本技术的渲染方法的示例的图。109.如图9所示，再现侧在渲染3d模型mo12时设置观看视点vvp1。观看视点vvp1指示观看者的虚拟视点。110.再现侧基于观看视点vvp1选择多条uv纹理信息，并且以观看视点图像的像素为单位执行混合。当选择一条uv纹理信息时，可以将用于渲染的uv纹理信息切换至所选择的uv纹理信息。111.例如，将描述下述示例：对作为从观看视点vvp1看到的3d模型mo12的图像的观看视点图像上的点p处的像素执行uv纹理信息的混合。在图9中，穿过点p的粗线指示3d模型mo12在观看视点vvp1处的观看视点图像。112.例如，如图10的上部所示，假设从分发侧传输了三条uv纹理信息uvt11至uvt13。在这种情况下，再现侧基于观看视点vvp1和uv纹理信息uvt11至uvt13的优化视点来选择其中优化视点被设置在接近观看视点vvp1的位置处的uv纹理信息uvt11和uv纹理信息uvt12。113.此外，如箭头a1和a2所示，再现侧基于来自uv纹理信息uvt11和uv纹理信息uvt12的uv贴图数据来获取与3d模型mo12上的点p对应的点p(tex1)的像素值和点p(tex2)的像素值，并且混合像素值。114.如箭头ao所示，再现侧存储(设置)通过将点p(tex1)的像素值和点p(tex2)的像素值混合获得的像素值，作为观看视点图像pio的点p(texo)的像素值，观看视点图像pio是从观看视点vvp1看到的3d模型的图像。115.在这种情况下，如以下等式(1)那样计算通过将点p(tex1)的像素值tex1和点p(tex2)的像素值tex2混合获得的像素值out。116.out＝tex1*blend_coef1+tex2*blend_coef2···(1)117.此处，blend_coef1指示uv纹理信息uvt11的像素值的混合系数，并且blend_coef2指示uv纹理信息uvt12的像素值的混合系数。下面将描述计算混合系数的方法。118.对观看视点图像的每个像素执行用于以这种方式混合多条uv纹理信息的像素值的处理。119.如上所述，在分发侧，确定不同的优化的相机，并且生成针对优化的相机的视角优化的多条uv纹理信息。将由分发侧生成的多条uv纹理信息传输至再现侧。120.再现侧将从分发侧传输的多条uv纹理信息之中的预先优化以使得在从接近观看视点的优化位置观看3d模型时3d模型看起来自然的uv纹理信息混合，以生成观看视点图像。因为再现侧可以不执行诸如纹理的拉伸的计算的高负荷处理，因此可以以低渲染负荷生成高质量观看视点图像。121.《2.信息处理系统的配置》122.·整个信息处理系统的配置123.接下来，将描述应用上述本技术的系统。图11是示出应用了本技术的信息处理系统的配置示例的框图。124.如图11所示，信息处理系统包括分发设备1和再现设备2。分发设备1和再现设备2经由诸如因特网、无线局域网(lan)或蜂窝网络的网络连接。125.分发设备1是生成包括网格数据和多条uv纹理信息的3d数据的信息处理设备。分发设备1应用上述本技术来生成3d数据。126.分发设备1包括数据获取单元11、3d模型生成单元12、格式化单元13和发送单元14。127.数据获取单元11获取用于生成对象的3d模型的图像数据。例如，如图12所示，获取由布置成围绕对象ob11的五个成像设备cam1至cam5捕获的多个视点图像作为图像数据。在这种情况下，优选地，多个视点图像是由多个相机同步捕获的图像。128.此外，数据获取单元11可以获取例如通过使用一个相机从多个视点对对象进行成像而获得的多个视点图像作为图像数据。此外，数据获取单元可以获取例如对象的一个捕获图像作为图像数据。在这种情况下，下面要描述的3d模型生成单元12通过使用例如机器学习来生成3d模型。129.数据获取单元11可以基于图像数据执行校准并且获取每个成像设备cam的内部参数和外部参数。此外，数据获取单元11可以获取例如指示从多个视点到对象的距离的多条深度信息。130.3d模型生成单元12基于用于生成对象的3d模型的图像数据来生成具有对象的3d信息的模型。3d模型生成单元12使用例如所谓的visual hull，通过使用来自多个视点的图像(例如，来自多个观点的轮廓图像)对对象的三维形状进行刮削来生成对象的3d模型。131.在这种情况下，3d模型生成单元12通过使用指示从多个视点到对象的距离的多条深度信息，可以进一步对使用visual hull生成的3d模型进行高精度变换。132.此外，例如，3d模型生成单元12可以根据对象的一个捕获图像来生成对象的3d模型。由3d模型生成单元12生成的3d模型可以说是通过以时间序列帧为单位生成的3d模型的运动图像。此外，由于3d模型是通过使用由成像装置cam捕获的图像生成的，因此可以说3d模型是实况3d模型。133.3d模型生成单元12以链接至3d形状数据的形式生成颜色信息数据作为多条uv纹理信息。134.格式化单元13将由3d模型生成单元12生成的3d模型的数据转换为适合传输和存储的格式。例如，由3d模型生成单元12生成的3d模型可以通过来自多个方向的透视投影被转换为多个二维图像。135.在这种情况下，格式化单元13可以使用3d模型来生成作为来自多个视点的二维深度图像的深度信息。136.格式化单元13在该二维图像的状态下压缩深度信息和颜色信息，并且将结果信息输出至发送单元。深度信息和颜色信息可以作为一个图像被并排传输，或者可以作为两个单独的图像被传输。在这种情况下，由于信息呈二维图像数据的形式，因此也可以通过使用诸如高级视频编码(avc)的二维压缩技术对信息进行压缩。137.此外，例如，格式化单元13可以将3d数据转换为点云格式。此外，格式化单元13可以将3d数据作为三维数据输出至发送单元。在这种情况下，可以使用例如mpeg中讨论的基于几何的方法(geometry-based-approach)的三维压缩技术。138.发送单元14将由格式化单元13形成的传输数据传输至再现设备2的接收单元21。发送单元14离线地执行数据获取单元11、3d模型生成单元12和格式化单元13的一系列处理，并且然后将传输数据传输至接收单元21。此外，发送单元14可以将根据上述一系列处理生成的传输数据实时地传输至接收单元21。139.再现设备2是基于从分发设备1传输的3d数据渲染3d模型的信息处理设备。140.再现设备2包括接收单元21、渲染单元22和显示控制单元23。141.接收单元21接收从发送单元14传输的传输数据，并且根据预定格式对传输数据进行解码。142.渲染单元22使用由接收单元21接收到的传输数据来执行渲染。例如，在观看视点处投影3d模型的网格，并且执行纹理映射以粘贴指示颜色或图案的纹理。143.显示设备检测观看者的观看地方(感兴趣区域)，并且观看视点数据从显示设备输入至渲染单元22。144.此外，例如，可以采用用于渲染对象使得对象相对于观看视点维持垂直姿势的广告牌渲染。例如，当渲染单元22渲染多个对象时，渲染单元22可以在广告牌上渲染观看者不感兴趣的对象，并使用另一渲染方案渲染其他对象。145.显示控制单元23在显示设备的显示单元上显示渲染单元22的渲染结果。显示设备可以是诸如头戴式显示器、空间显示器、移动电话、电视或pc的2d监测器或3d监测器。146.在图11中，示出了从数据获取单元11(其获取作为用于生成内容的材料的捕获图像)到显示控制单元23(其控制由观看者观看的显示设备)的一系列流程。然而，这并不意味着实现本发明需要所有功能块，并且可以针对每个功能块或以多个功能块的组合来实现本发明。147.例如，在图11中，设置发送单元14或接收单元21是为了通过内容数据的分发示出从创建内容的一侧到观看内容的一侧的一系列流程，在由同一信息处理设备(例如，个人计算机)执行内容的创建和观看的情况下，不需要包括格式化单元13、发送单元14和接收单元21。148.在实现本信息处理系统时，同一实现者可以实现一切，或者与各个功能块对应的不同实现者可以实现信息处理系统。例如，业务经营者a通过数据获取单元、3d模型生成单元和格式化单元来生成3d内容。然后，可以设想的是，通过业务经营者b的发送单元(平台)分发3d内容，并且业务经营者c的显示设备执行3d内容的接收、渲染和显示控制。149.此外，每个功能块都可以在云上实现。例如，渲染单元22可以在显示设备中实现或者可以在服务器中实现。在这种情况下，在显示设备与服务器之间交换信息。150.在图11中，数据获取单元11、3d模型生成单元12、格式化单元13、发送单元14、接收单元21、渲染单元22和显示控制单元23被共同描述为信息处理系统。然而，在本说明书中，当两个或更多个功能块相关时，这些功能块被称为信息处理系统，并且例如，除了显示控制单元23之外，数据获取单元11、3d模型生成单元12、格式化单元13、发送单元14、接收单元21和渲染单元22可以被共同称为信息处理系统。151.·3d模型生成单元的配置152.图13是示出3d模型生成单元12(图11)的配置示例的框图。153.3d模型生成单元12生成网格格式的3d形状数据(顶点和面)、uv贴图数据和作为uv贴图格式的颜色信息的多条uv纹理信息。154.如图13所示，3d模型生成单元12包括3d模型处理单元51、uv贴图生成单元52和uv纹理生成单元53。155.来自数据获取单元11的捕获图像、颜色信息、深度信息等被提供给3d模型处理单元51。例如，与安装在成像空间中的成像设备cam的数量相同数量的捕获图像被提供给3d模型处理单元51。156.3d模型处理单元51使用诸如visual hull的方案来创建顶点和面数据，将数据提供给uv贴图生成单元52和uv纹理生成单元53，并将数据输出至3d模型处理单元51之后的级。157.uv贴图生成单元52生成指示从3d模型处理单元51提供的顶点和面数据与相机纹理之间的对应关系的uv贴图数据，将uv贴图数据提供给uv纹理生成单元53，并且还将uv贴图数据输出至3d模型处理单元51之后的级。158.由uv贴图生成单元52生成的uv贴图数据与由3d模型处理单元51生成的顶点和面数据一起作为网格信息被输出。159.将uv纹理生成位置信息从数据获取单元11提供给uv纹理生成单元53。uv纹理生成位置信息是指示被选择为优化的相机的虚拟相机或成像设备cam的视角的信息(例如，相机参数)。例如，作为uv纹理生成位置信息，被选择为优化的相机的多个成像设备cam的内部参数和外部参数被提供给数据获取单元11。160.在下文中，将描述选择多个成像设备cam作为优化的相机的情况。在这种情况下，优化视点指示成像设备cam的位置和方向。161.作为uv纹理生成位置信息，可以将用于指定每个成像设备cam的信息提供给uv纹理生成单元53。162.uv纹理生成单元53基于从3d模型处理单元51提供的顶点和面数据、从uv贴图生成单元52提供的uv贴图数据以及uv纹理生成位置信息来生成针对不同优化的相机的视角优化的多条uv纹理信息。163.由uv纹理生成单元53生成的多条uv纹理信息与uv纹理生成位置信息一起被输出至3d模型生成单元12之后的级。164.·渲染单元的配置165.图14是示出渲染单元22(图11)的配置示例的框图。166.网格信息、uv纹理信息、uv纹理生成位置信息和观看视点位置信息被提供给渲染单元22。观看视点位置信息是指示观看视点的信息。渲染单元22基于提供的信息来执行用于生成观看视点图像的处理。167.如图14所示，渲染单元22包括网格传输单元61、uv纹理选择和传输单元62、混合系数计算单元63和观看视点图像生成单元64。168.网格传输单元61将由接收单元21获取的顶点、面和uv贴图提供给观看视点图像生成单元64。该处理是用于将网格信息传输至gpu存储器的处理，并且当在接收时间点处网格信息被传输至gpu存储器时可以省略该处理。169.uv纹理选择和传输单元62根据观看视点从多条uv纹理信息之中仅选择要使用的uv纹理信息。具体地，首先，uv纹理选择和传输单元62基于由观看视点位置信息指示的观看视点和由uv纹理生成位置信息指示的优化视点(i)来确定每个优化视点(i)处的重要度p(i)(i＝1至n)。170.此处，将参照图15至图17描述确定重要度p(i)的方法的示例。171.在图15中，示出了以下示例：基于由从优化视点p1至p8到3d模型mo21的位置(对象的位置)的向量和从观看视点vp到3d模型mo21的位置的向量形成的角度，来计算各个优化视点p1至p8的重要度p(i)。在这种情况下，重要度p(i)通过使用下面的等式(2)来计算。172.p(i)＝1/arccos(ci·cv)···(2)173.此处，ci指示从优化视点pi到3d模型mo21的位置的单位向量。cv指示从观看视点vp到3d模型mo21的位置的单位向量。ci·cv指示向量ci与向量cv的内积。174.因此，重要度p(i)与由向量ci和向量cv形成的角度成反比，并且在由向量ci和向量cv形成的角度越小时，重要度p(i)越高。即，对于相对于3d模型mo21的位置的方向越接近观看视点的优化视点，重要度p(i)越高。175.向量ci和向量cv是参考对象ob11的代表点r而设置的。可以通过使用任何方法来设置代表点r。176.例如，3d模型mo21上的下述点被设置为代表点r：在该点处，距指示优化视点p1至p8和观看视点vp的方向的轴的总距离被最小化。替选地，例如，将世界坐标系的x方向、y方向和z方向中的每一个方向上的3d模型mo21的顶点的坐标的最大值和最小值的中间的位置设置为代表点r。替选地，例如，将3d模型mo21中的最重要的位置设置为代表点r。例如，当3d模型mo21为人时，将人的面部的中心设置为代表点r。177.在图16中，示出了以下示例：基于由指示优化视点p1至p8中的每一个的方向的向量和指示观看视点vp的方向的向量形成的角度来计算优化视点p1至p8中的每一个的重要度p(i)。在这种情况下，重要度p(i)通过使用下面的等式(3)来计算。178.p(i)＝1/arccos(zi·zv)···(3)179.此处，zi表示指示优化视点pi的方向的向量。zv表示指示观看视点vp的方向的向量。zi·zv表示向量zi和向量zv的内积。180.因此，重要度p(i)与由向量zi和向量zv形成的角度成反比，并且在由向量zi和向量zv形成的角度越小时，重要度p(i)越高。也就是说，当优化视点具有越接近观看视点的方向时，重要度p(i)越高。181.图17示出了基于优化视点p1至p8中的每一个与观看视点vp之间的距离来计算重要度p(i)的示例。在这种情况下，例如，通过使用下面的等式(4)来计算重要度p(i)。182.p(i)＝1-di/∑di···(4)183.此处，di指示优化视点pi与观看视点vp之间的距离。184.因此，当优化视点越接近观看视点vp时，重要度p(i)增大。185.图14的uv纹理选择和传输单元62基于这样的重要度p(i)从多条uv纹理信息之中选择uv纹理信息，并将uv纹理信息提供给观看视点图像生成单元64。当多条uv纹理信息在接收时间点处被传输至gpu存储器时，可以省略用于传输uv纹理信息的处理。186.混合系数计算单元63根据观看视点来计算uv纹理信息的混合系数。当仅存在由uv纹理选择和传输单元62选择的一条uv纹理信息时，可以省略该处理。187.具体地，首先，混合系数计算单元63使用与uv纹理选择和传输单元62中计算重要度p(i)的方法相同的方法来计算重要度p(i)。混合系数计算单元63例如针对由uv纹理选择和传输单元62选择的每个优化视点，设置用于以根据每个重要度p(i)的比例混合针对各个优化视点优化的uv纹理信息的混合系数。188.例如，当通过uv纹理选择和传输单元62选择针对具有高达前二重要度p(i)的重要度p(i)的优化视点优化的uv纹理信息时，通过下面的等式(5)表示针对具有最高重要度p(i)的优化视点优化的uv纹理信息的混合系数blend_1st。189.blend_1st＝p(1st)/(p(1st)+p(2nd))···(5)190.此处，p(1st)指示最高重要度p(i)，并且p(2nd)指示次高重要度p(i)。191.可以将混合系数blend_1st设置为随着观看时间的经过而逐渐增大。在这种情况下，混合系数blend_1st由下面的等式(6)表示。192.blend_1st＝min(p(1st)/(p(1st)+p(2nd))+blend_offset，1.0)···(6)193.此处，混合偏移系数blend_offset是随着观看时间的经过而增大的偏移系数。194.此外，针对具有次高重要度p(i)的优化视点优化的uv纹理信息的混合系数blend_2nd由下面的等式(7)表示。195.blend_2nd＝1-blend_1st···(7)196.例如，当由uv纹理选择和传输单元62选择针对具有高达前二重要度p(i)的重要度p(i)的优化视点优化的uv纹理信息时，混合偏移系数blend_offset由下面的等式(8)表示。197.blend_offset＝min(gain*time_offset，1.0)···(8)198.此处，gain指示每单位时间的加法系数，并且time_offset指示从交换具有最高重要度p(i)的优化视点的时刻起经过的时间。199.图18是示出根据观看时间的经过的混合偏移系数blend_offset的示例的图。200.在图18中，纵轴指示混合偏移系数blend_offset的值，并且横轴指示时间。此外，在图18的上侧示出了安装在具有高达前二重要度p(i)的重要度p(i)的优化视点处的成像设备cam。201.在从开始观看到时间t1的时段中，成像设备cam0成为安装在具有最高重要度p(i)的优化视点处的成像设备，并且成像设备cam1成为安装在具有次高重要度p(i)的优化视点处的成像设备。202.在直到时间t1的时段中，混合偏移系数blend_offset的值根据加法系数gain从0增大，并且在时间t1的时刻处变为b0。203.在时间t1的时刻处，具有最高重要度p(i)的优化视点和具有次高重要度p(i)的优化视点被交换。因此，在从时间t1到时间t2的时段中，成像设备cam1成为安装在具有最高重要度p(i)的优化视点处的成像设备，并且成像设备cam0成为安装在具有次高重要度p(i)的优化视点处的成像设备。204.根据具有最高重要度p(i)的优化视点和具有次高重要度p(i)的优化视点已经交换的事实，将混合偏移系数blend_offset的值重置为1-b0。在从时间t1到时间t2的时段中，混合偏移系数blend_offset的值根据加法系数gain从1-b0增大。205.在时间t2的时刻处，具有最高重要度p(i)的优化视点和具有第三高或更低重要度p(i)的优化视点被交换。因此，在从时间t2到时间t3的时段中，成像设备cam2成为安装在具有最高重要度p(i)的优化视点处的成像设备。206.根据具有最高重要度p(i)的优化视点和具有第三高或更低重要度p(i)的优化视点已经交换的事实，将混合偏移系数blend_offset的值重置为0。在从时间t2到时间t3的时段中，混合偏移系数blend_offset的值根据加法系数gain从0增大。207.在时间t3的时刻处，具有次高重要度p(i)的优化视点和具有第三高或更低重要度p(i)的优化视点被交换。因此，在时间t3之后的时段中，成像设备cam1成为安装在具有次高重要度p(i)的优化视点处的成像设备。208.当交换具有次高重要度p(i)的优化视点和具有第三高或更低重要度p(i)的优化视点时，混合偏移系数blend_offset的值不会重置，而是根据加法系数gain增大。209.当混合偏移系数blend_offset的值变为上限1时，以混合偏移系数blend_offset的值为1来计算混合系数，直到具有最高重要度p(i)的优化视点被交换。即，将针对接近观看视点的优化视点(具有最高重要度p(i))优化的uv纹理信息中包括的相机纹理粘贴到3d模型。210.当观看视点被设置在多个优化视点的中间的位置时，粘贴至3d模型的纹理的质量可能在观看视点图像中显著劣化。再现设备2将粘贴至3d模型的纹理逐渐切换为针对接近观看视点的优化视点优化的uv纹理信息中包括的相机纹理，从而使纹理质量的劣化不显著。211.返回至图14的描述，混合系数计算单元63将针对由uv纹理选择和传输单元62选择的每条uv纹理信息设置的混合系数提供给观看视点图像生成单元64。212.观看视点图像生成单元64使用从网格传输单元61提供的网格信息、从uv纹理选择和传输单元62提供的uv纹理信息以及从混合系数计算单元63提供的混合系数来生成从观看视点观看的对象的图像作为观看视点图像。213.由观看视点图像生成单元64生成的观看视点图像被提供给显示控制单元23并显示在外部显示设备上。214.《3.信息处理系统的操作》215.·整个信息处理系统的操作216.接下来，将参照图19的流程图描述由信息处理系统执行的处理的流程。217.当处理开始时，在步骤s101中，数据获取单元11获取用于生成对象的3d模型的图像数据。218.在步骤s102中，3d模型生成单元12基于用于生成对象的3d模型的图像数据来生成具有对象的三维信息的模型。此外，3d模型生成单元12基于图像数据来生成针对优化的相机的不同视角优化的多条uv纹理信息。219.在步骤s103中，格式化单元13将由3d模型生成单元12生成的3d模型的形状和多条uv纹理信息编码为适合传输或存储的格式。220.在步骤s104中，发送单元14传输编码数据，并且在步骤105中，接收单元21接收传输的数据。接收单元21执行解码处理，以执行到显示所需的形状和多条uv纹理信息的转换。221.在步骤s106中，渲染单元22使用形状和多条uv纹理信息执行渲染。222.在步骤s107中，显示控制单元23执行用于在显示设备的显示单元上显示渲染结果的控制。当步骤s107的处理结束时，信息处理系统的处理结束。223.·uv纹理生成单元的操作224.接下来，将参照图20的流程图来描述在选择虚拟相机作为优化的相机——这已参照图6描述——的情况下的uv纹理信息生成处理的流程。在图19的步骤s102中执行图20的uv纹理信息生成处理，以生成多条uv纹理信息。225.在步骤s151中，uv纹理生成单元53照常基于用于生成对象的3d模型的顶点和面数据、uv贴图数据以及图像数据来生成uv纹理信息。226.在步骤s152中，uv纹理生成单元53将变量i设置为0。227.在步骤s153中，uv纹理生成单元53根据分发侧的用户的操作校正uv纹理信息，使得当从优化视点(i)执行渲染时看起来自然，并且将结果信息存储为针对优化的相机(i)的视角优化的uv纹理信息(i)。228.在步骤s154中，uv纹理生成单元53确定是否已对所有的uv纹理信息执行校正处理。例如，当存储了针对被选择为优化的相机的n个虚拟相机的视角优化的n条uv纹理信息时，确定已对所有uv纹理信息执行校正处理。229.当在步骤s154中确定尚未对一些uv纹理信息执行校正处理时，处理进行至步骤s155。230.在步骤s155中，uv纹理生成单元53将变量i加1。在变量i中设置下一个值之后，处理返回至步骤s153并且执行随后的处理。即，生成针对优化的相机(i+1)的视角优化的uv纹理信息。231.另一方面，当在步骤s154中确定已对所有的uv纹理信息执行校正处理时，uv纹理信息生成处理结束，并且处理返回至图9中的步骤s102。232.将参照图21的流程图来描述在选择成像设备cam作为优化的相机——这已参照图7描述——的情况下的uv纹理信息生成处理的流程。在图19的步骤s102中执行图21的uv纹理信息生成处理，以生成多条uv纹理信息。233.在步骤s161中，uv纹理生成单元53将变量i设置为0。234.在步骤s162中，uv纹理生成单元53将通过使用通过在被选择为优化的相机(i)的成像设备(i)中进行成像而获得的捕获图像生成的相机纹理(i)投影到3d模型上。235.在步骤s163中，uv纹理生成单元53将通过使用通过在成像设备(j)——其是除成像设备(i)之外的一个成像设备——中进行成像而获得的捕获图像生成的相机纹理(j)投影到3d模型上，并执行诸如拉伸的处理以匹配相机纹理(i)。236.在步骤s164中，uv纹理生成单元53确定是否已对所有相机纹理(j)执行处理。237.当在步骤s164中确定尚未对一些相机纹理(j)执行处理时，处理进行至步骤s165。238.在步骤s165中，uv纹理生成单元53将变量j加1。在变量j中设置下一个值之后，处理返回至步骤s163并且执行随后的处理。即，处理相机纹理(j+1)以匹配相机纹理(i)。239.另一方面，当在步骤s164中确定已对所有相机纹理(j)执行处理时，处理进行至步骤s166。例如，当对安装在成像空间中的m个成像设备之中的除了被选择为优化的相机(i)的成像设备之外的所有成像设备的相机纹理执行了处理时，确定已对所有相机纹理(j)执行处理。240.在步骤s166中，uv纹理生成单元53使用到3d模型上的投影的m个结果作为针对优化的相机(i)的视角优化的uv纹理信息(i)。241.在步骤s167中，uv纹理生成单元53确定是否已对所有的uv纹理信息执行处理。例如，当存储了针对被选择为优化的相机的n个成像设备cam的视角优化的n条uv纹理信息时，确定已对所有的uv纹理信息执行处理。242.当在步骤s167中确定未对一些uv纹理信息执行处理时，处理进行至步骤s168。243.在步骤s168中，uv纹理生成单元53将变量i加1。在变量i中设置下一个值之后，处理返回至步骤s162并且执行随后的处理。即，生成针对优化的相机(i+1)的视角优化的uv纹理信息。244.另一方面，当在步骤s167中确定已对所有的uv纹理信息执行处理时，uv纹理信息生成处理结束，并且处理返回至图9中的步骤s102。245.·uv纹理选择和传输单元的操作246.将参照图22的流程图描述uv纹理信息选择处理。在图19的步骤s106中执行图22的uv纹理信息选择处理，以选择要用于渲染的uv纹理信息。247.在步骤s181中，uv纹理选择和传输单元62将变量i设置为0。248.在步骤s182中，uv纹理选择和传输单元62基于指示优化视点(i)的uv纹理生成位置信息(i)和观看视点位置信息来计算优化视点(i)的重要度p(i)。249.在步骤s183中，uv纹理选择和传输单元62确定是否已对从接收单元21提供的所有的uv纹理信息执行用于计算重要度p(i)的处理。250.当在步骤s183中确定未对一些uv纹理信息执行处理时，处理进行至步骤s184。251.在步骤s184中，uv纹理选择和传输单元62将变量i加1。在变量i中设置下一个值之后，处理返回至步骤s182并且执行随后的处理。即，计算优化视点(i+1)的重要度p(i+1)。252.另一方面，当在步骤s183中确定已对所有的uv纹理信息执行处理时，处理进行至步骤s185。253.在步骤s185中，uv纹理选择和传输单元62基于所有重要度p(i)来选择用于生成观看视点图像的uv纹理信息。在选择uv纹理信息之后，uv纹理信息选择处理结束，并且处理返回至图9的步骤s106。254.·混合系数计算单元的操作255.由混合系数计算单元63与图22的uv纹理信息选择处理并行地执行混合系数计算处理。256.除了在图22的步骤s185中基于每个重要性p(i)为每个优化视点(i)确定混合系数代替基于所有重要性p(i)选择uv纹理信息之外，如在图22的流程图的流程中那样执行混合系数计算处理。257.将参照图23的流程图来描述在混合系数blend_1st被设置为随着观看时间的经过而逐渐增加——这已参照图18描述——的情况下的混合系数计算处理的流程。258.在步骤s201中，混合系数计算单元63将针对具有最高重要度p(i)的优化视点优化的uv纹理信息的混合系数blend_coef的值设置为0，并且将混合偏移系数time_offset的值设置为0。259.在步骤s202中，混合系数计算单元63确定是否已交换具有较高重要度p(i)的优化视点。260.当在步骤s202中确定已交换具有较高重要度p(i)的优化视点时，处理进行至步骤s202。261.在步骤s202中，混合系数计算单元63确定是否已交换具有最高重要度p(i)的优化视点与具有次高重要度p(i)的优化视点。262.当在步骤s202中确定已交换具有最高重要度p(i)的优化视点和具有次高重要度p(i)的优化视点时，处理进行至步骤s204。263.在步骤s204中，混合系数计算单元63将混合系数blend_coef的值设置为1-blend_coef，并且将混合偏移系数time_offset的值设置为0。264.另一方面，当在步骤s203中确定未交换具有最高重要度p(i)的优化视点和具有次高重要度p(i)的优化视点时，处理进行至步骤s205。265.在步骤s205中，混合系数计算单元63确定具有最高重要度p(i)的优化视点和具有第三高或更低重要度p(i)的优化视点是否被交换。266.当在步骤s205中确定具有最高重要度p(i)的优化视点和具有第三高或更低重要度p(i)的优化视点被交换时，处理进行至步骤s206。267.在步骤s206中，混合系数计算单元63将混合系数blend_coef的值设置为0，并将混合偏移系数time_offset设置为0。268.另一方面，当在步骤s205中确定未交换具有最高重要度p(i)的优化视点和具有第三高或更低重要度p(i)的优化视点时，处理进行至步骤s207。269.当在步骤s202中确定未交换具有最高重要度p(i)的优化视点和具有次高重要度p(i)的优化视点时，或者在执行了步骤s204中的处理之后，处理类似地进行至步骤s207。270.在步骤s207中，混合系数计算单元63根据上述等式(8)来确定混合偏移系数blend_offset。271.在步骤s208中，混合系数计算单元63根据上述等式(6)来确定混合系数blend_coef。使用在步骤s208中确定的混合系数在图19的步骤s106中执行渲染。272.在步骤s209中，混合系数计算单元63确定混合系数计算处理是否结束。例如，当观看视点图像的显示结束时，确定混合系数计算处理结束。273.当在步骤s209中确定混合系数计算处理未结束时，处理进行至步骤s210。274.在步骤s210中，混合系数计算单元63将从混合偏移系数time_offset中设置0的时刻起经过的时间设置为混合偏移系数time_offset的值。在设置混合偏移系数time_offset的值之后，处理返回至步骤s202，并且执行随后的处理。275.另一方面，当在步骤s209中确定混合系数计算处理结束时，处理结束。276.·观看视点图像生成单元的操作277.将参照图24的流程图描述观看视点图像生成处理。在由uv纹理选择和传输单元62执行uv纹理信息选择处理并且由混合系数计算单元63确定混合系数之后，在图19的步骤s106中执行图24的观看视点图像生成处理以生成观看视点图像。278.在以下描述中，假设uv纹理信息1和uv纹理信息2被uv纹理选择和传输单元62选择。279.在步骤s221中，观看视点图像生成单元64设置处理目标像素。例如，观看视点图像生成单元64将观看视点图像中的坐标(u，v)＝(0，0)处的像素设置为处理目标像素。280.在步骤s222中，观看视点图像生成单元64获取与反映在处理目标像素中的3d模型上的坐标对应的uv纹理信息1的uv坐标。281.在步骤s223中，观看视点图像生成单元64获取在步骤s222中获取的uv纹理信息1的uv坐标中存储的像素值。282.在步骤s224中，观看视点图像生成单元64获取与反映在处理目标像素中的3d模型上的坐标对应的uv纹理信息2的uv坐标。283.在步骤s225中，观看视点图像生成单元64获取在步骤s224中获取的uv纹理信息2的uv坐标处存储的像素值。284.步骤s224和步骤s225的处理可以与步骤s222和步骤s223的处理并行执行，或者可以在执行步骤s223的处理之后执行。285.在步骤s226中，观看视点图像生成单元64基于由混合系数计算单元63确定的混合系数，将uv纹理信息1的像素值和uv纹理信息2的像素值混合，并且存储混合的像素值作为观看视点图像的处理目标像素的像素值。286.具体地，观看视点图像生成单元64将uv纹理信息1的像素值和uv纹理信息2的像素值乘以在uv纹理信息1和uv纹理信息2的每一个中设置的混合系数，并且混合乘法之后的像素值。287.在步骤s227中，观看视点图像生成单元64确定是否已对观看视点图像的所有像素执行用于存储像素值的处理。288.当在步骤s227中确定未对一些像素执行处理时，处理进行至步骤s228。289.在步骤s228中，观看视点图像生成单元64将下一个像素设置为处理目标像素。在将下一个像素设置为处理目标像素之后，处理返回至步骤s222并且执行后续处理。290.另一方面，当在步骤s227中确定已对所有像素执行处理时，观看视点图像生成处理结束，并且处理返回至图9中的步骤s102。291.通过以上处理，分发设备1可以生成能够以低渲染负荷生成高质量观看视点图像的3d数据。292.在再现设备2中，执行诸如切换用于渲染的uv纹理信息和混合多条uv纹理信息的具有低计算成本的处理。因此，即使再现设备2是所谓的瘦客户端型设备，也可以执行3d数据的实时再现。293.《4.应用示例》294.与本公开内容相关的技术可以应用于各种产品或服务。295.(4-1.内容的制作)296.例如，可以通过将在本实施方式中生成的被摄体的3d模型与由另一服务器管理的3d数据合成来创建新的视频内容。此外，例如，当存在由诸如lidar的成像设备获取的背景数据时，还可以通过将本实施方式中生成的被摄体的3d模型与背景数据组合来创建其中被摄体看起来好像被摄体在由背景数据指示的地点处的内容。视频内容可以是三维视频内容，或者可以是转换为二维的二维视频内容。本实施方式中生成的被摄体的3d模型例如是由3d模型生成单元生成的3d模型或由渲染单元重构的3d模型。297.(4-2.虚拟空间中的体验)298.例如，在本实施方式中生成的被摄体(例如，表演者)可以被布置在虚拟空间中，该虚拟空间是用户充当化身并执行交流的地点。在这种情况下，用户可以充当化身并在虚拟空间中观看实况被摄体。299.(4-3.与远程地点的通信的应用)300.例如，通过将由3d模型生成单元生成的被摄体的3d模型从发送单元发送至远程地点，远程地点处的用户可以通过远程地点处的再现设备来观看被摄体的3d模型。例如，通过实时地传输被摄体的3d模型，被摄体和远程地点处的用户可以实时地执行通信。例如，可以假设被摄体是教师并且用户是学生，或者被摄体是医生并且用户是患者的情况。301.(4-4.其他方面)302.例如，可以基于在本实施方式中生成的多个被摄体的3d模型来生成运动等的自由视点视频，或者个人可以将他自己或她自己作为在本实施方式中生成的3d模型分发至分发平台。如上所述，本说明书中描述的实施方式的内容可以应用于各种技术或服务。303.此外，例如，可以在任何设备中执行上述程序。在这种情况下，设备可以具有所需的功能块，使得设备可以获得所需的信息。304.《5.计算机》305.上述一系列处理可以通过硬件来执行或者可以通过软件来执行。当通过软件执行一系列处理时，构成软件的程序从程序记录介质安装在嵌入专用硬件中的计算机、通用个人计算机等中。306.图25是示出使用程序执行上述一系列处理的计算机硬件的配置示例的框图。307.在图25中示出的计算机中，中央处理单元(cpu)301、只读存储器(rom)302和随机存取存储器(ram)303经由总线304相互连接。308.输入和输出接口305也连接至总线304。输入单元306、输出单元307、存储单元308、通信单元309以及驱动器310连接至输入和输出接口305。309.输入单元306包括例如键盘、鼠标、麦克风、触摸板或输入终端。输出单元307包括例如显示器、扬声器或输出端子。存储单元308包括例如硬盘、ram盘或非易失性存储器。通信单元309包括例如网络接口。驱动器310驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质。310.在如上所述配置的计算机中，cpu 301经由输入和输出接口305以及总线304将存储在存储单元308中的程序加载到ram 303中并且执行程序，使得上述一系列处理被执行。此外，cpu执行各种类型的处理所需的数据等被适当地存储在ram 303中。311.例如，要由计算机执行的程序可以记录在诸如封装介质的可移除介质上并应用该程序。在这种情况下，可以通过安装在驱动器310中的可移除介质，经由输入和输出接口将程序安装在存储单元308中。312.还可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质提供该程序。在这种情况下，可以通过通信单元309接收该程序并将其安装在存储单元中。313.此外，例如，一个流程图的每个步骤可以由一个设备执行，或者可以由多个设备共享并执行。此外，当在一个步骤中包括多个处理时，一个设备可以执行多个处理，或者多个设备可以共享并执行多个处理。换言之，还可以执行一个步骤中包括的多个处理作为多个步骤的处理。另一方面，还可以将被描述为多个步骤的处理作为一个步骤来共同执行。314.此外，例如，在由计算机执行的程序中，描述该程序的步骤的处理可以按照本说明书中描述的顺序按时间序列执行，或者可以并行执行或在诸如进行调用时的所需时刻处单独执行。即，只要不存在矛盾，就可以以与上述顺序不同的顺序执行各个步骤的处理。此外，描述该程序的步骤的处理可以与另一程序的处理并行地执行，或者可以与另一程序的处理组合执行。315.此外，例如，与本技术有关的多种技术可以独立地实现为单个主体，只要不存在矛盾即可。当然，也可以组合地执行任何多个本技术。例如，还可以结合其他实施方式中描述的技术中的一些或全部来实现任一实施方式中描述的本技术中的一些或全部。此外，还可以结合以上未描述的其他技术来实现任何上述技术中的一些或全部。316.《配置的组合示例》317.本技术还可以具有以下配置。318.(1)319.一种信息处理设备，包括：生成单元，其被配置成根据与指示对象的形状的3d形状数据对应的纹理信息，生成与在不同的多个视点处对所述对象进行成像时的图像对应的多条纹理信息。320.(2)321.根据(1)所述的信息处理设备，其中，所述生成单元使用布置在所述多个视点中的每个视点处的多个成像设备的相机参数来生成所述多条纹理信息。322.(3)323.根据(1)所述的信息处理设备，其中，所述生成单元生成与所述多个视点对应的经优化的所述多条纹理信息，所述多个视点与被配置成对所述对象进行成像的多个成像设备的视角对应。324.(4)325.根据(3)所述的信息处理设备，其中，所述生成单元通过处理纹理来生成与所述视点对应的纹理信息，所述纹理是通过使用通过在除了安装在与所述视点对应的位置处的成像设备之外的成像设备中进行成像获得的图像而生成的。326.(5)327.根据(1)至(4)中任一项所述的信息处理设备，其中，所述生成单元还生成所述3d形状数据。328.(6)329.根据(1)至(5)中任一项所述的信息处理设备，其中，所述生成单元还生成指示所述3d形状数据与所述多条纹理信息之间的对应关系的映射信息。330.(7)331.根据(6)所述的信息处理设备，其中，所述生成单元生成与共同的单个映射信息对应的所述多条纹理信息。332.(8)333.根据(1)至(7)中任一项所述的信息处理设备，其中，所述生成单元生成所述多条纹理信息作为独立数据。334.(9)335.根据(1)至(8)中任一项所述的信息处理设备，其中，所述多条纹理信息用于生成观看视点图像，所述观看视点图像是来自观看视点的所述对象的图像。336.(10)337.一种生成方法，包括：根据与指示对象的形状的3d形状数据对应的纹理信息，生成与在不同的多个视点处对所述对象进行成像时的图像对应的多条纹理信息。338.(11)339.一种信息处理设备，包括：渲染单元，其被配置成使用与在不同的多个视点处对对象进行成像时的图像对应的多条纹理信息来执行渲染。340.(12)341.根据(11)所述的信息处理设备，其中，所述渲染单元使用所述纹理信息来生成观看视点图像，所述观看视点图像是来自观看视点的对象的图像。342.(13)343.根据(12)所述的信息处理设备，其中，所述渲染单元获取所述多条纹理信息，基于不同的视点中的每个视点的重要度从所述多条纹理信息中选择纹理信息，并且使用所选择的纹理信息来生成所述观看视点图像。344.(14)345.根据(13)所述的信息处理设备，其中，所述渲染单元基于所述视点和所述观看视点来确定所述视点的重要度。346.(15)347.根据(14)所述的信息处理设备，其中，所述渲染单元基于由从所述视点的位置到所述对象的位置的向量和从所述观看视点的位置到所述对象的位置的向量形成的角度来确定所述视点的重要度。348.(16)349.根据(14)所述的信息处理设备，其中，所述渲染单元基于由指示所述视点的方向的向量和指示所述观看视点的方向的向量形成的角度来确定所述视点的重要度。350.(17)351.根据(14)所述的信息处理设备，其中，所述渲染单元基于所述视点的位置与所述观看视点的位置之间的距离来确定所述视点的重要度。352.(18)353.根据(12)至(17)中任一项所述的信息处理设备，其中，所述渲染单元以根据不同的视点中的每个视点的重要度的比例来混合所述多条纹理信息，并且使用通过混合获得的纹理信息来生成所述观看视点图像。354.(19)355.根据(18)所述的信息处理设备，其中，所述渲染单元通过根据观看时间的经过增加所述多条纹理信息之中的针对具有最高重要度的视点优化的纹理信息的比例来混合所述多条纹理信息。356.(20)357.一种渲染方法，包括：使用针对不同的视点优化的多条纹理信息来执行渲染。358.附图标记列表359.1 分发设备360.2 再现设备361.11 数据获取单元362.12 3d模型生成单元363.13 格式化单元364.14 发送单元365.21 接收单元366.22 渲染单元367.23 显示控制单元368.51 3d模型处理单元369.52 uv贴图生成单元370.53 uv纹理生成单元371.61 网格传输单元372.62 uv纹理选择和传输单元373.63 混合系数计算单元374.64 观看视点图像生成单元









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!