图像生成方法及装置、模型训练方法及装置、电子设备与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本公开涉及智能驾驶技术领域，更具体地涉及一种图像生成方法及装置、模型训练方法及装置、设备、介质和程序产品。背景技术：2.自动驾驶系统中，交通信号灯模块需对交通信号灯图像进行分析，以确定交通信号灯的状态。因此，在自动驾驶仿真时，需生成指定状态的交通信号灯测试图像，将其传递给交通信号灯模块，以对交通信号灯模块进行测试。3.在实现本公开的过程中发现，采用现有的图像获取方法获得的交通信号灯测试图像存在以下不足：例如难以重现或衍生出危险场景案例下的交通信号灯图像、或图像失真度较高、或图像信息不完整等。技术实现要素：4.鉴于上述问题，本公开提供了一种图像生成方法及装置、模型训练方法及装置、设备、介质和程序产品。5.本公开的一个方面，提供了一种图像生成方法，包括：6.获取与自动驾驶车辆所在路口关联的路口环境测试深度图；7.根据路口的交通信号灯位置信息和预设交通信号灯状态，生成交通信号灯测试草图，其中，路口环境测试深度图中的交通信号灯区域与交通信号灯测试草图中的交通信号灯区域的位置相对应，交通信号灯测试草图中的交通信号灯区域显示为预设交通信号灯状态；8.将路口环境测试深度图和交通信号灯测试草图进行图像融合生成交通信号灯测试图像，以便根据交通信号灯测试图像进行驾驶模拟，其中交通信号灯测试图像能够表征路口环境和预设交通信号灯状态。9.根据本公开的实施例，其中，将路口环境测试深度图和交通信号灯测试草图进行图像融合生成交通信号灯测试图像包括：10.将路口环境测试深度图和交通信号灯测试草图在通道维度进行拼接，以生成测试拼接图像；11.将测试拼接图像输入图像生成模型，以便通过图像生成模型输出交通信号灯测试图像。12.根据本公开的实施例，其中，获取路口环境测试深度图包括：13.获取路口环境点云测试数据；14.根据路口环境点云测试数据生成路口环境测试深度图。15.根据本公开的实施例，其中，路口环境点云测试数据包括雷达坐标系下的环境点云三维坐标值，根据路口环境点云测试数据生成路口环境测试深度图包括：16.根据雷达坐标系下的环境点云三维坐标值，确定像素坐标系下的环境点云二维坐标值、以及环境点云深度值；17.根据环境点云二维坐标值和环境点云深度值，生成路口环境测试深度图。18.根据本公开的实施例，其中，根据雷达坐标系下的环境点云三维坐标值，确定像素坐标系下的环境点云二维坐标值、以及环境点云深度值包括：19.将雷达坐标系下的环境点云三维坐标值，转换为相机坐标系下的环境点云三维坐标值；20.将相机坐标系下的环境点云三维坐标值投影到相机平面上，得到像素坐标系下的环境点云二维坐标值；21.根据相机坐标系下的环境点云三维坐标值，确定环境点云深度值。22.根据本公开的实施例，其中，根据环境点云二维坐标值和环境点云深度值，生成路口环境测试深度图包括：23.根据环境点云二维坐标值，将环境点云以像素点的形式标注在第一空白图片中；24.根据环境点云深度值，对第一空白图片中的不同坐标位置处的像素点标记显示为不同颜色，以生成路口环境测试深度图。25.根据本公开的实施例，其中，交通信号灯位置信息包括预定地图坐标系下的交通信号灯三维坐标值，所述根据路口的交通信号灯位置信息和预设交通信号灯状态，生成交通信号灯测试草图包括：26.将预定地图坐标系下的交通信号灯三维坐标值，转换为像素坐标系下的交通信号灯二维坐标值；27.在第二空白图片中的目标位置绘制交通信号灯轮廓，其中目标位置的坐标值与像素坐标系下的交通信号灯二维坐标值相同；28.根据预设交通信号灯状态，将交通信号灯轮廓填充为与预设交通信号灯状态关联的颜色，以生成交通信号灯测试草图。29.本公开的另一个方面提供了一种模型训练方法，包括：30.获取与自动驾驶车辆所在路口关联的路口环境样本深度图；31.根据路口的交通信号灯位置信息和训练交通信号灯状态，生成交通信号灯样本草图，其中，路口环境样本深度图中的交通信号灯区域与交通信号灯样本草图中的交通信号灯区域的位置相对应，交通信号灯样本草图中的交通信号灯区域显示为训练交通信号灯状态；；32.将路口环境样本深度图和交通信号灯样本草图在通道维度进行拼接，以生成样本拼接图像；33.将样本拼接图像输入待训练图像生成模型，以便通过待训练图像生成模型输出交通信号灯训练图像；34.计算交通信号灯训练图像和路口拍摄图像的像素差值；35.将交通信号灯训练图像和路口拍摄图像输入判别模型，以通过判别模型输出交通信号灯样本图像与路口拍摄图像相同的概率值，当像素差值和概率值满足预设终止条件时，得到经训练得到的图像生成模型。36.本公开的另一个方面提供了一种图像生成装置，包括第一获取模块、第一生成模块、融合模块。37.其中，第一获取模块，用于获取与自动驾驶车辆所在路口关联的路口环境测试深度图；38.第一生成模块，用于根据路口的交通信号灯位置信息和预设交通信号灯状态，生成交通信号灯测试草图，其中，路口环境测试深度图中的交通信号灯区域与交通信号灯测试草图中的交通信号灯区域的位置相对应，交通信号灯测试草图中的交通信号灯区域显示为预设交通信号灯状态；39.融合模块，用于将路口环境测试深度图和交通信号灯测试草图进行图像融合生成交通信号灯测试图像，以便根据交通信号灯测试图像进行驾驶模拟，其中交通信号灯测试图像能够表征路口环境和预设交通信号灯状态。40.根据本公开的实施例，其中，融合模块包括拼接子模块、输入输出子模块。41.其中，拼接子模块，用于将路口环境测试深度图和交通信号灯测试草图在通道维度进行拼接，以生成测试拼接图像；42.输入输出子模块，用于将测试拼接图像输入图像生成模型，以便通过图像生成模型输出交通信号灯测试图像。43.根据本公开的实施例，其中，第一获取模块包括第一获取子模块、第一生成子模块。44.其中，第一获取子模块，用于获取路口环境点云测试数据；45.第一生成子模块，用于根据路口环境点云测试数据生成路口环境测试深度图。46.根据本公开的实施例，其中，路口环境点云测试数据包括雷达坐标系下的环境点云三维坐标值，第一生成子模块包括确定单元、生成单元。47.其中，确定单元，用于根据雷达坐标系下的环境点云三维坐标值，确定像素坐标系下的环境点云二维坐标值、以及环境点云深度值；48.生成单元，用于根据环境点云二维坐标值和环境点云深度值，生成路口环境测试深度图。49.根据本公开的实施例，其中，确定单元包括第一转换子单元、第二转换子单元、确定子单元。50.其中，第一转换子单元，用于将雷达坐标系下的环境点云三维坐标值，转换为相机坐标系下的环境点云三维坐标值；51.第二转换子单元，用于将相机坐标系下的环境点云三维坐标值投影到相机平面上，得到像素坐标系下的环境点云二维坐标值；52.确定子单元，用于根据相机坐标系下的环境点云三维坐标值，确定环境点云深度值。53.根据本公开的实施例，其中，生成单元包括第一标注子单元、第二标注子单元。54.其中，第一标注子单元，用于根据环境点云二维坐标值，将环境点云以像素点的形式标注在第一空白图片中；55.第二标注子单元，用于根据环境点云深度值，对第一空白图片中的不同坐标位置处的像素点标记显示为不同颜色，以生成路口环境测试深度图。56.根据本公开的实施例，其中，交通信号灯位置信息包括预定地图坐标系下的交通信号灯三维坐标值，第一生成模块包括转换单元、绘制单元、填充单元。57.其中，转换单元，用于将预定地图坐标系下的交通信号灯三维坐标值，转换为像素坐标系下的交通信号灯二维坐标值；58.绘制单元，用于在第二空白图片中的目标位置绘制交通信号灯轮廓，其中目标位置的坐标值与像素坐标系下的交通信号灯二维坐标值相同；59.填充单元，用于根据预设交通信号灯状态，将交通信号灯轮廓填充为与预设交通信号灯状态关联的颜色，以生成交通信号灯测试草图。60.本公开的另一个方面提供了一种模型训练装置，包括第二获取模块、第二生成模块，拼接模块、第一输入输出模块、计算模块、第二输入输出模块。61.其中，第二获取模块，用于获取与自动驾驶车辆所在路口关联的路口环境样本深度图；62.第二生成模块，用于根据路口的交通信号灯位置信息和训练交通信号灯状态，生成交通信号灯样本草图，其中，路口环境样本深度图中的交通信号灯区域与交通信号灯样本草图中的交通信号灯区域的位置相对应，交通信号灯样本草图中的交通信号灯区域显示为训练交通信号灯状态；63.拼接模块，用于将路口环境样本深度图和交通信号灯样本草图在通道维度进行拼接，以生成样本拼接图像；64.第一输入输出模块，用于将样本拼接图像输入待训练图像生成模型，以便通过待训练图像生成模型输出交通信号灯训练图像；65.计算模块，用于计算交通信号灯训练图像和路口拍摄图像的像素差值；66.第二输入输出模块，用于将交通信号灯训练图像和路口拍摄图像输入判别模型，以通过判别模型输出交通信号灯样本图像与路口拍摄图像相同的概率值，当像素差值和概率值满足预设终止条件时，得到经训练得到的图像生成模型。67.本公开的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述图像生成方法。68.本公开的另一个方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述图像生成方法。69.本公开的另一个方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述图像生成方法。附图说明70.通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：71.图1示意性示出了根据本公开实施例的图像生成方法、装置、设备、介质和程序产品的应用场景图；72.图2示意性示出了根据本公开实施例的图像生成方法的流程图；73.图3示意性示出了根据本公开实施例的图像生成方法的原理图；74.图4示意性示出了根据本公开实施例的模型训练方法的流程图；75.图5示意性示出了根据本公开实施例的模型训练方法的原理图；76.图6示意性示出了根据本公开实施例的图像生成装置的结构框图；77.图7示意性示出了根据本公开实施例的模型训练装置的结构框图；78.图8示意性示出了根据本公开实施例的适于实现图像生成方法的电子设备的方框图。具体实施方式79.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。80.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。81.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。82.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。83.自动驾驶系统中，交通信号灯模块需对交通信号灯图像进行分析，以确定交通信号灯的状态。因此，在自动驾驶仿真时，需生成指定状态的交通信号灯测试图像，将其传递给交通信号灯模块，以对交通信号灯模块进行测试。84.相关技术中例如可以通过中间表示方法、数据采集方法和渲染方法等生成交通信号灯测试图像。85.中间表示方法仅直接将交通信号灯的状态传递给交通信号灯模块，无法传递其他信息，如环境信息等，因此，中间表示方法仅可测试交通信号灯模块的部分功能，如交通信号灯可视角判断等。无法验证交通信号灯模块在交通信号灯状态推断方面的效果。86.数据采集方法利用真实世界采集的数据重现或衍生出危险场景案例下的交通信号灯图像，因危险场景在自然驾驶中出现的概率往往很小。通过数据采集方法无法获取所有危险场景下的交通信号灯图像。因此，基于数据采集的交通信号灯模块仿真难以接触到自动驾驶算法的安全边界。另外，在数据重现或衍生过程中，会产生误差，导致生成的交通信号灯图像中的交通信号灯状态和位置，与自动驾驶车辆到达路口的时间和实际位置不匹配。87.渲染方法利用游戏引擎生成交通信号灯图像，通过渲染的方式得到的交通信号灯图像具有明显的合成痕迹，欠缺真实性。无法为交通信号灯模块提供足够的准确性和细节。另外，渲染方法效率有限，不仅需要大量的人工，还需消耗大量的计算资源等。88.可见，相关技术中的图像获取方法获得的交通信号灯测试图像存在一些不足，例如难以重现或衍生出危险场景案例下的交通信号灯图像、或图像失真度较高、或图像信息不完整等。89.有鉴于此，本公开的实施例提供了一种图像生成方法，包括：90.获取与自动驾驶车辆所在路口关联的路口环境测试深度图；91.根据路口的交通信号灯位置信息和预设交通信号灯状态，生成交通信号灯测试草图，其中，路口环境测试深度图中的交通信号灯区域与交通信号灯测试草图中的交通信号灯区域的位置相对应，交通信号灯测试草图中的交通信号灯区域显示为预设交通信号灯状态；92.将路口环境测试深度图和交通信号灯测试草图进行图像融合生成交通信号灯测试图像，以便根据交通信号灯测试图像进行驾驶模拟，其中交通信号灯测试图像能够表征路口环境和预设交通信号灯状态。93.根据本公开的实施例，且因路口环境深度图可表达更为真实的信息，通过深度图融合生成的图像不失真，可指示真实的环境信息，可为交通信号灯模块提供足够的准确性和细节，解决现有技术中采用渲染方法生成的图像失真的技术问题。并且将路口环境测试深度图和交通信号灯测试草图进行图像融合后生成的交通信号灯测试图像，类似相机拍摄图像，不仅包括交通信号灯区域，还包括可展示真实路口环境二维和三维信息的背景区域，并且，交通信号灯区域能够显示预设交通信号灯状态，信息更加完整，可测试交通信号灯模块的全部功能，如可验证交通信号灯模块在交通信号灯状态推断方面的效果，解决现有技术中用中间表示方法生成的图像信息不完整的技术问题。此外，因交通信号灯测试草图中的交通信号灯状态可以是任一预设的状态，包括违反交规的极端状态，因此，可模拟非常规情形和危险场景案例下的交通信号灯图像，解决现有的图像采集方法难以接触到自动驾驶算法的安全边界的技术问题，较好地满足了车辆自动驾驶模拟测试的需求。94.图1示意性示出了根据本公开实施例的图像生成方法、装置、设备、介质和程序产品的应用场景图。95.如图1所示，根据该实施例的应用场景100可以包括车辆100、服务器102。车辆100和服务器102之间可通过网络进行通信，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。96.车辆100中安装有自动驾驶模块，用于引导车辆实现自动驾驶。自动驾驶模块中包括交通信号灯单元，用于车辆100在行驶至交通信号灯路口附近时，对接收到的路口交通信号灯照片进行图像处理分析，以确定交通信号灯的状态。97.在车辆的自动驾驶模块正式投产前，需要测试其性能，因此需进行自动驾驶仿真模拟，在自动驾驶仿真过程中，需要服务器102生成指定状态的交通信号灯测试图像，将其传递给车辆100自动驾驶模块中的交通信号灯单元，以对交通信号灯单元进行测试。98.服务器102可以是提供各种服务的服务器，例如对用户利用终端设备所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。99.服务器102可用于执行本公开实施例所述的图像生成方法，例如首先获取路口环境测试深度图和交通信号灯测试草图，将路口环境测试深度图和交通信号灯测试草图进行图像融合生成交通信号灯测试图像，服务器102通过网络将交通信号灯测试图像发送至车辆100中的自动驾驶模块，自动驾驶模块中的交通信号灯单元根据交通信号灯测试图像对交通信号灯单元进行测试。100.需要说明的是，本公开实施例所提供的图像生成方法一般可以由服务器102执行。相应地，本公开实施例所提供的图像生成装置一般可以设置于服务器102中。本公开实施例所提供的图像生成方法也可以由不同于服务器102且能够与服务器102通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像生成装置也可以设置于不同于服务器102且能够与服务器102通信的服务器或服务器集群中。101.以下将基于图1描述的场景，通过图2～图8对公开实施例的图像生成进行详细描述。102.图2示意性示出了根据本公开实施例的图像生成方法的流程图。103.如图2所示，该实施例的图像生成方法包括操作s201～操作s202。104.在操作s201，获取与自动驾驶车辆所在路口关联的路口环境测试深度图；105.在操作s202，根据路口的交通信号灯位置信息和预设交通信号灯状态，生成交通信号灯测试草图，其中，路口环境测试深度图和交通信号灯测试草图均包括交通信号灯区域，路口环境测试深度图中的交通信号灯区域与交通信号灯测试草图中的交通信号灯区域的位置相对应，交通信号灯测试草图中的交通信号灯区域显示为预设交通信号灯状态；路口环境测试深度图中，代表不同深度值的像素点被标记显示为不同颜色；106.在操作s203，将路口环境测试深度图和交通信号灯测试草图进行图像融合生成交通信号灯测试图像，以便根据交通信号灯测试图像进行驾驶模拟，其中交通信号灯测试图像能够表征路口环境和预设交通信号灯状态。107.根据本公开的实施例，自动驾驶的车辆中安装有自动驾驶模块，用于引导车辆实现自动驾驶。自动驾驶模块中包括交通信号灯单元，用于车辆在行驶至交通信号灯路口附近时，对接收到的路口交通信号灯照片进行图像处理分析，以确定交通信号灯的状态。108.在车辆的自动驾驶模块正式投产前，需要测试其性能，因此需进行自动驾驶仿真模拟，在自动驾驶仿真过程中，预先生成指定状态的交通信号灯测试图像，将其传递给车辆自动驾驶模块中的交通信号灯单元，以对交通信号灯单元进行测试。109.本公开的实施例的上述图像生成方法可实现生成任意指定状态的交通信号灯测试图像，包括特殊情景下的交通信号灯状态，甚至包括违反交规等极端状态下的交通信号灯测试图像，例如交通信号灯坏掉的情形、同一路口不同方向均指示绿灯等情形。110.根据本公开的实施例，路口环境测试深度图和交通信号灯测试草图可以预先生成并存储在计算机的预定存储区中。111.与自动驾驶车辆所在路口关联的路口环境测试深度图可以是根据车辆雷达获取到的真实路口环境点云数据处理得到的。交通信号灯测试草图可以是根据设定的交通信号灯状态绘制生成的。112.根据本公开的实施例，路口环境测试深度图中，用不同颜色标记显示代表不同深度值的像素点，图像中像素点的深度值代表环境实体与相机之间距离的大小，因此，路口环境测试深度图不仅能表征路口环境实体的二维信息，也可以表征路口环境实体的三维信息。但是，路口环境测试深度图中显示的交通信号灯仅能代表其实体几何信息，并无法显示交通信号灯的颜色，因此，无法体现交通信号灯状态。113.路口环境测试深度图和交通信号灯测试草图均包括交通信号灯区域，路口环境测试深度图中除了交通信号灯区域，还包括可展示真实路口环境的背景区域，交通信号灯测试草图中仅显示交通信号灯区域，交通信号灯区域中的信号灯位置可由红色、或黄色、或绿色显示交通信号灯状态。路口环境测试深度图中的交通信号灯区域可以不显示交通信号灯状态，交通信号灯测试草图中的交通信号灯区域显示为任意的预设交通信号灯状态，并且，路口环境测试深度图中的交通信号灯区域与交通信号灯测试草图中的交通信号灯区域的位置相对应，以便后续实现精准的图像融合。114.根据本公开的实施例，且因路口环境深度图可表达更为真实的信息，通过深度图融合生成的图像不失真，可指示真实的环境信息，可为交通信号灯模块提供足够的准确性和细节，解决现有技术中采用渲染方法生成的图像失真的技术问题。并且将路口环境测试深度图和交通信号灯测试草图进行图像融合后生成的交通信号灯测试图像，类似相机拍摄图像，不仅包括交通信号灯区域，还包括可展示真实路口环境二维和三维信息的背景区域，并且，交通信号灯区域能够显示预设交通信号灯状态，信息更加完整，可测试交通信号灯模块的全部功能，如可验证交通信号灯模块在交通信号灯状态推断方面的效果，解决现有技术中用中间表示方法生成的图像信息不完整的技术问题。此外，因交通信号灯测试草图中的交通信号灯状态可以是任一预设的状态，包括违反交规的极端状态，因此，可模拟非常规情形和危险场景案例下的交通信号灯图像，解决现有的图像采集方法难以接触到自动驾驶算法的安全边界的技术问题，较好地满足了车辆自动驾驶模拟测试的需求。115.图3示意性示出了根据本公开实施例的图像生成方法的原理图。116.如图3所示，进一步地，将路口环境测试深度图和交通信号灯测试草图进行图像融合生成交通信号灯测试图像可以是利用训练好的图像生成模型实现。具体方法包括：117.首先，将路口环境测试深度图和交通信号灯测试草图在通道维度进行拼接，以生成测试拼接图像。118.之后，将测试拼接图像输入图像生成模型，以便通过图像生成模型输出交通信号灯测试图像。图像生成模型例如可以采用训练好的unet网络。119.例如，根据自动驾驶车辆所在位置，获取周围点云信息，将其转化成路口环境测试深度图；获取仿真场景中预先设定的交通信号灯状态信息，将其转化成交通信号灯测试草图。将将路口环境测试深度图和交通信号灯测试草图进行拼接，利用训练好的unet网络生成指定状态的交通信号灯测试图像。将生成的图像传递给交通信号灯模块，进行仿真测试。120.根据本公开的实施例，路口环境测试深度图可以是根据车辆雷达获取到的真实路口环境点云数据处理得到的，具体地，获取路口环境测试深度图包括：获取路口环境点云测试数据；以及根据路口环境点云测试数据生成路口环境测试深度图。121.根据本公开的实施例，获取路口环境点云测试数据可以是接收车辆雷达发送的点云数据，数据采集过程中，车辆行驶预定时间段，例如半小时，在行驶过程中，车辆中的多个雷达可获取车辆周围360°视角范围内的环境点云数据，从这些点云数据中，选取当前待测试路口视角范围对应的点云数据作为路口环境点云测试数据。122.进一步地，最终生成的路口环境测试深度图需是站在相机视角，因此在生成深度图的过程中，需要进行坐标转换，将雷达点云数据由雷达坐标系转换至相机坐标系。123.具体地，路口环境点云测试数据包括雷达坐标系下的环境点云三维坐标值，根据路口环境点云测试数据生成路口环境测试深度图包括：124.首先，根据雷达坐标系下的环境点云三维坐标值，确定像素坐标系下的环境点云二维坐标值、以及环境点云深度值。具体包括：将雷达坐标系下的环境点云三维坐标值，转换为相机坐标系下的环境点云三维坐标值；并根据相机内参将相机坐标系下的环境点云三维坐标值投影到相机平面上，得到像素坐标系下的环境点云二维坐标值；以及根据相机坐标系下的环境点云三维坐标值，确定环境点云深度值。125.之后，根据环境点云二维坐标值和环境点云深度值，生成路口环境测试深度图。具体包括：根据环境点云二维坐标值，将环境点云以像素点的形式标注在第一空白图片中；根据环境点云深度值，对第一空白图片中的不同坐标位置处的像素点标记显示为不同颜色，以生成路口环境测试深度图。如此，综合点云的二维像素坐标和深度值即可得到点云对应的深度图，生成的路口环境测试深度图中的每个像素点不仅可表征二维信息(即在图像中的位置信息)，还可以表征图像实体的三维信息(深度值的大小代表实体表面距离相机的远近)。因路口环境深度图可表达更为真实的信息，通过深度图融合生成的图像不失真，可指示真实的环境信息，可为交通信号灯模块提供足够的准确性和细节。126.根据本公开的实施例，交通信号灯测试草图可以是根据路口的交通信号灯位置信息和设定的交通信号灯状态绘制生成的。具体地，生成交通信号灯测试草图包括：127.首先，获取路口的交通信号灯位置信息、其中，交通信号灯位置信息包括预定地图坐标系下的交通信号灯三维坐标值，指示了当前测试路口交通信号灯在地图中的位置，可根据交通信号灯id和地图，得到交通信号灯的具体坐标。预先设定好的交通信号灯状态，例如可以是在当前测试路口，各个方向的交通信号灯的状态为红灯、或绿灯、或黄灯。128.之后，根据交通信号灯位置信息和交通信号灯预设状态生成交通信号灯测试草图。具体可包括以下操作：129.操作1、将预定地图坐标系下的交通信号灯三维坐标值，转换为像素坐标系下的交通信号灯二维坐标值；即首先将交通信号灯的坐标由地图坐标系转换至相机坐标系下，并且将三维左边转换为二维坐标。130.操作2、在第二空白图片中的目标位置绘制交通信号灯轮廓，其中目标位置的坐标值与像素坐标系下的交通信号灯二维坐标值相同；例如，可以是根据上一操作得到的交通信号灯的坐标，在空白图片中绘制出相应的矩形交通信号灯轮廓。131.操作3、根据交通信号灯预设状态，将交通信号灯轮廓填充为与预设交通信号灯状态关联的颜色，以生成交通信号灯测试草图。即根据交通信号灯的状态，在绘制出的矩形中填充相应的颜色，如红色、绿色、黄色或黑色等，分别表示红灯、绿灯、黄灯和未知状态等，即可得到交通信号灯草图。132.需要说明的是，生成的交通信号灯测试草图的图像分辨率需与相机摄像头的分辨率一致，并且，交通信号灯测试草图和路口环境测试深度图的图像分辨率相同，均与相机摄像头的分辨率一致，因此，在两张图像的大小一致的情况下，通过上述方法得到的交通信号灯测试草图中的交通信号灯区域的位置，与路口环境测试深度图中的交通信号灯区域的位置相对应(即在三维立体中处于同一位置的点，会在两张图片中处于同一位置)，如此，可保证后续将交通信号灯测试草图与路口环境测试深度图实现精准的图像融合。133.本公开的另一个方面提供了一种模型训练方法，图4示意性示出了根据本公开实施例的模型训练方法的流程图。图5示意性示出了根据本公开实施例的模型训练方法的原理图。134.根据本公开的实施例，如图5所示，与上述图3所示实施例中利用图像生成模型进行图像融合以生成交通信号灯测试图像的方法有所不同，图5所示的模型训练过程通过引入判别模型patchgan来提高图像生成模型unet的训练效果。135.在训练过程中，图像生成模型unet和判别模型patchgan采用交替训练的方法来完成模型训练。136.以下，首先介绍在交替训练过程中，训练图像生成模型unet阶段的训练方法。如图4、图5所示，该实施例的模型训练方法包括操作s401～操作s406。137.在操作s401，获取与自动驾驶车辆所在路口关联的路口环境样本深度图；138.在操作s402，根据路口的交通信号灯位置信息和训练交通信号灯状态，生成交通信号灯样本草图，其中，路口环境样本深度图中的交通信号灯区域与交通信号灯样本草图中的交通信号灯区域的位置相对应，交通信号灯样本草图中的交通信号灯区域显示为训练交通信号灯状态；139.在操作s403，将路口环境样本深度图和交通信号灯样本草图在通道维度进行拼接，以生成样本拼接图像；140.在操作s404，将样本拼接图像输入待训练图像生成模型，以便通过待训练图像生成模型输出交通信号灯训练图像；如图5所示，可以将路口环境点云对应的样本深度图和交通信号灯样本草图在通道维度进行拼接，作为unet网络的输入，利用unet网络作为图像生成模型，生成包含交通信号灯状态的训练图像。在unet网络生成图像过程中，将上采样的特征图与特征提取过程中的特征图进行融合，可以获取上下文信息和高分辨率信息。141.在操作s405，计算交通信号灯训练图像和路口拍摄图像的像素差值；142.在操作s406，将交通信号灯训练图像和路口拍摄图像输入判别模型patchgan进行分类(此过程中判别模型的模型参数保持不变)，以通过判别模型输出交通信号灯样本图像与路口拍摄图像相同的概率值，即得到图像真实性判断结果，当像素差值和概率值满足预设终止条件时，得到经训练得到的图像生成模型。例如，可以分别使用bceloss和l1loss作为损失函数，计算像素差值和概率值的对应的损失值，完成图像生成模型unet的训练。143.根据本公开的实施例，在交替训练过程中，训练判别模型patchgan的操作流程，与训练图像生成模型unet的操作流程训练大体相同，在此不再赘述，区别在于，训练判别模型的阶段，图像生成模型的网络参数保持不变，且损失函数采用bceloss作为损失函数，用于计算对交通信号灯训练图像和路口拍摄图像分类的准确率，当对图像分类的准确率达到预设阈值的情况下，得到经训练得到的判别模型。144.根据本公开的实施例，通过引入判别模型patchgan，将生成图像和真实图像输入到patchgan进行分类，得到图像真实性判断，可以提高生成图像的真实性，可以提高对高分辨率图像的细节生成能力，可见，通过引入使用patchgan可提高图像生成模型unet的训练效果。145.基于上述图像生成方法，本公开还提供了一种图像生成装置。以下将结合图6对该装置进行详细描述。146.图6示意性示出了根据本公开实施例的图像生成装置的结构框图，如图6所示，该实施例的图像生成装置600包括第一获取模块601、第一生成模块602、融合模块603。147.其中，第一获取模块601，用于获取与自动驾驶车辆所在路口关联的路口环境测试深度图；第一生成模块602，用于根据路口的交通信号灯位置信息和预设交通信号灯状态，生成交通信号灯测试草图，其中，路口环境测试深度图中的交通信号灯区域与交通信号灯测试草图中的交通信号灯区域的位置相对应，交通信号灯测试草图中的交通信号灯区域显示为预设交通信号灯状态；；融合模块602，用于将路口环境测试深度图和交通信号灯测试草图进行图像融合生成交通信号灯测试图像，以便根据交通信号灯测试图像进行驾驶模拟，其中交通信号灯测试图像能够表征路口环境和预设交通信号灯状态。148.根据本公开的实施例，通过第一获取模块601、第一生成模块602得到获取路口环境测试深度图和交通信号灯测试草图，因路口环境深度图可表达更为真实的信息，通过融合模块602将路口环境测试深度图和交通信号灯测试草图进行图像融合生成交通信号灯测试图像后，融合生成的图像不失真，可指示真实的环境信息，可为交通信号灯模块提供足够的准确性和细节，解决现有技术中采用渲染方法生成的图像失真的技术问题。图像融合后生成的交通信号灯测试图像，类似相机拍摄图像，不仅包括交通信号灯区域，还包括可展示真实路口环境二维和三维信息的背景区域，并且，交通信号灯区域能够显示预设交通信号灯状态，信息更加完整，可测试交通信号灯模块的全部功能，如可验证交通信号灯模块在交通信号灯状态推断方面的效果，解决现有技术中用中间表示方法生成的图像信息不完整的技术问题。此外，因交通信号灯测试草图中的交通信号灯状态可以是任一预设的状态，包括违反交规的极端状态，因此，可模拟非常规情形和危险场景案例下的红绿灯图像，解决现有的图像采集方法难以接触到自动驾驶算法的安全边界的技术问题，较好地满足了车辆自动驾驶模拟测试的需求。149.根据本公开的实施例，其中，融合模块包括拼接子模块、输入输出子模块。150.其中，拼接子模块，用于将路口环境测试深度图和交通信号灯测试草图在通道维度进行拼接，以生成测试拼接图像；151.输入输出子模块，用于将测试拼接图像输入图像生成模型，以便通过图像生成模型输出交通信号灯测试图像。152.根据本公开的实施例，其中，第一获取模块包括第一获取子模块、第一生成子模块。153.其中，第一获取子模块，用于获取路口环境点云测试数据；154.第一生成子模块，用于根据路口环境点云测试数据生成路口环境测试深度图。155.根据本公开的实施例，其中，路口环境点云测试数据包括雷达坐标系下的环境点云三维坐标值，第一生成子模块包括确定单元、生成单元。156.其中，确定单元，用于根据雷达坐标系下的环境点云三维坐标值，确定像素坐标系下的环境点云二维坐标值、以及环境点云深度值；157.生成单元，用于根据环境点云二维坐标值和环境点云深度值，生成路口环境测试深度图。158.根据本公开的实施例，其中，确定单元包括第一转换子单元、第二转换子单元、确定子单元。159.其中，第一转换子单元，用于将雷达坐标系下的环境点云三维坐标值，转换为相机坐标系下的环境点云三维坐标值；160.第二转换子单元，用于将相机坐标系下的环境点云三维坐标值投影到相机平面上，得到像素坐标系下的环境点云二维坐标值；161.确定子单元，用于根据相机坐标系下的环境点云三维坐标值，确定环境点云深度值。162.根据本公开的实施例，其中，生成单元包括第一标注子单元、第二标注子单元。163.其中，第一标注子单元，用于根据环境点云二维坐标值，将环境点云以像素点的形式标注在第一空白图片中；164.第二标注子单元，用于根据环境点云深度值，对第一空白图片中的不同坐标位置处的像素点标记显示为不同颜色，以生成路口环境测试深度图。165.根据本公开的实施例，其中，交通信号灯位置测试数据包括预定地图坐标系下的交通信号灯三维坐标值第一生成模块包括转换单元、绘制单元、填充单元。166.其中，转换单元，用于将预定地图坐标系下的交通信号灯三维坐标值，转换为像素坐标系下的交通信号灯二维坐标值；167.绘制单元，用于在第二空白图片中的目标位置绘制交通信号灯轮廓，其中目标位置的坐标值与像素坐标系下的交通信号灯二维坐标值相同；168.填充单元，用于根据预设交通信号灯状态，将交通信号灯轮廓填充为与预设交通信号灯状态关联的颜色，以生成交通信号灯测试草图。169.基于上述模型训练方法，本公开还提供了一种模型训练装置。图7示意性示出了根据本公开实施例的模型训练装置的结构框图。170.如图7所示，该实施例的模型训练装置700包括第二获取模块701、第二生成模块702、拼接模块703、第一输入输出模块704、计算模块705、第二输入输出模块706。171.其中，第二获取模块701，用于获取与自动驾驶车辆所在路口关联的路口环境样本深度图；172.第二生成模块702，用于根据路口的交通信号灯位置信息和训练交通信号灯状态，生成交通信号灯样本草图，其中，路口环境样本深度图中的交通信号灯区域与交通信号灯样本草图中的交通信号灯区域的位置相对应，交通信号灯样本草图中的交通信号灯区域显示为训练交通信号灯状态；173.拼接模块703，用于将路口环境样本深度图和交通信号灯样本草图在通道维度进行拼接，以生成样本拼接图像；174.第一输入输出模块704，用于将样本拼接图像输入待训练图像生成模型，以便通过待训练图像生成模型输出交通信号灯训练图像；175.计算模块705，用于计算交通信号灯训练图像和路口拍摄图像的像素差值；176.第二输入输出模块706，用于将交通信号灯训练图像和路口拍摄图像输入判别模型，以通过判别模型输出交通信号灯样本图像与路口拍摄图像相同的概率值，当像素差值和概率值满足预设终止条件时，得到经训练得到的图像生成模型。177.根据本公开的实施例，根据本公开的实施例，通过第二输入输出模块706将交通信号灯训练图像和路口拍摄图像输入判别模型，引入判别模型，将生成图像和真实图像输入到判别模型进行分类，得到图像真实性判断，可以提高生成图像的真实性，可以提高对高分辨率图像的细节生成能力，提高图像生成模型的训练效果。178.根据本公开的实施例，第一获取模块601、第一生成模块602、融合模块603、第二获取模块701、第二生成模块702、拼接模块703、第一输入输出模块704、计算模块705、第二输入输出模块706中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块601、第一生成模块602、融合模块603、第二获取模块701、第二生成模块702、拼接模块703、第一输入输出模块704、计算模块705、第二输入输出模块706中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块601、第一生成模块602、融合模块603、第二获取模块701、第二生成模块702、拼接模块703、第一输入输出模块704、计算模块705、第二输入输出模块706中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。179.图8示意性示出了根据本公开实施例的适于实现图像生成方法的电子设备的方框图。180.如图8所示，根据本公开实施例的电子设备800包括处理器801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。181.在ram 803中，存储有电子设备800操作所需的各种程序和数据。处理器801、rom 802以及ram 803通过总线804彼此相连。处理器801通过执行rom 802和/或ram 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 802和ram 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。182.根据本公开的实施例，电子设备800还可以包括输入/输出(i/o)接口805，输入/输出(i/o)接口805也连接至总线804。电子设备800还可以包括连接至i/o接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。183.本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。184.根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 802和/或ram 803和/或rom 802和ram 803以外的一个或多个存储器。185.本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的图像生成方法。186.在该计算机程序被处理器801执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。187.在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。188.在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。189.根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c++，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。190.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。191.本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。192.以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!