数据管理系统和数据管理方法、装置及电子设备与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本技术涉及数据处理技术领域，具体而言，涉及一种数据管理系统和数据管理方法、装置及电子设备。背景技术：2.自动驾驶行业中，在车辆实地采集、外部采买、模拟生成、仿真运行、人工标注、算法开发等过程中，会产生海量的数据，这些数据，需要经过各类处理，例如滤波、标定、融合、标注(自动/人工)等。因此需要一个数据管理系统进行自动驾驶生产线上的各类数据的导入、分类管理、数据处理、人工数据操作、数据检索预览、数据输出等工作。但是现有技术中没有针对自动驾驶云场景下的各类型数据的处理平台，使得数据处理的效率比较低。3.针对上述的问题，目前尚未提出有效的解决方案。技术实现要素：4.本技术实施例提供了一种数据管理系统和数据管理方法、装置及电子设备，以至少解决相关技术中没有对自动驾驶云场景下的各类型数据的处理平台，导致数据处理效率低的技术问题。5.根据本技术实施例的一个方面，提供了一种数据管理系统，包括：客户端，所述客户端包括数据定义单元和数据处理单元，所述数据定义单元用于接收目标对象上传的待处理的原始数据和目标镜像，所述数据处理单元用于构建任务流，并将所述任务流传输至服务器，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像，所述任务流用于处理所述待处理的原始数据，所述目标镜像存储在镜像仓库中，所述待处理的原始数据存储在所述目标对象对应的存储集群中；服务器，所述服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理，得到目标数据集。6.进一步地，所述目标镜像中至少包括软件开发工具包，其中，所述软件开发工具包用于所述客户端与所述服务器进行信息交互。7.进一步地，所述数据处理单元包括任务配置界面和任务运维模块，其中，所述任务配置界面用于构建所述任务流，所述任务运维模块用于管控所述任务流的运行结果。8.进一步地，任务配置界面至少包括：任务节点区域和任务画布区域，其中，所述任务节点区域显示至少一个任务节点，所述任务画布区域用于显示所述任务流，其中，所述任务流是由所述目标对象的任务配置操作生成的，所述任务流由至少一个任务节点组成。9.进一步地，所述客户端还包括：数据检索单元，所述数据检索单元用于查询所述目标数据集和依据所述目标数据集模拟目标环境情况。10.根据本技术实施例的另一方面，还提供了一种数据管理方法，包括：获取目标对象上传的待处理的原始数据和目标镜像，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像，所述目标镜像存储在镜像仓库中，所述待处理的原始数据存储在所述目标对象对应的存储集群中；响应所述目标对象的任务配置操作，生成所述任务流，其中，所述任务流用于处理所述待处理的原始数据；通过所述目标镜像中的软件开发工具包将所述任务流发送至服务器，以使所述服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理。11.进一步地，响应所述目标对象的任务配置操作，生成所述任务流包括：确定所述目标对象在数据处理单元中的任务配置界面上触发的任务配置操作，其中，所述任务配置操作至少包括将任务节点区域中的任务节点移动至所述任务配置界面中的任务画布区域；响应所述任务配置操作，在所述任务画布区域中显示与所述任务配置操作对应的配置结果；依据所述配置结果生成所述任务流。12.根据本技术实施例的另一方面，还提供了一种数据管理方法，包括：接收任务流，其中，所述任务流是由目标对象在客户端的任务配置操作生成的；依据所述任务流中的目标镜像对应的存储地址从所述镜像仓库中获取所述目标镜像，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像；通过服务器基于所述任务流和所述目标镜像对待处理的原始数据进行处理，得到目标数据集，其中，所述待处理的原始数据由所述目标对象通过所述客户端上传至所述目标对象对应的存储集群。13.进一步地，通过服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理，得到目标数据集包括：从所述目标对象对应的存储集群中获取所述待处理的原始数据；调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集。14.进一步地，若所述待处理的原始数据为自动驾驶云场景下的数据信息，在调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集之后，所述方法还包括：依据所述目标数据集构建自动驾驶仿真场景；通过所述自动驾驶仿真场景模拟目标车辆的行驶过程，并生成所述目标车辆的模拟行驶过程中的空间位置信息；依据所述空间位置信息构建所述目标车辆的自动驾驶路线。15.根据本技术实施例的另一方面，还提供了一种数据管理装置，包括：第一获取单元，用于获取目标对象上传的待处理的原始数据和目标镜像，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像，目标镜像存储在镜像仓库中，所述待处理的原始数据存储在目标对象对应的存储集群中；响应单元，用于响应所述目标对象的任务配置操作，生成所述任务流，其中，所述任务流用于处理所述待处理的原始数据；发送单元，用于通过所述目标镜像中的软件开发工具包将所述任务流发送至服务器，以使所述服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理。16.进一步地，所述响应单元包括：确定模块，用于确定所述目标对象在数据处理单元中的任务配置界面上触发的任务配置操作，其中，所述任务配置操作至少包括将任务节点区域中的任务节点移动至所述任务配置界面中的任务画布区域；响应模块，用于响应所述任务配置操作，在所述任务画布区域中显示与所述任务配置操作对应的配置结果；生成模块，用于依据所述配置结果生成所述任务流。17.根据本技术实施例的另一方面，还提供了一种数据管理装置，包括：接收单元，用于接收任务流，其中，所述任务流是由目标对象在客户端的任务配置操作生成的；第二获取单元，用于依据所述任务流中的目标镜像对应的存储地址从所述镜像仓库中获取所述目标镜像，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像；处理单元，用于通过服务器基于所述任务流和所述目标镜像对待处理的原始数据进行处理，得到目标数据集，其中，所述待处理的原始数据由所述目标对象通过所述客户端上传至所述目标对象对应的存储集群。18.进一步地，所述处理单元包括：获取模块，用于从所述目标对象对应的存储集群中获取所述待处理的原始数据；调用模块，用于调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集；存储模块，用于将所述目标数据集存储至所述目标对象对应的存储集群和所述目标对象对应的检索数据库中。19.进一步地，若所述待处理的原始数据为自动驾驶云场景下的数据信息，所述装置还包括：第一构建单元，用于在调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集之后，依据所述目标数据集构建自动驾驶仿真场景；生成单元，用于通过所述自动驾驶仿真场景模拟目标车辆的行驶过程，并生成所述目标车辆的模拟行驶过程中的空间位置信息；第二构建单元，用于依据所述空间位置信息构建所述目标车辆的自动驾驶路线。20.根据本发明实施例的另一方面，还提供了一种数据管理装置，包括：接收单元，用于接收任务流，其中，所述任务流是由目标对象在客户端的任务配置操作生成的；第二获取单元，用于依据所述任务流中的目标镜像对应的存储地址从所述镜像仓库中获取所述目标镜像，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像；处理单元，用于基于所述任务流和所述目标镜像对待处理的原始数据进行处理，得到目标数据集，其中，待处理的原始数据由目标对象通过客户端上传至目标对象对应的存储集群。21.根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的数据管理方法。22.在本技术实施例中，通过客户端，客户端包括数据定义单元和数据处理单元，数据定义单元用于接收目标对象上传的待处理的原始数据和目标镜像，数据处理单元用于构建任务流，其中，目标镜像是用于处理待处理的原始数据的自定义算子对应的镜像，任务流是用于处理待处理的原始数据；服务器，服务器用于基于任务流和目标镜像对待处理的原始数据进行处理，得到目标数据集。解决了相关技术中没有对自动驾驶云场景下的各类型数据的处理平台，导致数据处理效率低的技术问题。通过客户端接收目标对象上传的各类待处理的原始数据和目标镜像，并在客户端上响应用户构建的任务流，然后在服务器中基于任务流和目标镜像对原始数据进行处理，得到目标数据集。通过数据管理系统中实现了自定义算子的功能，满足不同目标对象的定制化场景需求，进而达到了提高数据处理效率的效果。附图说明23.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：24.图1是根据本技术实施例一提供的数据管理系统的示意图；25.图2是根据本技术实施例一提供的任务配置界面的示意图；26.图3是根据本技术实施例一提供的数据管理系统的功能示意图；27.图4是根据本技术实施例一提供的构建任务流的示意图；28.图5是根据本技术实施例二提供的计算机终端的示意图；29.图6是根据本技术实施例二提供的数据管理方法的流程图；30.图7是根据本技术实施例二提供的数据标准化处理的流程图；31.图8是根据本技术实施例三提供的数据管理方法的流程图；32.图9是根据本技术实施例四提供的数据管理装置的示意图；33.图10是根据本技术实施例五提供的数据管理装置的示意图。具体实施方式34.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。35.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。36.首先，在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释：37.自动驾驶：在室外区域，包含城市道路、园区内部道路、高速公路的场景使用的，以控制载具移动为主要工作方式，运输人员或货物从一个地点到达另一个地点，并且在其过程中，通过计算机程序部分或全部接管其的移动控制的一类智能应用。38.自定义算子：通过用户开发的算法，满足特定的场景需求，可以被调度的一段程序。39.任务流：通过画布编排的方式构建一个有向无环图，能够直观展示上下游任务关系，并可以调度运行的服务。40.实施例141.自动驾驶行业中，在车辆实地采集、外部采买、模拟生成、仿真运行、人工标注、算法开发等过程中，会产生海量的数据，典型的一辆数据采集车每运行一秒就会产生700mb以上的各类原始数据，通常每天产生10-15tb数据。这些数据，需要经过各类处理如滤波、标定、融合、标注(自动/人工)等处理步骤后，才能够用于构建算法训练或评测数据集，以及用于构建仿真测实使用的场景数据。海量的数据处理需要强大的云平台下的计算能力，同时人工标注、数据筛选和case排查也需要用户人为的对数据进行预览、筛选、标注等操作。因此需要一个数据管理系统进行自动驾驶生产线上的各类数据的导入、分类管理、数据处理、人工数据操作、数据检索预览、数据输出等工作。42.在上述技术背景下，提出了一种数据管理系统，现在对本技术实施例一提供的数据管理系统进行介绍：43.如图1所示，该数据管理系统包括：客户端，客户端包括数据定义单元和数据处理单元，数据定义单元用于接收目标对象上传的待处理的原始数据和目标镜像，数据处理单元用于构建任务流，并将任务流传输至服务器，其中，目标镜像是用于处理待处理的原始数据的自定义算子对应的镜像，任务流是用于处理待处理的原始数据；目标镜像存储在镜像仓库中，待处理的原始数据存储在目标对象对应的存储集群中；服务器，服务器用于基于任务流和目标镜像对待处理的原始数据进行处理，得到目标数据集。44.目标镜像中至少包括软件开发工具包，其中，软件开发工具包用于客户端与服务器进行信息交互。数据处理单元包括任务配置界面和任务运维模块，其中，任务配置界面用于构建任务流，任务运维模块用于管控任务流的运行结果。45.任务配置界面至少包括：任务节点区域和任务画布区域，其中，任务节点区域显示至少一个任务节点，任务画布区域用于显示任务流，其中，所述任务流是由目标对象的任务配置操作生成的，任务流由至少一个任务节点组成。46.需要说明的是，服务器可以是云端服务器，利用云端服务器能够更加高速地处理自动驾驶场景下大量数据信息。47.具体地，如图1所示，数据管理系统包括客户端和服务器，客户端中包括数据定义单元、数据处理单元和数据检索单元。数据定义单元中还可以包括车辆和传感器定义模块、标签定义模块、数据集管理模块、数据源定义模块以自定义算子管理模块。车辆定义和传感器定义模块用于定义是哪个车辆或者哪一个传感器采集的待处理的原始数据；标签定义模块定义各类需要添加到原始数据上的标签；数据集管理模块接收目标对象上传的待处理的原始数据；数据源定义模块定义不同类型的数据源，以便能够处理各种类型的原始数据。数据处理单元中至少包括任务配置界面和任务运维模块。任务配置界面响应目标对象的任务配置操作生成用于处理原始数据的任务流。48.任务配置界面包括任务节点区域和任务画布区域，如图2所示，任务节点区域包括多个任务节点，在本技术实施例一提供的数据管理系统至少包括七大类任务节点，七大类任务节点对应不同数据处理方法。七大类任务节点可以包括数据接入节点、预处理节点、预标注节点、人工标注节点、数据拆分节点和数据导出节点。数据接入节点对应的数据处理方法为将目标对象上传的原始数据或者处理后得到的目标数据集服务器中的存储集群中。预处理节点对应的数据处理方法为对数据进行过滤、筛选等预处理；预标注节点对应的数据处理方法为对数据进行标签标注；人工标注节点对应的数据处理方法为指人工的方式对数据进行预览标注；数据拆分节点对应的数据处理方法为对数据进行拆分处理；数据导出节点对应的数据处理方法为将处理后的数据导出，以便构建自动驾驶仿真场景。任务画图区域，如图2所示，目标对象在任务配置界面根据需要的数据处理方法将相应的任务节点移动至任务画图区域形成任务流，通过任务流对数据进行处理。49.数据检索单元用于目标用户检索和查看数据，并且数据检索单元还可以基于目标数据集还原数据对应的真实环境，有助于目标对象对数据进行进一步的分析与处理。50.在服务器中依据任务流和目标镜像对原始数据进行处理，得到目标数据集。服务器需要包括以下功能：读写：对数据源的读写操作，适配不同的数据源，并提供同步、异步、批量写入的接口。调度，支持一次性任务和周期任务调度。权限：保存数据管理系统必要的ak(access key访问密钥)信息，以及提供token和临时ak授权机制。支持对不同角色、权限、用户和数据的关系校验，以做到数据隔离。51.通过软件工具开发包(software development kit，sdk)实现服务器与客户端之间的信息交互，软件工具开发包内置于目标镜像中。52.在一可选的实施例中，如图3所示，为数据管理系统的各部分的功能示意图。53.如图3所示，服务器包括以下功能：读写：对数据源(包括oss/pg/es等)的读写操作，适配不同的数据源。提供同步、异步、批量写入的接口。调度：提供任务编排能力，支持一次性任务和周期调度。权限：保存必要的ak信息，提供token和临时ak授权机制。支持不同角色、权限、用户、数据的关系校验，做到数据隔离。54.如图3所示，软件开发工具包包括以下功能：1.和服务器通信；2.从服务器获取token和临时ak信息；3.内置到基础镜像，可直接调用实现信息交互；3.支持多种编程语言。55.如图3所示，客户端需要基于基础镜像或者sdk来实现数据处理工作。56.在一可选的实施例中，采用上述数据管理系统实现数据标注和数据标准化过程。57.1、上传原始数据58.用户通过客户端上传原始数据到存储集群中，原始数据中可以包括待处理图片、车辆参数配置、标签等数据。59.2、开发自定义算子60.开发两个自定义算子：数据标准化算子和数据标注算子。将本地开发的自定义算子构建成对应的镜像，并将镜像存储到镜像仓库中。需要说明的是，用户可以自行开发自定义算子对应的镜像，镜像中需要包括上述的软件开发工具包。上述的数据管理系统同样会提供多个不同的基础镜像(内置软件开发工具包)，用户可以在基础镜像的基础上开发自定义的镜像，这样能够有效提高开发效率。61.上传完镜像之后，在数据管理系统上通过在任务节点上添加镜像对应的存储地址，以完成任务流的构建。62.3、编排任务流63.任务流分成两个：数据标准化任务流和数据标注任务流。64.数据标准化任务流：主要包括数据接入节点和数据标准化节点，页面配置较简单，如图2所示。65.数据标注任务流:只需要包括一个预标注节点，如图4所示。预标注节点主要负责拉取存储集群上的标签结构文件，并对标签结构文件进行解析并打标到对应的图片上。通过服务器运行上述任务流以完成对原始数据的处理，并在任务配置界面中显示运行结果，处理成功的数据存储在用户的存储集群中，目标对象可以通过客户端的数据检索单元查看任务流处理后的图片效果。66.综上所述，通过客户端，客户端包括数据定义单元和数据处理单元，数据定义单元用于接收目标对象上传的待处理的原始数据和目标镜像，数据处理单元用于构建任务流，其中，目标镜像是用于处理待处理的原始数据的自定义算子对应的镜像，任务流是用于处理待处理的原始数据；服务器，服务器用于基于任务流和目标镜像对待处理的原始数据进行处理，得到目标数据集，解决了相关技术中没有对自动驾驶云场景下的各类型数据的处理平台，导致数据处理效率低的技术问题。通过客户端接收目标对象上传的各类待处理的原始数据和目标镜像，并在客户端上响应用户构建的任务流，然后在服务器中基于任务流和目标镜像对原始数据进行处理，得到目标数据集。通过数据管理系统中实现了自定义算子的功能，满足不同目标对象的定制化场景需求，进而达到了提高数据处理效率的效果。67.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。68.实施例269.根据本技术实施例，还提供了一种数据管理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。70.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图5示出了一种用于实现数据管理方法的计算机终端(或移动设备)的硬件结构框图。如图5所示，计算机终端10(或移动设备10)可以包括处理器集合102(处理器集合102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置、以及处理器集合102可以包括多个处理器，图1中采用102a，102b，……，102n来示出)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图5所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。71.应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。72.存储器104可用于存储应用软件的软件程序以及模块，如本技术实施例中的数据管理方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据管理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。73.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。74.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。75.在上述运行环境下，本技术提供了如图6所示的数据管理方法。图6是根据本技术实施例二的数据管理方法的流程图。76.步骤s601，获取目标对象上传的待处理的原始数据和目标镜像，其中，目标镜像是用于处理待处理的原始数据的自定义算子对应的镜像，目标镜像存储在镜像仓库中，所述待处理的原始数据存储在目标对象对应的存储集群中。77.步骤s602，响应目标对象的任务配置操作，生成任务流，其中，任务流是用于处理待处理的原始数据。78.步骤s603，通过目标镜像中的软件开发工具包将任务流发送至服务器，以使服务器基于任务流和目标镜像对待处理的原始数据进行处理。79.具体地，上述的数据管理方法可以应用于上述的数据管理系统。目标对象通过客户端的数据定义单元上传待处理的原始数据和目标镜像，待处理的原始数据被存储在云端的存储集群中，目标镜像被存储在镜像仓库中。80.目标对象通过客户端的数据处理单元进行任务配置，生成用于处理原始数据的任务流。然后利用目标镜像中的软件开发工具包将任务流发送至服务器，在服务器中基于任务流和目标镜像完成对待处理的原始数据的处理，以得到目标数据集。81.综上所述，通过上述步骤能够有效满足不同目标的定制化数据处理需求，提高了数据处理效率。82.为了提高目标对象构建任务流的效率，在本技术提供的实施例二的数据管理方法中，采用以下步骤生成任务流：确定目标对象在数据处理单元中的任务配置界面上触发的任务配置操作，其中，任务配置操作至少包括将任务节点区域中的任务节点移动至任务配置界面中的任务画布区域；响应任务配置操作，在任务画布区域中显示与任务配置操作对应的配置结果；依据配置结果生成任务流。83.具体地，目标对象在任务配置界面直接移动需要的任务节点，将任务节点移动至任务画布区域，在任务画布区域显示目标对象选择的任务节点，并形成任务流，如图4中所示的数据标准化的任务流。通过任务配置界面，目标对象只需要进行简单拖曳就可以得到需要的任务流，提高了构建任务流的效率。84.在一可选的实施例中，对原始数据进行标准化处理过程如图7所示，具体包括以下内容：85.用户在本地开发数据标准化的自定义算子和对应的镜像，用户可以完全自主开发数据标准化的自定义算子和对应的镜像。如图7中的自定义算子管理和镜像管理可以用于管理用户自行开发的各类算子和各类镜像。由于在镜像仓库中包括多个不同的基础镜像，用户也可以从多个基础镜像中选择需要的基础镜像，在基础镜像的基础上进行开发得到数据标准化的镜像，并将该数据标准化的镜像存储在镜像仓库中，如图7所示。需要说明的是，可以通过图7中的sdk开发主体开发不同的基础镜像，用户可以通过用户开发节点上基于基础镜像开发需要的自定义算子与对应的镜像。86.在客户端构建数据标准化的任务流。在服务器中首先根据任务流进行任务调度，以从镜像仓库中获取数据标准化的镜像，然后从存储集群中读取待处理的原始数据，利用在线服务类型节点通过数据标准化的镜像对原始数据进行标准化处理，并将处理后的数据写入存储集群中。服务器还会将处理后的数据写入检索数据库以及关系型数据库，以便后续用户进行检索和预览。87.在本发明实施例二提供的数据管理方法中，通过获取目标对象上传的待处理的原始数据和目标镜像，并将目标镜像存储至镜像仓库中，目标镜像是用于处理待处理的原始数据的自定义算子对应的镜像；响应目标对象的任务配置操作，生成任务流，其中，任务流是用于处理待处理的原始数据；通过目标镜像中的软件开发工具包将任务流发送至服务器，以使服务器基于任务流和目标镜像对待处理的原始数据进行处理，解决了相关技术中没有对自动驾驶云场景下的各类型数据的处理平台，导致数据处理效率低的技术问题。通过客户端接收目标对象上传的各类待处理的原始数据和目标镜像，并在客户端上响应用户构建的任务流，然后在服务器中基于任务流和目标镜像对原始数据进行处理，得到目标数据集。通过数据管理系统中实现了自定义算子的功能，满足不同目标对象的定制化场景需求，进而达到了提高数据处理效率的效果。88.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。89.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。90.实施例391.根据本技术实施例，以服务器的角度，还提供了一种数据管理方法，如图8所示。图8是根据本技术实施例二的数据管理方法的流程图，该方法包括：92.步骤s801,接收任务流，其中，任务流是由目标对象在客户端的任务配置操作生成的。93.步骤s802,依据任务流中的目标镜像对应的存储地址从镜像仓库中获取目标镜像，其中，目标镜像是用于处理待处理的原始数据的自定义算子对应的镜像.94.步骤s803,基于任务流和目标镜像对待处理的原始数据进行处理，得到目标数据集，其中，待处理的原始数据为目标对象通过客户端上传的。95.具体地，将目标对象在客户端构建的任务流传输至服务器，服务器接收任务流，并根据任务流中的目标镜像对应的存储地址从镜像仓库中获取目标镜像。服务器利用目标镜像对待处理的原始数据进行处理，得到目标数据集。96.通过上述步骤，能够有效满足不同目标的定制化数据处理需求，提高了数据处理效率。97.基于任务流和目标镜像对待处理的原始数据进行处理，得到目标数据集包括：从目标对象对应的存储集群中获取待处理的原始数据；调用目标镜像对待处理的原始数据进行数据处理，得到目标数据集；将目标数据集存储至目标对象对应的存储集群和目标对象对应的检索数据库中。98.在服务器中首先根据任务流从镜像仓库中获取数据标准化的镜像，然后从存储集群中读取待处理的原始数据，通过数据标准化的镜像对原始数据进行标准化处理，并将处理后的数据写入存储集群中。服务器还会将处理后的数据写入检索数据库以及关系型数据库，以便后续用户进行检索和预览。99.在自动驾驶行业中，对原始数据进行各类处理后，以便根据处理后的数据构建自动驾驶仿真测试使用的场景数据。所以若待处理的原始数据为自动驾驶云场景下的数据信息，在调用目标镜像对待处理的原始数据进行数据处理，得到目标数据集之后包括：依据目标数据集构建自动驾驶仿真场景；通过自动驾驶仿真场景模拟目标车辆的行驶过程，并生成目标车辆的模拟行驶过程中的空间位置信息；依据空间位置信息构建目标车辆的自动驾驶路线。100.具体地，可以利用目标数据集构建自动驾驶仿真场景，利用自动驾驶仿真场景模拟目标车辆的行驶过程，并得到模拟行驶过程中的空间位置信息，根据空间位置信息规划和自动驾驶路线。101.在本发明实施例三提供的数据管理方法中，通过接收任务流，其中，所述任务流是由目标对象在客户端的任务配置操作生成的；依据所述任务流中的目标镜像对应的存储地址从所述镜像仓库中获取所述目标镜像，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像；通过服务器基于所述任务流和所述目标镜像对待处理的原始数据进行处理，得到目标数据集，其中，待处理的原始数据由目标对象通过客户端上传至所述目标对象对应的存储集群，解决了相关技术中没有对自动驾驶云场景下的各类型数据的处理平台，导致数据处理效率低的技术问题。通过客户端接收目标对象上传的各类待处理的原始数据和目标镜像，并在客户端上响应用户构建的任务流，然后在服务器中基于任务流和目标镜像对原始数据进行处理，得到目标数据集。通过数据管理系统中实现了自定义算子的功能，满足不同目标对象的定制化场景需求，进而达到了提高数据处理效率的效果。102.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。103.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。104.实施例4105.根据本技术实施例，还提供了一种用于实施实施例二的数据管理方法的装置，如图9所示，该装置包括：第一获取单元901，响应单元902和发送单元903。106.第一获取单元901，用于获取目标对象上传的待处理的原始数据和目标镜像，其中，目标镜像是用于处理待处理的原始数据的自定义算子对应的镜像，目标镜像存储在镜像仓库中，所述待处理的原始数据存储在目标对象对应的存储集群中；107.响应单元902，用于响应目标对象的任务配置操作，生成任务流，其中，任务流是用于处理待处理的原始数据；108.发送单元903，用于通过目标镜像中的软件开发工具包将任务流发送至服务器，以使服务器基于任务流和目标镜像对待处理的原始数据进行处理。109.在本发明实施例四提供的数据管理装置中，通过第一获取单元901获取目标对象上传的待处理的原始数据和目标镜像，其中，目标镜像是用于处理待处理的原始数据的自定义算子对应的镜像；响应单元902响应目标对象的任务配置操作，生成任务流，其中，任务流是用于处理待处理的原始数据；发送单元903通过目标镜像中的软件开发工具包将任务流发送至服务器，以使服务器基于任务流和目标镜像对待处理的原始数据进行处理，解决了相关技术中没有对自动驾驶云场景下的各类型数据的处理平台，导致数据处理效率低的技术问题。通过客户端接收目标对象上传的各类待处理的原始数据和目标镜像，并在客户端上响应用户构建的任务流，然后在服务器中基于任务流和目标镜像对原始数据进行处理，得到目标数据集。通过数据管理系统中实现了自定义算子的功能，满足不同目标对象的定制化场景需求，进而达到了提高数据处理效率的效果。110.在本技术实施例四提供的数据管理装置中，响应单元902包括：确定模块，用于确定目标对象在数据处理单元中的任务配置界面上触发的任务配置操作，其中，任务配置操作至少包括将任务节点区域中的任务节点移动至任务配置界面中的任务画布区域；响应模块，用于响应任务配置操作，在任务画布区域中显示与任务配置操作对应的配置结果；生成模块，用于依据配置结果生成任务流。111.此处需要说明的是，上述的第一获取单元901，响应单元902和发送单元903对应于实施例1中的步骤s601至步骤s603，三个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例二所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例二提供的计算机终端10中。112.需要说明的是，本技术上述实施例中涉及到的优选实施方案与实施例2提供的方案以及应用场景、实施过程相同，但不仅限于实施例2所提供的方案。113.实施例5114.根据本技术实施例，还提供了一种用于实施实施例三的数据管理方法的装置，如图10所示，该装置包括：接收单元1001，第二获取单元1002和处理单元1003。115.接收单元1001，用于接收任务流，其中，所述任务流是由目标对象在客户端的任务配置操作生成的；116.第二获取单元1002，用于依据所述任务流中的目标镜像对应的存储地址从所述镜像仓库中获取所述目标镜像，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像；117.处理单元1003，用于基于所述任务流和所述目标镜像对待处理的原始数据进行处理，得到目标数据集，其中，待处理的原始数据由目标对象通过客户端上传至目标对象对应的存储集群。118.在本技术实施例五提供的数据管理装置中，所述处理单元1003包括：获取模块，用于从所述目标对象对应的存储集群中获取所述待处理的原始数据；调用模块，用于调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集；存储模块，用于将所述目标数据集存储至所述目标对象对应的存储集群和所述目标对象对应的检索数据库中。119.在本技术实施例五提供的数据管理装置中，若所述待处理的原始数据为自动驾驶云场景下的数据信息，所述装置还包括：第一构建单元，用于在调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集之后，依据所述目标数据集构建自动驾驶仿真场景；生成单元，用于通过所述自动驾驶仿真场景模拟目标车辆的行驶过程，并生成所述目标车辆的模拟行驶过程中的空间位置信息；第二构建单元，用于依据所述空间位置信息构建所述目标车辆的自动驾驶路线。120.此处需要说明的是，上述的接收单元1001，第二获取单元1002和处理单元1003对应于实施例三中的步骤s801至步骤s803，三个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例三所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例二提供的计算机终端10中。121.实施例6122.本技术的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。123.可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。124.在本实施例中，上述计算机终端可以执行数据管理方法中以下步骤的程序代码：获取目标对象上传的待处理的原始数据和目标镜像，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像，目标镜像存储在镜像仓库中，所述待处理的原始数据存储在目标对象对应的存储集群中；响应所述目标对象的任务配置操作，生成所述任务流，其中，所述任务流用于处理所述待处理的原始数据；通过所述目标镜像中的软件开发工具包将所述任务流发送至服务器，以使所述服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理。125.上述计算机终端还可以执行数据管理方法中以下步骤的程序代码：响应所述目标对象的任务配置操作，生成所述任务流包括：确定所述目标对象在数据处理单元中的任务配置界面上触发的任务配置操作，其中，所述任务配置操作至少包括将任务节点区域中的任务节点移动至所述任务配置界面中的任务画布区域；响应所述任务配置操作，在所述任务画布区域中显示与所述任务配置操作对应的配置结果；依据所述配置结果生成所述任务流。126.上述计算机终端还可以执行数据管理方法中以下步骤的程序代码：接收任务流，其中，所述任务流是由目标对象在客户端的任务配置操作生成的；依据所述任务流中的目标镜像对应的存储地址从所述镜像仓库中获取所述目标镜像，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像；通过服务器基于所述任务流和所述目标镜像对待处理的原始数据进行处理，得到目标数据集，其中，所述待处理的原始数据由目标对象通过所述客户端上传至目标对象对应的存储集群。127.上述计算机终端还可以执行数据管理方法中以下步骤的程序代码：通过服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理，得到目标数据集包括：从所述目标对象对应的存储集群中获取所述待处理的原始数据；调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集；将所述目标数据集存储至所述目标对象对应的存储集群和所述目标对象对应的检索数据库中。128.上述计算机终端还可以执行数据管理方法中以下步骤的程序代码：若所述待处理的原始数据为自动驾驶云场景下的数据信息，在调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集之后，所述方法还包括：依据所述目标数据集构建自动驾驶仿真场景；通过所述自动驾驶仿真场景模拟目标车辆的行驶过程，并生成所述目标车辆的模拟行驶过程中的空间位置信息；依据所述空间位置信息构建所述目标车辆的自动驾驶路线。129.本发明的实施例还提供一种电子设备，设备包括处理器、存储器即存在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取目标对象上传的待处理的原始数据和目标镜像，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像，目标镜像存储在镜像仓库中，待处理的原始数据存储在目标对象对应的存储集群中；响应所述目标对象的任务配置操作，生成所述任务流，其中，所述任务流用于处理所述待处理的原始数据；通过所述目标镜像中的软件开发工具包将所述任务流发送至服务器，以使所述服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理。130.上述处理器执行程序时实现以下步骤：响应所述目标对象的任务配置操作，生成所述任务流包括：确定所述目标对象在数据处理单元中的任务配置界面上触发的任务配置操作，其中，所述任务配置操作至少包括将任务节点区域中的任务节点移动至所述任务配置界面中的任务画布区域；响应所述任务配置操作，在所述任务画布区域中显示与所述任务配置操作对应的配置结果；依据所述配置结果生成所述任务流。131.上述处理器执行程序时实现以下步骤：接收任务流，其中，所述任务流是由目标对象在客户端的任务配置操作生成的；依据所述任务流中的目标镜像对应的存储地址从所述镜像仓库中获取所述目标镜像，其中，所述目标镜像是用于处理所述待处理的原始数据的自定义算子对应的镜像；通过服务器基于所述任务流和所述目标镜像对待处理的原始数据进行处理，得到目标数据集，其中，所述待处理的原始数据由所述目标对象通过所述客户端上传至所述目标对象对应的存储集群。132.上述处理器执行程序时实现以下步骤：通过服务器基于所述任务流和所述目标镜像对所述待处理的原始数据进行处理，得到目标数据集包括：从所述目标对象对应的存储集群中获取所述待处理的原始数据；调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集；将所述目标数据集存储至所述目标对象对应的存储集群和所述目标对象对应的检索数据库中。133.上述处理器执行程序时实现以下步骤：若所述待处理的原始数据为自动驾驶云场景下的数据信息，在调用所述目标镜像对所述待处理的原始数据进行数据处理，得到所述目标数据集之后，所述方法还包括：依据所述目标数据集构建自动驾驶仿真场景；通过所述自动驾驶仿真场景模拟目标车辆的行驶过程，并生成所述目标车辆的模拟行驶过程中的空间位置信息；依据所述空间位置信息构建所述目标车辆的自动驾驶路线。134.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。135.在本技术的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。136.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。137.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。138.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。139.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。140.以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!