数据导入方法、装置、计算机设备和存储介质与流程

计算;推算;计数设备的制造及其应用技术1.本技术涉及人工智能技术领域，具体涉及一种数据导入方法、装置、计算机设备和存储介质。背景技术：2.在当今的数据化时代，很多公司的业务系统都会提供有前端导入相关数据的功能。现有实现导入相关数据的功能的流程通常需要开发前端用于导入数据的页面，编写后端的java类代码以对数据进行校验，创建用于分别存储不同数据的多张数据库表。然而，现有每一个前端导入功能因为导入的数据存在差异，如字段不同或类型不同，使得每一个前端导入功能都需要写一套这样的流程。但这样做不但会拉长开发周期，且相似的流程也会产生很大冗余代码，由于代码多而分散会使得后期维护困难。因此，现有的数据导入方式存在开发人员的重复性工作量较大，且处理智能性较低的技术问题。技术实现要素：3.本技术的主要目的为提供一种数据导入方法、装置、计算机设备和存储介质，旨在解决现有的数据导入方式存在开发人员的重复性工作量较大，且处理智能性较低的技术问题。4.本技术提出一种数据导入方法，所述方法包括步骤：5.通过预设的导入组件获取客户端触发的数据导入请求；其中，所述数据导入请求中携带预设格式的文件；6.从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据；7.基于预设的反射机制对所有所述第一数据进行解析校验处理，从所有所述第一数据中筛选出校验通过的第二数据；8.基于预设格式对所述第二数据进行格式转换，得到对应的第三数据；9.将所述第三数据存储于预设的数据库表内。10.可选地，所述数据导入请求还携带有处理时效信息，所述从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据的步骤，包括：11.从所述数据导入请求中提取出所述处理时限信息；12.调用预设映射表，从所述预设映射表中查询出与所述处理时限信息对应的处理缓急分数；13.判断所述处理缓急分数是否小于预设的分数阈值；14.若小于所述分数阈值，获取当前时间；15.判断所述当前时间是否处于预设的处理空闲时间段内；16.若处于所述处理空闲时间段内，从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据。17.可选地，所述判断所述当前时间是否处于预设的处理空闲时间段内的步骤之前，包括：18.获取预设的处理高峰时间段，从一天包含的处理时间段中剔除所述处理高峰时间段得到相应的指定时间段，并将所述指定时间段划分为多个第一单位时间段；19.获取预设的装置数据处理记录表，并从所述装置数据处理记录表中查询出与预设时间周期内包含的每一天的各个所述第一单位时间段一一对应的数据处理量；20.从所有所述数据处理量中筛选出小于预设的数据处理阈值的指定数据处理量；21.从所述第一单位时间段中筛选出与各所述指定数据处理量分别对应的第二单位时间段；22.对所有所述第二单位时间段进行去重处理，得到处理后的多个第三单位时间段；其中，各个第三单位时间段为时间范围各不相同的时间段；23.基于所有所述第二单位时间段，统计得到每一个所述第三单位时间段在所有所述第二单位时间段中的出现次数；24.按照所述出现次数的数值从大到小的顺序对所有所述第三单位时间段进行排序，得到对应的排序结果；25.从所述排序结果中排序第一的第三单位时间段开始，依次获取预设数量的第四单位时间段；26.将所有所述第四单位时间段作为所述处理空闲时间段。27.可选地，所述基于预设的反射机制对所有所述第一数据进行解析校验处理，从所有所述第一数据中筛选出校验通过的第二数据的步骤，包括：28.获取所述文件中与所述第一数据对应的已配置的所有字段；29.通过所述反射机制解析得到与各所述字段分别对应的对象；30.基于各所述对象上的注解获取与各所述字段分别对应的字段属性信息；31.基于所述字段属性信息生成与各所述第一数据分别对应的校验规则；32.基于各所述校验规则对各自对应的所述第一数据进行校验，得到所述第一数据中校验通过的第二数据。33.可选地，所述基于各所述校验规则对各自对应的所述第一数据进行校验，得到所述第一数据中校验通过的第二数据的步骤，包括：34.对于每一个所述第一数据，获取与各所述第一数据分别对应的目标验证规则；35.基于预设的并行处理指令，调用各所述目标验证规则分别对各自对应的第一数据的数据格式进行校验处理，并判断所述数据格式是否为正确格式；36.若所述数据格式为正确格式，将所述第一数据确定为校验通过的第二数据；37.若所述数据格式不为正确格式，将所述第一数据确定为校验未通过的异常数据。38.可选地，所述基于预设的反射机制对所有所述第一数据进行解析校验处理，从所有所述第一数据中筛选出校验通过的第二数据的步骤之后，包括：39.判断所述第一数据中是否存在校验未通过的第四数据；40.若是，基于所述第四数据与所述文件生成相应的异常文件；41.获取预设的异常处理信息；42.将所述异常文件与所述异常处理信息返回至所述客户端。43.可选地，所述基于所述第四数据与所述文件生成相应的异常文件的步骤，包括：44.从所述文件中筛选出所述第四数据；45.对所述第四数据进行标记处理，得到标记后的第四数据；46.获取与所述标记后的第四数据对应的指定校验规则，在与所述标记后的第四数据对应的预设位置处填充所述指定校验规则，得到处理后的文件；47.将所述处理后的文件作为所述异常文件。48.本技术还提供一种数据导入装置，包括：49.第一获取模块，用于通过预设的导入组件获取客户端触发的数据导入请求；其中，所述数据导入请求中携带预设格式的文件；50.第二获取模块，用于从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据；51.校验模块，用于基于预设的反射机制对所有所述第一数据进行解析校验处理，从所有所述第一数据中筛选出校验通过的第二数据；52.转换模块，用于基于预设格式对所述第二数据进行格式转换，得到对应的第三数据；53.存储模块，用于将所述第三数据存储于预设的数据库表内。54.本技术还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。55.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。56.本技术中提供的数据导入方法、装置、计算机设备和存储介质，具有以下有益效果：57.本技术中提供的数据导入方法、装置、计算机设备和存储介质，通过预设的导入组件获取客户端触发的数据导入请求，然后从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据，之后基于预设的反射机制对所有所述第一数据进行解析校验，从所有所述第一数据中筛选出校验通过的第二数据，后续基于预设格式对所述第二数据进行格式转换，得到对应的第三数据，最后将所述第三数据存储于预设的数据库表内。本技术通过结合导入组件与反射机制的使用，实现了快速便捷地进行对于数据导入请求中携带的文件内的待导入数据的数据导入处理，操作简单灵活，有效地减少了开发人员的重复性工作量，提高了数据导入的处理智能性。附图说明58.图1是本技术一实施例的数据导入方法的流程示意图；59.图2是本技术一实施例的数据导入装置的结构示意图；60.图3是本技术一实施例的计算机设备的结构示意图。61.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式62.应当理解，此处所描述的具体实施例仅仅用于解释本技术，并不用于限定本技术。63.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。64.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。65.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。66.参照图1，本技术一实施例的数据导入方法，包括：67.s10：通过预设的导入组件获取客户端触发的数据导入请求；其中，所述数据导入请求中携带预设格式的文件；68.s20：从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据；69.s30：基于预设的反射机制对所有所述第一数据进行解析校验处理，从所有所述第一数据中筛选出校验通过的第二数据；70.s40：基于预设格式对所述第二数据进行格式转换，得到对应的第三数据；71.s50：将所述第三数据存储于预设的数据库表内。72.如上述步骤s10至s50所述，本方法实施例的执行主体为一种数据导入装置。在实际应用中，上述数据导入装置可以通过虚拟装置，例如软件代码实现，也可以通过写入或集成有相关执行代码的实体装置实现，且可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。本实施例中的数据导入装置，能够实现快速便捷地进行对于数据导入请求中携带的文件内的数据的导入处理，有效地减少了开发人员的重复性工作量，提高了数据导入的处理智能性。73.具体地，首先通过预设的导入组件获取客户端触发的数据导入请求。其中，所述数据导入请求中携带预设格式的文件。其中，所述数据导入请求是用户通过客户端触发的用于将文件中的数据存储至数据库内的请求。所述文件包含多个第一数据，每个第一数据包括一个字段，以及与该字段对应的字段值。另外，可以预先将需要导入的数据填充至该文件内，然后点击数据导入按钮，进而装置可以通过所述导入组件获取到相应的携带有文件的数据导入请求。所述预设格式可为excel文件。所述导入组件可为相关人员根据实际业务需求后编写生成的用于对客户端触发的数据导入请求进行获取的代码功能模块。然后从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据。之后基于预设的反射机制对所有所述第一数据进行解析校验处理，从所有所述第一数据中筛选出校验通过的第二数据。其中，对于所述基于预设的反射机制对所有所述第一数据进行解析校验处理，从所有所述第一数据中筛选出校验通过的第二数据的具体实施过程，本技术将在后续的具体实施例中对此进行进一步的细节描述，在此不作过多阐述。74.后续基于预设格式对所述第二数据进行格式转换，得到对应的第三数据。其中，所述预设格式具体可为json格式，所述第二数据可为excel格式的数据，所述第三数据为具有json格式的数据。使用json格式存放数据可以规避因为字段名称或类型不一致而导致表结构不适用的情况，即通过将所有的第二数据转换成具有相同格式的第三数据，使得可以将所有第三数据一起存储至同一张数据库表内。不同于现有使用不同的数据库表对不同的数据进行存储的方式，通过只使用一张统一的数据库表来对所有待导入的数据进行存储，从而可以通过减少数据库表的数量以降低数据库的存储容量，避免了使用众多的数据表带来维护困难的问题，有利于后续的对于该数据库表的维护和查找问题更加简单，提高了数据存储的智能性。最后将所述第三数据存储于预设的数据库表内。其中，所述数据库表为数据库内的一张数据表，具体可为一张拥有clob大字段的数据库表，且会使用该数据库表来对来自不同客户端的待导入数据的存储处理。通过只使用一张统一的数据库表实现存储功能，减少了数据库表的数量从而可以降低数据库存储，且单一的数据库表可以让后续的维护和查找问题更加简单。75.本实施例中，通过预设的导入组件获取客户端触发的数据导入请求，然后从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据，之后基于预设的反射机制对所有所述第一数据进行解析校验，从所有所述第一数据中筛选出校验通过的第二数据，后续基于预设格式对所述第二数据进行格式转换，得到对应的第三数据，最后将所述第三数据存储于预设的数据库表内。本实施例通过结合导入组件与反射机制的使用，实现了快速便捷地进行对于数据导入请求中携带的文件内的待导入数据的数据导入处理，操作简单灵活，有效地减少了开发人员的重复性工作量，提高了数据导入的处理智能性。76.进一步地，本技术一实施例中，所述数据导入请求还携带有处理时效信息，上述步骤s20，包括：77.s200：从所述数据导入请求中提取出所述处理时限信息；78.s201：调用预设映射表，从所述预设映射表中查询出与所述处理时限信息对应的处理缓急分数；79.s202：判断所述处理缓急分数是否小于预设的分数阈值；80.s203：若小于所述分数阈值，获取当前时间；81.s204：判断所述当前时间是否处于预设的处理空闲时间段内；82.s205：若处于所述处理空闲时间段内，从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据。83.如上述步骤s200至s205所述，所述数据导入请求还携带有处理时效信息，所述从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据的步骤，具体可包括：首先从所述数据导入请求中提取出所述处理时限信息。其中，所述处理时限信息是用于表征当前的该数据导入请求是否属于需要加急处理的信息，单位可以为小时。举例地，如果处理时限信息为24小时，则表明需要在24小时，即一天内完成对于该数据导入请求的处理。然后调用预设映射表，从所述预设映射表中查询出与所述处理时限信息对应的处理缓急分数。其中，所述预设映射表为根据实际需求预先生成的存储有多个处理时限信息，以及与每一个处理时限信息分别对应的处理缓急分数的数据表。处理时限信息的数值越小24：00。通过利用处理高峰时间段对所有一天包含的处理时间段进行初步筛选，使得后续只需对预设时间周期内各所述指定时间段的数据处理量进行统计，而不用对所有时间段的数据处理量进行统计，有效的减少了数据统计量，降低了装置的统计损耗，提高了装置的处理智能性。另外，可以按照1小时为单位对指定时间段进行划分处理，进而得到对应的多个第一单位时间段。举例地，假如指定时间段为12：00-14：00，则对其进行划分后可得到第一单位时间段为：12：00-13：00与13：00-14：00。然后获取预设的装置数据处理记录表，并从所述装置数据处理记录表中查询出与预设时间周期内包含的每一天的各个所述第一单位时间段一一对应的数据处理量。其中，所述数据处理记录表为预先存储的记录有装置的数据处理情况的数据表。另外，对于所述预设时间周期不做具体限定，可根据实际需求进行设置。举例地，上述预设时间周期可为与当前时间相邻的上一个月。在得到了数据处理量后，从所有所述数据处理量中筛选出小于预设的数据处理阈值的指定数据处理量。其中，对于所述数据处理阈值的取值不作具体限定，可根据实际需求进行设置。之后从所述第一单位时间段中筛选出与各所述指定数据处理量分别对应的第二单位时间段。在得到了第二单位时间段后，对所有所述第二单位时间段进行去重处理，得到处理后的多个第三单位时间段。其中，各个第三单位时间段为时间范围各不相同的时间段。后续基于所有所述第二单位时间段，统计得到每一个所述第三单位时间段在所有所述第二单位时间段中的出现次数。其中，如果第三单位时间段在预设时间周期内出现的次数越多，则表明该第三单位时间段越趋向于处理空闲的时间段。在得到了出现次数后，按照所述出现次数的数值从大到小的顺序对所有所述第三单位时间段进行排序，得到对应的排序结果。最后从所述排序结果中排序第一的第三单位时间段开始，依次获取预设数量的第四单位时间段。其中，对于所述预设数量的取值不作具体限定，可根据实际需求进行设置。并将所有所述第四单位时间段作为所述处理空闲时间段。本实施例中，通过基于预设的处理高峰时间段从一天包含的处理时间段中筛选出指定时间段，再从所述装置数据处理记录表中查询出，装置在与预设时间周期中每一天的各个所述第一单位时间段一一对应的数据处理量，并对该数据处理量与预设的数据处理阈值进行分析处理得到多个第三单位时间段，进而根据各个第三单位时间段的出现频率来智能地确定出装置最终的处理空闲时间段，有效地提高了生成的处理空闲时间段的准确性。且后续会在该处理空闲时间段内进行对于数据导入请求的处理流程，而不会在装置处于处理高峰时间段内进行数据导入请求的处理，从而不会影响用户的正常使用，也不会对数据导入请求的正常处理造成影响，保证了装置资源的合理利用，有效地提高了数据导入请求的处理稳定性与处理效率。95.进一步地，本技术一实施例中，上述步骤s30，包括：96.s300：获取所述文件中与所述第一数据对应的已配置的所有字段；97.s301：通过所述反射机制解析得到与各所述字段分别对应的对象；98.s302：基于各所述对象上的注解获取与各所述字段分别对应的字段属性信息；99.s303：基于所述字段属性信息生成与各所述第一数据分别对应的校验规则；100.s304：基于各所述校验规则对各自对应的所述第一数据进行校验，得到所述第一数据中校验通过的第二数据。101.如上述步骤s300至s304所述，所述基于预设的反射机制对所有所述第一数据进行解析校验处理，从所有所述第一数据中筛选出校验通过的第二数据的步骤，具体可包括：首先获取所述文件中与所述第一数据对应的已配置的所有字段。其中，所述反射机制为java反射机制，所述对象为class对象。具体的，java反射机制是java语言的一种特征，通过在运行java程序时候动态加载类，从而对于任意一个类，都能够知道这个类的所有属性和方法，不需要提前在编译期解析运行的对象，并且可以操作类或对象内部属性。然后通过所述反射机制解析得到与各所述字段分别对应的对象。其中，通过java反射机制可以基于文件中已配置的所有字段的对象的注解来获取到相对应的字段属性信息。之后基于各所述对象上的注解获取与各所述字段分别对应的字段属性信息。其中，所述字段属性信息至少包括所述字段的中文标识、字段的英文标识、值类型、是否可下拉选值、字段长度、是否必填和显示格式中的一种或多种。后续基于所述字段属性信息生成与各所述第一数据分别对应的校验规则。其中，可以基于第一数据的字段属性信息生成相对应的校验规则。举例地，假如某一个第一数据包含字段“工资结算日”，其字段属性信息为：显示格式为yyyy-mm-dd，则校验规则可为校验字段“工资结算日”所对应的字段值是否符合yyyy-mm-dd的显示格式，若符合则判定该第一数据通过验证，若不符合则判定该第一数据未通过验证。最后基于各所述校验规则对各自对应的所述第一数据进行校验，得到所述第一数据中校验通过的第二数据。其中，对于所述基于各所述校验规则对各自对应的所述第一数据进行校验，得到所述第一数据中校验通过的第二数据的具体实施过程，本技术将在后续的具体实施例中对此进行进一步的细节描述，在此不作过多阐述。本实施例中，通过反射机制的使用能够快速地获取到文件中已配置的所有字段的字段属性信息，从而可以基于所述字段属性信息生成与各所述第一数据分别对应的校验规则，进而有利于基于各所述校验规则对各自对应的所述第一数据进行校验，得到所述第一数据中校验通过的第二数据，以实现快速智能地完成对于第一数据的校验处理，保证了数据导入的数据规范性与准确性。102.进一步地，本技术一实施例中，上述步骤s304，包括：103.s3040：对于每一个所述第一数据，获取与各所述第一数据分别对应的目标验证规则；104.s3041：基于预设的并行处理指令，调用各所述目标验证规则分别对各自对应的第一数据的数据格式进行校验处理，并判断所述数据格式是否为正确格式；105.s3042：若所述数据格式为正确格式，将所述第一数据确定为校验通过的第二数据；106.s3043：若所述数据格式不为正确格式，将所述第一数据确定为校验未通过的异常数据。107.如上述步骤s3040至s3043所述，所述基于各所述校验规则对各自对应的所述第一数据进行校验，得到所述第一数据中校验通过的第二数据的步骤，具体可包括：108.首先对于每一个所述第一数据，获取与各所述第一数据分别对应的目标验证规则。109.然后基于预设的并行处理指令，调用各所述目标验证规则分别对各自对应的第一数据的数据格式进行校验处理，并判断所述数据格式是否为正确格式。其中，可以基于预设的并行处理指令，来并行执行调用各所述目标验证规则分别对各自对应的第一数据的数据格式进行校验处理，并判断所述数据格式是否为正确格式的处理过程。所述并行处理指令具体可为单指令流多数据流(single instruction multiple data，simd)指令。举例地，某一个第一数据包含字段“业务编号”，该第一数据的检验规则为：字段值为必填、值类型为string、字段长度为32，则将该第一数据对应字段“业务编号”的字段值根据所述校验规则进行校验，例如：检验该字段值是否为空值、值类型是否为string、字段长度是否为32。如果字段值符合所有的该校验规则中的数据格式要求，则将该第一数据确定为校验通过的数据，而如果字段值未均符合所有的该校验规则中的数据格式要求，则将该第一数据确定为校验未通过的数据。若所述数据格式为正确格式，将所述第一数据确定为校验通过的第二数据。若所述数据格式不为正确格式，将所述第一数据确定为校验未通过的异常数据。本实施例中，通过利用并行处理指令的并行处理能力，来同时调用各所述目标验证规则分别对各自对应的第一数据的数据格式进行校验处理来得到相应的多个校验信息，进而能够根据该多个校验信息来生成最终的校验通过的第二数据，有效地提高了对于第一数据的校验处理速率，以及提高了生成校验通过的第二数据的生成速率。110.进一步地，本技术一实施例中，上述步骤s30之后，包括：111.s310：判断所述第一数据中是否存在校验未通过的第四数据；112.s311：若是，基于所述第四数据与所述文件生成相应的异常文件；113.s312：获取预设的异常处理信息；114.s313：将所述异常文件与所述异常处理信息返回至所述客户端。115.如上述步骤s310至s313所述，所述基于预设的反射机制对所有所述第一数据进行解析校验处理，从所有所述第一数据中筛选出校验通过的第二数据的步骤之后，还可包括：首先判断所述第一数据中是否存在校验未通过的第四数据。其中，在第一数据中除了存在校验通过的数据，同样也可能存在未通过校验的数据。若是，基于所述第四数据与所述文件生成相应的异常文件。其中，对于所述基于所述第四数据与所述文件生成相应的异常文件的具体实施过程，本技术将在后续的具体实施例中对此进行进一步的细节描述，在此不作过多阐述。然后获取预设的异常处理信息。其中，所述异常处理信息为用于提醒客户端对应的用户对接收到的异常文件内的异常数据进行核对修改的信息。另外，对于异常处理信息的具体内容不作限定，可根据实际需求进行设置。后续将所述异常文件与所述异常处理信息返回至所述客户端。本实施例中，当检测出第一数据中存在校验未通过的第四数据时，通过基于所述第四数据与所述文件生成相应的异常文件，使得后续通过将该异常文件与预设的异常处理信息返回至客户端，使得相关用户能够根据接收到的该异常文件以及异常处理信息来快速准确地完成对于第四数据的修改处理，提高了异常数据的修改速率，提高了用户的使用体验。116.进一步地，本技术一实施例中，上述步骤s311，包括：117.s3110：从所述文件中筛选出所述第四数据；118.s3111：对所述第四数据进行标记处理，得到标记后的第四数据；119.s3112：获取与所述标记后的第四数据对应的指定校验规则，在与所述标记后的第四数据对应的预设位置处填充所述指定校验规则，得到处理后的文件；120.s3113：将所述处理后的文件作为所述异常文件。121.如上述步骤s3110至s3113所述，所述基于所述第四数据与所述文件生成相应的异常文件的步骤，具体可包括：首先从所述文件中筛选出所述第四数据。然后对所述第四数据进行标记处理，得到标记后的第四数据。其中，对于所述标记处理的处理方式不作具体限定，可根据实际需求进行设置，例如可包括加粗处理，亮色突出处理，更改颜色等处理。后续获取与所述标记后的第四数据对应的指定校验规则，在与所述标记后的第四数据对应的预设位置处填充所述指定校验规则，得到处理后的文件。其中，与所述第四数据对应的指定校验规则的获取方式可参考前述确定出与各所述第一数据分别对应的校验规则的处理方式，在此不作过多赘述。另外，对于所述预设位置处不作具体限定，可根据实际需求进行设置，例如可为与所述标记后的第四数据处于同一行的相邻位置。最后将所述处理后的文件作为所述异常文件。本实施例中，当检测出第一数据中存在校验未通过的第四数据时，通过对文件内的该第四数据进行标记处理，以及在与所述标记后的第四数据对应的预设位置处填充目标校验规则以作为相应的异常文件，使得后续通过将该异常文件与预设的异常处理信息返回至客户端，使得相关用户能够根据接收到的该异常文件以及异常处理信息来快速准确地完成对于第四数据的修改处理，提高了异常数据的修改速率，提高了用户的使用体验。122.本技术实施例中的数据导入方法还可以应用于区块链领域，如将上述第三数据等数据存储于区块链上。通过使用区块链来对上述第三数据进行存储和管理，能够有效地保证上述第三数据的安全性与不可篡改性。123.上述区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。124.区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。125.参照图2，本技术一实施例中还提供了一种数据导入装置，包括：126.第一获取模块1，用于通过预设的导入组件获取客户端触发的数据导入请求；其中，所述数据导入请求中携带预设格式的文件；127.第二获取模块2，用于从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据；128.校验模块3，用于基于预设的反射机制对所有所述第一数据进行解析校验处理，从所有所述第一数据中筛选出校验通过的第二数据；129.转换模块4，用于基于预设格式对所述第二数据进行格式转换，得到对应的第三数据；130.存储模块5，用于将所述第三数据存储于预设的数据库表内。131.本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的数据导入方法的步骤一一对应，在此不再赘述。132.进一步地，本技术一实施例中，上述第二获取模块2，包括：133.第一提取单元，用于从所述数据导入请求中提取出所述处理时限信息；134.第一查询单元，用于调用预设映射表，从所述预设映射表中查询出与所述处理时限信息对应的处理缓急分数；135.第一判断单元，用于判断所述处理缓急分数是否小于预设的分数阈值；136.第一获取单元，用于若小于所述分数阈值，获取当前时间；137.第二判断单元，用于判断所述当前时间是否处于预设的处理空闲时间段内；138.第二获取单元，用于若处于所述处理空闲时间段内，从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据。139.本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的数据导入方法的步骤一一对应，在此不再赘述。140.进一步地，本技术一实施例中，上述第二获取模块2，包括：141.划分单元，用于获取预设的处理高峰时间段，从一天包含的处理时间段中剔除所述处理高峰时间段得到相应的指定时间段，并将所述指定时间段划分为多个第一单位时间段；142.第二查询单元，用于获取预设的装置数据处理记录表，并从所述装置数据处理记录表中查询出与预设时间周期内包含的每一天的各个所述第一单位时间段一一对应的数据处理量；143.第一筛选单元，用于从所有所述数据处理量中筛选出小于预设的数据处理阈值的指定数据处理量；144.第二筛选单元，用于从所述第一单位时间段中筛选出与各所述指定数据处理量分别对应的第二单位时间段；145.处理单元，用于对所有所述第二单位时间段进行去重处理，得到处理后的多个第三单位时间段；其中，各个第三单位时间段为时间范围各不相同的时间段；146.统计单元，用于基于所有所述第二单位时间段，统计得到每一个所述第三单位时间段在所有所述第二单位时间段中的出现次数；147.排序单元，用于按照所述出现次数的数值从大到小的顺序对所有所述第三单位时间段进行排序，得到对应的排序结果；148.第三获取单元，用于从所述排序结果中排序第一的第三单位时间段开始，依次获取预设数量的第四单位时间段；149.第一确定单元，用于将所有所述第四单位时间段作为所述处理空闲时间段。150.本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的数据导入方法的步骤一一对应，在此不再赘述。151.进一步地，本技术一实施例中，上述校验模块3，包括：152.第四获取单元，用于获取所述文件中与所述第一数据对应的已配置的所有字段；153.解析单元，用于通过所述反射机制解析得到与各所述字段分别对应的对象；154.第五获取单元，用于基于各所述对象上的注解获取与各所述字段分别对应的字段属性信息；155.生成单元，用于基于所述字段属性信息生成与各所述第一数据分别对应的校验规则；156.校验单元，用于基于各所述校验规则对各自对应的所述第一数据进行校验，得到所述第一数据中校验通过的第二数据。157.本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的数据导入方法的步骤一一对应，在此不再赘述。158.进一步地，本技术一实施例中，上述校验单元，包括：159.获取子单元，用于对于每一个所述第一数据，获取与各所述第一数据分别对应的目标验证规则；160.校验子单元，用于基于预设的并行处理指令，调用各所述目标验证规则分别对各自对应的第一数据的数据格式进行校验处理，并判断所述数据格式是否为正确格式；161.第一确定子单元，用于若所述数据格式为正确格式，将所述第一数据确定为校验通过的第二数据；162.第二确定子单元，用于若所述数据格式不为正确格式，将所述第一数据确定为校验未通过的异常数据。163.本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的数据导入方法的步骤一一对应，在此不再赘述。164.进一步地，本技术一实施例中，上述数据导入装置，包括：165.判断模块，用于判断所述第一数据中是否存在校验未通过的第四数据；166.生成模块，用于若是，基于所述第四数据与所述文件生成相应的异常文件；167.第三获取模块，用于获取预设的异常处理信息；168.返回模块，用于将所述异常文件与所述异常处理信息返回至所述客户端。169.本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的数据导入方法的步骤一一对应，在此不再赘述。170.进一步地，本技术一实施例中，上述生成模块，包括：171.第三筛选单元，用于从所述文件中筛选出所述第四数据；172.标记单元，用于对所述第四数据进行标记处理，得到标记后的第四数据；173.填充单元，用于获取与所述标记后的第四数据对应的指定校验规则，在与所述标记后的第四数据对应的预设位置处填充所述指定校验规则，得到处理后的文件；174.第二确定单元，用于将所述处理后的文件作为所述异常文件。175.本实施例中，上述模块或单元分别用于执行的操作与前述实施方式的数据导入方法的步骤一一对应，在此不再赘述。176.参照图3，本技术实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、输入装置和数据库。其中，该计算机设备设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括存储介质、内存储器。该存储介质存储有操作系统、计算机程序和数据库。该内存储器为存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据导入请求、文件、第一数据、第二数据以及第三数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机设备的显示屏是计算机中必不可少的一种图文输出设备，用于将数字信号转换为光信号，使文字与图形在显示屏的屏幕上显示出来。该计算机设备的输入装置是计算机与用户或其他设备之间进行信息交换的主要装置，用于把数据、指令及某些标志信息等输送到计算机中去。该计算机程序被处理器执行时以实现一种数据导入方法。177.上述处理器执行上述数据导入方法的步骤：178.通过预设的导入组件获取客户端触发的数据导入请求；其中，所述数据导入请求中携带预设格式的文件；179.从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据；180.基于预设的反射机制对所有所述第一数据进行解析校验处理，从所有所述第一数据中筛选出校验通过的第二数据；181.基于预设格式对所述第二数据进行格式转换，得到对应的第三数据；182.将所述第三数据存储于预设的数据库表内。183.本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的装置、计算机设备的限定。184.本技术一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种数据导入方法，具体为：185.通过预设的导入组件获取客户端触发的数据导入请求；其中，所述数据导入请求中携带预设格式的文件；186.从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据；187.基于预设的反射机制对所有所述第一数据进行解析校验处理，从所有所述第一数据中筛选出校验通过的第二数据；188.基于预设格式对所述第二数据进行格式转换，得到对应的第三数据；189.将所述第三数据存储于预设的数据库表内。190.综上所述，本技术实施例中提供的数据导入方法、装置、计算机设备和存储介质，通过预设的导入组件获取客户端触发的数据导入请求，然后从所述数据导入请求中提取出所述文件，并获取所述文件中包含的所有第一数据，之后基于预设的反射机制对所有所述第一数据进行解析校验，从所有所述第一数据中筛选出校验通过的第二数据，后续基于预设格式对所述第二数据进行格式转换，得到对应的第三数据，最后将所述第三数据存储于预设的数据库表内。本技术实施例通过结合导入组件与反射机制的使用，实现了快速便捷地进行对于数据导入请求中携带的文件内的待导入数据的数据导入处理，操作简单灵活，有效地减少了开发人员的重复性工作量，提高了数据导入的处理智能性。191.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram通过多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。192.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。193.以上所述仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!