流量数据统计方法、装置及存储介质与流程

电子通信装置的制造及其应用技术1.本技术涉及物联网技术领域，特别是涉及一种流量数据统计方法、装置及存储介质。背景技术：2.物联网的流量数据通常包括网络协议类型、流量方向、设备网络信息、流量产生时间等参数。流量数据统计能够反映特定时间或特定设备的流量传输情况，供流量管理人员查看，以评估信息传输量大小，并判断流量传输是否出现异常。对单一物联网设备来说，流量数据量并不突出，但随着物联网系统业务设备接入数量的增加，流量数据急剧上升，需要更多的存储空间、更优的检索统计性能。对于一般数据存储，通常采用的方案是使用传统数据库或大数据存储系统等方式，在查询的时候则利用第三方存储系统的统计分析能力提供服务。但受限于物联网设备的资源(硬盘、内存、网络等)，大数据存储系统难以适用，同时传统数据库在海量的物联网流量数据的查询统计方面的性能和统计效率较低，难以满足用户需求。3.针对相关技术中存在的传统数据库在物联网的流量数据统计方面效率较低的问题，目前还没有提出有效的解决方案。技术实现要素：4.在本实施例中提供了一种流量数据统计方法、装置及存储介质，以解决相关技术中存在的传统数据库在物联网的流量数据统计方面性能不佳的问题。5.第一个方面，在本实施例中提供了一种流量数据统计方法，应用于流量数据管理系统，所述流量数据管理系统包括流量数据库、缓存中间件和任务统计引擎，所述方法包括：6.接收流量数据的统计任务；7.基于所述统计任务对所述流量数据库中的流量数据进行统计，获取第一流量数据；8.将所述第一流量数据存入所述缓存中间件；9.基于查询请求，从所述缓存中间件中提取对应的第一流量数据并显示。10.在其中的一些实施例中，所述统计任务包括至少一个统计参数值，所述基于所述统计任务对所述流量数据库中的流量数据进行统计，获取第一流量数据包括：11.基于所述至少一个统计参数值查询所述流量数据库，获取第二流量数据；12.对所述第二流量数据中的流量值求和，获取统计流量值；13.基于所述统计流量值和统计参数值，按照预设格式生成所述第一流量数据。14.在其中的一些实施例中，所述基于所述统计流量值和统计参数值，按照预设格式生成所述第一流量数据包括：15.将所述统计参数值设置为所述第一流量数据的key值；16.将所述统计流量值设置为所述第一流量数据的value值。17.在其中的一些实施例中，所述基于所述至少一个统计参数值查询所述流量数据库，获取第二流量数据包括：18.将所述统计参数值转换为对应的数据库查询条件；19.将所述至少一个统计参数值对应的数据库查询条件拼接为数据库查询语句；20.通过所述数据库查询语句查询所述流量数据库，获取第二流量数据。21.在其中的一些实施例中，所述基于查询请求，从所述缓存中间件中提取对应的第一流量数据并显示包括：22.获取所述查询请求中的查询参数；23.基于所述查询参数查询所述第一流量数据的key值；24.在所述key值与所述查询参数一致的情况下，显示所述第一流量数据中的统计流量值。25.在其中的一些实施例中，所述查询参数包括流量产生时间，所述在所述key值与所述查询参数一致的情况下，显示所述第一流量数据中的统计流量值包括：26.确定查询时间与所述流量产生时间的差值；27.基于所述差值获取对应的第一流量数据。28.在其中的一些实施例中，所述统计任务包括至少一个统计参数值，所述统计参数值包括统计周期，所述基于所述统计任务对所述流量数据库中的流量数据进行统计，获取第一流量数据包括：29.基于所述统计周期，确定所述统计任务的执行时间；30.在所述执行时间统计所述统计周期内产生的流量数据，获取所述统计周期对应的第一流量数据。31.在其中的一些实施例中，在将所述第一流量数据存入缓存中间件之后，所述方法还包括：32.对所述第一流量数据设置对应的过期时间；33.在所述第一流量数据在所述缓存中间件中的存储时间超出所述过期时间的情况下，删除所述第一流量数据。34.第二个方面，在本实施例中提供了一种流量数据统计装置，应用于流量数据管理系统，所述流量数据管理系统包括流量数据库、缓存中间件和任务统计引擎，所述装置包括：35.接收模块，用于接收流量数据的统计任务；36.统计模块，用于基于所述统计任务对所述流量数据库中的流量数据进行统计，获取第一流量数据；37.存入模块，用于将所述第一流量数据存入所述缓存中间件；38.提取模块，用于基于查询请求，从所述缓存中间件中提取对应的第一流量数据并显示。39.第三个方面，在本实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一个方面所述的流量数据统计方法的步骤。40.与相关技术相比，在本实施例中提供的流量数据统计方法，通过接收流量数据的统计任务，确定与用户需求对应的统计内容和统计维度；通过基于统计任务对流量数据库中的流量数据进行统计并获取第一流量数据，根据用户需求筛选流量数据库中对应的数据并按照一定的统计维度进行统计计算，获得统计结果；通过将第一流量数据存入缓存中间件，通过缓存中间件暂时保存统计结果，不需要将统计结果存入硬盘，减少了对硬盘资源的占用；通过基于查询请求从缓存中间件中提取对应的第一流量数据并显示，不需要根据查询请求访问流量数据库进行统计，而是直接从缓存中间件中提取对应的结果，提高了流量数据查询和显示的效率，解决了传统数据库在物联网的流量数据统计方面效率较低的问题。41.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。附图说明42.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：43.图1是本技术实施例的流量数据统计方法应用的流量数据管理系统示意图；44.图2是本技术实施例的流量数据统计方法的流程图；45.图3是本技术实施例的获取第一流量数据的流程图；46.图4是本技术实施例的从缓存中间件中提取第一流量数据的流程图；47.图5是本技术优选实施例的流量数据统计方法的流程图；48.图6是本技术实施例的流量数据统计装置的结构框图。具体实施方式49.为更清楚地理解本技术的目的、技术方案和优点，下面结合附图和实施例，对本技术进行了描述和说明。50.除另作定义外，本技术所涉及的技术术语或者科学术语应具有本技术所属技术领域具备一般技能的人所理解的一般含义。在本技术中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本技术中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元)，而可包括未列出的步骤或模块(单元)，或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本技术中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本技术中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本技术中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。51.在本实施例中提供的方法实施例可以应用在流量数据管理系统中，具体可以在流量数据管理系统的控制单元中执行，这里的控制单元可以是流量数据管理系统的处理器。控制单元可以包括一个或多个处理器和用于存储数据的存储器，其中，处理器可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置。控制单元还可以包括用于通信功能的传输设备以及输入输出设备，可以通过网络与远程服务器进行通信，并通过远程服务器进行数据处理和存储。52.存储器可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的流量数据统计方法对应的计算机程序，处理器通过运行存储在存储器内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实施例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至流量数据管理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。53.传输设备用于经由一个网络接收或者发送数据。上述的网络包括流量数据管理系统的通信供应商提供的无线网络。在一个实例中，传输设备包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。54.图1是本实施例的流量数据统计方法应用的流量数据管理系统示意图。如图1所示，本实施例的系统包括流量数据库12、缓存中间件13和任务统计引擎11。流量数据库12可以是关系型数据库如sql数据库等，用于存放流量数据，该流量数据可以基于实时产生的流量生成，可以包括流量大小、流量方向、ip地址、应用协议以及发生时间等信息。缓存中间件13可以是一种基于内存的数据库，如redis等。缓存中间件13用于存放流量数据的统计结果，并在用户发出查询请求时提供对应的查询结果进行显示。任务统计引擎11是执行流量统计任务的主体，接收统计任务后，根据统计任务的内容访问流量数据库获取对应的流量数据，进行统计获得统计结果，并存入缓存中间件13。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述流量数据管理系统的结构造成限制。例如，流量数据管理系统还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。55.在本实施例中提供了一种流量数据统计方法，图2是本实施例的流量数据统计方法的流程图，如图2所示，该流程包括如下步骤：56.步骤s201，接收流量数据的统计任务。57.在流量数据统计的应用场景中，统计任务可以包括流量大小、流量方向、流量访问地址、流量产生时间、网络协议等多个统计维度，每个统计任务可以由多个统计维度进行组合构成。例如，一个统计任务可以为统计流量产生时间为2022年6月1日上午8点～6月3日下午16点，流量为上行方向，网络协议为http的总流量值。58.步骤s202，基于统计任务对流量数据库中的流量数据进行统计，获取第一流量数据。59.流量数据库中的流量数据可以是根据流量发生的时间实时记录的数据，记录的维度同样包括流量大小、流量方向、流量访问地址、流量产生时间、网络协议等。根据统计任务在数据库中找到符合统计条件的数据，并按照统计人物的要求进行统计，获得第一流量数据。60.步骤s203，将第一流量数据存入缓存中间件。61.步骤s204，基于查询请求，从缓存中间件中提取对应的第一流量数据并显示。62.查询请求可以基于一个或多个统计维度对缓存中间件中的第一流量数据进行选择并显示。例如，可以选择提取2022年6月1日～6月10日以天为单位统计的上行流量，并通过折线图或柱状图进行显示。63.通过上述步骤s201～s204，通过接收流量数据的统计任务，确定与用户需求对应的统计内容和统计维度；通过基于统计任务对流量数据库中的流量数据进行统计并获取第一流量数据，根据用户需求筛选流量数据库中对应的数据并按照一定的统计维度进行统计计算，获得统计结果；通过将第一流量数据存入缓存中间件，通过缓存中间件暂时保存统计结果，不需要将统计结果存入硬盘，减少了对硬盘资源的占用；通过基于查询请求从缓存中间件中提取对应的第一流量数据并显示，不需要根据查询请求访问流量数据库进行统计，而是直接从缓存中间件中提取对应的结果，提高了流量数据查询和显示的效率，解决了传统数据库在物联网的流量数据统计方面效率较低的问题。64.在其中的一些实施例中，统计任务包括至少一个统计参数值。图3是本实施例的基于统计任务对流量数据进行统计获取第一流量数据的流程图，如图3所示，该流程包括如下步骤：65.步骤s301，基于至少一个统计参数值查询流量数据库，获取第二流量数据。66.统计参数值为统计维度的对应值。例如对于流量产生时间这一统计维度，统计参数值为具体的日期和时间值。对于流量方向这一统计维度，统计参数值为上行或下行。当一个统计任务中包括多个统计参数值时，获取的第二流量数据应满足每一个统计参数值的要求。67.在一些实施例中，第二流量数据还可以基于该统计参数值的阈值范围获取。例如，当统计参数值为一个指定的流量产生时间值时，第二流量数据可以是在该指定时间值之前或之后的一段时间内发生的流量数据。例如，当统计参数值为2022年6月13日上午11点15分时，第二流量数据为当日上午11点整到11点15分之间的流量数据。该阈值范围可以预先在系统中设置或在统计任务中设置。68.步骤s302，对第二流量数据中的流量值求和，获取统计流量值。69.对满足每个统计参数值要求的第二流量数据求和得到的统计流量值，即该统计任务对应的统计流量值。70.步骤s303，基于统计流量值和统计参数值，按照预设格式生成第一流量数据。71.将该统计流量值和该统计任务中的统计参数值组合起来，按照预设格式存入缓存中间件。该预设格式包括数据库的字段设置、key/value值设置、统计流量值与统计参数值的组合方式、符号组合设置以及存储格式等，可以对其中任意一种或几种格式进行设置。72.通过上述步骤s301～s303，通过基于统计参数值查询流量数据库，获取第二流量数据，从流量数据库中筛选获得与统计任务对应的流量数据；通过对第二流量数据中的流量值求和获取统计流量值，获得统计结果；通过根据统计流量值和统计参数值按照预设格式生成第一流量数据，统一第一流量数据的存储格式，提高存储空间利用率和读写效率，提高第一流量数据的查询效率。73.在其中的一些实施例中，涉及基于统计流量值和统计参数值按照预设格式生成第一流量数据的详细流程。该流程包括如下步骤：74.步骤s11，将统计参数值设置为第一流量数据的key值；75.步骤s12，将统计流量值设置为第一流量数据的value值。76.基于流量数据查询需求较多的特点，缓存中间件可以为key-value数据库。基于查询需求，可以将流量数据的至少一个统计维度作为key格式的组成要素，将统计结果作为value格式的组成要素，以提高数据查询效率。对应地，当第一流量数据存入缓存中间件时，可以按照预先设置的key格式和value格式对应地存储数据，将与key格式中统计维度对应的统计参数值设为key值，将与value格式中统计结果对应的统计流量值设为value值。在一些实施例中，也可以将除了列入key格式以外的其他统计维度作为value格式的组成要素。77.基于不同的查询和统计需求，第一流量数据可以使用不同的key-value格式进行存储，对应不同的key-value数据库。78.通过上述步骤s11～s12，通过将统计参数值设置为第一流量数据的key值，将统计流量值设置为第一流量数据的value值，通过key-value数据库的存储格式将统计参数值与统计流量值进行关联，当查询请求通过key格式规定的统计维度进行查询时，缩短了查询结果获取的时间，提高了查询效率。79.在其中的一些实施例中，还可以使用常用的统计参数值对查询需求中的统计维度进行赋值，将其设置为第一流量数据的key格式，并与统计任务进行统一设置，以进一步提高查询效率。80.例如，统计任务的统计维度包括流量方向、流量产生时间、流量累积时间以及网络协议，可以将流量累积时间设置为30分钟，将流量方向设置为上行，结合特定的流量产生时间设置统计任务，并获取对应的第一流量数据。基于该设置，将缓存中间件的key格式设置为“flow:half:up:{时刻}”或“flow:half:down:{时刻}”，value格式设置为“{“协议”:”流量大小”,…}”，即key格式中的组成要素为流量方向、流量产生时间和流量累积时间，half表示流量累积时间为30分钟，up表示流量方向为上行，时刻表示流量产生时间。value格式的组成要素包括统计流量值和网络协议。与该数据库的key/value格式对应的第一流量数据表示以某一时刻为中点时间，向后/向前统计各15分钟，且流量方向为上行的统计流量值。81.统计任务获取第一流量数据后，按照该格式进行存储。例如第一流量数据的key值为“flow:half:up:202207131115”，value值为“{“ftp”:”23.5”,”http”:”56.3”}”，表示以2022年7月13日11时15分为中点时间，统计发生在当日11时至11时30分之间，且流量方向为上行的流量值，其中通过ftp协议传输的流量值为23.5，通过http协议传输的流量值为56.3。这样当查询请求需要获取2022年7月13日以30分钟为周期且流量方向为上行的流量统计数据时，可以直接从该第一流量数据中获取并显示，不需要再对第一流量数据进行进一步的统计，显著提升了查询和显示的效率。82.在其中的一些实施例中，涉及基于统计参数值查询流量数据库获取第二流量数据的具体流程，该流程包括如下步骤：83.步骤s21，将统计参数值转换为对应的数据库查询条件；84.步骤s22，将至少一个统计参数值对应的数据库查询条件拼接为数据库查询语句；85.步骤s23，通过该数据库查询语句查询流量数据库，获取第二流量数据。86.流量数据库可以为关系型数据库如sql数据库，将统计参数值转换为对应的sql查询语句进行查询。当统计参数值为多个时，可以将每个统计参数值对应的查询条件拼接为一个sql语句，通过该sql语句查询流量数据库，获取第二流量数据。87.通过上述步骤s21～s23，通过将统计参数值转换为对应的数据库查询条件，并将一个或多个数据库查询条件拼接成一个数据库查询语句进行查询，将统计需求转换为对应的数据库查询语句，提高了第二流量数据的获取速度，提高了查询效率。88.在其中的一些实施例中，图4是本实施例的基于查询请求从缓存中间件中提取对应的第一流量数据并显示的流程图，如图4所示，该流程包括如下步骤：89.步骤s401，获取查询请求中的查询参数；90.步骤s402，基于查询参数查询第一流量数据的key值；91.步骤s403，在该key值与查询参数一致的情况下，显示第一流量数据中的统计流量值。92.查询请求中包括至少一个查询参数，该查询参数可以与key-value数据库的key格式对应。例如，key-value数据库的key格式中包括流量ip地址、流量产生时间等统计维度，且查询参数也包括流量ip地址，则该查询请求与该key-value数据库对应，可以通过该查询参数获取该key-value数据库中的第一流量数据。当查询参数与该key-value数据库中的第一流量数据的key值一致时，则该查询结果满足查询请求，将结果显示出来。93.例如，当查询请求为查询某一时间段内访问某一ip地址的流量值，则查询参数包括流量ip地址、流量产生时间两个统计维度，而这两个统计维度与缓存中间件的一个key-value数据库的key格式一致，因此可以通过查询该数据库获取对应的数据。在该数据库中查找key值为ip地址为特定值且流量产生时间在特定时间段的第一流量数据，将符合条件的第一流量数据显示出来。94.通过上述步骤s401～s403，通过获取查询请求中的查询参数并与数据库的key格式进行比较，找到对应的数据库；通过将查询参数与该数据库中的key值比较，确定对应的第一流量数据，实现流量数据的查询功能。95.在其中的一些实施例中，查询参数包括流量产生时间，在key值与查询参数一致的情况下，显示第一流量数据中的统计流量值的流程包括如下步骤：96.步骤s31，确定查询时间与流量产生时间的差值；97.流量产生时间是指该第一流量数据对应的产生时间或时间段，查询时间是指查询请求产生的时间。由于缓存中间件的空间有限，无法长时间存储大量的流量数据。因此，流量数据管理系统可以对存储时间较长的流量数据进行粒度较大的存储。例如，当存储时间较短时，可以以30分钟为一个统计周期对流量数据进行统计和存储；当存储时间较长时，可以以24小时为一个统计周期对流量数据进行统计和存储。两种数据可以存储在同一个数据库中，但在key格式中用不同的字符表示，以在查询时进行区分。98.当查询请求需要查询距离当前时间较远的流量数据时，根据查询时间与流量产生时间的差值确定对应的key格式，例如差值超过24小时，则对应的key格式中包括“day”字符，如果差值小于24小时，则对应的key格式中包括“half”字符。99.步骤s32，基于差值获取对应的第一流量数据。100.根据key格式中的字符进行查询，获取对应的第一流量数据。101.通过上述步骤s31～s32，通过确定查询时间与流量产生时间的差值，通过key格式中的字符对不同的差值进行区分，并根据该字符进行查询获取对应的第一流量数据，通过更快捷的key-value方式对不同存储时间的数据进行分类查询，不需要对第一流量数据的存储时间进行计算，再根据计算结果确定查询结果，提高了查询效率。102.在其中的一些实施例中，统计任务包括至少一个统计参数值，统计参数值包括统计周期，基于统计任务对流量数据库中的流量数据进行统计，获取第一流量数据的流程包括如下步骤：103.s41，基于统计周期，确定统计任务的执行时间；104.一些统计任务为定时统计，例如统计每天或每小时的累积流量值。对于间隔时间规律的统计任务，可以通过统计周期这个参数来进行执行时间的设置。例如，对于每天执行一次，统计前一天19点到当日19点的流量统计任务，可以基于预设的间隔时间确定该统计任务的执行时间为每天的19点05分。105.s42，在执行时间统计该统计周期内产生的流量数据，获取该统计周期对应的第一流量数据。106.任务统计引擎可以根据该执行时间开启统计任务，获取该统计周期对应的第一流量数据并存入缓存中间件。当统计任务完成后关闭该任务。107.通过上述步骤s41～s42，通过基于统计周期确定统计任务的执行时间，在执行时间统计该统计周期内产生的第一流量数据，对周期性的统计任务可以进行自动设置执行时间和自动执行，不需要用户多次下发统计任务，实现了流量统计的定时化和自动化，提高了统计效率。108.在其中的一些实施例中，在将第一流量数据存入缓存中间件之后，本实施例的流量数据统计方法的流程包括如下步骤：109.s51，对第一流量数据设置对应的过期时间；110.s52，在第一流量数据在缓存中间件中的存储时间超出该过期时间的情况下，删除该第一流量数据。111.由于缓存中间件的存储空间限制，可以通过给不同统计粒度的第一流量数据设置不同的过期时间来节省存储空间。当数据过期时，即可删除对应的第一流量数据以腾出空间存储新的流量数据。统计粒度越细，第一流量数据越多，过期时间越短。例如，对于统计粒度为30分钟的第一流量数据，过期时间可以设置为24小时20分钟，对于统计粒度为24小时的第一流量数据，过期时间可以设置为30天。112.通过上述步骤s51～s52，通过对第一流量数据设置对应的过期时间，在存储时间超出该过期时间的情况下删除第一流量数据，在节省缓存中间件的存储空间的同时，满足用户对第一流量数据的长期查询需求。113.下面通过优选实施例对本实施例进行描述和说明。114.本优选实施例的流量数据统计方法应用于流量数据管理系统，该流量数据管理系统包括前端界面、任务统计管理模块、数据统计结果管理模块、任务统计引擎、缓存中间件和流量数据库。115.流量数据接入后，通过正常入库程序存入流量数据库。前端界面用于配置统计任务。缓存中间件为redis。116.任务统计管理模块用于接收前端界面的操作指令(增、删、改、查)，转化为对流量数据库的操作，同时下发相应的命令(启动、停止)给任务统计引擎；前端界面可根据业务需求，选择不同的统计尺度。117.数据统计结果管理模块用于提供统计结果查询接口，管理数据统计结果，包括数据统计结果的查询和删除。118.任务统计引擎是整个流量数据管理系统的核心模块，对上负责接收任务统计管理模块下发的统计任务，并开启或关闭统计任务；对下负责根据统计任务内容，负责从流量数据库中拉取原始流量数据，根据统计尺度实现定时统计，最终将结果存入缓存中间件。119.图5是本优选实施例的流量数据统计方法的流程图。如图5所示，该流程包括如下步骤：120.s501，接收流量数据的统计任务，统计任务中的统计维度包括统计周期、流量产生时间、流量方向和应用协议；121.流量方向包括：上行流量、下行流量、总流量，默认展示上行流量；122.流量统计周期包括：最近三小时、最近一天、最近一周、最近一月，默认展示最近三个小时；123.应用协议包括：http、ftp等应用层协议。124.s502，基于统计周期，确定统计任务的执行时间；125.s503，在执行时间统计该统计周期内产生的流量数据；126.s504，通过统计参数值对应的数据库查询语句查询流量数据库，获取第二流量数据；127.s505，对第二流量数据中的流量值求和，获取统计流量值；128.s506，基于流量产生时间、流量方向、统计周期生成第一流量数据的key格式；基于统计流量值、应用协议生成第一流量数据的value格式，按照该key/value格式存储第一流量数据；129.缓存中间件的存储结构可以包括：130.a.整网流量和应用流量统计：[0131][0132]b.目的地ip流量统计：[0133][0134]s507，将第一流量数据存入缓存中间件；[0135]s508，对第一流量数据设置对应的过期时间；[0136]s509，在第一流量数据在缓存中间件中的存储时间超出过期时间的情况下，删除该第一流量数据；[0137]s510，获取查询请求中的查询参数，查询参数包括流量产生时间；[0138]s511，确定查询时间与流量产生时间的差值；[0139]s512，基于差值获取对应的第一流量数据；[0140]s513，基于其他查询参数查询该第一流量数据的key值；[0141]s514，在key值与查询参数一致的情况下，显示该第一流量数据中的统计流量值。[0142]通过上述步骤s501至s514，确定与用户需求对应的统计维度、统计参数值以及任务的执行时间，根据执行时间执行流量统计，将统计参数值转化为对应的数据库查询语句，获取第二流量数据并进行统计获取统计流量值；通过将统计参数值和统计流量值按照key/value格式进行组合生成第一流量数据存入缓存中间件，利用缓存中间件暂时保存统计结果，不需要将统计结果存入硬盘，减少了对硬盘资源的占用；通过将查询请求与key格式中的统计参数值进行比较提取对应的第一流量数据并显示，利用key/value数据库的高效率查询性能提高流量数据的查询效率；且不需要每次查询都访问流量数据库进行统计，而是直接从缓存中间件中提取对应的结果，提高了流量数据查询和显示的效率，解决了传统数据库在物联网的流量数据统计方面效率较低的问题；通过对第一流量数据设置对应的过期时间，对不同统计粒度的流量数据进行存储时间分类，提高了缓存中间件的空间利用效率。[0143]需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。[0144]在一些实施例中，本技术还提供了一种流量数据统计装置，应用于流量数据管理系统，该流量数据管理系统包括流量数据库、缓存中间件和任务统计引擎。该流量数据统计装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。[0145]在一些实施例中，图6是本实施例的流量数据统计装置的结构框图，如图6所示，该装置包括：[0146]接收模块61，用于接收流量数据的统计任务；[0147]统计模块62，用于基于统计任务对流量数据库中的流量数据进行统计，获取第一流量数据；[0148]存入模块63，用于将第一流量数据存入缓存中间件；[0149]提取模块64，用于基于查询请求，从缓存中间件中提取对应的第一流量数据并显示。[0150]本实施例中的流量数据统计装置，通过接收模块61接收流量数据的统计任务，确定与用户需求对应的统计内容和统计维度；通过统计模块62基于统计任务对流量数据库中的流量数据进行统计并获取第一流量数据，根据用户需求筛选流量数据库中对应的数据并按照一定的统计维度进行统计计算，获得统计结果；通过存入模块63将第一流量数据存入缓存中间件，通过缓存中间件暂时保存统计结果，不需要将统计结果存入硬盘，减少了对硬盘资源的占用；通过提取模块64基于查询请求从缓存中间件中提取对应的第一流量数据并显示，不需要根据查询请求访问流量数据库进行统计，而是直接从缓存中间件中提取对应的结果，提高了流量数据查询和显示的效率，解决了传统数据库在物联网的流量数据统计方面效率较低的问题。[0151]在其中的一些实施例中，统计任务包括至少一个统计参数值，统计模块包括第一获取子模块，第二获取子模块和生成子模块，第一获取子模块用于基于至少一个统计参数值查询流量数据库，获取第二流量数据；第二获取子模块用于对第二流量数据中的流量值求和，获取统计流量值；生成子模块用于基于统计流量值和统计参数值，按照预设格式生成第一流量数据。[0152]本实施例提供的流量数据统计装置，通过第一获取子模块基于统计参数值查询流量数据库，获取第二流量数据，从流量数据库中筛选获得与统计任务对应的流量数据；通过第二获取子模块对第二流量数据中的流量值求和获取统计流量值，获得统计结果；通过生成子模块根据统计流量值和统计参数值按照预设格式生成第一流量数据，统一第一流量数据的存储格式，提高存储空间利用率和读写效率，提高第一流量数据的查询效率。[0153]在其中的一些实施例中，生成子模块还包括第一设置单元和第二设置单元，第一设置单元用于将统计参数值设置为第一流量数据的key值；第二设置单元用于将统计流量值设置为第一流量数据的value值。[0154]本实施例提供的流量数据统计装置，通过第一设置单元将统计参数值设置为第一流量数据的key值，通过第二设置单元将统计流量值设置为第一流量数据的value值，通过key-value数据库的存储格式将统计参数值与统计流量值进行关联，当查询请求通过key格式规定的统计维度进行查询时，缩短了查询结果获取的时间，提高了查询效率。[0155]在其中的一些实施例中，第一获取子模块还包括转换单元、拼接单元和查询单元，转换单元用于将统计参数值转换为对应的数据库查询条件；拼接单元用于将至少一个统计参数值对应的数据库查询条件拼接为数据库查询语句；查询单元用于通过该数据库查询语句查询流量数据库，获取第二流量数据。[0156]本实施例提供的流量数据统计装置，通过转换单元将统计参数值转换为对应的数据库查询条件，通过拼接单元和查询单元将一个或多个数据库查询条件拼接成一个数据库查询语句进行查询，将统计需求转换为对应的数据库查询语句，提高了第二流量数据的获取速度，提高了查询效率。[0157]此外，结合上述实施例中提供的流量数据统计方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种流量数据统计方法。[0158]需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。[0159]应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本技术提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本技术保护范围。[0160]显然，附图只是本技术的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本技术适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本技术披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本技术公开的内容不足。[0161]“实施例”一词在本技术中指的是结合实施例描述的具体特征、结构或特性可以包括在本技术的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本技术中描述的实施例在没有冲突的情况下，可以与其它实施例结合。[0162]以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!