海量数据全链路监控方法、装置、设备及存储介质与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及人工智能技术领域，尤其涉及一种海量数据全链路监控方法、装置、电子设备及计算机可读存储介质。背景技术：2.随着企业数据量井喷式的发展以及企业的微服务化技术架构转型，服务按照不同的维度进行拆分，一次请求往往涉及到多个服务，特别是金融、医疗类服务通常是由不同的团队开发、部署在不同的服务器，甚至横跨不同的数据中心，需要监控全链路中的数据(指标、日志记录和跟踪数据)状态以保证系统的正常运行。3.当前海量数据全链路监控通常采用全采样及非全采样两种方式，全采样方式由于数据太大，采用单一的采样形式，使得处理能力不足，从而导致系统崩溃，采样数据丢失，只能采用低采样率进行采样，这样采样数据又太少，导致不能准确监控异常；非全采样方式构建的指标数据不准确，无法给决策(如告警)提供正确的数据指标，并且在排查问题时会因为跟踪数据缺失而无法根据监控结果解决监控问题。4.综上所述，当前海量数据全链路监控方法监控准确率低且可维护性不高。技术实现要素：5.本发明提供一种海量数据全链路监控方法、装置及计算机可读存储介质，其主要目的在于解决海量数据监控准确性及可维护性低的问题。6.为实现上述目的，本发明提供的一种海量数据全链路监控方法，包括：7.采集链路数据、日志数据及指标数据；8.统计所述链路数据、所述日志数据及所述指标数据的数据量级，根据所述数据量级均衡选择消息队列分片策略，根据所述消息队列分片策略，将所述链路数据、所述日志数据及所述指标数据划分为分片链路数据、分片日志数据及分片指标数据；9.将所述分片链路数据及所述分片日志数据解析为预设格式的规整链路数据及规整日志数据，将所述规整链路数据及所述规整日志数据存储到热暖架构的第一数据库中，并根据第一预设维度展示所述规整链路数据及所述规整日志数据；10.从所述规整链路数据及所述规整日志数据中提取与所述分片指标数据关联的关联指标数据；11.对所述关联指标数据及所述分片指标数据进行二级聚合，得到聚合指标数据，并将所述聚合指标数据存储到所述热暖架构的第二数据库中；12.将满足预设指标阈值的所述聚合指标数据作为告警信息推送给用户，并根据第二预设维度展示所述聚合指标数据。13.可选地，所述根据所述数据量级均衡选择消息队列分片策略，包括：14.当所述数据量级小于第一预设量级阈值时，根据所述链路数据、所述日志数据及所述指标数据的id随机选择消息队列分片；15.当所述数据量级大于等于所述第一预设量级阈值小于第二预设量级阈值时，选择单一消息队列集群，对所述链路数据、所述日志数据及所述指标数据的ip地址进行哈希运算得到ip地址哈希值，根据所述ip地址哈希值，对所述单一消息队列集群分配消息队列分片；16.当所述数据量级大于等于所述第二预设量级阈值时，选择多个消息队列集群，根据所述ip地址哈希值，对所述多个消息队列集群分配消息队列分片。17.可选地所述将所述分片链路数据及所述分片日志数据解析为预设格式的规整链路数据及规整日志数据，包括：18.对所述分片链路数据及所述分片日志数据进行数据清洗，得到目标分片链路数据及目标分片日志数据；19.将所述目标分片链路数据及所述目标分片日志数据解析为格式相同的规整链路数据及规整日志数据。20.可选地，所述对所述关联指标数据及所述分片指标数据进行二级聚合，得到聚合指标数据，包括：21.分析所述关联指标数据及所述分片指标数据的来源应用；22.根据所述来源应用及所述ip地址，从所述来源应用、所述ip地址、指标名称及时间四个维度，对所述关联指标数据及所述分片指标数据进行第一次聚合，得到第一聚合指标数据；23.根据所述来源应用，从所述来源应用、所述指标名称及时间三个维度，对所述第一聚合指标数据进行第二次聚合，得到聚合指标数据。24.可选地，所述从所述规整链路数据及所述规整日志数据中提取与所述分片指标数据关联的关联指标数据，包括：25.对所述规整链路数据及所述规整日志数据进行分词及量化处理得到链路数据向量序列及日志数据向量序列；26.提取所述分片指标数据的关键词；27.分别计算所述关键词与所述链路数据向量序列及所述日志数据向量序列中词向量的相似度；28.将所述相似度满足预设相似度阈值的词向量作为关联指标数据。29.可选地，所述将所述聚合指标数据存储到所述热暖架构的第二数据库中，包括：30.将所述聚合指标数据作为热数据存储到第二数据库中的热数据节点中；31.检测所述第二数据库中所述聚合指标数据的已保留时长；32.将所述已保留时长大于预设时长的聚合指标数据作为冷数据，自动迁移到所述第二数据库中的冷数据节点中。33.可选地，所述根据第一预设维度展示所述规整链路数据及所述规整日志数据，包括：34.将所述规整链路数据及所述规整日志数据分别按照所述id、业务类别及时间范围进行维度分类，得到id数据集、业务类别数据集及时间范围数据集；35.当接收到查询数据时，分析所述查询数据的查询维度，根据所述查询维度选择所述id数据集、所述业务类别数据集及所述时间范围数据集中其中一个数据集；36.根据所述查询数据，从选择的数据集中查询并展示查询结果。37.为了解决上述问题，本发明还提供一种海量数据全链路监控装置，所述装置包括：38.数据采集模块，用于采集链路数据、日志数据及指标数据；39.均衡分片模块，用于统计所述链路数据、所述日志数据及所述指标数据的数据量级，根据所述数据量级均衡选择消息队列分片策略，根据所述消息队列分片策略，将所述链路数据、所述日志数据及所述指标数据划分为分片链路数据、分片日志数据及分片指标数据；40.解析模块，用于将所述分片链路数据及所述分片日志数据解析为预设格式的规整链路数据及规整日志数据，将所述规整链路数据及所述规整日志数据存储到热暖架构的第一数据库中，并根据第一预设维度展示所述规整链路数据及所述规整日志数据；41.数据聚合模块，用于从所述规整链路数据及所述规整日志数据中提取与所述分片指标数据关联的关联指标数据；对所述关联指标数据及所述分片指标数据进行二级聚合，得到聚合指标数据，并将所述聚合指标数据存储到所述热暖架构的第二数据库中；42.信息告警模块，用于将满足预设指标阈值的所述聚合指标数据作为告警信息推送给用户，并根据第二预设维度展示所述聚合指标数据。43.为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：44.至少一个处理器；以及，45.与所述至少一个处理器通信连接的存储器；其中，46.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的海量数据全链路监控方法。47.为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的海量数据全链路监控方法。48.本发明实施例通过根据所述数据量级均衡选择消息队列分片策略，根据所述消息队列分片策略，将所述链路数据、所述日志数据及所述指标数据划分为分片链路数据、分片日志数据及分片指标数据，使得数据更加均衡，处理能力更强、避免数据挤压导致数据丢失，提升了海量数据的监控准确性；进一步从所述规整链路数据及所述规整日志数据中提取与所述分片指标数据关联的关联指标数据，对所述关联指标数据及所述分片指标数据进行二级聚合，得到聚合指标数据，可以适配多种流式架构的pipe-line处理机制，二级聚合方式得到实例级和应用级的数据，实例级数据和应用级的数据相互独立，便于后续出现问题时，快速排查问题来源，提升了海量数据的可维护性；最后，将满足预设指标阈值的所述聚合指标数据作为告警信息推送给用户，将所述规整链路数据、所述规整日志数据及所述聚合指标数据存储到热暖架构的数据库中，能够有效地处理写入数据，并可以用于快速查询，同时还能在节省成本的前提下在较长时间内保留数据，提升了海量数据的可维护性。因此本发明提出的海量数据全链路监控方法、装置、电子设备及计算机可读存储介质，可以解决海量数据全链路监控准确较低及可维护性不高的问题。附图说明49.图1为本发明一实施例提供的海量数据全链路监控方法的流程示意图；50.图2为图1所示海量数据全链路监控方法中其中一个步骤的详细实施流程示意图；51.图3为图1所示海量数据全链路监控方法中其中另一个步骤的详细实施流程示意图；52.图4为本发明一实施例提供的海量数据全链路监控装置的功能模块图；53.图5为本发明一实施例提供的实现所述海量数据全链路监控方法的电子设备的结构示意图。54.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式55.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。56.本技术实施例提供一种海量数据全链路监控方法。所述海量数据全链路监控方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述海量数据全链路监控方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。57.参照图1所示，为本发明一实施例提供的海量数据全链路监控方法的流程示意图。在本实施例中，所述海量数据全链路监控方法包括：58.s1、采集链路数据、日志数据及指标数据。59.本发明实施例中，可以利用采用agent采集所述链路数据(trace)、所述日志数据(log)及所述指标数据(metrics)。60.本发明实施例中，所述链路数据、所述日志数据及所述指标数据为不同金融或医疗服务产生的链路数据、日志数据、指标数据，例如交易系统对应的服务产生的链路数据、日志数据、指标数据。61.本发明实施例中，所述链路数据、日志数据及指标数据中每条数据有对应的id及ip地址。62.s2、统计所述链路数据、所述日志数据及所述指标数据的数据量级，根据所述数据量级均衡选择消息队列分片策略，并根据所述消息队列分片策略，将所述链路数据、所述日志数据及所述指标数据划分为分片链路数据、分片日志数据及分片指标数据。63.详细地，s2中所述根据所述数据量级均衡选择消息队列分片策略，包括：64.当所述数据量级小于第一预设量级阈值时，根据所述链路数据、所述日志数据及所述指标数据的id随机选择消息队列分片；65.当所述数据量级大于等于所述第一预设量级阈值小于第二预设量级阈值时，选择单一消息队列集群，对所述链路数据、所述日志数据及所述指标数据的ip地址进行哈希运算得到ip地址哈希值，根据所述ip地址哈希值，对所述单一消息队列集群分配消息队列分片；66.当所述数据量级大于等于所述第二预设量级阈值时，选择多个消息队列集群，根据所述ip地址哈希值，对所述多个消息队列集群分配消息队列分片。67.本发明实施例中，采用无锁环形列队缓存所述链路数据、所述日志数据及所述指标数据，再由独立线程消费无锁环形列队后，将所述链路数据、所述日志数据及所述指标数据上报给消息队列。68.本发明实施例中，根据所述数据量级均衡选择消息队列分片策略,例如当skywalking中数据量级的规模小于5亿segment/天时，根据所述链路数据、所述日志数据及所述指标数据的id随机选择消息队列分片；当skywalking中数据量级的规模大于等于5亿segment/天时小于100亿segment/天，选择单一消息队列集群，对所述链路数据、所述日志数据及所述指标数据的ip地址进行哈希运算得到ip地址哈希值，根据所述ip地址哈希值，对所述单一消息队列集群分配消息队列分片；当skywalking中数据量级的规模大于等于100亿segment/天时，选择多个消息队列集群，根据所述ip地址哈希值，对所述多个消息队列集群分配消息队列分片。69.本发明实施例中，当所述数据量级小于第一预设量级阈值时，将所述链路数据、所述日志数据及所述指标数据放入与所述id对应的消息队列分片中，得到分片链路数据、分片日志数据及分片指标数据；当所述数据量级大于等于所述第一预设量级阈值时，将所述链路数据、所述日志数据及所述指标数据放入与所述ip地址哈希值对应的消息队列分片中，得到分片链路数据、分片日志数据及分片指标数据。70.本发明实施例中，根据所述数据量级均衡选择消息队列分片策略，根据所述消息队列分片策略，将所述链路数据、所述日志数据及所述指标数据划分为分片链路数据、分片日志数据及分片指标数据，使得数据更加均衡，处理能力更强、避免数据挤压导致数据丢失，提升了海量数据的监控准确性。71.s3、将所述分片链路数据及所述分片日志数据解析为预设格式的规整链路数据及规整日志数据，将所述规整链路数据及所述规整日志数据存储到热暖架构的第一数据库中，并根据第一预设维度展示所述规整链路数据及所述规整日志数据。72.本发明实施例中，所述热暖架构的第一数据库为包含hot数据节点和warm数据节点的数据库，通常hot数据节点存放用户最关心的热数据，warm数据节点存放用户优先级低的冷数据或者暖数据，可以用于存储日志型的数据库。73.详细地，s3中所述将所述分片链路数据及所述分片日志数据解析为预设格式的规整链路数据及规整日志数据，包括：74.对所述分片链路数据及所述分片日志数据进行数据清洗，得到目标分片链路数据及目标分片日志数据；75.将所述目标分片链路数据及所述目标分片日志数据解析为格式相同的规整链路数据及规整日志数据。76.本发明实施例中，可以采用policy机制对所述分片链路数据及所述分片日志数据进行数据清洗，清洗掉不在预期时间窗口内的数据。77.本发明实施例中，可以将近2天的所述规整链路数据及所述规整日志数据作为热数据存储到第一数据库中的热数据节点中，将超过2天的所述规整链路数据及所述规整日志数据作为冷数据，自动迁移到所述第一数据库中的冷数据节点中。78.本发明实施例中，根据所述规整链路数据及所述规整日志数据的读写要求不同，采用热暖架构进行存储，能够有效地处理写入数据，并可以用于快速查询，同时还能在节省成本的前提下在较长时间内保留数据。79.进一步地，s3中所述根据第一预设维度展示所述规整链路数据及所述规整日志数据，包括：80.将所述规整链路数据及所述规整日志数据分别按照所述id、业务类别及时间范围进行维度分类，得到id数据集、业务类别数据集及时间范围数据集；81.当接收到查询数据时，分析所述查询数据的查询维度，根据所述查询维度选择所述id数据集、所述业务类别数据集及所述时间范围数据集中其中一个数据集；82.根据所述查询数据，从选择的数据集中查询并展示查询结果。83.本发明实施例中，可以按照【日志数据及指标数据的id】精准查询、按照【业务类别】精准查询、按照【时间范围+关键字】模糊查询。84.s4、从所述规整链路数据及所述规整日志数据中提取与所述分片指标数据关联的关联指标数据。85.详细地，所述s4包括：86.对所述规整链路数据及所述规整日志数据进行分词及量化处理得到链路数据向量序列及日志数据向量序列；87.提取所述分片指标数据的关键词；88.分别计算所述关键词与所述链路数据向量序列及所述日志数据向量序列中词向量的相似度；89.将所述相似度满足预设相似度阈值的词向量作为关联指标数据。90.本发明实施例中，可以利用tf-idf(term frequency–inverse document frequency，词频-逆向文件频率)算法、textrank关键词提取算法、k-means聚类算法等算法提取关键词。91.本发明实施例中，可以利用余弦相似度、杰卡德相似系数、皮尔逊相关系数等算法计算所述关键词与所述链路数据向量序列及所述日志数据向量序列中词向量的相似度。92.本发明实施例中，从所述规整链路数据及所述规整日志数据中提取与所述分片指标数据关联的关联指标数据，将链路数据及日志数据与指标数据形成联动，有利于排查问题，提升海量数据全链路监控的可维护性。93.s5、对所述关联指标数据及所述分片指标数据进行二级聚合，得到聚合指标数据，并将所述聚合指标数据存储到所述热暖架构的第二数据库中。94.详细地，参阅图2所示，s5中所述对所述关联指标数据及所述分片指标数据进行二级聚合，得到聚合指标数据，包括：95.s51、分析所述关联指标数据及所述分片指标数据的来源应用；96.s52、根据所述来源应用及所述ip地址，从所述来源应用、所述ip地址、指标名称及时间四个维度，对所述关联指标数据及所述分片指标数据进行第一次聚合，得到第一聚合指标数据；97.s53、根据所述来源应用，从所述来源应用、所述指标名称及时间三个维度，对所述第一聚合指标数据进行第二次聚合，得到聚合指标数据。98.本发明实施例中，所述关联指标数据及所述分片指标数据包含数据来源的应用、数据的ip地址以及指标数据。99.本发明实施例中，根据所述来源应用及所述ip地址，从所述来源应用、所述ip地址、指标名称及时间四个维度，将同一应用及同一ip地址的所述关联指标数据及所述分片指标数据进行第一次聚合，得到实例级的第一聚合指标数据，时间维度包括分钟级、小时级及天等时间量级；进一步，从所述来源应用、所述指标名称及时间三个维度将同一来源应用的所述第一聚合指标数据进行第二次聚合，得到应用级的聚合指标数据。100.本发明实施例中，对所述关联指标数据及所述分片指标数据进行二级聚合，得到聚合指标数据，可以适配多种流式架构的pipe-line处理机制，二级聚合方式得到实例级和应用级的数据，实例级数据和应用级的数据相互独立，便于后续出现问题时，快速排查问题来源。101.进一步地，参阅图3所示，s5中所述将所述聚合指标数据存储到所述热暖架构的第二数据库中，包括：102.s54、将所述聚合指标数据作为热数据存储到第二数据库中的热数据节点中；103.s55、检测所述第二数据库中所述聚合指标数据的已保留时长；104.s56、将所述已保留时长大于预设时长的聚合指标数据作为冷数据，自动迁移到所述第二数据库中的冷数据节点中。105.本发明实施例中，可以将近2天的所述聚合指标数据作为热数据存储到第二数据库中的热数据节点中，因为热数据读写频繁，对性能要求高，可采用ssd搭建热数据节点；将超过2天的所述聚合指标数据作为冷数据，自动迁移到所述第二数据库中的冷数据节点中，因为冷数据存储密度较大，需在较长保留期限内保留数据，可采用机械硬盘搭建冷数据节点。106.本发明实施例中，根据所述聚合指标数据读写要求不同，采用热暖架构进行存储，能够有效地处理写入数据，并可以用于快速查询，同时还能在节省成本的前提下在较长时间内保留数据。107.s6、将满足预设指标阈值的所述聚合指标数据作为告警信息推送给用户，并根据第二预设维度展示所述聚合指标数据。108.本发明实施例中，当所述聚合指标数据达到预设指标阈值时，表示所述聚合指标数据存在异常，将存在异常的聚合指标数据作为告警信息推送给用户。109.本发明实施例中，所述第二预设维度可以根据查询要求或用户要求定义维度进行展示。110.本发明实施例通过根据所述数据量级均衡选择消息队列分片策略，根据所述消息队列分片策略，将所述链路数据、所述日志数据及所述指标数据划分为分片链路数据、分片日志数据及分片指标数据，使得数据更加均衡，处理能力更强、避免数据挤压导致数据丢失，提升了海量数据的监控准确性；进一步从所述规整链路数据及所述规整日志数据中提取与所述分片指标数据关联的关联指标数据，对所述关联指标数据及所述分片指标数据进行二级聚合，得到聚合指标数据，可以适配多种流式架构的pipe-line处理机制，二级聚合方式得到实例级和应用级的数据，实例级数据和应用级的数据相互独立，便于后续出现问题时，快速排查问题来源，提升了海量数据的可维护性；最后，将满足预设指标阈值的所述聚合指标数据作为告警信息推送给用户，将所述规整链路数据、所述规整日志数据及所述聚合指标数据存储到热暖架构的数据库中，能够有效地处理写入数据，并可以用于快速查询，同时还能在节省成本的前提下在较长时间内保留数据，提升了海量数据的可维护性。因此本发明提出的海量数据全链路监控方法，可以解决海量数据全链路监控准确较低及可维护性不高的问题。111.如图4所示，是本发明一实施例提供的海量数据全链路监控装置的功能模块图。112.本发明所述海量数据全链路监控装置100可以安装于电子设备中。根据实现的功能，所述海量数据全链路监控装置100可以包括数据采集模块101、均衡分片模块102、解析模块103、数据聚合模块104及信息告警模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。113.在本实施例中，关于各模块/单元的功能如下：114.所述数据采集模块101，用于采集链路数据、日志数据及指标数据；115.所述均衡分片模块102，用于统计所述链路数据、所述日志数据及所述指标数据的数据量级，根据所述数据量级均衡选择消息队列分片策略，根据所述消息队列分片策略，将所述链路数据、所述日志数据及所述指标数据划分为分片链路数据、分片日志数据及分片指标数据；116.所述解析模块103，用于将所述分片链路数据及所述分片日志数据解析为预设格式的规整链路数据及规整日志数据，将所述规整链路数据及所述规整日志数据存储到热暖架构的第一数据库中，并根据第一预设维度展示所述规整链路数据及所述规整日志数据；117.所述数据聚合模块104，用于从所述规整链路数据及所述规整日志数据中提取与所述分片指标数据关联的关联指标数据；对所述关联指标数据及所述分片指标数据进行二级聚合，得到聚合指标数据，并将所述聚合指标数据存储到所述热暖架构的第二数据库中；118.所述信息告警模块105，用于将满足预设指标阈值的所述聚合指标数据作为告警信息推送给用户，并根据第二预设维度展示所述聚合指标数据。119.详细地，本发明实施例中所述海量数据全链路监控装置100中所述的各模块在使用时采用与上述图1至图3中所述的海量数据全链路监控方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。120.如图5所示，是本发明一实施例提供的实现海量数据全链路监控方法的电子设备的结构示意图。121.所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如海量数据全链路监控程序。122.其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行海量数据全链路监控程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。123.所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如海量数据全链路监控程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。124.所述通信总线12可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。125.所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。126.图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。127.例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。128.应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。129.所述电子设备1中的所述存储器11存储的海量数据全链路监控程序是多个指令的组合，在所述处理器10中运行时，可以实现：130.采集链路数据、日志数据及指标数据；131.统计所述链路数据、所述日志数据及所述指标数据的数据量级，根据所述数据量级均衡选择消息队列分片策略，根据所述消息队列分片策略，将所述链路数据、所述日志数据及所述指标数据划分为分片链路数据、分片日志数据及分片指标数据；132.将所述分片链路数据及所述分片日志数据解析为预设格式的规整链路数据及规整日志数据，将所述规整链路数据及所述规整日志数据存储到热暖架构的第一数据库中，并根据第一预设维度展示所述规整链路数据及所述规整日志数据；133.从所述规整链路数据及所述规整日志数据中提取与所述分片指标数据关联的关联指标数据；134.对所述关联指标数据及所述分片指标数据进行二级聚合，得到聚合指标数据，并将所述聚合指标数据存储到所述热暖架构的第二数据库中；135.将满足预设指标阈值的所述聚合指标数据作为告警信息推送给用户，并根据第二预设维度展示所述聚合指标数据。136.具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。137.进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。138.本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：139.采集链路数据、日志数据及指标数据；140.统计所述链路数据、所述日志数据及所述指标数据的数据量级，根据所述数据量级均衡选择消息队列分片策略，根据所述消息队列分片策略，将所述链路数据、所述日志数据及所述指标数据划分为分片链路数据、分片日志数据及分片指标数据；141.将所述分片链路数据及所述分片日志数据解析为预设格式的规整链路数据及规整日志数据，将所述规整链路数据及所述规整日志数据存储到热暖架构的第一数据库中，并根据第一预设维度展示所述规整链路数据及所述规整日志数据；142.从所述规整链路数据及所述规整日志数据中提取与所述分片指标数据关联的关联指标数据；143.对所述关联指标数据及所述分片指标数据进行二级聚合，得到聚合指标数据，并将所述聚合指标数据存储到所述热暖架构的第二数据库中；144.将满足预设指标阈值的所述聚合指标数据作为告警信息推送给用户，并根据第二预设维度展示所述聚合指标数据。145.在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。146.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。147.另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。148.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。149.因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。150.本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。151.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。152.此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。153.最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!