人工智能与大数据结合的异常检测方法及服务系统与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明属于信息技术领域，具体地，涉及人工智能与大数据结合的异常检测方法及服务系统。背景技术：2.目前，随着互联网技术的发展，越来越多的数据需要一个安全和高校的平台进行存储和处理。目前的大数据发展平台hbase具备上述大数据的存储机制，但是在上述平台上，会出现数据异常或攻击威胁的案例，这就需要运维人员在较短时间内及时发现并阻止。3.目前，运维人员通常是通过人工检测的方法对一些重要参数进行检测，并及时发现问题，又或者通过一些人工智能的算法对用户操作行为进行预警。但是，上述的检测机制效率不高，且检测精度不够。技术实现要素：4.本发明提供了人工智能与大数据结合的异常检测方法及服务系统，解决了现有技术中异常检测机制效率不高且精度不够的问题，有效提升了异常检测的效率和精度。5.为了实现上述目的，本发明提供了人工智能与大数据结合的异常检测方法，包括：6.云服务器从hbase数据库中采集系统操作记录，所述操作记录中包括用户标签、操作时间和操作指令；7.按照操作时间进行排序，并将排序后的所述操作记录生成记录表，所述记录表包含多个记录；8.将所述记录表输入至改进的贝叶斯概率模型，获取到每一个记录中每一字符串的概率，并保留概率大于第一阈值的记录，舍弃概率小于等于第一阈值的记录；9.对所述保留的记录进行特征数处理，并将特征数处理后的记录输入局部异常因子和知识图谱联合模型进行异常检测。10.可选地，将所述记录表输入至改进的贝叶斯概率模型，获取到每一个记录中每一字符串的概率，包括：11.计算所述每一个记录中的每一个字符出现的概率ps：12.ps＝p[sn＝bn]*u[0013]其中，u为当前记录出现的概率权重，s为字符串标识，b为下一字符串标识，n为正整数；[0014]若字符出现的概率pu大于字符阈值，则设定所述字符为候选节点；[0015]设置树形结构，初始化根节点，并将每一个候选节点依次设置在所述树形结构中；[0016]递归遍历所述候选节点，获取到每一个记录中每一字符串的概率。[0017]可选地，递归遍历所述候选节点，获取到每一个记录中每一字符串的概率，包括：[0018]计算当前字符串后出现下一字符串的概率pb；[0019]若pb大于第二阈值，则保留所述字符串对应的候选节点，否则舍弃所述字符串对应的候选节点；[0020]对所述保留的候选节点概率进行加权平均，计算出所述候选节点对应的记录的概率。[0021]可选地，对所述保留的记录进行特征数处理，包括：[0022]获取所述保留的记录的最大长度；[0023]对记录长度小于所述最大长度的记录进行数值填充，以使每一记录的特征数相同。[0024]可选地，将特征数处理后的记录输入局部异常因子和知识图谱联合模型进行异常检测，包括：[0025]使用k-means聚类算法对所述记录进行异常筛查；[0026]使用局部异常因子模型，对异常筛查后的记录进行局部因子筛查；[0027]基于局部因子筛查后的记录，生成知识图谱，所述知识图谱包括多个三元组组成；[0028]基于所述知识图谱，对所述记录进行异常原因补全。[0029]可选地，使用k-means聚类算法对所述记录进行异常筛查，包括：[0030]初始化多个记录的簇群，预设所述簇群中包含m个簇心；[0031]设置所述簇群中的任一节点为第一簇心；[0032]计算任一节点距离所述簇心的欧式距离；[0033]选取最大欧式距离的节点为第二簇心；[0034]重复上述计算及选取过程，直至选取出m个簇心；[0035]计算每一个记录到m个簇心的距离，并找到每一记录最近的簇心，并计算该簇心对应簇群的重心；[0036]对于每一个簇心，计算所述簇心对应簇群的重心与所述簇心的距离，并按照从大到小的顺序进行排列，将距离大于预设阈值的设置为异常记录。[0037]可选地，使用局部异常因子模型，对异常筛查后的记录进行局部因子筛查，包括：[0038]定义领域大小k和污染参数c；[0039]依次遍历k和c，计算在k和c的不同取值下的点的局部离群因子得分的均值和方差；[0040]对于每个c和k，计算预测异常和正常点之间的局部异常因子得分的差异；[0041]选取差异集合tc,中的最大值对应的k作为局部异常因子算法k值,选取k值所对应的差异集合tc,，opt所对应的c值作为局部异常因子算法c值的最优解。[0042]可选地，基于所述知识图谱，对所述记录进行异常原因补全，包括：[0043]使用预训练语言模型将所述知识图谱的三元组头实体、尾实体和关系进行处理，获取每个三元组的表示向量和概率分布大小；[0044]使用欧式距离获取到三元组目标实体n个最近的邻居节点，所述邻居节点为所述异常根因节点；[0045]将所述n个最近的邻居节点的概率进行排序，得到其中概率最大的邻居节点，将该节点的根因内容作为所述记录的异常原因进行补全。[0046]本发明实施例还提供了一种人工智能与大数据结合的异常检测服务系统，包括：[0047]采集单元，用于从hbase数据库中采集系统操作记录，所述操作记录中包括用户标签、操作时间和操作指令；[0048]排序单元，用于按照操作时间进行排序，并将排序后的所述操作记录生成记录表，所述记录表包含多个记录；[0049]处理单元，用于将所述记录表输入至改进的贝叶斯概率模型，获取到每一个记录中每一字符串的概率，并保留概率大于第一阈值的记录，舍弃概率小于等于第一阈值的记录；对所述保留的记录进行特征数处理，并将特征数处理后的记录输入局部异常因子和知识图谱联合模型进行异常检测。[0050]本发明实施例提供人工智能与大数据结合的异常检测服务系统，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。[0051]本发明实施例的方法及系统具有下列优点：[0052]本发明实施例中，采用人工智能和大数据相结合的方法，通过贝叶斯概率模型、局部异常因子和知识图谱相结合的模型，不仅可以高效和精确地检测出异常记录，还可以进行异常记录的根因分析，极大地提升了运维的效率。附图说明[0053]图1为一个实施例中人工智能与大数据结合的异常检测的方法流程图；[0054]图2为一个实施例中树形结构图；[0055]图3为一个实施例中人工智能与大数据结合的异常检测服务系统架构图；[0056]图4为一个实施例中系统的硬件组成示意图。具体实施方式[0057]为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。[0058]图1是本发明实施例中的流程图，如图1所示，本发明实施例包括以下步骤：[0059]s101、云服务器从hbase数据库中采集系统操作记录，所述操作记录中包括用户标签、操作时间和操作指令；[0060]apache hbase是hadoop数据库，是一个分布式、可伸缩的大数据存储。hbase是在hdfs的基础之上构建的，hdfs是分布式文件系统。在hbase中保存有各类系统的操作记录和信息，例如各类企业客户端、各类电商平台的用户操作日志等，上述操作记录按照时间顺序和类型，依次保存在hbase数据中，并且，不同的操作记录都需要包括用户标签(用户id)、操作时间(用户或管理员操作/发出命令的时间)以及对应的操作指令。[0061]上述操作记录是海量的操作记录数据，由于数据量大，会造成维护，尤其是人工运维的难度极具加大，因此，需要通过一种合适的方法，将上述运维的难度降低。[0062]s102、按照操作时间进行排序，并将排序后的所述操作记录生成记录表，所述记录表包含多个记录；[0063]在获取到上述操作记录后，先按照时间先后顺序进行排序，并基于排序后的顺序生成该操作记录表，记录表中包含按顺序存放的多条记录。[0064]s103、将所述记录表输入至改进的贝叶斯概率模型，获取到每一个记录中每一字符串的概率，并保留概率大于第一阈值的记录，舍弃概率小于等于第一阈值的记录；[0065]贝叶斯概率(bayesian probability)是由贝叶斯理论所提供的一种对概率的解释，它采用将概率定义为某人对一个命题信任的程度的概念。贝叶斯理论同时也建议贝叶斯定理可以用作根据新的信息导出或者更新现有的置信度的规则。在用同样的数据比较两个假设的时候，假设测试理论基于概率的频率解释，它允许基于错误推出数据更支持另外那个模型/假设的概率来否定或接受一个模型/假设(零假设)。出现这种错误的概率称为一类误差，它要求考虑从同样的数据源导出的假想的数据集合要比实际观测到的数据更为极端。这个方法允许论断'或者两个假设不同或者观测到的数据是误导性的集合'。相对应的是，贝叶斯方法基于实际观测到的数据，因此能够对于任何数量的假设直接赋予后验概率。对于代表每个假设的模型的参数必须赋予概率的要求是这种直接方法的代价。[0066]在本发明实施例中，与传统的贝叶斯概率模型不同的是，本发明实施例采用了改进型的贝叶斯概率模型，采用了贝叶斯概率模型的思想，但其算法不同。具体如下：[0067]计算所述每一个记录中的每一个字符出现的概率ps：[0068]ps＝p[sn＝bn]*u[0069]其中，u为当前记录出现的概率权重权重，s为字符串标识，b为下一字符串标识，n为正整数；[0070]若字符出现的概率pu大于字符阈值，则设定所述字符为候选节点；[0071]设置树形结构，该树形结构具备根节点、叶子节点等，并初始化根节点root，并将每一个候选节点依次设置在所述树形结构中；即将候选节点字符串加入到树中，例如，当前候选节点的字符串为abcd，则依次可以将a,b,c,d设置在不同的叶子节点中，如图2所示。[0072]递归遍历所述候选节点，获取到每一个记录中每一字符串的概率。[0073]此外，递归遍历所述候选节点，获取到每一个记录中每一字符串的概率，具体可以为：[0074]计算当前字符串后出现下一字符串的概率pb[0075]pb＝p[sn＝bn|s0]*w；其中w为权重因子，s0为初始设置字符串。[0076]若pb大于第二阈值，则保留所述字符串对应的候选节点，否则舍弃所述字符串对应的候选节点；[0077]对所述保留的候选节点概率进行加权平均，计算出所述候选节点对应的记录的概率。[0078]s104、对所述保留的记录进行特征数处理，并将特征数处理后的记录输入局部异常因子和知识图谱联合模型进行异常检测。[0079]其中，对所述保留的记录进行特征数处理，可以为：获取所述保留的记录的最大长度；对记录长度小于所述最大长度的记录进行数值填充，以使每一记录的特征数相同。[0080]在本发明实施例中，传统的局部异常因子算法的具体步骤如下：[0081]对于数据集中的每一个数据点，计算其与其他数据点之间的欧式距离dist(di,dj)；[0082]对于数据集中的每一个数据点，计算k距离k_dist(di),k距离是指将第一步得到的数据点到其他数据点的欧式距离从小到大排序，数据点到第k个数据点的距离；[0083]对于数据集中的每一个数据点，得到其的k距离邻域nk(di)，k距离邻域是指到数据点的距离小于其k距离的数据点集合；[0084]计算第k可达距离reach_distk(dr,di)，第k可达距离是指数据点di的k距离和数据点di到数据点dr之间的最大值。[0085]reach_distk(dr,di)＝max{k_dist(di),dist(dr,di)}[0086]计算局部可达密度，局部可达密度即为数据点di的k距离邻域内的所有数据点到数据点di的平均可达距离的倒数。[0087][0088]计算局部离群因子，局部离群因子即为数据点di的k距离邻域内的所有数据点的局部可达密度与数据点数据点di的局部可达密度之比的平均数.[0089][0090]根据局部离群因子的大小，判断该点是否为异常点。[0091]使用局部异常因子算法进行异常检测，通过判断局部离群因子值的大小从而判断该点是否为异常点，若局部离群因子值远大于1，则该点为异常点，反之，该点为正常点。局部离群因子算法需要计算数据点两两之间的距离，造成整个算法时间复杂度非常高，效率比较低。训练异常因子算法需要两个超参数需要学习。局部异常因子算法使用了两个超参数：第一个是邻域大小(k)，它定义了计算局部密度的邻域；第二个是污染参数c，它决定了异常点的比例。这两个算法超参数的大小对局部异常因子算法至关重要。本专利对局部异常因子算法做出了两点改进，一是减少局部异常因子算法的计算成本，二是提出了一种启发式的方法训练局部异常因子算法的两个超参数。[0092]本发明实施例提出的改进的局部异常因子算法具体步骤如下：[0093]s1041.使用k-means聚类算法对所述记录进行异常筛查；[0094]具体地，k-means算法包括如下步骤：[0095]初始化多个记录的簇群，预设所述簇群中包含m个簇心，m为自然数；[0096]设置所述簇群中的任一节点为第一簇心；[0097]计算任一节点距离所述簇心的欧式距离dist(x)；[0098]选取最大欧式距离distmax的节点为第二簇心；[0099]重复上述计算及选取过程(即计算第二节点距离所述簇心的欧式距离dist(x)，选取最大欧式距离distmax的节点为第i簇心，i为从1到m的自然数)，直至选取出m个簇心；[0100]计算每一个记录(记录作为输入样本)到m个簇心的距离，并找到每一记录最近的簇心，并计算该簇心对应簇群的重心；[0101]对于每一个簇心，计算所述簇心对应簇群的重心与所述簇心的距离，并按照从大到小的顺序进行排列，将距离大于预设阈值的设置为异常记录。[0102]s1042.使用局部异常因子模型，对异常筛查后的记录进行局部因子筛查；[0103]定义领域大小k和污染参数c，以及c和k对应的取值范围；[0104]依次遍历k和c，计算在k和c的不同取值下的点的局部离群因子得分的均值和方差；[0105]对于每个c和k，计算预测异常和正常点之间的局部异常因子得分的差异；[0106]选取差异集合tc,k中的最大值对应的k作为局部异常因子算法k值,选取k值所对应的差异集合tc,k所对应的c值作为局部异常因子算法c值的最优解。[0107]s1043.基于局部因子筛查后的记录，生成知识图谱，所述知识图谱包括多个三元组组成；[0108]知识图谱作为一种实体和概念等安全知识的高效组织形式，能够发挥其知识整合的优势，将零散分布的多源异构的安全数据组织起来，为网络安全空间的威胁建模、风险分析、攻击推理等提供数据分析和知识推理方面的支持。[0109]知识图谱，是结构化的语义知识库，用于迅速描述物理世界中的概念及其相互关系。知识图谱采用三元组(h,r,t)的形式表示,h,r,t分别表示头实体、关系、尾实体。虽然现有的知识图谱中存储着大量的事实数据，但是仍然有很多实体与实体之间的隐含信息没有体现出来，这对知识图谱进一步分析建模带来了巨大得影响。[0110]知识图谱补全任务主要是基于现有的知识图谱研究数据之间的关系，从而推断出实体之间的关系，例如异常现象和异常根因之间的关系，使得知识图谱书变得更加完整。目前，针对知识图谱补全任务，主要有两大类的模型基于距离的模型和基于张量分解的模型。基于距离的模型如(transe、transh、transr等)使用闵可夫斯基距离来度量三元组的合理性，虽然这类模型在知识图谱补全任务中都取得了不错的成绩，但是不能够处理复杂的关系模式(一对多、多对一等)；虽然最新的rotate模型能够很好的处理复杂的关系模式且在知识补全任务中取得了不错的效果，但此类模型在建模过程中需要对样本进行负采样，会降低知识图谱补全任务的效率。基于张量分解的模型，将知识图谱视为部分可观测的三阶张量，从而将知识图谱补全建模为一个张量补全问题。[0111]在本发明实施例中，每个三元组由于头实体、关系和尾实体组成,三元组记作(ei,rj,ek)。[0112]s1044.基于所述知识图谱，对所述记录进行异常原因补全。[0113]使用预训练语言模型将所述知识图谱的三元组头实体、尾实体和关系进行处理，获取每个三元组的表示向量和概率分布大小；[0114]使用预训练语言模型bert训练三元组，得到每一行的向量表示qi＝f(ci)和其概率向量pq。[0115]使用欧式距离获取到三元组目标实体n个最近的邻居节点，所述邻居节点为所述异常根因节点；[0116]对于每一个三元组的文本描述向量表示，使用欧式距离计算其与三元组每一行向量表示的距离d，并找出其最近的n个邻居点，所谓最近的n个邻居点指从小到大排列，找到所对应的目标。[0117]计算概率分布。通过这k个最近邻计算一个目标target的分布，再把相同的目标target聚合起来。[0118][0119]将所述n个最近的邻居节点的概率进行排序，得到其中概率最大的邻居节点，将该节点的根因内容作为所述记录的异常原因进行补全。[0120]如图3所示，本发明实施例还提供了一种人工智能与大数据结合的异常检测服务系统30，包括：[0121]采集单元31，用于从hbase数据库中采集系统操作记录，所述操作记录中包括用户标签、操作时间和操作指令；[0122]apache hbase是hadoop数据库，是一个分布式、可伸缩的大数据存储。hbase是在hdfs的基础之上构建的，hdfs是分布式文件系统。在hbase中保存有各类系统的操作记录和信息，例如各类企业客户端、各类电商平台的用户操作日志等，上述操作记录按照时间顺序和类型，依次保存在hbase数据中，并且，不同的操作记录都需要包括用户标签(用户id)、操作时间(用户或管理员操作/发出命令的时间)以及对应的操作指令。[0123]上述操作记录是海量的操作记录数据，由于数据量大，会造成维护，尤其是人工运维的难度极具加大，因此，需要通过一种合适的方法，将上述运维的难度降低。[0124]排序单元32，用于按照操作时间进行排序，并将排序后的所述操作记录生成记录表，所述记录表包含多个记录；[0125]在获取到上述操作记录后，先按照时间先后顺序进行排序，并基于排序后的顺序生成该操作记录表，记录表中包含按顺序存放的多条记录。[0126]处理单元33，用于将所述记录表输入至改进的贝叶斯概率模型，获取到每一个记录中每一字符串的概率，并保留概率大于第一阈值的记录，舍弃概率小于等于第一阈值的记录；对所述保留的记录进行特征数处理，并将特征数处理后的记录输入局部异常因子和知识图谱联合模型进行异常检测。[0127]贝叶斯概率(bayesian probability)是由贝叶斯理论所提供的一种对概率的解释，它采用将概率定义为某人对一个命题信任的程度的概念。贝叶斯理论同时也建议贝叶斯定理可以用作根据新的信息导出或者更新现有的置信度的规则。在用同样的数据比较两个假设的时候，假设测试理论基于概率的频率解释，它允许基于错误推出数据更支持另外那个模型/假设的概率来否定或接受一个模型/假设(零假设)。出现这种错误的概率称为一类误差，它要求考虑从同样的数据源导出的假想的数据集合要比实际观测到的数据更为极端。这个方法允许论断'或者两个假设不同或者观测到的数据是误导性的集合'。相对应的是，贝叶斯方法基于实际观测到的数据，因此能够对于任何数量的假设直接赋予后验概率。对于代表每个假设的模型的参数必须赋予概率的要求是这种直接方法的代价。[0128]在本发明实施例中，与传统的贝叶斯概率模型不同的是，本发明实施例采用了改进型的贝叶斯概率模型，采用了贝叶斯概率模型的思想，但其算法不同。具体如下：[0129]计算所述每一个记录中的每一个字符出现的概率ps：[0130]ps＝p[sn＝bn]*u[0131]其中，u为当前记录出现的概率权重权重，s为字符串标识，b为下一字符串标识，n为正整数；[0132]若字符出现的概率pu大于字符阈值，则设定所述字符为候选节点；[0133]设置树形结构，该树形结构具备根节点、叶子节点等，并初始化根节点root，并将每一个候选节点依次设置在所述树形结构中；即将候选节点字符串加入到树中，例如，当前候选节点的字符串为abcd，则依次可以将a,b,c,d设置在不同的叶子节点中。[0134]递归遍历所述候选节点，获取到每一个记录中每一字符串的概率。[0135]此外，递归遍历所述候选节点，获取到每一个记录中每一字符串的概率，具体可以为：[0136]计算当前字符串后出现下一字符串的概率pb[0137]pb＝p[sn＝bn|s0]*w；其中w为权重因子，s0为初始设置字符串。[0138]若pb大于第二阈值，则保留所述字符串对应的候选节点，否则舍弃所述字符串对应的候选节点；[0139]对所述保留的候选节点概率进行加权平均，计算出所述候选节点对应的记录的概率。[0140]其中，对所述保留的记录进行特征数处理，可以为：获取所述保留的记录的最大长度；对记录长度小于所述最大长度的记录进行数值填充，以使每一记录的特征数相同。[0141]本发明实施例提出的改进的局部异常因子算法具体步骤如下：[0142]使用k-means聚类算法对所述记录进行异常筛查；[0143]具体地，k-means算法包括如下步骤：[0144]初始化多个记录的簇群，预设所述簇群中包含m个簇心，m为自然数；[0145]设置所述簇群中的任一节点为第一簇心；[0146]计算任一节点距离所述簇心的欧式距离dist(x)；[0147]选取最大欧式距离distmax的节点为第二簇心；[0148]重复上述计算及选取过程(即计算第二节点距离所述簇心的欧式距离dist(x)，选取最大欧式距离distmax的节点为第i簇心，i为从1到m的自然数)，直至选取出m个簇心；[0149]计算每一个记录(记录作为输入样本)到m个簇心的距离，并找到每一记录最近的簇心，并计算该簇心对应簇群的重心；[0150]对于每一个簇心，计算所述簇心对应簇群的重心与所述簇心的距离，并按照从大到小的顺序进行排列，将距离大于预设阈值的设置为异常记录。[0151]使用局部异常因子模型，对异常筛查后的记录进行局部因子筛查；[0152]定义领域大小k和污染参数c，以及c和k对应的取值范围；[0153]依次遍历k和c，计算在k和c的不同取值下的点的局部离群因子得分的均值和方差；[0154]对于每个c和k，计算预测异常和正常点之间的局部异常因子得分的差异；[0155]选取差异集合tc,k中的最大值对应的k作为局部异常因子算法k值,选取k值所对应的差异集合tc,k所对应的c值作为局部异常因子算法c值的最优解。[0156]基于局部因子筛查后的记录，生成知识图谱，所述知识图谱包括多个三元组组成；[0157]知识图谱作为一种实体和概念等安全知识的高效组织形式，能够发挥其知识整合的优势，将零散分布的多源异构的安全数据组织起来，为网络安全空间的威胁建模、风险分析、攻击推理等提供数据分析和知识推理方面的支持。[0158]知识图谱，是结构化的语义知识库，用于迅速描述物理世界中的概念及其相互关系。知识图谱采用三元组(h,r,t)的形式表示,h,r,t分别表示头实体、关系、尾实体。虽然现有的知识图谱中存储着大量的事实数据，但是仍然有很多实体与实体之间的隐含信息没有体现出来，这对知识图谱进一步分析建模带来了巨大得影响。[0159]知识图谱补全任务主要是基于现有的知识图谱研究数据之间的关系，从而推断出实体之间的关系，例如异常现象和异常根因之间的关系，使得知识图谱书变得更加完整。目前，针对知识图谱补全任务，主要有两大类的模型基于距离的模型和基于张量分解的模型。基于距离的模型如(transe、transh、transr等)使用闵可夫斯基距离来度量三元组的合理性，虽然这类模型在知识图谱补全任务中都取得了不错的成绩，但是不能够处理复杂的关系模式(一对多、多对一等)；虽然最新的rotate模型能够很好的处理复杂的关系模式且在知识补全任务中取得了不错的效果，但此类模型在建模过程中需要对样本进行负采样，会降低知识图谱补全任务的效率。基于张量分解的模型，将知识图谱视为部分可观测的三阶张量，从而将知识图谱补全建模为一个张量补全问题。[0160]在本发明实施例中，每个三元组由于头实体、关系和尾实体组成,三元组记作(ei,rj,ek)。[0161]基于所述知识图谱，对所述记录进行异常原因补全。[0162]使用预训练语言模型将所述知识图谱的三元组头实体、尾实体和关系进行处理，获取每个三元组的表示向量和概率分布大小；[0163]使用预训练语言模型bert训练三元组，得到每一行的向量表示qi＝f(ci)和其概率向量pq。[0164]使用欧式距离获取到三元组目标实体n个最近的邻居节点，所述邻居节点为所述异常根因节点；[0165]对于每一个三元组的文本描述向量表示，使用欧式距离计算其与三元组每一行向量表示的距离d，并找出其最近的n个邻居点，所谓最近的n个邻居点指从小到大排列，找到所对应的目标。[0166]计算概率分布。通过这k个最近邻计算一个目标target的分布，再把相同的目标target聚合起来。[0167][0168]将所述n个最近的邻居节点的概率进行排序，得到其中概率最大的邻居节点，将该节点的根因内容作为所述记录的异常原因进行补全。[0169]本发明实施例提供人工智能与大数据结合的异常检测服务系统，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述方法。[0170]本发明实施例的方法及系统具有下列优点：[0171]本发明实施例中，采用人工智能和大数据相结合的方法，通过贝叶斯概率模型、局部异常因子和知识图谱相结合的模型，不仅可以高效和精确地检测出异常记录，还可以进行异常记录的根因分析，极大地提升了运维的效率。。[0172]本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述实施例中的方法。[0173]图4为一个实施例中系统的硬件组成示意图。可以理解的是，图4仅仅示出了系统的简化设计。在实际应用中，系统还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出系统、处理器、控制器、存储器等，而所有可以实现本技术实施例的大数据管理方法的系统都在本技术的保护范围之内。[0174]存储器包括但不限于是随机存储记忆体(random access memory，ram)、只读存储器(read至only memory，rom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、或便携式只读存储器(compact disc read至only memory，cd至rom)，该存储器用于相关指令及数据。[0175]输入系统用于输入数据和/或信号，以及输出系统用于输出数据和/或信号。输出系统和输入系统可以是独立的器件，也可以是一个整体的器件。[0176]处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(central processing unit，cpu)，在处理器是一个cpu的情况下，该cpu可以是单核cpu，也可以是多核cpu。处理器还可以包括一个或多个专用处理器，专用处理器可以包括gpu、fpga等，用于进行加速处理。[0177]存储器用于存储网络设备的程序代码和数据。[0178]处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。[0179]在本技术所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。[0180]作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0181]在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本技术实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至only memory，rom)，或随机存储存储器(random access memory，ram)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，dvd)、或者半导体介质，例如，固态硬盘(solid state disk，ssd)等。[0182]以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!