用于监测网络的方法、设备和系统与流程

电子通信装置的制造及其应用技术用于监测网络的方法、设备和系统1.本技术是申请号为201980028521.9，优先权日为2018年4月27日、题为“用于监测网络的方法、设备和系统”的中国发明专利申请的分案申请。背景技术：2.在对网络组件的配置或状态进行改变时，网络管理员会检查网络的操作，以确定在给定配置或状态的改变的情况下网络操作是否符合预期。网络管理员可以检查多种类型的缺陷，包括语义缺陷、设备内缺陷和设备间缺陷。某些缺陷当被引入网络时会导致网络以非最佳容量运行。其他缺陷当被引入网络时会导致网络或网络服务部分或全部停止运行。网络管理员可以执行工具以检测设备配置文件中的语义缺陷，或者建立测试网络或网络仿真以测试网络配置的变化。附图说明3.为了更完整地理解本公开，参考以下结合附图进行的详细描述，可以更容易地理解根据本文中描述的各种特征的示例，其中相同的附图标记表示相同的结构元件，并且在附图中：4.图1是示出用于对示例网络的功能进行评分的示例方法的流程图。5.图2是示出用于对示例网络的功能进行评分的另一示例方法的流程图。6.图3示出了对示例网络的功能进行评分的示例网络设备。7.图4示出了对示例网络的功能进行评分的另一示例网络设备。8.某些示例具有补充或替代上述参考图中所示特征的特征。为了清楚起见，可以从某些图中省略某些标签。具体实施方式9.在某些传统的网络环境中，对网络设备或网络拓扑的配置和状态改变可能需要网络管理员进行大量的手动测试。尽管可以通过语义错误检查工具、自动测试单独组装的测试网络、或基于要被应用于网络的配置属性进行仿真测试来检测某些缺陷，但是由于这些测试策略的局限性，可能会遗漏很多缺陷。通常，网络管理员可以通过手动测试网络来补充这些测试策略。10.在本公开的示例中，自动测试套件由网络测试集合组成。针对网络设备的建议配置更新来触发执行自动测试套件的部分。当检测到网络设备的配置改变或状态改变时，触发执行自动测试套件的其他部分。周期性地触发执行自动测试套件的其他部分。自动测试套件的某些测试可以被包括在一个以上的部分中，因此被多个触发之一触发以执行。11.在某些示例中，自动测试套件的测试被选择并且在每个有能力的网络基础设施设备(例如，交换机、路由器)上执行。在一些其他示例中，网络上的设备(例如，服务器)将自动测试套件作为服务提供给网络。在本公开中，对在“网络设备”上执行的功能的任何引用都预期是在网络基础设施设备、网络上的设备、或任何其他适当的硬件、软件或其组合上发生的功能。收集自动测试套件的测试结果。结果可以包括示出网络操作的缺陷的信息。某些缺陷是网络的非最佳或低效操作。例如，过多的数据流量正在通过某个网络路径，而替代路径未充分利用。某些其他缺陷是网络的不可操作性。例如，某个虚拟局域网(vlan)上的设备无法与域名系统(dns)服务器通信。缺陷的三种分类包括语法、设备内和设备间。语法缺陷可以包括配置文件的排印错误或不正确格式。交换机内缺陷可以包括由于某个网络设备的配置与同一网络设备的功能不兼容而引起的缺陷。设备间缺陷可以包括由某个网络设备的配置与另一网络设备的功能不兼容而引起的缺陷。某些缺陷可能是动态的，其中如果没有某些上下文属性，则很难或无法检测到该缺陷。例如，只有通过某个网络链路的流量高于某个阈值时，才可能检测到缺陷。12.在检测到网络设备的配置改变时，执行自动测试套件，并且使用自动测试套件的结果来确定网络设备的配置得分。配置得分表示网络设备的稳定性和功能性。在一些示例中，配置得分是分层的，以反映分层结构化的交换机配置。例如，如果管理员配置了复杂的特征(例如，边界网关协议(bgp))，则可以改变特定交换机配置中的多个配置属性，但其他配置属性可能不会受到影响。在这样的示例中，自动测试套件将由与已改变的配置属性相关联的测试以及与已改变的配置属性相关的配置属性(例如，父属性、子属性)组成。在某些这样的示例中，附加的“健全性(sanity)”测试可以被包括在自动测试套件中，以尝试检测对看似无关的网络功能的功能性的意外改变。13.在进行某些配置改变时，如果没有在适当的网络设备的配置中明确启用，则可能无法启用相关的网络功能。这些潜在的配置改变可能仍会基于已经改变的配置属性来触发自动测试套件的执行。在某些示例中，这样的测试套件执行可以发现由配置改变引起的某些类型的缺陷，这些缺陷会影响现有功能，或者会影响一旦启用就有的新功能。例如，为改进流视频数据的路由而准备的尚未启用的网络特征的配置改变可能会导致两个路由器之间的分组参数不匹配，这表明设备间存在缺陷。在一些其他示例中，配置改变是预期的，并且尚未被应用于网络。在这样的示例中，自动测试套件可以基于预期的配置改变来确定对网络功能的预期影响。例如，预料改进视频流数据路由的配置改变可能会改变配置属性，这可能会破坏bgp的正常运行。14.某些缺陷只有在启用了与它们相关的网络功能之后，才会表现出可测量的网络症状。例如，如果改善流视频数据的路由的上述特征被错误地配置，则产生的缺陷可能不正确地路由流视频数据，从而导致视频流性能降低。尽管潜在缺陷在启用特征之前已经被包含在配置属性中，但在仍然潜在的情况下检测缺陷可能不切实际。在这样的示例中，可以基于网络特征的启用来执行自动测试套件。自动测试套件可以包括对网络特征的功能性的测试，该测试可以检测到降低的视频流性能。15.但是，其他某些缺陷在某些网络条件存在之前不会表现出可测量的网络症状。例如，如果改进流视频数据的路由的上述特征被配置不当，则产生的错误地路由流视频数据的缺陷可能不会导致视频流性能下降，直到网络的某个交换机的利用率超过75％。尽管潜在缺陷在启用特征之前已经被包含在配置属性中，但在仍然潜在的情况下检测缺陷可能不切实际。此外，尽管在特征被启用时存在缺陷，但在某些网络条件尚不存在时检测缺陷可能不切实际。在这样的示例中，可以连续执行自动测试套件。这样的连续后台测试可以定期执行，或者可以在某些网络条件存在时(例如，当业务中断将被最小化时)执行。16.自动测试套件的结果可以编译为网络健康情况得分。在某些示例中，自动测试套件的每个测试被分配给一个或多个网络特征，并且返回得分(例如，-1.00至+1.00)和置信度(例如，0.00至100.00)。此外，每个特征(以及因此分配给该特征的测试)被分配严重性(例如，0至10)。使用每个测试的得分、每个测试的置信度、以及每个特征的严重性，可以计算网络健康情况得分。在一些示例中，根据网络的每个特征的健康情况得分来编译整个网络的健康情况得分。例如，特征a的得分为-0.3，特征b的得分为+0.93。考虑到特征得分和特征严重性，所得到的网络健康情况得分可以为+0.4。超过阈值时，通过网页、电子邮件警报、或任何其他适当的通知方式，可以将网络健康情况得分信息(包括特征健康情况得分和测试得分)提供给网络管理员。17.图1是示出用于对示例网络的功能进行评分的示例方法的流程图。方法100在检测到网络属性已经被更新时执行网络功能测试集合。在一些示例中，方法100在网络的交换机或路由器上执行。在一些其他示例中，方法100在服务器上执行，该服务器可以是专用网络管理设备。18.在框102中，网络设备检测网络属性已被更新。网络属性可以是网络设备的配置属性(例如，是否在网络设备的配置中启用了特征)或网络设备的状态属性(例如，设备的组件或特征的当前操作状态)。在本公开中，术语“状态”(status)是指网络设备的组件或特征的所测得的运行状况。术语“状态值”(state)是指某个配置或状态可能的一组可能值。在一些示例中，网络设备通过从另一网络设备接收关于正在应用已更新配置的通知来检测网络属性已经被更新。在一些其他示例中，网络设备检测网络属性已经由网络管理员更新，该网络管理员执行命令以向网络设备通知已更新的网络属性。在其他示例中，网络设备通过周期性地从网络的网络设备请求配置信息并且将所接收的响应与先前从网络的网络设备接收的响应进行比较来检测网络属性已经被更新。在其他示例中，网络设备通过周期性地从网络的网络设备请求状态信息并且将响应与预期的状态信息进行比较来检测网络属性已经被更新。网络设备可以通过任何适当的手段来检测网络属性已经被更新。19.在框104中，网络设备部分基于在框102中检测到的已更新的网络属性从多个网络功能测试中选择网络功能测试集合。在一些示例中，多个网络功能测试被存储，使得多个网络功能测试中的每个测试包括关于用于运行该测试的触发的信息(“管理员测试配置参数”)。例如，某个测试可以响应于检测到的配置属性改变和检测到的状态属性改变而运行，并且可以针对已经建议的将被应用于网络设备的配置来运行。在这样的示例中，另一特定测试可以响应于检测到的配置属性改变，在延迟之后并且作为连续后台测试而周期性地运行，并且针对被应用于网络设备的配置来运行。20.关于正在运行测试的触发的信息可以包括是否应当响应于配置属性改变而运行测试，是否应当响应状态属性改变而运行测试，是否应当在后台连续运行测试，是否应当响应于每个触发而延迟运行测试以及延迟多少时间，以及是否应当针对已经被应用于网络设备的配置，针对已经建议的将被应用于网络设备的配置，或针对网络功能来运行测试(例如，一般的网络可操作性、特定的网络特征可操作性)。在本公开中，针对已经被应用于网络设备的配置而运行的测试是指对设备内缺陷的测试，而针对网络功能而运行的测试是指对设备间缺陷的测试。这些术语可以在本公开中互换使用，其中可以预期对设备内缺陷和设备间缺陷两者进行测试。21.在框106中，网络设备执行网络功能测试集合。在一些示例中，网络设备引起网络功能测试集合中的某些测试在网络的其他网络设备上执行。在这样的示例中，某些测试可以在网络的一组网络设备的每个网络设备上部分地执行。例如，一个特定测试可以包括执行“traceroute”命令，该命令尤其引起沿网络路径的每个网络设备生成分组并且将该分组发送给源网络设备。22.网络功能测试集合中的某些其他测试可以在执行网络功能测试集合的网络设备上完全执行。其他某些特定测试可以在网络的一组网络设备中的每个网络设备上完全执行，并且来自每次执行的结果可以在执行网络功能测试集合的网络设备处汇总。某些测试可以包括向网络的一组网络设备的管理接口发送命令，从该组网络设备中的每个网络设备接收对该命令的响应，以及基于所接收的响应来确定测试的结果。例如，网络设备可以发送网络命令以请求每个vlan每分钟接收的数据分组数。该组网络设备中的每个设备可以发送响应，该响应包括针对与每个相应设备相关联的vlan的请求数据。23.在某些示例中，某些测试可以按一定顺序执行。例如，网络功能测试集合可以包括测试a、测试b、测试c和测试d。为了正常运行，测试c可能要求在其自身执行之前先执行测试b。类似地，测试b可能要求在其自身执行之前先执行测试a。但是，测试d没有这样的要求，因此可以在a-b-c有序测试链之前、期间或之后的任何时间执行。在一些示例中，可以基本同时(即，并行)执行多个测试。24.可以以适合于确定网络功能的任何格式来设计网络功能测试集合中的测试。但是，可以将某些测试设计为符合少数几种常见网络功能测试设计之一。下面介绍了五个这样的常见网络功能测试设计。25.配置比较验证测试比较互操作的网络设备的配置，以检测由于配置不兼容而导致的设备内或设备间缺陷。例如，某个测试可以确定最大传输单元(mtu)配置在相邻vlan上是否具有相同大小。在某些配置比较验证测试中，对配置属性进行相等性比较(即，如果配置属性相等，则被测网络功能被视为可运行)。在某些其他配置比较验证测试中，比较配置属性的不相等性(即，如果配置属性不相等，则被测网络功能被视为可运行)。在某些示例中，配置比较验证测试逐特征地比较属性。例如，某个配置比较验证测试可以将访问控制列表(acl)与已启用特征进行比较，以确定acl是否阻止来自已启用特征的数据流量。配置比较验证测试可以使用适合于确定被测网络功能是否可运行的任何关系来比较配置属性。26.配置异常检测测试可以验证整个网络设备(和一组网络设备)上的配置是否被兼容地配置。在一些示例中，分析一组网络设备上的一组相似端口的配置，以确定该组相似端口中的一个或多个是否被相似地配置。在这样的示例中，可以将该组相似端口中的少数端口的不一致配置确定为配置异常。例如，如果一组网络设备上的一组相似端口被配置为启用802.1x认证，但是该组相似端口之一被配置为未启用802.1x认证，则某个网络功能测试可以将其检测为异常。在一些示例中，一组相似端口是边缘端口，而另一组相似端口是设备间端口。配置异常检测测试也可以跨网络设备被应用。例如，如果除了一个以外的所有边缘设备都配置有某个vlan，则某个配置异常检测测试可以确定这种配置为异常。27.综合验证测试可以测量网络的运行情况。在某些示例中，某些综合验证测试执行网络工具(例如，ping、traceroute、ip-sla)以测量网络运行情况。综合验证测试可以验证修改分组并且影响分组转发的特征。某些综合验证测试可以检查跨对等网络设备的对应状态属性的兼容性。某些其他综合验证测试可以通过网络发送与仿真端点相关联的数据流量，该数据流量与网络的某个功能或操作相对应。某些综合验证测试可以以通过/失败方式(即，测试通过或测试失败)确定特征的可操作性。其他一些综合验证测试可以以分级方式(即，某个端口上的吞吐量为94.6兆位/秒)来测量特征的可操作性。所有类别的网络功能测试都可以包括这样的通过/失败和分级测试。28.预期的动态状态测试可以验证，网络的动态属性已经被正确地调节以适应网络的变化。例如，在更新某个网络设备的配置时，某个预期的动态状态测试可以验证该某个网络设备的生成树邻居将看到某个网络设备作为邻居，并且它们与该某个网络设备具有相同的生成树根。预期的动态状态测试可以通过使用管理协议(诸如简单网络管理协议(snmp)或代表性状态转移(rest))来收集信息以验证其相应网络动态属性。29.预期的流量行为测试通过监测所检测到的与特征相关的流量并且将这样的流量与预期的流量模式进行比较来验证特征的运行情况。预期某些特征(例如，bgp、ospf)会生成即时和频繁的数据流量，而某些其他特征(例如，dhcp)可能不会即时生成流量(例如，直到dhcp租约期满)。在一些示例中，周期性地将针对特征而检测到的流量与特征的流量模型进行比较以获取不一致性。30.在框108中，网络设备接收描述在网络功能测试集合期间网络的功能的信息。与网络功能测试集合有关的信息可以在网络上的很多网络设备处被确定。在某些示例中，某些网络功能测试在网络上的多个网络设备处生成相关信息。然后，相关信息通过网络被传输到源设备以进行进一步处理。某些网络功能测试可以在源设备(即，执行网络功能测试的设备)处在相关网络功能测试无法直接访问的模块或组件中生成相关信息。这样的测试可以从源设备的模块或组件接收相关信息作为消息。31.在框110中，网络设备基于描述网络的功能的信息来确定网络功能测试集合的结果。在某些示例中，测试的结果是描述网络的功能的信息。例如，如果某个网络功能测试确定功能是否在某个网络设备上被启用，并且在框108中接收的相关信息是该网络设备的指示该功能被启用的状态属性，则不需要进一步的处理。在一些其他示例中，测试的结果是基于将在框108中接收的相关信息与阈值或模型进行比较的确定。例如，可以将与分级测试有关的信息与阈值进行比较以生成通过/失败结果。在其他示例中，测试的结果是基于将在框108中接收的相关信息的部分与相关信息的其他部分进行比较的确定。作为示例，配置异常测试通常将相关信息的部分与相关信息的其他部分进行比较。32.在框112中，网络设备部分基于网络功能测试集合的结果来计算网络功能得分。可以针对包括公共测试框架的测试基础设施来设计并且注册多个网络功能测试。在测试基础设施中，多个网络功能测试中的每个可以与可能影响相应网络功能测试的结果的配置属性、状态属性和特征相关联。在一些示例中，基于这些关联，测试基础设施自动选择将在发生某个触发时运行的网络功能测试集合。例如，如果某个触发是bgp的启用，则选择与bgp相关联的所有网络功能测试以被包括在网络功能测试集合中。33.在一些示例中，测试基础设施可以执行如关于框106描述的网络功能测试集合，并且接收如关于框110描述的网络功能测试集合的结果。在这样的示例中，基于每个网络功能测试的每个结果，测试基础设施计算相关测试的归一化得分和置信度。例如，归一化得分可以是在-1.00到+1.00之间的范围内的浮点数，而置信度可以是在0.00到100.00之间的浮点数。在一些其他示例中，每个网络功能测试在完成执行之前计算其自己的网络功能得分和置信度。34.在一些示例中，基于测试结果的汇总结果来计算测试得分。汇总结果一致为否(即，测试完全失败)的测试的得分为最大负值(例如，在-1.00到+1.00的尺度上为-1.00)。汇总结果一致为是(即，测试完全通过)的测试的得分可以为最大正值(例如，在-1.00到+1.00的尺度上为+1.00)。汇总结果参差不齐(即，测试的某些部分通过，而某些部分未通过)的测试的得分可以是中间值(例如，在-1.00到+1.00的尺度上为0.00)。测试的评分也可能会导致信息缺失和模棱两可。作为示例，某个测试可以通过向网络设备查询与特征的启用相对应的状态属性来验证特征被启用。在这样的示例中，状态属性可以具有三种可能态：启用、禁用和启动中。如果返回给该某个测试的信息表明状态属性处于“启动中”态，则难以确认该特征是被正确启用并且由于与该测试无关的原因而被重置，还是该特征已发生故障并在尝试启动时卡住。作为另一示例，某个测试可以确定网络设备的邻居是否以互补方式看见该网络设备(例如，它们通过将该网络设备视为邻居来反映出相同的拓扑)。五个邻居设备中的四个邻居设备可以发送验证网络拓扑的信息，但是第五个邻居设备可能根本不响应该测试。在缺乏来自第五个邻居设备的响应的情况下，尚不清楚第五个邻居设备是否以互补方式看见该网络设备。连接问题可以与网络拓扑完全无关。这样的测试的得分可以反映以下事实：该测试只能确认五个邻居设备中的四个通过了测试，而第五个邻居设备不一定未通过测试。35.置信度值还反映有关缺失和歧义信息的信息。得分和置信度是相互关联的，以便提供测试结果的更完整描述。为了扩展确定网络设备的邻居是否以互补方式看待网络设备的测试示例，示例评分机制如下。为了计算测试的得分，来自邻居设备的每次的正确拓扑验证的分值为+0.20，与邻居设备的拓扑中的每个不一致的分值为-0.20，所有不完整数据的分值为0.00。在理想情况下，如果所有五个邻居都积极响应，则得分将为+1.00。由于五个邻居中有四个积极响应，而第五邻居没有响应，因此测试得分为+0.80。测试的置信度的计算方式有所不同。对测试做出一致响应的每个邻居设备都值得+20置信度。在理想情况下，在所有五个邻居都响应的情况下，置信度为100。由于五个邻居中的四个已经响应，因此置信度为80。因此，在该示例中，网络功能得分为+0.80，其中置信度为80。36.在一些示例中，每个测试的每个网络功能得分都被呈现给网络管理员。在一些其他示例中，网络功能得分还被汇总在一起，以基于各种集合(例如，按功能，按园区，按用户，按协议，或针对整个网络)呈现给网络管理员。本公开预期到将适合于或有益于呈现给网络管理员的网络功能测试的任何组、分层的或其他方式的组合。在一些示例中，测试组合的网络功能得分基于该组合中的每个测试的网络功能得分和置信度。37.可以由网络管理员向网络功能测试或测试组合指定严重性。严重性对应于测试或测试组合的重要性。例如，vlan的错误配置在较小的网络中可能相对不重要，但在较大的网络中可能相对更重要。降低测试组合中测试的严重性可以减少其对测试组合的整体网络功能得分的影响。例如，在计算组合的网络功能得分时，包括三个测试的组合(每个严重性为3)可以平均地加权每个测试的网络功能得分(考虑到置信度)。但是，如果将三个测试之一降低为严重性为2(表示它的重要性不如其他两个测试重要)，则在计算其网络功能得分时，该组合可以以24％对严重性为2的测试进行加权并且以38％对严重性为3的每个测试进行加权。38.一旦获取了所有测试和测试组合的网络功能得分，测试基础设施就可以将测试报告(汇总的网络功能得分)与先前的测试报告进行比较。两种报告之间的差异可以表明网络健康情况有所改善或网络健康情况有所下降(或两者)。测试基础设施可以基于网络功能得分、置信度、和严重性来确定哪些特征、缺陷和问题对报告之间的差异影响最大。39.图2是示出用于对示例网络的功能进行评分的另一示例方法的流程图。40.在框102中，网络设备检测网络属性已被更新。如关于图1描述的，网络属性可以是网络设备的配置属性、或网络设备的状态属性。框102结合图1进一步描述。41.在框204中，网络设备部分基于已更新的网络属性和管理员测试配置参数来从多个网络功能测试中选择网络功能测试集合。在一些示例中，测试基础设施包括公共测试框架。多个网络功能测试中的每个网络功能测试可以在测试基础设施中与可能影响相应网络功能测试的结果的配置属性、状态属性和特征相关联。在一些示例中，基于这些关联，测试基础设施自动选择将在发生某个触发时运行的网络功能测试集合。在这样的示例中，多个网络功能测试中的一些网络功能测试与已更新的网络属性相关联，并且测试中的网络功能测试集合与基于其相应管理员测试配置参数的已更新的网络属性相关联。在一些示例中，管理员测试配置参数包括以下信息：是否应当响应于配置属性改变、状态属性改变、连续后台(例如，周期性地)而触发测试执行，是否应当针对网络设备的建议的新配置或者针对已经应被用于网络设备的配置来执行测试，以及是否应当在某种类型的触发之后再延迟运行测试。42.作为示例，如果针对网络设备检测到影响某个配置属性的新建议配置，则测试基础设施将从多个网络功能测试中选择网络功能测试集合，所述网络功能测试集合与该某个配置属性相关联并且响应于配置改变而触发以针对建议的配置来执行。如果随后将相同的建议配置应用于网络设备，则测试基础设施将从多个网络功能测试中选择另一网络功能测试集合，这些网络功能测试与该某个配置属性相关联并且响应于配置改变而触发以针对被应用的配置来执行。某些网络功能测试可以被包括在针对建议的配置而运行的网络功能测试集合和针对被应用的配置而运行的网络功能测试集合中。某些网络功能测试可以响应于配置改变在指定延迟之后运行，并且某些网络功能测试可以相对于其他某些网络功能测试以某个顺序执行。43.在框106中，网络设备执行网络功能测试集合。框106结合图1进一步描述。44.在框108中，网络设备接收描述在网络功能测试集合期间网络功能的信息。框108结合图1进一步描述。45.在框210中，网络设备基于描述网络的功能的信息确定网络功能测试集合的结果，该结果包括网络功能测试集合中的每个网络功能测试的严重性。严重性与网络功能测试集合中的每个网络功能测试相关联。在某些示例中，每个严重性由网络管理员确定。在一些其他示例中，每个严重性在相应网络功能测试的执行之前被自动确定。每个严重性可以被包括在所确定的相应网络功能测试的结果中。可以在关于图1的类似框110的描述中找到框210的功能的附加描述。46.在框112中，网络设备部分基于网络功能测试集合的结果来计算网络功能得分。框112结合图1进一步描述。47.在框214中，网络设备向多个网络功能测试中添加附加网络功能测试。测试基础设施可以接受新的网络功能测试。在一些示例中，网络设备可以从位于网络上其他地方、网络之外、便携式存储设备上、或适合于将网络功能测试传输到网络设备的任何位置的网络功能测试库中接收附加网络功能测试。在一些其他示例中，网络设备可以允许网络管理员设计新的网络功能测试并且将其添加到多个网络功能测试中。48.图3示出了用于对示例网络的功能进行评分的示例网络设备。网络设备300包括处理器302、存储器304、以及接口310a和310b。存储器304被耦合到处理器302，并且包括指令306a-h，该指令306a-h在由处理器302执行时引起处理器302执行某些动作。处理器302进一步被耦合到管理接口310a和数据接口310b。在一些示例中，管理接口310a和数据接口310b是单个接口。管理接口310a被耦合到管理网络312a。数据接口310b被耦合到数据网络312b。49.在一些示例中，网络设备300是服务器。在一些其他示例中，网络设备300是交换机。在其他示例中，网络设备300是专用于测试网络的硬件设备。网络设备300可以执行所有指令306或部分指令306。网络设备300可以独立于其他设备或与其他网络设备300相结合来测试网络。50.存储器304包括指令306a-306h。当在处理器302上被执行时，指令306a-306h可以引起处理器302执行某些动作，包括跨接口310a和310b发送和接收数据。51.指令306a包括用于检测网络的配置属性已被更新的指令。在一些示例中，指示配置属性已被更新的信息在接口310a或接口310b上被接收。在一些其他示例中，指令306a引起处理器302监测网络设备300上的配置属性。配置属性可以是要被应用于网络的设备的建议配置的属性。替代地，配置属性可以是已经被应用于网络的设备的配置的属性。替代地，配置属性可以是网络的设备的状态属性。在一些示例中，当配置属性从第一值改变为第二值时，认为配置属性被更新。52.指令306b包括用于部分基于已更新的配置属性来选择第一网络功能测试集合的指令。在一些示例中，测试基础设施包括多个网络功能测试。每个网络功能测试可以被标记或以其他方式与一个或多个配置属性相关联。多个网络功能测试中的一些可以与已更新的配置属性相关联。第一网络功能测试集合是从与已更新的配置属性相关联的测试中选择的。53.指令306c包括用于执行第一网络功能测试集合的指令。某些网络功能测试可以完全在网络设备300上执行。某些其他网络功能测试可以跨接口310a和310b传输和接收数据。54.指令306d包括用于从多个互连的网络设备接收描述在第一网络功能测试集合期间网络的功能的信息的指令。某些网络功能测试可以向网络上的其他设备请求信息。某些其他网络功能测试可以引起网络上的其他设备执行指令，并且将从这些指令中得出的信息返回给网络设备300。55.指令306e包括用于基于描述网络的功能的信息来确定第一网络功能测试集合的结果的指令。在一些示例中，可以汇总所接收的信息以确定结果。在一些其他示例中，可以将所接收的信息与阈值或模型进行比较以确定结果。56.指令306f包括用于部分基于第一网络功能测试集合的结果来计算网络功能得分的指令。在一些示例中，计算网络功能得分的分层集合，其分层结构基于网络设备的配置的分层结构。的任何使用指示某些示例包括该特征，而某些其他示例不包括该特征，如在给定上下文的情况下适当地。相对于本公开的特征，词语“或”和“和”的任何使用表明，示例可以包含所列出的特征的任何组合，如在给定上下文的情况下适当地。66.以“即”和“例如”开头的短语和括号仅用于出于清楚的目的而提供示例。并不旨在使本公开内容受这些短语和括号中提供的示例的限制。本公开的范围和理解可以包括在这些短语和括号中未公开的某些示例。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!