眼动追踪方法、装置、电子设备及计算机可读存储介质与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本技术属于终端技术领域，尤其涉及一种眼动追踪方法、装置、电子设备及计算机可读存储介质。背景技术：2.随着各种电子设备的不断发展，电子设备的功能也越来越丰富，人机交互的方式也越来越多样化。眼动控制作为一种非接触式的人机交互方式，通过眼动追踪来分析用户注视点的位置来实现交互。3.目前，用户在接收到的通知(例如短信/微信消息)内容较长时，该通知的高度和宽度有限，用户不能直接看到完整消息内容，需要使用另一只手点击/滑动通知才可以展开，操作复杂、不便捷；而相关的眼动追踪技术，在设备使用过程中，需要根据限定的眼动方式或者结合头部运动才可控制设备，操作过程繁琐且应用场景比较局限，用户体验不高。技术实现要素：4.本技术提供了一种眼动追踪方法、装置、电子设备及计算机可读存储介质，可以在不同的环境光下基于眼动数据实现对用户的眼动追踪，确定用户注视点，使得在与接收到通知信息的界面进行交互的过程中，用户操作便捷，提升用户体验感。5.本技术的第一方面提供了一种眼动追踪方法，包括：电子设备在接收到通知信息时，获取环境光亮度值；基于该环境光亮度值和预设亮度阈值，启动与环境亮度值对应的图像数据流；基于该图像数据流，获取用户的眼动数据；基于该眼动数据和与图像数据流对应的眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置。6.通过上述方式，可以在不同的环境光亮度值下，确定电子设备出图的图像数据流，进而基于该图像数据流获取到用户的眼动数据，并结合与该图像数据流对应眼动校准数据，确定出用户在电子设备显示的通知信息区域的注视点的目标位置，可以实现对用户眼动的追踪，使得在与接收到通知信息的界面进行交互的过程中，眼动追踪更准确，用户操作便捷，提升用户体验感。7.在第一方面的一种可能的实现方式中，在获取环境光亮度值之前，该方法还包括：响应于眼动校准启动指令，基于图像数据流获取用户的眼动校准数据。8.在第一方面的一种可能的实现方式中，响应于眼动校准启动指令，基于图像数据流获取用户的眼动校准数据，包括：响应于眼动校准启动指令，启动图像数据流；基于图像数据流，获取用户的校准图像；对校准图像进行眼动识别处理，得到用户的眼动校准数据。9.示例性的，该图像数据流为启动摄像装置进行图像采集并传输的数据流，通过眼动算法对获取到的校准图像进行眼动识别处理，得到该用户的眼动校准数据。10.通过上述方式，由于不同用户的眼动习惯及特征不同，眼动识别算法针对不同的用户可能存在一定的偏差，通过获取与用户对应的眼动校准数据，从而可以基于不同用户的眼动校准数据对眼动识别结果进行校准，从而实现更加准确的眼动追踪，同时使得眼动追踪的位置准确度更高，使得基于眼动追踪进行人机交互的功能可以更加精准，体验感更强。11.在第一方面的一种可能的实现方式中，图像数据流包括第一数据流和第二数据流，眼动校准数据包括第一数据流对应的第一眼动校准数据和第二数据流对应的第二眼动校准数据；响应于眼动校准启动指令，基于图像数据流获取用户的眼动校准数据，包括：12.响应于眼动校准启动指令，分别获取通过第一数据流传输的第一图像和第二数据流传输的第二图像；对第一图像和第二图像进行眼动识别处理，得到第一眼动校准数据和第二眼动校准数据。13.在第一方面的一种可能的实现方式中，基于环境光亮度值和预设亮度阈值，启动与环境亮度值对应的图像数据流，包括：14.若环境光亮度值大于或等于预设亮度阈值，则启动第一数据流；或者，若环境光亮度值小于预设亮度阈值，则启动第二数据流。15.在第一方面的一种可能的实现方式中，基于图像数据流，获取用户的眼动数据，包括：16.基于图像数据流，获取用户的待识别图像；对待识别图像进行眼动识别处理，得到眼动数据。17.示例性的，通过图像数据流对应的摄像装置采集用户面部的待识别图像，并通过眼动识别算法对该待识别图像进行眼动识别处理，从而得到用户当前的眼动数据；基于用户当前的眼动数据，可以预测用户的注视位置。18.在第一方面的一种可能的实现方式中，基于图像数据流，获取用户的眼动数据，包括：19.基于第一数据流，获取用户的所述眼动数据；或者，基于第二数据流，获取用户的所述眼动数据。20.在第一方面的一种可能的实现方式中，基于眼动数据和与图像数据流对应的眼动校准数据，确定用户在通知信息区域上的注视点的目标位置，包括：21.基于眼动数据和第一眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置；或者，基于眼动数据和第二眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置。22.通过上述方式，电子设备设置有两路进行图像采集的数据流，以及两路数据流对应的眼动校准数据；在实际应用过程中，则基于环境光亮度值与预设亮度阈值，选择一条数据流获取用户的待识别图像，并选择其中一个数据流的眼动校准数据对待识别图像对应的眼动数据进行校准，实现眼动追踪，可以提高在执行眼动追踪时的灵活性，可以适应在不同环境光的情况下，均能更加准确的实现眼动追踪，降低环境对眼动追踪的影响与干扰。23.在第一方面的一种可能的实现方式中，响应于眼动校准启动指令，基于图像数据流获取用户的眼动校准数据，包括：24.响应于眼动校准启动指令，在显示屏上显示校准点，该校准点用于在录入眼动校准数据过程中提示用户的注视方位；对获取到的用户的校准图像进行识别处理，得到用户的预测注视位置；基于该预测注视位置与校准点对应的实际注视位置的偏差，确定眼动校准数据。25.示例性的，通过在显示屏上设置多个不同位置处的校准点，记录多个校准点的眼动校准数据，提高眼动校准数据的可靠性，从而在基于眼动校准数据进行校准得到注视点的目标位置过程中，提高对眼动追踪的准确度。26.在第一方面的一种可能的实现方式中，该方法还包括：27.显示屏上依次显示多个校准点，在对每个所述校准点进行校准，并记录该用户的对应每个校准点的眼动校准数据之后，通过显示屏显示对所有的校准点完成校准的提示信息。28.示例性的，在显示该提示信息的同时，生成每个校准点的标识，将校准点的标识反馈至上层应用系统，并提示校准结果。29.通过上述方式，基于实现不同的人机交互功能，电子设备可设置有在不同位置上的多个校准点，记录不同位置的校准点对应的眼动校准数据，从而可以形成用户的眼动校准数据模型，提高眼动校准数据的可靠性，使得后续眼动追踪的计算的注视点的目标位置更加准确，提高眼动追踪功能的识别精准度。30.在第一方面的一种可能的实现方式中，基于眼动数据和与图像数据流对应的眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置，包括：31.基于眼动数据，确定用户的注视点的预测位置；基于眼动校准数据对预测位置进行校准，得到注视点的目标位置。32.在第一方面的一种可能的实现方式中，在确定用户在通知信息所在区域上的注视点的目标位置之后，该方法还包括：33.基于注视点的目标位置和用户的注视时间，调用与通知信息关联的服务指令；响应于该服务指令，控制通知信息对应的显示方式。34.示例性的，该显示方式可以包括展开该通知信息，或者直接跳转进入该通知信息的回复窗口等。35.通过上述方式，在接收到通知信息时，基于眼动追踪，可以更加准确地确定用户在通知信息所在区域的目标位置，即可调用针对该通知信息显示方式的操作功能，从而实现便捷的人机交互，大大提高了用户的体验感。36.本技术的第二方面提供了一种眼动追踪装置，包括：37.获取单元，用于在接收到通知信息时，获取环境光亮度值。38.出图单元，用于基于环境光亮度值和预设亮度阈值，启动与环境亮度值对应的图像数据流。39.识别单元，用于基于图像数据流，获取用户的眼动数据。40.输出单元，用于基于眼动数据和与图像数据流对应的眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置。41.在第二方面的另一种可能的实现方式中，该装置还包括校准单元，用于响应于眼动校准启动指令，基于图像数据流获取用户的眼动校准数据。42.在第二方面的另一种可能的实现方式中，上述校准单元，还用于响应于眼动校准启动指令，启动图像数据流；基于图像数据流，获取用户的校准图像；对校准图像进行眼动识别处理，得到用户的眼动校准数据。43.在第二方面的另一种可能的实现方式中，上述校准单元，还用于响应于眼动校准启动指令，分别获取通过第一数据流传输的第一图像和第二数据流传输的第二图像；对第一图像和第二图像进行眼动识别处理，得到第一眼动校准数据和第二眼动校准数据；其中，图像数据流包括第一数据流和第二数据流，眼动校准数据包括第一数据流对应的第一眼动校准数据和第二数据流对应的第二眼动校准数据。44.在第二方面的另一种可能的实现方式中，出图单元，用于若环境光亮度值大于或等于预设亮度阈值，则启动第一数据流；或者，若环境光亮度值小于预设亮度阈值，则启动第二数据流。45.在第二方面的另一种可能的实现方式中，识别单元，用于基于图像数据流，获取用户的待识别图像；对待识别图像进行眼动识别处理，得到眼动数据。46.在第二方面的另一种可能的实现方式中，上述识别单元，还用于基于第一数据流，获取用户的所述眼动数据；或者，基于第二数据流，获取用户的所述眼动数据。47.在第二方面的另一种可能的实现方式中，输出单元，还用于基于眼动数据和第一眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置；或者，基于眼动数据和第二眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置。48.在第二方面的另一种可能的实现方式中，校准单元，还用于响应于眼动校准启动指令，在显示屏上显示校准点，该校准点用于在录入眼动校准数据过程中提示用户的注视方位；对获取到的校准图像进行识别处理，得到用户的预测注视位置；基于预测注视位置与校准点对应的实际注视位置的偏差，确定眼动校准数据。49.在第二方面的另一种可能的实现方式中，校准单元，还用于显示屏上依次显示多个校准点，在对每个所述校准点进行校准，并记录对应每个校准点的眼动校准数据之后，通过显示屏显示对所有的校准点完成校准的提示信息。50.在第二方面的另一种可能的实现方式中，输出单元，还用于基于眼动数据，确定用户的注视点的预测位置；基于眼动校准数据对预测位置进行校准，得到注视点的目标位置。51.在第二方面的另一种可能的实现方式中，该装置还包括控制单元，用于基于注视点的目标位置，调用与通知信息关联的服务指令；响应于该服务指令，控制通知信息对应的显示方式。52.本技术的第三方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，电子设备实现如上述方法的步骤。53.本技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，使得电子设备实现如上述方法的步骤。54.本技术的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得电子设备实现如上述方法的步骤。55.本技术的第六方面提供了一种芯片，包括处理器，所述处理器和存储器耦合，所述存储器用于存储计算机程序指令，当所述处理器执行所述计算机程序指令时，使得芯片执行如第一方面所述的方法的步骤。56.可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。附图说明57.图1是本技术实施例提供眼动追踪方法的应用场景示意图；58.图2是本技术实施例提供的录入眼动校准数据的整体软件架构示意图；59.图3是本技术实施例提供的录入眼动校准数据的流程示意图；60.图4是本技术实施例提供的录入眼动校准数据的显示界面示意图；61.图5是本技术一实施例提供的眼动追踪方法的整体软件架构示意图；62.图6是本技术实施例提供的眼动追踪显示界面示意图；63.图7是本技术实施例提供的眼动追踪方法的流程示意图；64.图8是本技术实施例提供的眼动追踪装置的结构示意图；65.图9是本技术实施例提供的电子设备的硬件结构示意图。具体实施方式66.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。67.为了说明本技术所述的技术方案，下面通过具体实施例来进行说明。68.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。69.还应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。70.还应当进一步理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。71.如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。[0072]首先，对本技术实施例中的部分用语进行解释说明，以便于本领域技术人员理解。[0073]1、可信执行环境(trusted execution environment，tee)，一般称安全侧或安全区，需要授权才能访问的区域；通常用来进行对数字版权管理以及隐私信息的保护等。[0074]2、通用运行环境(rich execution environment，ree)，一般称非安全侧或非安全区；是所有移动设备通用的环境，运行通用的os(operating system)，例如android，ios系统等。[0075]3、飞行时间(time of flight，tof)，指飞行时间3d传感器，指示摄像头输出的图像的格式。[0076]4、供应商原生开发套件(vendor native development kit，vndk)，是一组专门用于vendor实现其硬件抽象层的静态库。[0077]5、客户端应用(client application，ca)，通常运行在ree环境下的应用简称为ca。[0078]6、可信应用(trusted application，ta)，通常运行在tee环境下的应用简称为ta。[0079]以上是对本技术实施例所涉及术语的简单介绍，以下不再赘述。[0080]本技术实施例提供了一种眼动追踪方法，应用于上述电子设备，该电子设备可以是有显示屏且具备眼动追踪功能的设备，包括但不限于智能手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)、人工智能(artificial intelligence，ai)终端等终端设备。本技术实施例对电子设备的具体类型不作任何限制。[0081]目前，电子设备在收到通知信息(如微信或短信)的内容较长时，显示该通知信息的高度和宽度有限，用户不能直接看到完整的消息内容，需要通过另一只手点击或滑动该通知信息，才可以展开，使得操作复杂、不便捷。虽然一些相关技术中支持眼球追踪的功能，但实际上该功能仅支持智能休眠、智能暂停等，且是以屏幕内和外为区分度的注视识别控制功能，并不支持屏幕内的注视点识别控制的精确度；例如相关技术中的眼球追踪功能等同于注视不熄屏、视线离开暂停播放以及基于抬头、低头实现网页翻页功能。而且相关的眼动追踪功能仅支持在固有的播放器或浏览器上适用，应用场景存在很大的局限性，第三方的应用则完全无法适用。[0082]本技术实施例提供的眼动追踪方法，当用户收到内容较长的通知信息时，电子设备可以在不同的环境光亮度值下，确定电子设备出图的图像数据流，进而基于该图像数据流获取到用户的眼动数据，并结合与该图像数据流对应眼动校准数据，对基于眼动数据确定的预测注视位置进行校准，确定用户在电子设备显示的通知信息区域的注视点的目标位置，以识别用户是否关注该通知信息，可以实现对用户眼动更加准确地追踪，降低对环境光的依赖，使得在与接收到通知信息的界面进行交互的过程中，用户操作便捷，场景适用性更强，提升用户体验感。[0083]下面具体介绍本技术实施例提供的眼动追踪方法的应用场景。[0084]请参见图1，图1为本技术实施例提供的眼动追踪方法的应用场景示意图。如图1所示，当用户收到通知信息时，电子设备可以通过摄像头采集用户脸部的待识别图像，以识别用户是否关注该通知信息，即用户是否在注视该通知信息；若识别到用户意图为关注该通知信息，即识别到用户注视该通知信息所在的显示区域，且超过一段时间，则自动展开该通知信息；若用户意图为已看完该通知信息时，即用户已看了一段时间该通知信息，且不再注视该显示区域，则自动收起该通知信息；若用户意图为不关注该通知信息时，即用户未注视或注视该显示区域的时间较短，则基于现有逻辑将该通知信息继续展示一段时间后消失。若当用户收到通知信息为长微信消息时，电子设备识别用户是否关注该长微信消息，若用户意图为关注该消息时，即用户注视该显示区域，且超过一段时间，则自动展开微信小窗；若用户意图为不关注该消息时，即用户未注视或注视时间较短，基于现有逻辑继续展示一段时间后消失。从而基于对用户注视状态的识别，进行眼动追踪，进而实现交互引导；通过眼睛注视以展开通知信息的内容，无需再手动交互或进入应用，即可预览内容，节省用户操作步骤，提升便捷性。[0085]下面通过具体实施例进一步详细介绍该眼动追踪方法所基于实现的软件架构，先介绍进行眼动校准数据录入的过程中的软件系统。[0086]电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本技术实施例以分层架构的android系统为例，示例性说明电子设备的软件结构。[0087]请参见图2，图2是本技术实施例提供的录入眼动校准数据的整体软件架构示意图。如图2所示，本技术实施例提供的眼动校准过程基于软件架构中的ree和tee运行环境实现。其中，图2中所示的安卓操作系统的系统架构可以包括应用(application，app)层、框架(framework)层、硬件抽象层(hardware abstraction layer，hal)、核心(kernel)层、硬件(hardware)层。[0088]其中，应用层可以包括至少一个应用程序(application)，该应用程序可以是系统应用程序，也可以是第三方的应用程序；例如可以是系统设置应用，还可以是通知，相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用。[0089]系统设置应用，可以用于开启对眼动追踪的校准功能，基于电子设备上的校准点，录入对应该校准点的眼动校准数据；并负责建立、删除眼动校准数据，管理眼动功能的用户设置项。[0090]在framework层设置有智慧感知服务模块以及相机服务模块。[0091]智慧感知服务模块用于提供智慧感知服务的围栏，负责对外提供能力调用接口，并调度眼动功能的运行。[0092]在hal层设置有相机硬件抽象模块、智慧感知进程daemon模块、算法模块、运行在ree测的ca与运行在tee侧的ta共享缓存buffer，以及运行在tee侧的智慧感知ta。[0093]其中，智慧感知进程模块还包括相机控制单元、智慧感知ca以及智慧感知hal，负责对外提供能力调用接口，并调度眼动功能的运行；上层系统设置应用通过感知提供的客户端软件开发工具包(client sdk)订阅智慧感知服务的眼动围栏，智慧感知服务通过接口去注册智慧感知daemon的眼动处理流程；智慧感知服务注册智慧感知daemon的眼动处理流程以后，智慧感知daemon激活眼动通信管道pipeline，打开和配置相机camera，启动camera出图(其中，校准模式下，启动tof器件和rgb器件双流通路)。随后加载并初始化ta。眼动模型里面集成了算法模块，眼动模型被激活后，读取相关算法，并初始化算法。[0094]算法模块包含图像处理算法、眼动识别算法、眼动校准数据和人脸检测和特征点landmark提取算法，在录入眼动校准数据时校准用户实际注视点与目标注视点之间的差异，得到眼动校准数据并存储。[0095]出图流程启动以后，camera每出一帧图，会通过接口回调通知智慧感知daemon的ree主控线程。ree侧和tee侧进行通信，将信息传递到tee侧的ta。ta获取camera出图，并将其加密放置在ca/ta的共享缓存中，并通知ree侧的智慧感知daemon，智慧感知daemon的处理函数将图像数据解密。[0096]处理函数将图像数据和其余参数(例如tof标定参数，即tof相机的配置参数等)传入算法模块，算法模块输出眼动识别结果及camera的优化参数(可包含帧率和曝光参数等)，并回传到ree侧智慧感知服务的主控线程。[0097]ree侧的智慧感知服务的主控线程将眼动识别结果通知智慧感知服务，并动态调整设置camera参数来出图。[0098]在对校准点的每次校准过程中，对用户眼动的识别，ca生成安全随机数和密钥，将安全随机数传到ta，ta使用安全随机数和密钥以同样的方式生成新密钥；并使用该新密钥对图像数据进行加密，并将加密后图像数据放置在ca/ta的共享缓存中。[0099]ca在ca/ta的共享缓存中获取到加密的图像数据后，根据相同的新密钥对图像数据进行解密，并将解密后的图像数据传给算法模块进行识别运算。[0100]示例性的，智慧感知进程daemon与算法模块间采用解耦化设计，智慧感知进程daemon无需感知算法使用cpu方案、gpu方案还是npu方案实现，只需要通过接口对算法模块进行初始化、调用即可，打破该眼动追踪功能应用的局限性，可以灵活地应用于更多的架构和场景。[0101]在kernel层设置有内核kernel以及相机驱动。[0102]在hardware层设置有前置摄像头，该前置摄像头可以为包含2d rgb器件的摄像头和包含3d tof器件的摄像头。其中，包含3d tof器件的摄像头基于红外照明器件和红外成像器件提供暗光成像能力；包含2d rgb器件的摄像头提供亮光成像能力。[0103]camera可以基于高通平台的安全红外camera和rgb camera出图通路能力(即原生安全缓存和原生可信相机服务)，对安全出图通路进行开发，对出图功耗、性能、效果优化，以及适配眼动校准过程的出图策略。[0104]基于上述软件架构实现眼动校准过程，通过系统设置应用调用智慧感知服务，启动眼动校准流程，并读取校准点的配置文件。智慧感知框架分别初始化相机、算法和智慧感知ta，并启动安出图流程；前置rgb camera和前置tof camera同时安全出图，包括rgb图像和tof图像，并基于第一数据流的rgb图像和第二数据流的tof图像计算校准数据。rgb图像和tof图像在tee侧使用密钥加密后经ca/ta共享缓存送回ree侧解密，并供算法模块识别处理。算法模块整体封装图像处理算法、人脸检测及landmark提取算法、眼动识别算法，再通过封装后的接口与智慧感知hal进行对接。基于屏幕上的校准点获取眼动校准数据，逐点计算用户实际注视位置(校准点的位置)与预测注视位置之间的差异，得到校准数据。基于每一个校准点完成校准后的结果逐点反馈回设置android应用程序包(android application package，apk)，以便设置apk启动下一个校准点，计算下一个校准点的眼动校准数据，眼动校准数据由算法模块进行存储，以备使用眼动追踪功能时调用。[0105]下面进一步介绍针对屏幕上的多个校准点进行逐一眼动校准的过程。[0106]请参见图3和图4，图3是本技术实施例提供的录入眼动校准数据的流程示意图，图4是本技术实施例提供的录入眼动校准数据的显示界面示意图。[0107]如图3所示，录入眼动校准数据的流程可以包括以下步骤：[0108]s301，通过系统设置启动眼动校准，启动注视检测。[0109]如图4中的(a)图、(b)图和(c)图所示，响应于用户点击辅助功能控件，进入辅助功能界面；在该辅助功能界面，响应于用户点击智慧感知控件，进入智慧感知界面；在该智慧感知界面包括关于智慧注视相关功能的设置，例如眼动追踪的录入；在该智慧感知界面响应于用户点击眼动追踪的录入控件，则进入到如图4中的(d)图所示的眼动校准界面。[0110]s302，算法模块是否完成初始化；若是，则执行s303；若否，则继续执行s302。[0111]在启动眼动校准流程后，读取校准点的配置文件，并对相机以及算法模块进行初始化。[0112]s303，是否检测到用户注视屏幕；若是，则执行s304；若否，则继续执行s303。[0113]通过rgb相机和tof相机的两路出图，分别识别用户的人脸框信息，以确定是否检测到用户注视屏幕。[0114]s304，显示第一个校准点并进行校准。[0115]如图4中的(d)图所示，由于用户眼睛注视屏幕上不同的位置时，可能产生不同的偏差，为了提高眼动校准数据的可靠性，在屏幕上可以设置有多个校准点(以5个校准点为例进行说明)，分别基于每个校准点获取眼动校准数据，从而得到更为可靠的眼动校准数据。在接收到用户点击开始录入的控件后，进入如图4中的(e)图所示的显示界面，显示第一个校准点，并给出“看向这里”的提示信息。[0116]s305，第一个校准点是否校准完成；若是，则执行s306；若否，则继续执行s305。[0117]如图4中的(f)图所示，当感知到人眼注视该校准点，即通过两路图像数据流获取到两路图像数据，通过算法模块对两路图像数据进行眼动识别处理，得到两路图像数据流的眼动数据，分别基于两路眼动数据，计算得到两路图像数据流分别对应的预测注视位置，计算第一校准点实际注视位置分别与两路预测注视位置的误差，得到两路图像数据流的眼动校准数据。[0118]在计算得到第一个校准点对应的眼动校准数据后，可以给出用户注视点与校准点的位置关系的提示，例如显示两者重合等；并进入到如图4中的(g)图所示的显示界面，该上层系统设置应用接收算法反馈的第一校准点的标识，并进行显示，同时记录该校准点的眼动校准数据。然后继续对下一个校准点以相同的方式计算眼动校准数据。[0119]s306，显示最后一个校准点并进行校准。[0120]以相同的操作方式获取最后一个校准点对应的眼动校准数据。[0121]s307，最后一个校准点是否校准完成；若是，则执行s308；若否，则继续执行s307。[0122]s308，眼动校准结束。[0123]如图4中的(h)图所示，依次完成对所有的校准点的校准，获取眼动校准数据，并显示录入成功的提示。[0124]其中，针对每个校准点，校准完成后算法模块向上层系统设置应用反馈该校准点对应的第一参数和第二参数，第一参数可以为校准点的位置信息(x pixel，y pixel)或点次序(如标识索引，“h”、“o”、“n”、“s”和“r”)；第二参数可以为校准结果枚举值，例如0表示校准成功，1表示校准失败。在眼动校准过程中通过算法模块计算得出，并传输至上层系统应用进行显示提示；同时记录并保存对应每个校准点的该用户的眼动校准数据，该眼动校准数据可以包括由于用户的眼动习惯、面部特征、眼球位置以及眼距等特征而产生的校准数据，从而可以得到每个用户注视屏幕的误差模型，使得后面追踪过程可以计算出位置更准确的注视点。[0125]示例性的，在对每个校准点进行校准的过程，还可以基于识别出的注视点与校准点的位置差异给出向上、向下、向左或向右的提示信息，在实现更加快速及准确的校准的同时，提高用户在校准过程中的体验感，并得到更加可靠的眼动校准数据。[0126]在校准完成后，下面继续介绍在实际应用中眼动追踪方法的实现流程。首先对实现眼动追踪方法的软件架构进行介绍。[0127]请参见图5，图5是本技术一实施例提供的眼动追踪方法的整体软件架构示意图。如图5所示，与前述校准过程的软件架构基本相同，区别仅在于上层应用的触发不同。与图2所示相同，电子设备的软件系统可以采用分层架构，且本技术实施例提供的眼动跟踪方法基于软件架构中的ree和tee运行环境实现；安卓操作系统的系统架构可以包括应用(application，app)层、框架(framework)层、硬件抽象层(hardware abstraction layer，hal)、核心(kernel)层、硬件(hardware)层。[0128]其中，应用层可以包括至少一个应用程序(application)，该应用程序可以是系统应用程序，也可以是第三方的应用程序，例如短信、微信等应用。[0129]该系统应用可以包括通知处理模块、系统用户界面(user interface，ui)以及用户界面开发工具包swing框架。[0130]其中，通知处理模块用于接收通知信息；系统用户界面(user interface，ui)负责通知短信和微信横幅通知消息；用户界面开发工具包swing框架负责注册智慧感知服务围栏，在有新消息时调起智慧感知服务，有注册结果返回时进行处理。[0131]算法模块包含图像处理算法、眼动识别算法、眼动校准数据和人脸检测和特征点landmark提取算法；在眼动追踪过程中，基于用户的待识别图像，通过算法模块识别出眼动数据，计算用户用户当前注视点的预测位置，并向上层应用该预测位置。[0132]camera可以基于高通平台的安全红外camera和rgb camera出图通路能力(即原生安全缓存和原生可信相机服务)，对安全出图通路的开发，对出图功耗、性能、效果优化，以及适配眼动追踪过程中的出图策略，例如基于环境光亮度值与亮度阈值的关系，适配第一数据流或第二数据流进行出图。[0133]其他层的模块与校准过程中各模块实现原理相同，在此仅对存在不同处理的部分进行说明，其他与眼动校准过程相同的实现原理不再赘述。[0134]基于上述软件架构实现眼动追踪过程，当系统ui感知到有新通知信息(短信或微信)横幅通知时，通知swing框架调起智慧感知服务，启动眼动追踪的操作流程。智慧感知服务注册环境光获取环境光亮度值，智慧感知hal初始化camera、算法和智慧感知ta，并根据环境光线值决定开启前置rgb camera还是前置tof camera出图，即基于环境光亮度值选择第一数据流或第二数据流进行出图，并启动安全出图流程，获取用户的待识别图像。待识别图像在tee侧使用密钥加密后，经ca/ta共享buffer送回ree侧解密后供算法处理。电子设备对获取到的待识别图像经图像处理算法、人脸检测及landmark提取算法、眼动识别算法识别处理后，得到用户当前在屏幕上注视点的预测位置的坐标，然后基于眼动校准数据对该预测位置的坐标进行校准，输出注视点的目标位置的坐标。将该目标位置的坐标回传到智慧感知服务和系统应用，用于识别用户是否在注视短信或微信横幅通知区域，并计算注视时长，进而对短信或微信横幅通知执行相应的展开、收起、退出或者进入应用等控制操作。[0135]其中，在眼动追踪的眼动识别过程中，在眼动追踪模式下，对待识别图像进行识别的区域信息包括区域的左上角坐标和右下角坐标；眼动追踪的结果可以包括结果为真true，表示注视点在该区域内，结果为假false，表示注视点在该区域外。基于算法模块计算出的眼动追踪结果还包括用户注视点的目标位置，该目标位置通过坐标的形式反馈至上层系统应用。[0136]下面进一步介绍眼动追踪方法的界面显示流程。[0137]请参考图6，图6是本技术实施例提供的眼动追踪显示界面示意图。[0138]如图6中的(a)图所示，在电子设备的某一显示界面(例如锁屏界面或解锁界面)，系统应用感知到有新的通知信息的横幅通知时，例如图6中的(b)图所示的短信弹窗，通过智慧感知服务调用眼动追踪功能。由于该通知信息内容较长，可能在横幅通知时显示不全。首先，电子设备识别用户是否关注该通知信息，若用户注视该通知信息所在的显示区域，如图6中的(c)图所示，在识别到用户的注视点1，且该注视点1的停留时间超过一段时间，例如一秒钟，则执行展开该通知信息的操作；如图6中的(d)图所示，此时该通知信息仍以弹窗形式显示，可以显示出通知信息的更多或全部内容。若用户已看了一段时间该通知信息，且不再注视该区域，则执行收起该通知信息的操作。若用户未注视或注视时间较短，则基于已有的逻辑继续展示一段时间后消失。[0139]如图6中的(e)图所示，在识别到用户继续注视该弹窗，即用户的注视点仍在该弹窗所在的显示区域，例如注视点2，并达到一段时间，例如2秒，则执行进入该通知信息的显示界面，如图6中的(f)图所示的显示界面；从而在眼动追踪过程中，通过识别到用户的注视点是否在通知信息所在的显示区域内，以及注视点在该区域内的注视时长，即可控制通知信息的显示方式，例如展开弹窗或直接进入短信或微信的回复界面。其中，此处识别出的注视点的位置为基于眼动校准数据计算出的目标位置。[0140]通过本技术实施例，可以在不同的环境光亮度值下，确定电子设备出图的图像数据流，进而基于该图像数据流获取到用户的眼动数据，并结合与该图像数据流对应眼动校准数据，确定用户在电子设备显示的通知信息区域的注视点的位置，可以实现对用户眼动的追踪，使得在与接收到通知信息的界面进行交互的过程中，用户操作便捷；在接收到通知信息时，基于眼动追踪，确定用户在通知信息所在区域的位置，即可调用针对该通知信息显示方式的操作功能，从而实现便捷的人机交互，大大提高了用户的体验感。[0141]基于上述的软件架构以及相同的实现原理，如图7所示，本技术实施例提供的眼动追踪方法的流程可以包括以下步骤：[0142]s701，电子设备在接收到通知信息时，获取环境光亮度值。[0143]s702，基于该环境光亮度值和预设亮度阈值，启动与环境亮度值对应的图像数据流。[0144]s703，基于该图像数据流，获取用户的眼动数据。[0145]s704，基于该眼动数据和与图像数据流对应的眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置。[0146]在一种可能的实现方式中，在获取环境光亮度值之前，该方法还包括：响应于眼动校准启动指令，基于图像数据流获取用户的眼动校准数据。[0147]其中，眼动校准启动指令可以为用户点击开始录入控件时输入的指令。[0148]在一种可能的实现方式中，响应于眼动校准启动指令，基于图像数据流获取用户的眼动校准数据，包括：响应于眼动校准启动指令，启动图像数据流；基于图像数据流，获取用户的校准图像；对校准图像进行眼动识别处理，得到用户的眼动校准数据。[0149]示例性的，该图像数据流为启动摄像装置进行图像采集并传输的数据流，通过眼动算法对获取到的校准图像进行眼动识别处理，得到该用户的眼动校准数据。[0150]通过上述方式，由于不同用户的眼动习惯及特征不同，眼动识别算法针对不同的用户可能存在一定的偏差，通过获取与用户对应的眼动校准数据，从而可以基于不同用户的眼动校准数据对眼动识别结果进行校准，从而实现更加准确的眼动追踪，同时使得眼动追踪的位置准确度更高，使得基于眼动追踪进行人机交互的功能可以更加精准，体验感更强。[0151]在一种可能的实现方式中，图像数据流包括第一数据流和第二数据流，眼动校准数据包括第一数据流对应的第一眼动校准数据和第二数据流对应的第二眼动校准数据；响应于眼动校准启动指令，基于图像数据流获取用户的眼动校准数据，包括：[0152]响应于眼动校准启动指令，分别获取通过第一数据流传输的第一图像和第二数据流传输的第二图像；对第一图像和第二图像进行眼动识别处理，得到第一眼动校准数据和第二眼动校准数据。[0153]在一种可能的实现方式中，基于环境光亮度值和预设亮度阈值，启动与环境亮度值对应的图像数据流，包括：[0154]若环境光亮度值大于或等于预设亮度阈值，则启动第一数据流；或者，若环境光亮度值小于预设亮度阈值，则启动第二数据流。[0155]其中，第一数据流可以为rgb相机对应的安全图像数据流，第二数据流可以为tof相机对应的安全图像数据流。[0156]在一种可能的实现方式中，基于图像数据流，获取用户的眼动数据，包括：[0157]基于图像数据流，获取用户的待识别图像；对待识别图像进行眼动识别处理，得到眼动数据。[0158]示例性的，通过图像数据流对应的摄像装置采集用户面部的待识别图像，并通过眼动识别算法对该待识别图像进行眼动识别处理，从而得到用户当前的眼动数据；基于用户当前的眼动数据，可以预测用户的注视位置。[0159]在一种可能的实现方式中，基于图像数据流，获取用户的眼动数据，包括：[0160]基于第一数据流，获取用户的所述眼动数据；或者，基于第二数据流，获取用户的所述眼动数据。[0161]其中，当环境光较亮时，可以启动rgb相机对应的第一数据流；当环境光较暗时，可以启动tof相机对应的第二数据流。[0162]在一种可能的实现方式中，基于眼动数据和与图像数据流对应的眼动校准数据，确定用户在通知信息区域上的注视点的目标位置，包括：[0163]基于眼动数据和第一眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置；或者，基于眼动数据和第二眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置。[0164]通过上述方式，电子设备设置有两路进行图像采集的数据流，以及两路数据流对应的眼动校准数据；在实际应用过程中，则基于环境光亮度值与预设亮度阈值，选择一条数据流获取用户的待识别图像，并选择其中一个数据流的眼动校准数据对待识别图像对应的眼动数据进行校准，实现眼动追踪，可以提高在执行眼动追踪时的灵活性，可以适应在不同环境光的情况下，均能更加准确的实现眼动追踪，降低环境对眼动追踪的影响与干扰。[0165]在一种可能的实现方式中，响应于眼动校准启动指令，基于图像数据流获取用户的眼动校准数据，包括：[0166]响应于眼动校准启动指令，在显示屏上显示校准点，该校准点用于在录入眼动校准数据过程中提示用户的注视方位；对获取到的用户的校准图像进行识别处理，得到用户的预测注视位置；基于该预测注视位置与校准点对应的实际注视位置的偏差，确定眼动校准数据。[0167]其中，校准点的数量及位置可以基于不同的应用场景进行设置，还可以基于不同的软件版本进行更新。[0168]示例性的，录入的眼动校准数据还可以被删除并重新录入。[0169]示例性的，通过在显示屏上设置多个不同位置处的校准点，记录多个校准点的眼动校准数据，提高眼动校准数据的可靠性，从而在基于眼动校准数据进行校准得到注视点的目标位置过程中，提高对眼动追踪的准确度。[0170]在一种可能的实现方式中，该方法还包括：[0171]显示屏上依次显示多个校准点，在对每个所述校准点进行校准，并记录该用户的对应每个校准点的眼动校准数据之后，通过显示屏显示对所有的校准点完成校准的提示信息。[0172]示例性的，在显示该提示信息的同时，生成每个校准点的标识索引，将校准点的标识反馈至上层应用系统，并提示校准结果。[0173]通过上述方式，基于实现不同的人机交互功能，电子设备可设置有在不同位置上的多个校准点，记录不同位置的校准点对应的眼动校准数据，从而可以形成用户的眼动校准数据模型，提高眼动校准数据的可靠性，使得后续眼动追踪的计算的注视点的目标位置更加准确，提高眼动追踪功能的识别精准度。[0174]在一种可能的实现方式中，基于眼动数据和与图像数据流对应的眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置，包括：[0175]基于眼动数据，确定用户的注视点的预测位置；基于眼动校准数据对预测位置进行校准，得到注视点的目标位置。[0176]在一种可能的实现方式中，在确定所述用户在通知信息所在区域上的注视点的目标位置之后，该方法还包括：[0177]基于注视点的目标位置和用户的注视时间，调用与通知信息关联的服务指令；响应于该服务指令，控制通知信息对应的显示方式。[0178]示例性的，该显示方式可以包括展开该通知信息，或者直接跳转进入该通知信息的回复窗口等。[0179]通过上述方式，在接收到通知信息时，基于眼动追踪，可以更加准确地确定用户在通知信息所在区域的目标位置，即可调用针对该通知信息显示方式的操作功能，从而实现便捷的人机交互，大大提高了用户的体验感。[0180]通过本技术实施例，电子设备可以在不同的环境光亮度值下，确定电子设备出图的图像数据流，进而基于该图像数据流获取到用户的眼动数据，并结合与该图像数据流对应眼动校准数据，确定用户在电子设备显示的通知信息区域的注视点的目标位置，可以实现对用户眼动更准确的追踪，使得在与接收到通知信息的界面进行交互的过程中，用户操作便捷；在接收到通知信息时，基于眼动追踪，确定用户在通知信息所在区域的位置，即可调用针对该通知信息显示方式的操作功能，从而实现便捷的人机交互，大大提高了用户的体验感。[0181]应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。[0182]对应于上文实施例所述的眼动追踪方法，图8示出了本技术实施例提供的眼动追踪装置的结构框图，为了便于说明，仅示出了与本技术实施例相关的部分。[0183]参照图8，该装置包括：[0184]获取单元81，用于在接收到通知信息时，获取环境光亮度值。[0185]出图单元82，用于基于环境光亮度值和预设亮度阈值，启动与环境亮度值对应的图像数据流。[0186]识别单元83，用于基于图像数据流，获取用户的眼动数据。[0187]输出单元84，用于基于眼动数据和与图像数据流对应的眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置。[0188]在一种可能的实现方式中，该装置还包括校准单元，用于响应于眼动校准启动指令，基于图像数据流获取用户的眼动校准数据。[0189]在一种可能的实现方式中，上述校准单元，还用于响应于眼动校准启动指令，启动图像数据流；基于图像数据流，获取用户的校准图像；对校准图像进行眼动识别处理，得到用户的眼动校准数据。[0190]在一种可能的实现方式中，上述校准单元，还用于响应于眼动校准启动指令，分别获取通过第一数据流传输的第一图像和第二数据流传输的第二图像；对第一图像和第二图像进行眼动识别处理，得到第一眼动校准数据和第二眼动校准数据；其中，图像数据流包括第一数据流和第二数据流，眼动校准数据包括第一数据流对应的第一眼动校准数据和第二数据流对应的第二眼动校准数据。[0191]在一种可能的实现方式中，出图单元，用于若环境光亮度值大于或等于预设亮度阈值，则启动第一数据流；或者，若环境光亮度值小于预设亮度阈值，则启动第二数据流。[0192]在一种可能的实现方式中，识别单元，用于基于图像数据流，获取用户的待识别图像；对待识别图像进行眼动识别处理，得到眼动数据。[0193]在一种可能的实现方式中，上述识别单元，还用于基于第一数据流，获取用户的所述眼动数据；或者，基于第二数据流，获取用户的所述眼动数据。[0194]在一种可能的实现方式中，输出单元，还用于基于眼动数据和第一眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置；或者，基于眼动数据和第二眼动校准数据，确定用户在通知信息所在区域上的注视点的目标位置。[0195]在一种可能的实现方式中，校准单元，还用于响应于眼动校准启动指令，在显示屏上显示校准点，该校准点用于在录入眼动校准数据过程中提示用户的注视方位；对获取到的校准图像进行识别处理，得到用户的预测注视位置；基于预测注视位置与校准点对应的实际注视位置的偏差，确定眼动校准数据。[0196]在一种可能的实现方式中，校准单元，还用于显示屏上依次显示多个校准点，在对每个所述校准点进行校准，并记录对应每个校准点的眼动校准数据之后，通过显示屏显示对所有的校准点完成校准的提示信息。[0197]在一种可能的实现方式中，输出单元，还用于基于眼动数据，确定用户的注视点的预测位置；基于眼动校准数据对预测位置进行校准，得到注视点的目标位置。[0198]在一种可能的实现方式中，该装置还包括控制单元，用于基于注视点的目标位置，调用与通知信息关联的服务指令；响应于该服务指令，控制通知信息对应的显示方式。[0199]通过本技术实施例，电子设备可以在不同的环境光亮度值下，确定电子设备出图的图像数据流，进而基于该图像数据流获取到用户的眼动数据，并结合与该图像数据流对应眼动校准数据，确定用户在电子设备显示的通知信息区域的注视点的位置，可以实现对用户眼动的追踪，使得在与接收到通知信息的界面进行交互的过程中，用户操作便捷，提升用户体验感。[0200]需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。[0201]所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。[0202]图9示出了电子设备100的硬件结构示意图。[0203]电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。[0204]可以理解的是，本技术实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。[0205]处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。[0206]控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。[0207]处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。[0208]在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口，集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。[0209]i2c接口是一种双向同步串行总线，包括一根串行数据线(serial data line，sda)和一根串行时钟线(derail clock line，scl)。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器110与触摸传感器180k通过i2c总线接口通信，实现电子设备100的触摸功能。[0210]i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。[0211]pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。[0212]uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。[0213]mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serial interface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现电子设备100的显示功能。[0214]gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。[0224]在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，wcdma)，时分码分多址(time-division code division multiple access，td-scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi-zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。[0225]电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。[0226]显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。[0227]电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。[0228]isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。[0229]摄像头193用于捕获静态图像或视频。摄像头193可以包括前置摄像头和后置摄像头；其中，前置摄像头可以包括多个摄像头，例如rgb摄像头以及tof摄像头等。电子设备100在接收到通知信息时，可以基于检测到的环境光数据，开启一路图像数据流，通过该图像数据流的摄像装置采集用户脸部的待识别图像；例如当环境光亮度值满足预设亮度阈值时，则开启前置的rgb摄像头，采集用户脸部的待识别图像，当环境光亮度值小于预设亮度阈值时，则开启tof摄像头，采集用户脸部的待识别图像。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。[0230]数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。[0231]视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。[0232]npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。[0233]外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。[0234]内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。[0235]电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。[0236]音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。[0237]扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐，或收听免提通话。[0238]受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。[0239]麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。[0240]耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，omtp)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the usa，ctia)标准接口。[0241]压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。[0242]陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。[0243]气压传感器180c用于测量气压。在一些实施例中，电子设备100通过气压传感器180c测得的气压值计算海拔高度，辅助定位和导航。[0244]磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。[0245]加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。[0246]距离传感器180f，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180f测距以实现快速对焦。[0247]接近光传感器180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式，口袋模式自动解锁与锁屏。[0248]环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度启动采集用户脸部图像的摄像装置，通过不同的图像数据流进行处理并传输至算法模块，由算法模块对图像进行识别处理。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。[0249]指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。[0250]温度传感器180j用于检测温度。在一些实施例中，电子设备100利用温度传感器180j检测的温度，执行温度处理策略。例如，当温度传感器180j上报的温度超过阈值，电子设备100执行降低位于温度传感器180j附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。[0251]触摸传感器180k，也称“触控器件”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，与显示屏194所处的位置不同。[0252]骨传导传感器180m可以获取振动信号。在一些实施例中，骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏，接收血压跳动信号。在一些实施例中，骨传导传感器180m也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息，实现心率检测功能。[0253]按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。[0254]马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。[0255]指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。[0256]sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nano sim卡，micro sim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用esim，即：嵌入式sim卡。esim卡可以嵌在电子设备100中，不能和电子设备100分离。[0257]需要说明的是，上述电子设备的结构仅示例性说明，基于不同的应用场景，还可以包括其他实体结构，在此不对电子设备的实体结构进行限定。[0258]本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。[0259]本技术实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。[0260]在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。[0261]上述本技术实施例提供的电子设备、计算机存储介质、计算机程序产品均用于执行上文所提供的方法，因此，其所能达到的有益效果可参考上文所提供的方法对应的有益效果，在此不再赘述。[0262]应理解，上述只是为了帮助本领域技术人员更好地理解本技术实施例，而非要限制本技术实施例的范围。本领域技术人员根据所给出的上述示例，显然可以进行各种等价的修改或变化，例如，上述检测方法的各个实施例中某些步骤可以是不必须的，或者可以新加入某些步骤等。或者上述任意两种或者任意多种实施例的组合。这样的修改、变化或者组合后的方案也落入本技术实施例的范围内。[0263]还应理解，本技术实施例中的方式、情况、类别以及实施例的划分仅是为了描述的方便，不应构成特别的限定，各种方式、类别、情况以及实施例中的特征在不矛盾的情况下可以相结合。[0264]还应理解，在本技术的各个实施例中，如果没有特殊说明以及逻辑冲突，不同的实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。[0265]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。[0266]在本技术所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。[0267]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0268]以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。[0269]最后应说明的是：以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!