用于眼睛跟踪的显示器下的图像传感器的制作方法

计算;推算;计数设备的制造及其应用技术1.本实施例总体上涉及用于成像的系统和方法，并且具体地涉及用于眼睛跟踪的显示器下的图像传感器。背景技术：2.许多电子设备（诸如智能手机、平板电脑、膝上型电脑、头戴式显示器（hmd）和其他计算设备）在眼睛跟踪单元中包括用于眼睛跟踪的部件。眼睛跟踪单元可以包括相机、镜和透镜。通常，眼睛跟踪单元设置成邻近显示器，这可能阻碍用户对显示区域的观看并增加电子设备的体积。此外，在眼睛跟踪相机设置在用户的眼睛外围的情况下，可能需要附加部件（例如，镜和透镜）来捕获用户的眼睛的广角视图。这样的附加部件可能在用户的眼睛的捕获图像中引入几何失真，从而使眼睛位置和移动的跟踪进一步复杂化。技术实现要素：3.提供本发明内容是为了以简化的形式介绍下面在具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在限制所要求保护的主题的范围。4.公开了一种用于眼睛跟踪的方法。该方法可以包括接收由第一相机至少部分地基于由光源发射的光的反射而捕获的第一图像。反射可以被设置在第一相机前面的电子显示器部分遮挡。该方法还可以包括在部分遮挡的第一图像中检测用户的眼睛并确定眼睛相对于电子显示器的位置或取向。5.公开了一种设备。该设备可以包括电子显示器、设置在电子显示器后面的第一相机以及眼睛跟踪模块。第一相机可以被配置成检测由光源发射的光的反射并且至少部分地基于该反射来捕获第一图像，其中该反射被电子显示器部分遮挡。眼睛跟踪模块可以被配置成检测部分遮挡的第一图像中的用户的眼睛，并确定眼睛相对于电子显示器的位置或取向。6.公开了一种处理系统。处理系统可以包括处理器和存储指令的存储器，指令在被处理器执行时使得处理系统接收由相机至少部分地基于由光源发射的光的反射而捕获的图像，其中该反射被设置在相机前面的电子显示器部分遮挡。指令在被处理器执行时可以进一步使得处理系统在部分遮挡的图像中检测用户的眼睛并确定眼睛相对于电子显示器的位置或取向。附图说明7.本实施例通过示例的方式进行说明并且不旨在受附图中的图限制。8.图1a示出了根据一些实施例的示例电子系统的框图。9.图1b示出了根据一些实施例的示例电子系统的框图。10.图1c示出了根据一些实施例的示例电子系统的框图。11.图1d示出了根据一些实施例的示例电子系统的框图。12.图1e示出了根据一些实施例的示例电子系统的框图。13.图2a-2e各自示出了根据一些实施例的示例电子系统的应用。14.图3a和3b各自示出了根据一些实施例的示例电子系统。15.图4a和4b各自示出了根据一些实施例的示例hmd。16.图5示出了根据一些实施例的示例电子系统的横截面。17.图6示出了根据一些实施例的示例电子系统的横截面。18.图7a和7b各自示出了根据一些实施例的示例电子系统的横截面。19.图8示出了根据一些实施例的电子系统的示例显示器。20.图9示出了根据一些实施例的由设置在显示器下的相机捕获的示例图像。21.图10示出了根据一些实施例的显示像素和/或显示子像素和光学感测元件的示例布置。22.图11示出了根据一些实施例的图像处理系统的框图。23.图12示出了根据一些实施例的描绘用于眼睛跟踪的示例方法的说明性流程图。具体实施方式24.在以下描述中，阐述了许多特定细节，诸如特定部件、电路和处理的示例，以提供对本公开的透彻理解。如本文中所使用的术语“耦合”意指直接连接到或通过一个或多个中间部件或电路连接。此外，在以下描述中并且出于解释的目的，阐述了具体命名以提供对本公开的方面的透彻理解。然而，对于本领域技术人员将显而易见的是，可以不需要这些特定细节来实践示例实施例。在其他实例中，以框图形式示出了公知的电路和设备，以避免使本公开难以理解。下面的详细描述的一些部分是根据对计算机存储器内的数据位的操作的过程、逻辑框、处理和其他符号表示来呈现的。电路元件或软件（sw）框之间的互连可以被示出为总线或示出为单个信号线。总线中的每一个可以可替代地是单个信号线，并且单个信号线中的每一个可以可替代地是总线，并且单个线或总线可以表示用于部件之间通信的无数物理或逻辑机制中的任何一个或多个。25.除非另有具体说明，否则如从以下讨论中显而易见的那样，理解的是，在整个本技术中，利用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监视”、“比较”、“应用”、“更新”、“测量”、“导出”等术语的讨论指代计算机系统或类似电子计算设备的动作和处理，该计算机系统或类似电子计算设备将表示为计算机系统的寄存器和存储器内的物理（电子）量的数据操纵和转换成类似地表示为计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。26.本文中描述的技术可以以硬件、sw、固件或其任何组合来实现，除非具体描述为以特定方式实现。描述为模块或部件的任何特征也可以一起实现在集成逻辑设备中，或者单独地实现为分立但可互操作的逻辑设备。如果以sw实现，那么该技术可至少部分地由包括指令的非暂时性计算机可读存储介质实现，该指令在被执行时执行上述方法中的一个或多个。非暂时性计算机可读存储介质可以形成计算机程序产品的部分，计算机程序产品可以包括封装材料。27.非暂时性处理器可读存储介质可以包括随机存取存储器（ram）（诸如同步动态随机存取存储器（sdram））、只读存储器（rom）、非易失性随机存取存储器（nvram）、电可擦除可编程只读存储器（eeprom）、闪速存储器、其他已知的存储介质等。附加地或可替代地，技术可至少部分地由处理器可读通信介质实现，所述处理器可读通信介质承载或传送以指令或数据结构形式的代码且可由计算机或其他处理器访问、读取和/或执行。28.结合本文中公开的实施例描述的各种说明性逻辑框、模块、电路和指令可以由一个或多个处理器执行。如本文中使用的术语“处理器”可指代能够执行存储在存储器中的一个或多个sw程序的脚本或指令的任何通用处理器、常规处理器、控制器、微控制器和/或状态机。29.本公开的方面提供了一种用于眼睛跟踪的系统、设备和方法，其可以在电子系统或设备的显示器后面实现。本实施例的眼睛跟踪技术可用于评估用户的视觉注意力。在一些实施例中，电子系统可以包括显示器、相机和眼睛跟踪模块。显示器可以包括多孔显示器（porous display），诸如例如，有机发光二极管（oled）显示器或微发光二极管（micro-led）显示器。相机可以设置在显示器后面，使得当用户观看显示器时，相机可以驻留在用户的注视点中或附近，并且相机可以捕获用户的（一只或一对）眼睛的图像。眼睛跟踪模块可被配置成检测所捕获图像中的用户的（一只或一对）眼睛，并确定诸如一只眼睛的（或一对眼睛的）位置、取向、移动、注视方向（即视线）和注视点（例如，被用户正在观看的显示像素和/或显示子像素）之类的信息，以用于眼睛跟踪。30.通过将相机设置在显示器下，相机的视场（fov）可以被显示器中的显示像素和/或显示子像素部分遮挡。然而，本公开的方面认识到，显示器可以在显示像素和/或显示子像素之间包含“孔”或空的空间，以供至少一些光通过。在一些实施例中，神经网络模型（例如，卷积神经网络（cnn））或其他算法可用于从由显示像素和/或显示子像素的遮挡中滤除噪声或干扰，诸如“屏幕门效应”。所产生图像可用于眼睛跟踪或其他应用。31.与设置在显示器之上或一侧相对照，将相机设置在显示器下可以提供许多优点。例如，当用户观看显示器时，相机可以定位在用户的注视点中或附近，使得相机可以具有用户的眼睛区域的全视图。然后，相机可捕获用户的眼睛的图像，该图像可用于更精确地确定眼睛各自相对于显示器的位置和/或取向。进而，这可以提高眼睛跟踪的准确性，并有助于简化执行眼睛跟踪所需的计算。例如，眼睛跟踪计算可能不需要计及由定位到显示器一侧的相机捕获的图像中的几何失真，其中，在用户的眼睛的相机的视图和用户对显示器的注视方向之间有广角。此外，通过简化计算，可以提高电子系统的计算效率以及进而提高其功率效率。此外，相对于其中在显示器之上设置眼睛跟踪相机的体积更大的系统，电子系统可需要更少的封装。32.图1a示出了根据一些实施例的示例电子系统100a（也称为“系统100a”）的框图。系统100a包括显示器102、相机104和眼睛跟踪模块108。33.显示器102被配置成向用户显示视觉信息、接收用户输入、和/或将来自正在被成像的对象或场景的光传送到相机104。在一些实施例中，显示器102可以是多孔显示器，诸如oled显示器或micro-led显示器，其在显示像素和/或显示子像素之间包含孔或间隙。在一些实施例中，显示器102可以包括透明层，该透明层被配置成将来自正在被成像的对象或场景的光传送到相机104。34.相机104被配置成捕捉显示器102前面的对象或场景的图像。相机104可以包括有源像素传感器或光电传感器的阵列（例如，光电二极管、互补金属氧化物半导体（cmos）图像传感器阵列、电荷耦合器件（ccd）阵列和/或能够检测可见光谱、ir光谱（例如，近红外（nir）或短波红外（swir））或uv光谱中的波长的光的任何其他传感器）。在一些实施例中，相机104可以被配置成检测ir光谱中的光（例如，nir或swir光）和/或可见光（例如，红光）。此外，相机104可以被配置成执行宽范围成像，其中对象或场景被近距离或远距离地成像。此外，相机104可以被配置成每秒捕获高达或多于2000个图像以支持眼睛跟踪。尽管在图1a的示例中描绘了一个相机，但系统100a的其他实现方式可包括两个或更多个相机。35.如图1a中所示，相机104设置在显示器102后面（或靠近显示器102）。结果，当用户观看显示器102时，相机104可以定位在用户的视线内，或者在用户的注视点中或附近。因此，相机可以具有用户的眼睛区域的全视图，这可以提高眼睛跟踪的准确性并有助于简化执行眼睛跟踪所需的计算。36.眼睛跟踪模块108可以被配置成在由相机104捕获的图像中检测用户的至少一只眼睛。眼睛跟踪模块108还可以被配置成确定诸如眼睛的位置、取向、移动、注视方向和注视点之类的信息，以用于眼睛跟踪。37.在操作期间，显示器102可以从相机前面的对象（诸如用户的眼睛）接收光110。光110中的一些可以被显示器102中的显示像素和/或显示子像素遮挡，而光110中的其余部分通过显示像素和/或显示子像素之间的孔或间隙。通过孔的光110可由相机104检测并作为图像112捕获。然后可以将图像112转移到眼睛跟踪模块108，眼睛跟踪模块108可以分析图像112以检测用户的至少一只眼睛。眼睛跟踪模块108还可以确定并输出眼睛跟踪信息114，眼睛跟踪信息114可以包括例如眼睛的位置、取向、移动、注视方向和注视点，眼睛中的每一只可以是相对于显示器102的。眼睛跟踪模块108还可以接收后续图像（例如，静止图像和/或视频）以跟踪眼睛随时间的移动。38.图1b示出了根据一些实施例的示例电子系统100b（也称为“系统100b”）的框图。系统100b可以是参考图1a描述的系统100a的实施例。如所示出的，系统100b包括显示器102、光源116、相机104、图像过滤器106和眼睛跟踪模块108。39.光源116被配置成照亮正在被成像的对象或场景。光源116可以包括发光二极管（led）或能够发射ir光谱（包括但不限于nir或swir）和/或可见光谱中的波长的光的其他光源。在一些实施例中，系统100b可以包括多于一个光源116。此外，光源116可以设置在与图1b中所示的位置不同的位置中，并且光源116可以设置在显示器102下、与显示器102相同的平面中、显示器102的边框中或其任何组合中。40.图像过滤器106被配置成去除由相机104捕获的图像中的噪声、模糊、浑浊（haziness）或其他类型的干扰。噪声或干扰可能由显示器102中的显示像素和/或显示子像素引起，其可阻挡一些光通过显示器102到相机104。图像过滤器106还可以被配置成全部或部分地去除图像中阻碍眼睛跟踪的特征。例如，图像过滤器106可以被配置成：如果眼睫毛或眼睑模糊了用户的瞳孔、虹膜、巩膜或用于眼睛跟踪的其他特征，则从图像中去除眼睫毛或眼睑。41.在操作期间，光源116可以发射光110以照亮相机104前面的场景。在一些实施例中，光110可以被调制或编码。场景中的对象（诸如用户的眼睛）可以将光110的至少一部分例如作为反射光110（r）而反射回朝向显示器102。反射光110（r）中的一些可以被显示器102中的显示像素和/或显示子像素遮挡，而反射光110（r）的其余部分通过显示像素和/或显示子像素之间的孔或间隙。通过孔的反射光110（r）可以由相机104检测并作为图像112捕获。然后可以将图像112转移到图像过滤器106。图像过滤器106可以去除图像112中的噪声或干扰，并产生经过滤的图像112'。然后，眼睛跟踪模块108可以接收经过滤的图像112'并分析该图像以检测用户的至少一只眼睛。如参考图1a所述，眼睛跟踪模块108还可以确定并输出眼睛跟踪信息114。42.图1c示出了根据一些实施例的示例电子系统100c（也称为“系统100c”）的框图。系统100c可以是分别参考图1a和1b描述的系统100a和/或100b的实施例。如所示出的，系统100c包括显示器102、相机104a和104b、图像过滤器106、深度图生成器107和眼睛跟踪模块108。43.如图1c中所示，显示器102可以被配置成发射光。更具体地，显示器102中的（一个或多个）显示像素和/或（一个或多个）显示子像素可以被配置成发射光110，光110可以包括ir光谱（包括但不限于nir或swir）和/或可见光谱中的波长的光。44.图1c还示出了设置在显示器102后面的两个相机—相机104a和104b。相机104a和104b中的每一个可以被配置成捕捉显示器102前面的对象或场景的图像，并且可以是图1a和1b中的相机104的实施例。45.深度图生成器107可以被配置成确定关于由相机104a和104b成像的（一个或多个）对象或场景的深度信息。更具体地，深度图生成器107可以被配置成接收由相机104a和104b捕获的图像，并且深度图生成器107可以使用立体视觉（stereopsis）来组合图像并从图像中提取深度信息。深度图生成器107可以将深度信息作为深度图113输出，然后可以将深度图113转移到眼睛跟踪模块108。46.在操作期间，显示器102可以发射光110以照亮相机104a和104b前面的场景。场景中的对象（例如，用户的（一只或一对）眼睛）可以将光110的至少一部分例如作为反射光110（r）（1）和110（r）（2）而反射回朝向显示器102。反射光110（r）（1）和110（r）（2）中的一些可以被显示器102中的显示像素和/或显示子像素遮挡，而反射光110（r）（1）和110（r）（2）的其余部分通过显示像素和/或显示子像素之间的孔或间隙。通过孔的反射光110（r）（1）和110（r）（2）可以分别由相机104a和104b检测。相机104a可以捕获被检测为图像112a的反射光110（r）（1），并且相机104b可以捕获被检测为图像112b的反射光110（r）（2）。然后可以将图像112a和112b转移到图像过滤器106。图像过滤器106可以去除图像112a和112b中的噪声或干扰，并且然后输出相应的经过滤的图像112a'和112b'。47.深度图生成器107可以接收经过滤的图像112a'和112b'，并且在一些实施例中，使用立体视觉来组合图像并提取深度信息。可以将深度信息作为深度图113输出。然后，眼睛跟踪模块108可以接收深度图113并分析深度信息以检测用户的至少一只眼睛。眼睛跟踪模块108还可以确定并输出眼睛跟踪信息114，眼睛跟踪信息114可以包括例如眼睛的位置、取向、移动、注视方向和注视点。眼睛跟踪模块108还可以接收后续深度图（例如，静止和/或动画的深度图）以跟踪眼睛随时间的移动。48.图1d示出了根据一些实施例的示例电子系统100d（也称为“系统100d”）的框图。系统100d可以是参考图1a-1c描述的系统100a-100c的实施例。相机104a和104b可以是图1c的相机104a和104b的实施例。如图1d中所示，相机104b设置在显示器102的一侧（或靠近显示器102），而不是如图1c中所示的显示器102的后面。在眼睛跟踪期间，系统100d可以以类似于系统100b和100c的方式的方式操作。49.图1e示出了根据一些实施例的示例电子系统100e（也称为“系统100e”）的框图。系统100e可以是参考图1a-1d描述的系统100a-100d的实施例。如图1e中所示，除了其他部件之外，系统100e包括壳体120和透镜118a及118b。在一些实施例中，系统100e可以是头戴式显示器（hmd），其是佩戴在用户的头部上或附接到用户的头部的电子显示器。50.壳体120是配置成将透镜118a和118b耦合到显示器102的结构。在一些实施例中，壳体120可以包括护目镜、眼镜、头盔或配置成佩戴在用户的头部上或附接到用户的头部的类似设备。透镜118a和118b中的每一个可以是光学透镜或组装透镜，该光学透镜或组装透镜被配置成将由显示器102中的显示像素和/或显示子像素或其他光源发射的光聚焦到用户的眼睛。透镜118a和118b中的每一个可以被配置成通过ir光谱（例如，nir和/或swir）和/或可见光谱中的波长的光。51.为了操作系统100e，用户可以将系统100e放置在用户的头部上，使得用户的眼睛基本上与透镜118a和118b对准，并且用户可以观看显示器102。为了开始眼睛跟踪，显示器102中的显示像素和/或显示子像素（或其他光源）在某些情况下通过显示图像发射光110a和110b。光110a和110b分别通过透镜118a和118b，以照亮用户的眼睛。用户的眼睛可以将光110a和110b的至少一部分例如分别作为反射光110a（r）和110b（r）而反射回朝向显示器102。反射光110a（r）和110b（r）中的一些可以被显示器102中的显示像素和/或显示子像素遮挡，而反射光110a（r）和110b（r）的其余部分通过显示像素和/或显示子像素之间的孔或间隙，并分别被相机104a和104b检测。相机104a可以捕获被检测为图像112a的反射光110a（r），并且相机104b可以捕获被检测为图像112b的反射光110b（r）。然后可以将图像112a和112b转移到图像过滤器106，图像过滤器106可以去除图像112a和112b中的噪声、模糊、浑浊或其他类型的干扰，并且然后输出相应的经过滤的图像112a'和112b'。然后，眼睛跟踪模块108可以接收经过滤的图像112a'和112b'，并分析所述图像以检测用户的每只眼睛。眼睛跟踪模块108还可以确定并输出用于用户的眼睛中的一只或两只的眼睛跟踪信息114。52.图2a示出了根据一些实施例的示例电子系统200a的应用。电子系统200a可以是图1a和1b中的电子系统100a和/或100b的实施例。如图2a中所示，电子系统200a包括显示器202、显示像素和/或显示子像素222、以及相机204。显示像素和/或显示子像素222可以设置在显示器202中，并且相机204（以虚线示出）可以设置在显示器202后面。显示器202可以是图1a-1e的显示器102的实施例。此外，相机204可以是图1a-1e的相机104、104a和/或104b的实施例。53.如图2a中所示，用户的眼睛224正在观看显示器202的显示像素和/或显示子像素222'。因此，用户的注视方向226（或视线）由虚线箭头表示，并被指向注视点227。54.在眼睛跟踪期间，（一个或多个）显示像素和/或（一个或多个）显示子像素222（或另一光源）发射光（例如，ir光和/或红光）以照亮用户的眼睛224。眼睛224可将光的至少一部分反射回朝向显示器202和相机204。反射光中的一些可以被显示像素和/或显示子像素222遮挡，而光的其余部分可以通过显示像素和/或显示子像素222之间的孔或间隙，并被相机204检测。相机204可以捕获检测到的光作为图像，并且可以将该图像转移到图像过滤器。图像过滤器可以去除图像中的噪声、失真或干扰，并产生经过滤的图像。然后，眼睛跟踪模块可以接收经过滤的图像并分析经过滤的图像以检测眼睛224。图像过滤器和眼睛跟踪模块可以是图1a-1e的图像过滤器106和眼睛跟踪模块108的实施例，并且为简单起见在此没有示出。因此，眼睛跟踪模块可以确定并输出眼睛跟踪信息或参数，诸如例如眼睛的位置、取向、移动、注视方向226、注视点227（即，显示像素和/或显示子像素222'和/或显示像素和/或显示子像素222'的定位）、眼睛的几何形状、瞳孔大小和/或扩张、和/或用户与电子系统200a或注视点227之间的距离。眼睛跟踪模块还可以接收后续图像（例如，静止图像和/或视频）以跟踪眼睛随时间的移动。55.为了执行眼睛跟踪，可以使用任何合适的方法。例如，眼睛跟踪模块可以使用来自眼睛的光的一个或多个反射来确定眼睛的位置和/或取向。眼睛跟踪模块可以分析从用户的眼睛中的透镜背面和用户的角膜反射的光以执行眼睛跟踪。作为另一示例，眼睛跟踪模块可以分析从用户的角膜反射的光，以及用户的瞳孔中心的定位，以执行眼睛跟踪。在另一示例中，眼睛跟踪模块可以被配置成检测眼睛内侧的特征（诸如视网膜血管）以执行眼睛跟踪。此外，眼睛跟踪模块可以使用以下来执行眼睛跟踪：用户的瞳孔或虹膜的中心和/或轮廓；用户的眼球的中心；用户的（一个或多个）眼角；用户的巩膜和/或眼睑；用户的眼睛的形状和/或（一个或多个）颜色；或者甚至用户的其他面部特征。眼睛跟踪模块还可以计及在眼睛跟踪期间用户的头部的移动、用户的头部姿势或取向、和/或电子系统200a的移动。56.眼睛的位置可以指眼睛上或眼睛内侧的定位，该定位对应于注视方向226和/或注视点227、与注视方向226和/或注视点227对准、或者可以用于确定注视方向226和/或注视点227。眼睛的取向可以指相对于例如用户的面部或头部的特征或显示器202的眼睛的定位。此外，该取向可用于确定注视方向226和/或注视点227（或显示像素和/或显示子像素222'），或可与注视方向226和/或注视点227（或显示像素和/或显示子像素222'）对准。注视方向226可以包括指向注视点227或感兴趣点（诸如显示像素和/或显示子像素222'）或与注视点227或感兴趣点（诸如显示像素和/或显示子像素222'）对准的矢量或视线。在一些方面，用户的眼睛位置可以被转换到（或映射到）注视点227的位置。此外，为了执行眼睛跟踪，眼睛跟踪模块可以使用2d和/或3d坐标（例如，沿x、y和z轴）、欧拉角或其他角、四元数（quaternion）或其他系统或参数来表征眼睛的位置、取向和/或移动、用户的注视方向226和/或注视点227。57.在一些实施例中，在眼睛跟踪之前或期间，眼睛跟踪模块可以执行校准过程以确保以增加的精度执行眼睛跟踪。校准过程可以包括使用户观看显示在显示器202上的一个或多个点。当显示在显示器202上时，所述一个或多个点可以是静态的或以随机或预定的轨迹移动。校准过程还可以包括在点被显示时确定和记录用户的（一只或一对）眼睛的位置、取向和/或移动。58.由眼睛跟踪模块确定的眼睛跟踪信息可用于许多不同的应用。例如，当用户观看电子系统的显示器时，眼睛跟踪信息可以帮助确定用户正在显示器上看什么、用户何时将注意力放在显示器上的某些可视元素上、用户在特定注视点处注视多长时间、可视元素按其被凝视的顺序、以及用户的注视是否返回到用户以前看过的可视元素。此外，眼睛跟踪信息可用于收集使用分析，以增强用户对显示器202上呈现的视觉信息的体验，并执行注视点渲染（foveated rendering）。59.眼睛跟踪信息还可以准许用户控制电子系统。例如，当用户移动他或她的眼睛、眨眼或使用他或她的眼睛做出姿态时，用户可以能够移动光标、导航菜单和/或启动各种应用程序并与之交互。此外，眼睛跟踪信息可用于减轻用户正在观看诸如hmd的电子系统时有时可能经历的与晕动病（motion sickness）、沮丧病（doom sickness）、晕屏病（cybersickness）和/或模拟器病（simulator sickness）有关的症状。例如，眼睛跟踪信息可用于修改视觉信息（例如，fov或图像分辨率）、用户可控制的显示器上对象的灵敏度或响应性、显示器的帧速率、显示器的刷新速率和/或由显示器或其他光源发射的光。此外，眼睛跟踪信息可用于涉及虚拟现实、增强现实和/或混合现实的应用中，并且眼睛跟踪信息可用于包括电子显示器的任何设备中，诸如移动电话、平板电脑、平板手机、膝上型计算机、汽车（例如，仪表盘）或其他消费或商业商品。60.图2b示出了根据一些实施例的示例电子系统200b的应用。电子系统200b可以是图1a、1b和2a的电子系统100a、100b和/或200a的实施例。如图2b中所示，电子系统200b包括显示器202、显示像素和/或显示子像素222、以及相机204。与图2a不同，用户的眼睛224a和224b两者都指向图2b中的显示像素和/或显示子像素222'。换句话说，用户的眼睛224a经由注视方向226a指向注视点227，并且用户的眼睛224b经由注视方向226b指向注视点227。在一些实施例中，取决于用户的眼睛224a和224b与相机204之间的距离，用户的眼睛224a和224b中的一只或两只可以驻留在相机204的fov内，并且由相机204检测以进行眼睛跟踪。此外，眼睛跟踪模块可以确定用户的眼睛224a和224b中的一只或两只的眼睛跟踪信息。61.在一些实施例中，眼睛跟踪模块可以使用一只眼睛的眼睛跟踪信息来确认或验证另一只眼睛的眼睛跟踪信息。眼睛跟踪信息可以包括例如特定眼睛的位置、取向、移动、注视方向和/或注视点。例如，眼睛跟踪模块可以使用注视方向226a或用户的第一眼睛224a的取向来识别（或确定）与注视点227相关联的显示像素和/或显示子像素222'。换句话说，眼睛跟踪模块可以识别与用户的第一眼睛224a的取向对准的显示像素或子像素222'。眼睛跟踪模块还可以基于用户的第二眼睛224b的位置或取向来验证或证实用户的第一眼睛224a与和注视点227相关联的显示像素和/或显示子像素222'对准。例如，眼睛跟踪模块可以通过确定第二眼睛224b的取向也与和注视点227相关联的显示像素和/或显示子像素222'对准来验证第一眼睛224a的对准。62.图2c示出了根据一些实施例的示例电子系统200c的应用。电子系统200c可以是图1a-2b中的电子系统100a-200b的任何或组合的实施例。如图2c中所示，电子系统200c包括显示器202、显示像素和/或显示子像素222、以及相机204a和204b。相机204a和204b可以是图2a-2b的相机204的实施例。此外，用户的眼睛224a经由注视方向226a指向注视点227，并且用户的眼睛224b经由注视方向226b指向注视点227。在一些实施例中，相机204a和204b之间的距离d可以与图2c中所示的距离d不同。在眼睛跟踪期间，电子系统200c可以以类似于电子系统100c-100e的方式的方式操作。63.对于如参考图2b描述的眼睛中的一只或两只，眼睛跟踪模块可以确定并输出眼睛跟踪信息，诸如例如眼睛的位置、取向、移动、注视方向和注视点。眼睛跟踪模块还可以接收后续深度信息（例如，静止和/或动画的深度图）以跟踪眼睛随时间的移动。此外，在一些实施例中，眼睛跟踪模块可以确定转向（vergence）的存在，转向是指在聚焦期间用户的瞳孔朝向或远离彼此的同时移动。64.图2d示出了根据一些实施例的示例电子系统200d的应用。电子系统200d可以是图1c-1e的电子系统100c-100e和图2c的电子系统200c的任何或其组合的实施例。如图2d中所示，电子系统200d包括显示器202、显示像素和/或显示子像素222、以及相机204a和204b。65.在图2d中，用户的眼睛224a和224b中的每一个正在观看不同的注视点。更具体地，用户的眼睛224a正在观看注视点227a（或显示像素和/或显示子像素222''），并且用户的眼睛224b正在观看注视点227b（或显示像素和/或显示子像素222'）。此外，用户的注视方向226a和226b交叉。当眼睛跟踪模块检测到用户的注视方向交叉时，眼睛跟踪模块可以确定用户具有内斜视，内斜视是其中用户的眼睛中的一只或两只朝内转动使得用户看起来“斗鸡眼”的情况。在内斜视损害用户清楚地看到显示器202的能力的情况下，眼睛跟踪模块可以触发显示器202以修改显示在显示器202上的视觉信息，使得用户可以更清楚地看到视觉信息。换句话说，显示器202可以在向用户显示视觉信息的同时充当校正透镜。66.图2e示出了根据一些实施例的示例电子系统200e的应用。电子系统200e可以是图1c-1e的电子系统100c-100e以及图2c和2d的电子系统200c和200d中的任何或其组合的实施例。如图2e中所示，电子系统200e包括显示器202、显示像素和/或显示子像素222、以及相机204a和204b。67.在图2e中，用户的眼睛224a和224b中的每一个正在观看不同的注视点。更具体地，用户的眼睛224a正在观看注视点227a（或显示像素和/或显示子像素222'），并且用户的眼睛224b正在观看注视点227b（或显示像素和/或显示子像素222''）。与图2d不同，图2e中的用户的注视方向226a和226b不是交叉的，并且代替地是分叉（diverge）的。当眼睛跟踪模块检测到用户的注视方向226a和226b分叉时，眼睛跟踪模块可以确定用户具有外斜视，外斜视是其中用户的眼睛朝外偏离的情况。在一些情况下，外斜视可能导致弱视（弱视眼（lazy eye））。在外斜视损害用户清楚地看到显示器202的能力的情况下，眼睛跟踪模块可以触发显示器202以修改显示在显示器202上的视觉信息，使得用户可以更清楚地看到视觉信息。换句话说，显示器202可以在向用户显示视觉信息的同时充当校正透镜。68.图3a示出了根据一些实施例的示例电子系统300a。如图3a中所示，电子系统300a包括显示器302和相机304。电子系统300a可以是图1a和1b电子系统100a和100b以及图2a和2b的电子系统200a和200b的任何或其组合的实施例。因此，显示器302可以分别是图1a-1b和图2a-2b的显示器102和202的实施例。此外，相机304可以分别是图1a-1b和图2a-2b的相机104和204的实施例。显示器302可包括多孔显示器（诸如oled显示器或micro-led显示器），其在显示像素和/或显示子像素（为清楚起见，未示出显示像素和显示子像素）之间包含孔或间隙。相机304设置在电子系统300a的中心附近、显示器302下。取决于相机304和用户的眼睛之间的距离，相机304可以具有足够宽的fov来观看用户的眼睛中的一只或两只。此外，相机304可以能够支持眼睛跟踪。69.在操作期间，用户可以将电子系统300a保持在用户的手中或将电子系统300a放置在支架上，同时用户看显示器302。因为相机304设置在显示器302的中心中，所以相机304可以能够观看用户的（一只或一对）眼睛的全部区域。结果，电子系统300a可以能够更准确地确定用户的（一只或一对）眼睛相对于显示器302的位置和/或取向，这可以增强眼睛跟踪。电子系统300a可以以类似于图1a和1b的电子系统100a和100b以及图2a和2b的电子系统200a和200b的任何或其组合的方式的方式执行眼睛跟踪。70.图3b示出了根据一些实施例的示例电子系统300b。电子系统300b可以是电子系统100c-100e和200c-200e的任何或其组合的实施例。如图3b中所示，电子系统300b包括显示器302以及相机304a和304b，其设置在电子系统300b的相对端附近。相机304a和304b可以是图3a中的相机304的实施例。在一些方面，相机304a和304b可以设置在显示器302下，这可以在用户观看显示器302时向相机提供用户的（一只或一对）眼睛的全视图。此外，因为电子系统300b包括两个相机，所以电子系统300b可以被配置成经由立体视觉而支持深度感测。更具体地，电子系统300b可以被配置成感测关于用户的（一只或一对）眼睛的深度信息以进行眼睛跟踪。在操作期间，电子系统300b可以以类似于图1c-1e的电子系统100c-100e以及图2c-2e的电子系统200c-200e的任何或其组合的方式的方式来执行眼睛跟踪。71.图4a示出了根据一些实施例的示例hmd 400a。如上所指出的，hmd是佩戴在用户的头部上或附接到用户的头部的电子显示器。如图4a中所示，hmd 400a包括壳体420、透镜418a和418b以及显示设备430。显示设备430可以是图1a和1b的电子系统100a和100b、图2a和2b的电子系统200a和200b以及图3a的电子系统300a的任何或其组合的实施例。此外，显示设备430可以包括设置在显示器402后面的相机404。显示器402可以分别是图1a-1b、2a-2b和3a的显示器102、202和302的实施例。此外，相机404可以分别是图1a-1b、2a-2b和3a的相机104、204和304的实施例。显示器402可以定位成距透镜418a和418b距离d1。距离d1可以是固定的或可调节的，并且可以准许相机404在眼睛跟踪期间观看用户的眼睛424a和424b中的任一只或两只。72.如上所讨论的，本公开的方面认识到，在相机设置在电子系统（或显示设备）的显示器后面、具有用户的眼睛区域的全视图情况下，眼睛跟踪被增强。因此，将显示器和相机定位成更靠近用户的眼睛可以进一步改进眼睛跟踪。为了实现显示器和相机之间的这种关系，显示设备430可以耦合到hmd 400a，如图4a中所示。增强的眼睛跟踪可以提高用户免提地与显示设备430交互的能力，并且可以在涉及例如虚拟现实、增强现实和/或混合现实的各种应用中被利用。73.在操作期间，用户428可将hmd 400a放置在用户的头部上或紧靠用户的头部，使得用户的眼睛424a和424b分别看穿（peer through）透镜418a和418。可以如上面参考图1a、1b和/或1e所描述的那样执行眼睛跟踪。74.图4b示出了根据一些实施例的示例hmd 400b。hmd 400b可以分别是图1e和4a的电子系统100e和/或hmd 400a的实施例。此外，图4b的显示设备430可以是图1c-1e的电子系统100c-100e、图2c-2e的电子系统200c-200e以及图3b的电子系统300b的任何或其组合的实施例。如图4b中所示，hmd 400b包括壳体420、透镜418a和418b以及显示设备430。与图4a的hmd 400a不同，hmd 400b包括两个相机—相机404a和404b，相机404a和404b间隔距离d2，并且可以是图4a的相机404的实施例。在一些实施例中，可以选择距离d2，使得相机404a和404b分别与透镜418a和418b对准。在眼睛跟踪期间，这样的对准可分别为相机404a和404b提供用户的眼睛424a和424b的直接视图或全视图。可以如上面参考图1c-1e、2c-2e和3b所描述的那样执行眼睛跟踪。75.图5示出了根据一些实施例的示例电子系统500的横截面。如图5中所示，电子系统500包括显示层502、光源516和相机模块542。电子系统500可以是图1a和1b的电子系统100a和100b、图2a和2b的电子系统200a和200b、图3a的电子系统300a和图4a的显示设备430的任何或其组合的示例实施例。76.显示层502可以包括多孔显示器（诸如oled显示器或micro-led显示器）的多个层。如图5中所示，显示层502可以包括显示表面532和发射层522。在一些实施例中，发射层522可以包括多个显示像素和/或显示子像素，其中，在显示像素和/或显示子像素的每个之间具有孔、间隙或空的空间（示为竖直线的孔、间隙和/或空间）。在一些实施例中，显示层502中的至少一个可以包括被配置成透射来自对象或场景的光的透明层。77.在一些实施例中，光源516可以定位成邻近显示层502。例如，光源516可以设置在显示层502下、与显示层502相同的平面中、电子系统500的边框中或其任何组合中。光源516可以被配置成照亮正在被成像的对象或场景。例如，光源516可以包括被配置成使用ir（例如，nir和/或swir）和/或可见光（例如，红光）照亮对象或场景的led或（一个或多个）显示像素和/或（一个或多个）显示子像素（例如，在发射层522中）。78.如图5中所示，相机模块542设置在显示层502之下，并包括相机504、光学过滤器534和透镜518。相机504可以是图1a-1b、2a-2b、3a和4a的相机104、204、304和404的实施例。此外，相机504可以被配置成用于宽范围成像，其中对象或场景被近距离或远距离成像。相机504还可以被配置成快速感测诸如眼睛、手指、手部和头部之类的对象。在一些实施例中，相机504可以被配置成在多个模式下工作，诸如用以支持环境光感测（als）功能的低功率模式。79.光学过滤器534设置在相机504和透镜518之间。光学过滤器534可以被配置成反射和/或阻挡特定波长的光（例如，uv光、可见光、中ir（mid-ir）波长、nir和/或swir），使得特定波长的光不干扰相机504。在一些实施例中，光学过滤器534可以包括双波段光学过滤器，其被配置成阻挡除ir（例如，nir和/或swir）和/或红光之外的所有波长的光。透镜518可以是被配置成将通过显示层502的光聚焦到相机504的光学透镜或透镜的组件。80.在操作期间，光源516可以照亮电子系统500前面的对象（例如，用户的眼睛）或场景。例如，光源516可以发射ir光，并且该ir光的至少一部分可以从对象或场景反射出并作为例如反射光510（r）而行进回朝向电子系统500。如图5中所示，反射光510（r）在其通过显示表面532和发射层522时可折射或弯曲。在发射层522中，反射光510（r）中的一些可以被发射层522的显示像素和/或显示子像素遮挡，但是反射光510（r）中的至少一些可以通过显示像素和/或显示子像素之间的孔或空的空间。然后，剩余的反射光510（r）行进穿过剩余的显示层502、透镜518和光学过滤器534而到达相机504。相机504可以捕获反射光510（r）作为图像。81.本公开的方面认识到，通过将相机504设置在显示层502之下，由相机504捕获的图像可以包括“屏幕门效应”、噪声、失真、干扰或由显示层502中的遮挡引起的其他伪影。此外，所捕获的图像可包括诸如眼睫毛或眼睑之类的特征，所述特征可通过模糊用户的瞳孔、虹膜或其他眼睛特征来阻碍眼睛跟踪。如下面更详细地描述的，图像过滤器（例如，神经网络模型或其他算法，为简单起见未示出）可用于对这样的干扰、失真或特征进行过滤。一旦捕获的图像被过滤，其可以被转移到例如眼睛跟踪模块（为了简单起见未示出）或其他模块以用于进一步处理。眼睛跟踪模块可以分析经过滤的图像以检测用户的至少一只眼睛。眼睛跟踪模块还可以确定并输出眼睛跟踪信息，诸如眼睛的位置、取向、移动、注视方向和注视点。眼睛跟踪模块还可以从相机504接收后续图像（例如，静止图像和/或视频），以跟踪眼睛随时间的移动。82.图6示出了根据一些实施例的示例电子系统600的横截面。电子系统600可以是图1c-1e的电子系统100c-100e、图2c-2e的电子系统200c-200e、图3b的电子系统300b、图4b的显示设备430和图5的电子系统500中的任何或其组合的实施例。如图6中所示，电子系统600包括显示层602、光源616和相机模块642。显示层602可以是图5中显示层502的实施例。显示层602可以包括显示表面632和发射层622。显示表面632可以是图5中显示表面532的实施例，发射层622可以是图5中发射层522的实施例。相机模块642可以是图5中相机模块542的实施例。相机模块642可以包括透镜618a和618b、光学过滤器634a和634b、以及相机604a和604b。透镜618a和618b中的每一个可以是图5的透镜518的实施例，光学过滤器634a和634b中的每一个可以是图5的光学过滤器534的实施例。此外，相机604a和604b中的每一个可以是图5中相机504的实施例。因为电子系统600包括两个相机，所以相机604a和604b可以被配置成支持深度感测以增强眼睛跟踪。深度感测的分辨率可以取决于相机604a和604b之间的分开距离d。换句话说，距离d越大，可以从相机604a和604b导出的深度信息的量越大。光源616可以是图5的光源516的实施例。83.在操作期间，光源616可以发射光以照亮相机604a和604b前面的对象或场景。在一些实施例中，由光源616发射的光可以被调制或编码。场景中的对象（例如，用户的（一只或一对）眼睛）可以将光的至少一部分例如作为反射光610（r）（1）和610（r）（2）而反射回朝向显示表面632。反射光610（r）（1）和610（r）（2）中的一些可以被发射层622中的显示像素和/或显示子像素遮挡，而反射光610（r）（1）和610（r）（2）的其余部分通过显示像素和/或显示子像素之间的孔或间隙，并分别被相机604a和604b检测（孔、间隙和/或空间示出为发射层622中的竖直线）。相机604a和604b中的每一个可以捕获其各自的反射光作为单独的图像，并且这些图像可以被转移到图像过滤器。如上文关于图5所述，图像过滤器（例如，神经网络模型或其他算法，为简单起见未示出）可以去除图像中的噪声、干扰或失真。然而，与图5不同，电子系统600可以被配置成支持深度感测。结果，经过滤的图像可被转移到深度图生成器，深度图生成器可组合图像并提取关于图像中的对象的深度信息以用于深度感测。深度信息可以作为深度图输出。随后，可以将深度图转移到眼睛跟踪模块或其他模块以进行进一步处理。眼睛跟踪模块可以分析深度图以检测用户的至少一只眼睛。眼睛跟踪模块还可以确定并输出眼睛跟踪信息，所述眼睛跟踪信息可以包括例如眼睛的位置、取向、移动、注视方向和注视点。眼睛跟踪模块还可以接收后续深度图（例如，静止和/或动画的深度图）以跟踪眼睛随时间的移动。84.图7a示出了根据一些实施例的示例电子系统700a的横截面。电子系统700a可以是图1c-1e的电子系统100c-100e、图2c-2e的电子系统200c-200e、图3b的电子系统300b、图4b的显示设备430、图5的电子系统500以及图6的电子系统600中的任何或其组合的实施例。如图7a中所示，电子系统700a包括显示层702、相机模块742和相机组件750。85.显示层702可以包括多孔显示器（诸如oled显示器或micro-led显示器）的多个层，并且显示层702包括显示表面732和发射层722。显示层702可以是图5和图6的显示层502和/或602的实施例，发射层722可以是图5和图6的发射层522和/或622的实施例，并且显示表面732可以是图5和6的显示表面532和/或632的实施例。86.相机模块742包括相机704a、光学过滤器734a和透镜718a。相机模块742可以是图5和图6的相机模块542和/或642的实施例。相机704a可以是图5的相机504和/或图6的相机604a和604b的实施例。光学过滤器734a可以是图5的光学过滤器534和/或图6的光学过滤器634a和634b的实施例。透镜718a可以是图5的透镜518和/或图6的透镜618a和618b的实施例。87.相机组件750包括光源716、反射器738、透镜718b、相机704b、接近传感器740和壳体720。此外，长度l1是如从第一表面746处的壳体720的顶部到接近相机704b的壳体720的基部测量的壳体720的长度。在一些实施例中，使壳体720的长度l1最小化可能是有利的。此外，虽然长度l1看起来短于长度l2（其跨越显示层702和相机模块742的长度），但l1可以是短于、等于或长于长度l2的几乎任何长度。此外，尽管相机组件750示出为邻近显示层702和相机模块742，但在实际实现方式中，部件（未示出）可将相机组件750与显示层702和相机模块742分开。88.光源716设置在壳体720内侧，并且可以包括led、垂直腔面发射激光器（vcsel）、激光二极管或能够发射ir光谱（例如，nir和/或swir）和/或可见光谱中的波长的光的其他光源。因为光源716定位在壳体720内，所以电子系统700a可以不需要在显示表面732或显示层702的边框中的额外凹槽或切口来容纳光源716。此外，因为光源716设置成靠近显示层702，所以当用户观看显示表面732时，从光源716发射的光可以完全照亮用户的眼睛区域。因此，电子系统700a中的光源716的配置可以为眼睛跟踪提供增强的照明。89.反射器738被配置成将由光源716发射的光710反射离开相机704b，并将可见光744从透镜718b透射到相机704b。在一些实施例中，反射器738可以包括反射平面、二向色（dichroic）反射器和/或二向色镜。在其他实施例中，反射器738可以包括分束器。90.透镜718b是光学透镜或透镜的组件。透镜718b可以被配置成将透镜718b前面（即，壳体720的外侧）的可见光744透射到相机704b，并且将可见光744聚焦到相机704b上。透镜718b还可以被配置成将透镜718b前面的ir光透射到接近传感器740。此外，透镜718b可以被配置成透射由光源716发射并由反射器738反射的光710。91.相机704b可以包括有源像素传感器或光电传感器的阵列（例如，光电二极管、cmos图像传感器阵列、ccd阵列和/或能够检测可见光谱、ir光谱或uv光谱中的波长的光的任何其他传感器）。在一些方面，相机704b可以被配置成检测可见光。在一些其他方面，相机704b可以被配置成在光源716发射ir光710的同时检测可见光744。在另外其他方面，相机704b可以被配置成执行宽范围成像，其中对象或场景被近距离或远距离成像。92.光学过滤器734b设置在相机704b和透镜718b之间。光学过滤器734b可以是ir截止过滤器。光学过滤器734b可以被配置成反射和/或阻挡（例如，中ir波长、nir和/或swir）波长的光，使得ir光不干扰相机704b。93.接近传感器740可以包括有源像素传感器或光电传感器的阵列（例如，光电二极管、cmos图像传感器阵列、ccd阵列和/或能够检测可见光谱、ir光谱和/或uv光谱中的波长的光的任何其他传感器）。此外，接近传感器740可以被配置成检测由光源716发射的ir光710的反射，以快速感测电子系统700a附近的对象（例如，眼睛、手指、手部和头部）。94.壳体720可包括围绕透镜718b并包围光源716、反射器738、光学过滤器734b和相机704b的结构。95.在操作期间，光源716可以发射例如ir光710，所述ir光710从反射器738反射出并通过透镜718b。如上所指出的，当用户观看显示表面732时，ir光710可以完全照亮用户的眼睛。用户的眼睛可以将ir光710的至少一部分例如作为反射光710（r）而反射回朝向显示层702。反射光710（r）中的一些可以通过显示层702、透镜718a和光学过滤器734a，由相机704a检测，并作为图像捕获。在一些实施例中，基本上在光源716发射ir光710的同时，相机704b可以检测从用户的眼睛或场景中的其他对象反射出的可见光744（例如，来自太阳或另一光源），并捕获图像中的可见光744。由相机704a和704b捕获的图像可用于眼睛跟踪。此外，由于在捕获图像时光源716以及相机704a和704b可以定位在用户的视线内或附近，因此图像可以以高精度描绘用户的眼睛相对于显示表面732的位置和/或取向。因此，所捕获的图像可以促进更准确的眼睛跟踪。96.图7b示出了根据一些实施例的示例电子系统700b的横截面。电子系统700b可以是图1c-1e的电子系统100c-100e、图2c-2e的电子系统200c-200e、图3b的电子系统300b、图4b的显示设备430、以及图6和7a的电子系统600和700a的任何或其组合的实施例。如图7b中所示，电子系统700b包括显示层702、相机模块742和相机组件760。97.相机组件760包括光源716、光导752、透镜718b、相机704b、光学过滤器734b和壳体720。在一些实施例中，相机组件760可进一步包括附加光源、漫射（diffuse）表面、微透镜、环境传感器和/或接近传感器。98.光源716可以耦合到光导752并被配置成发射ir光710。光源716可以包括led、vcsel、激光二极管或能够发射可见光谱和/或ir光谱（包括但不限于nir或swir）中的波长的光的其他光源。因为光源716定位在光导752内，所以电子系统700b可以不需要在显示表面732或显示层702的边框中的额外凹槽或切口来容纳光源716。此外，因为光源716设置成靠近显示层702，所以当用户观看显示表面732时，从光源716发射的光可以完全照亮用户的眼睛区域。因此，电子系统700b中的光源716的配置可以为眼睛跟踪提供增强的照明。99.光导752可以被配置成将ir光710引导出相机组件760。在一些方面，光导752可以包括透明材料，诸如透明聚碳酸酯。此外，光导752可以被配置成反射光。例如，在一些实施例中，光导752可以被配置成反射光，其中光导752的内表面（其可以包括壳体720的外表面）具有大于壳体720的内表面的折射率的折射率。作为另一示例，光导752可以被配置成反射光，其中光导752的内表面（其可以包括壳体720的外表面）包括反射表面，而壳体720的内表面包括暗表面或能够吸收可见光或ir（例如，nir和/或swir）光的表面。在一些方面，光导752可以包括镜和/或反射器。此外，光导752可以耦合（例如，经由模制）到壳体720。100.透镜718b是光学透镜或透镜的组件，其被配置成将可见光744从相机组件760的外侧透射到相机704b，并将可见光744聚焦到相机704b上。在一些方面，透镜718b可以包括丙烯酸。相机704b可以是图7a的相机704b的实施例。101.光学过滤器734b设置在相机704b和透镜718b之间。光学过滤器734b可以包括ir截止过滤器。光学过滤器734b可以被配置成反射和/或阻挡ir波长的光（例如，中ir波长、nir和/或swir）以使得ir光不干扰相机704b。102.壳体720围绕透镜718b并包围光学过滤器734b和相机704b。如上所指出的，壳体720的内表面（例如，面向相机704b的壁）可包括暗表面或配置成吸收可见光或ir（例如，nir和/或swir）光的表面。如图7b中所示，第一表面746由壳体720的顶部、透镜718b的顶部和光导752的顶部形成。此外，长度l1是如从第一表面746处的壳体720的顶部到接近相机704b的壳体720的基部测量的壳体720的长度。在一些方面，使壳体720的长度l1最小化可能是有利的。此外，虽然长度l1看起来短于长度l2（其跨越显示层702和相机模块742的长度），但l1可以是短于、等于或长于长度l2的几乎任何长度。103.在操作期间，光源716可以发射ir光（例如，nir和/或swir）710，该ir光710被引导通过光导752和第一表面746。ir光710可以在相机704a和704b前面照亮用户的眼睛。用户的眼睛可以将ir光710的至少一部分例如作为反射ir光710（r）而反射回朝向显示层702。反射ir光710（r）中的一些可以通过显示层702、透镜718a和光学过滤器734a，由相机704a检测，并作为图像捕获。在一些实施例中，基本上在光源716发射ir光710的同时，相机704b可以检测从场景中的对象反射出的可见光744（例如，来自太阳或另一光源），并捕获图像中的可见光744。由相机704a和704b捕获的图像可用于眼睛跟踪。此外，由于在捕获图像时光源716以及相机704a和704b可以定位在用户的视线内或附近，因此图像可以以高精度描绘用户的眼睛相对于显示表面732的位置和/或取向。因此，所捕获的图像可以提供更准确的眼睛跟踪。104.图8示出了根据一些实施例的电子系统800的显示器。电子系统800可以是图1a-7b中的电子系统100a-300b、显示设备430和电子系统500-700b的任何或其组合的示例实施例。105.电子系统800可以包括显示器802。显示器802可以是多孔显示器，包括但不限于oled显示器或micro-led显示器。换句话说，显示器802可以包括由孔、间隙或空的空间分开的显示像素和/或显示子像素（在图8中描绘为灰色矩形）。如图8中所示，显示像素和/或显示子像素的图案可以在显示器802的限定区域822a上变化。然而，本公开的方面认识到，图案可以在显示器802的更大区域822b和822c上重复。本公开的方面还认识到，由于在显示像素和/或显示子像素的图案方面的变化，捕获的图像中的失真可能出现随机和/或不一致。然而，通过将显示器下的光学感测元件（例如，图10的光学感测元件1004）与重复的像素图案对准，失真方面的变化将遍及每个光学感测元件而相同或基本相似。此外，可能期望从捕获的图像中滤除这些失真以执行眼睛跟踪。显示像素和/或显示子像素可以在形状和大小方面变化，并且其可以以行和列布置、以圆形配置布置、或以另一种配置布置。106.图9示出了根据一些实施例的由设置在显示器下的相机捕获的示例图像900。图像900可以由设置在多孔显示器后面或下面的相机捕获，如例如图2a中所示，其中相机204在显示器202后面。如图9中所示，图像900包括由暗线和光点组成的网格—或者“屏幕门效应”。暗线对应于显示像素和/或显示子像素的图案，类似于图8中所描绘的显示像素图案。暗线由阻挡一些ir光通过显示器的显示像素和/或显示子像素产生。相比较，更明亮的点对应于显示像素和/或显示子像素之间的间隙或孔。明亮的点是由ir光通过显示器中的孔或间隙到下面的相机而产生的。107.在一些实施例中，由显示器下的相机捕获的图像可以包括网格或屏幕门效应，其看起来好像显示器下的相机通过屏幕门的多层（或屏幕门的堆叠）正在同时成像，其中每个屏幕门层具有不同的间距（即孔尺寸或密度）。在这样的实施例中，ir光可以通过屏幕门层的显示像素和/或显示子像素之间的孔（或间隙）。此外，ir光的每个点水平和竖直地扩展到不同的位置中（即，作为点扩展函数），并且ir光的每个点遍及图像以类似的方式扩展，这可能导致显著的失真。如上所指出的，可能期望从捕获的图像中滤除这样的失真，以便将图像用于眼睛跟踪。108.如图9中所示，图像900的部分被显示器的显示像素和/或显示子像素遮挡。换句话说，显示像素和/或显示子像素可以减少可用于感测的ir光的量，并有效地阻隔显示器下的相机的fov。因此，可能期望对由显示器下的相机捕获的图像进行过滤，以消除屏幕门效应、干扰、失真或可能模糊用于眼睛跟踪的特征的其他伪影。109.图10示出了根据一些实施例的显示像素和/或显示子像素1022（“显示像素1022”）和光学感测元件1004的示例布置1000。显示像素1022中的每一个可以是图2a-2e中的显示像素和/或显示子像素222和/或图5-7b中的发射层522、622、722中的显示像素和/或显示子像素的示例实施例。光学感测元件1004可以单独地或集体地是本文中描述的任何显示器下的相机（诸如图2a的相机204）的实施例。110.在一些实施例中，显示像素1022可以是多孔显示器（诸如例如oled显示器或micro-led显示器）的部分。光学感测元件1004的每个可以包括例如nir cmos传感器，并且每个光学感测元件1004可以具有对应的微透镜1018。尽管在图10中仅示出了六个显示像素1022，但在实际实施例中，布置1000可以包括几乎任何数量的显示像素1022（例如，数百、数千、数百万或更多），以及对应数量的光学感测元件1004和微透镜1018。111.在图10的示例中，显示像素1022可以与光学感测元件1004对准。在一些实施例中，光学感测元件1004中的每个可以与显示器的包含重复像素图案的区域（诸如图8的示例区域822b或822c）对准。由于对准，屏幕门效应或其他失真可以在由光学感测元件1004捕获的图像中表现为一致的或重复的图案。本公开的方面认识到，失真的重复图案可以更容易从捕获的图像中滤除。例如，神经网络模型可以更容易地被训练以识别图像中的重复图案，并且可以在图案重复时提供对屏幕门效应的更鲁棒的过滤。因此，经过滤的图像可用于检测和跟踪用户的眼睛。112.图11示出了根据一些实施例的图像处理系统1100的框图。图像处理系统1100包括设备接口1110、处理器1120和存储器1130。出于本文中讨论的目的，图11中将处理器1120示出为耦合到设备接口1110和存储器1130。对于实际实施例，设备接口1110、处理器1120和/或存储器1130可以使用一个或多个总线（为了简单起见未示出）连接在一起。在一些实施例中，图像处理系统1100可以是图1a-3b的电子系统100a-300b、图4a和4b的hmd 400a和400b以及图5-8的电子系统500-800的任何或其组合的专用集成电路（asic）或其他集成电路（ic）。113.设备接口1110可以向输入设备传送信号以及从输入设备接收信号，输入设备包括但不限于一个或多个相机（为了简单起见未示出）和/或显示器。在一些实施例中，设备接口1110可包括相机接口1114和1116（或用于图像处理系统1100的每个相机的接口）。每个相机接口1114和1116可用于与不同的相机通信。例如，第一相机接口1114可以向第一相机传送激活信号，并从第一相机接收传感器信息，以捕获对象或场景的图像。此外，第二相机接口1116可以向第二相机传送激活信号，并从第二相机接收传感器信息，以捕获相同对象和/或场景或者不同对象和/或场景的图像。在一些实施例中，设备接口1110可进一步包括显示接口1112。显示接口1112可用于与显示器通信和/或向图像处理系统1100的用户提供可视接口（为了简单起见未示出显示器）。114.存储器1130可以包括图像缓冲器1131，以存储经由相机接口1114和/或1116接收的图像。存储器1130还可以包括可存储至少以下sw模块的非暂时性计算机可读介质（例如，一个或多个非易失性存储器元件，诸如eprom、eeprom、闪速存储器、硬盘驱动器等）：·图像过滤sw模块1132（在本文中也称为“图像过滤器”），用于对经由相机接口1114和/或1116接收的图像进行过滤，图像过滤sw模块1132还包括：o 神经网络模型1133，用于过滤、减少或消除来自经由相机接口1114和/或1116接收的图像的噪声或干扰；和·眼睛跟踪sw模块1134（在本文中也称为“眼睛跟踪模块”），用于分析经由相机接口1114和/或1116和/或图像过滤sw模块1132接收的图像，以检测图像中的用户的至少一只眼睛，并且以确定包括眼睛的位置、取向、移动、注视方向和注视点的信息。眼睛跟踪sw模块1134还包括：o 立体视觉子模块1035，用于从经由相机接口1114和1116接收的一对图像中提取深度信息。115.每个sw模块包括指令，当该指令由处理器1120执行时使得图像处理系统1100执行对应的功能。116.例如，处理器1120可执行图像过滤sw模块1132以对经由相机接口1114和/或1116接收的图像进行过滤。在执行图像过滤sw模块1132时，处理器1120可以使用神经网络模型1133或其他算法来过滤、减小或消除来自经由相机接口1114和/或1116接收的图像的噪声（诸如屏幕门效应）或干扰。117.处理器1120可进一步执行眼睛跟踪sw模块1134以分析来自图像过滤sw模块1132的图像（或来自相机接口1114和/或1116的未经过滤的图像）。在执行眼睛跟踪sw模块1134时，处理器1120在一些方面可以使用神经网络模型或其他算法（为了简单起见未示出）来检测和跟踪用户的至少一只眼睛。此外，在执行眼睛跟踪sw模块1134时，处理器1120在一些方面可以使用立体视觉子模块1135来从经由相机接口1114和1116接收的一对图像中提取关于用户的（一只或一对）眼睛的深度信息。如上所指出的，眼睛跟踪sw模块1134可以确定诸如一只眼睛的（或一对眼睛的）位置、取向、移动、注视方向和注视点之类的信息，以用于眼睛跟踪。118.图12示出了根据一些实施例的说明性流程图，其描绘了用于使用显示器下的相机进行眼睛跟踪的示例方法1200。方法1200可以由图1a-3b的电子系统100a-300b、图4a和4b的hmd 400a和400b以及图5-8的电子系统500-800的任何或其组合来执行。119.作为说明性示例，方法1200可由图1a的电子系统100a执行。电子系统100a可以接收由第一相机捕获的第一图像（例如，用户的眼睛的图像）（1210）。第一图像可以至少部分地基于由光源发射的光（例如，ir光、可见光和/或uv光）的反射。此外，反射可以被设置在第一相机前面的电子显示器部分遮挡。在一些方面，遮挡可以是电子显示器中的显示像素和/或显示子像素。在一些实施例中，电子系统100a可以通过两个或更多个相机捕获两个或更多个图像。120.电子系统100a可以在部分遮挡的第一图像中检测用户的眼睛（1220）。电子系统100a可以使用例如眼睛跟踪模块来执行检测。在一些实施例中，电子系统100a可以通过图像过滤器处理来自一个或多个相机的图像，以至少部分地过滤、去除或消除来自图像的噪声或干扰。121.电子系统100a可以确定眼睛相对于电子显示器的位置和/或取向（1230）。电子系统100a可以使用例如来自眼睛跟踪模块和/或图像过滤模块的数据来确定眼睛的位置和/或取向。此外，眼睛的位置和/或取向可以对应于用户的注视方向和/或注视点。在一些实施例中，电子系统100a可以使用来自两个或更多个相机的图像并针对用户的两只眼睛来确定用户的注视方向和/或注视点。122.本领域技术人员将理解，信息和信号可以使用各种各样的不同技术和技艺中的任何来表示。例如，可以通过电压、电流、电磁波、磁场或磁粒子、光学场或光学粒子或其任何组合来表示可以在整个以上描述中引用的数据、指令、命令、信息、信号、比特、符号和码片（chip）。123.另外，本领域技术人员将理解，结合本文中所公开的方面描述的各种说明性逻辑框、模块、电路和算法步骤可实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件与软件的此可互换性，上文已大体上在其功能性方面描述了各种说明性部件、框、模块、电路和步骤。这样的功能性是实现为硬件还是软件取决于特定应用及施加在整个系统上的设计约束。本领域技术人员可针对每个特定应用以变化的方式实现所描述的功能性，但这样的实现决策不应被解释为导致脱离本公开的范围。124.结合本文中所公开的方面描述的方法、序列或算法可直接体现于硬件中、由处理器执行的软件模块中或两者的组合中。软件模块可以驻留在ram存储器、闪速存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom、或本领域中已知的任何其他形式的存储介质中。示例存储介质耦合到处理器，使得处理器可以从存储介质读取信息以及向存储介质写入信息。在备选方案中，存储介质可以与处理器构成整体。125.在前述说明书中，已经参考实施例的具体示例描述了实施例。然而，将明显的是，在不脱离如所附权利要求书中阐述的本公开的更宽范围的情况下，可以对其进行各种修改和改变。因此，说明书和附图被认为是以说明性的意义而不是限制性的意义。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!