具体实施方式

下面的描述涉及在虚拟现实和/或增强现实系统中使用的显示子系统和方法。然而，应该理解，虽然本发明使得其很好地适用于虚拟或增强现实系统中的应用，但是本发明在其最广泛的方面可以不受如此限制。

参考图3，现在将描述根据本发明构造的虚拟图像生成系统100的一个实施例。虚拟图像生成系统100可以作为增强现实子系统操作，提供与在终端用户50的视场中的物理对象相互混合的虚拟对象的图像。当操作虚拟图像生成系统100时，存在两种基本方法。第一种方法利用一个或多个成像器(例如相机)来捕捉周围环境的图像。虚拟图像生成系统100将虚拟图像相互混合成表示周围环境的图像的数据。第二种方法利用一个或多个至少部分透明的表面，通过该一个或多个至少部分透明的表面可以看到周围环境，并且在该一个或多个至少部分透明的表面上虚拟图像生成系统100产生虚拟对象的图像。

虚拟图像生成系统100以及在此教导的各种技术可以用于增强现实和虚拟现实子系统以外的应用中。例如，各种技术可以应用于任何投影或显示子系统，或者可以应用于可由终端用户的手而不是头部进行移动的微型投影仪。因此，虽然在此经常在增强现实子系统或虚拟现实子系统方面描述，但是教导不应限于这些用途的这些子系统。

至少对于增强现实应用来说，可能期望相对于终端用户50的视场中的相应物理对象在空间上定位各种虚拟对象。虚拟对象(在此也被称为虚拟标签或标签或标出(callout))可以采取多种形式中的任何一种，基本上是能够被表示为图像的任何种类的数据、信息、概念或逻辑构造。虚拟对象的非限制性例子可以包括：虚拟文本对象、虚拟数字对象、虚拟字母数字对象、虚拟标签对象、虚拟场对象、虚拟图表对象、虚拟地图对象、虚拟仪器对象、或物理对象的虚拟视觉表示。

为此，虚拟图像生成系统100包括：由终端用户50穿戴的框架结构102；显示子系统104，该显示子系统104的至少一部分由框架结构102承载，使得显示子系统104被定位在终端用户50的眼睛52的前方；以及由框架结构102承载的扬声器106，使得扬声器106被定位在终端用户50的耳道附近(可选地，另一扬声器(未示出)被定位在终端用户50的另一个耳道附近以提供立体声/可塑形声音控制)。显示子系统104被设计成向终端用户50的眼睛52呈现基于照片的辐射图案，所述辐射图案可以被舒适地感知为物理现实的增强，具有高水平的图像质量和三维感知，以及能够呈现二维内容。显示子系统104以提供对单个相干场景的感知的高频率呈现一系列合成图像帧。

显示子系统104包括投影子系统108和部分透明的显示屏110，投影子系统108将图像投影在显示屏110上。显示屏110被定位在终端用户50的眼睛52与周围环境之间的终端用户50的视场中。

在所示例的实施例中，投影子系统108采用基于光纤扫描的投影设备的形式，并且显示屏110采用基于波导的显示器的形式，来自投影子系统108的扫描光被注入该基于波导的显示器中以产生例如位于比无限远更近的单个光学观看距离(例如手臂长度)处的图像、位于多个离散光学观看距离或焦平面处的图像，和/或在多个观看距离或焦平面处堆叠以表示立体3D对象的图像层。光场中的这些层可以足够紧密地堆叠在一起，以对人类视觉子系统看起来连续(即，一层位于相邻层的混淆锥内)。附加地或替代地，图片元素可以跨两个或更多个层混合，以增加光场中的层之间的过渡的所感知的连续性，即使这些层以较稀疏的方式堆叠(即，一个层在相邻层的混淆锥外)。显示子系统104可以是单目的或双目的。

参考图4和图5，投影子系统108包括扫描组件112和光学耦合子系统114，扫描组件112响应于控制信号而产生光束并以预定的扫描图案扫描光束，光学耦合子系统114将来自扫描组件114的光束耦合到显示屏110。

扫描组件112包括产生光束(例如，以限定的图案发射不同颜色的光)的一个或多个光源116(为了简洁仅示出一个)。光源116可以采用多种形式中的任何一种，例如，一组RGB激光器(例如，能够输出红光、绿光和蓝光的激光二极管)，其可操作以根据像素信息或数据的相应帧中指定的已限定的像素图案来分别产生红色、绿色和蓝色相干准直光。激光提供高色彩饱和度且是高能效的。

扫描组件112进一步包括一个或多个光纤118(为了简洁仅示出了一个)，每个光纤具有近端118a和远端118b，从光源116接收光束到该近端118a中，从该远端118b将光束提供给部分透明的显示屏110。扫描组件112进一步包括机械驱动组件120，光纤118被安装到该机械驱动组件120上。驱动组件120被配置为使光纤118的远端118b移位，并且在所示例的实施例中，驱动组件120包括压电元件122，光纤118被安装到该压电元件122上。

扫描组件112进一步包括驱动电子器件124，驱动电子器件124被配置为将电信号传送到压电元件122，从而使光纤118的远端118b根据扫描图案振动。因此，光源116和驱动电子器件124的操作以产生这样的图像数据的方式协调进行：该图像数据以在空间和/或时间上变化的光的形式被编码。

在所示例的实施例中，压电元件122采取中空管的形式，在这种情况下，光纤118的远端118b穿过压电管122或通过压电管122被接收。光纤118的远端118b作为不固定的柔性悬臂从压电管122突出。压电管122与四个象限电极(未示出)相关联。这些电极例如可以被镀在压电管122的外部、外表面或外周或外径上。芯电极(未示出)也位于管122的核心、中心、内周或内径处。

驱动电子器件124经由导线126被电耦合以驱动相对的电极对(未示出)，从而独立地在两个轴上弯曲压电管122。光纤118的突出远端118b具有机械共振模式。共振频率取决于光纤118的直径、长度和材料特性。通过使压电管122在第一机械共振模式附近振动，导致光纤远端118b振动，并且光纤远端118b可以绕支点扫过较大的偏转。或者，可以使压电管122在更高阶的机械共振模式(例如，二阶模式)附近振动，使得光纤远端118b绕支点扫过较小的偏转。

通过在两个轴上激励共振，光纤远端118在填充2D扫描的区域中被双轴扫描。通过与光纤远端118b的扫描同步地调制光源116的强度，从光纤118出射的光束形成图像。在序列号为13/915,530、名称为“Multiple Depth Plane Three-Dimensional Display UsingA Wave Guide Reflector Array Projector(使用波导反射器阵列投影仪的多深度平面三维显示器)”的美国专利申请中提供了此类设置的描述，该美国专利申请通过引用明确地并入本文中。

光学耦合子系统116包括光波导输入装置128，例如一个或多个反射表面、衍射光栅、反射镜、二向色镜、或棱镜，以将光光学耦合到显示屏110的端部。光学耦合子系统116进一步包括使来自光纤118的光准直的准直元件130。可选地，光学耦合子系统116包括光学调制装置(未示出)，该光学调制装置被配置为将来自准直元件130的光会聚到位于光波导输入装置128中心的焦点，从而允许光波导输入装置128的尺寸最小化，如在序列号为62/277,865、名称为“Virtual/Augmented Reality System Having Reverse Angle DiffractionGrating(具有反角度衍射光栅的虚拟/增强现实系统)”的美国临时专利申请中更详细讨论的，该美国临时专利申请通过引用明确地并入本文中。

现在参考图6，每个光纤118将偏振保持(PM)光纤的优点与非PM光纤的优点组合起来，以确保保持通过相应光纤118传播的光束的线性偏振，同时保持与扫描设备114相关联的光纤118的部分的机械特性。为此，光纤118包括非PM光纤扫描部132和PM传输光纤部134。传输光纤部132和扫描光纤部134中的每一者通常包括透明芯和围绕该芯的透明包层材料，透明包层材料具有较低的折射率，通过全内反射现象将光保持在芯中，从而使光纤充当波导。

在所示例的实施例中，扫描光纤部132包括透明芯136和围绕透明芯136的圆柱形包层138a。包层138a具有圆形对称的折射率，使得光束传播通过扫描光纤部132，而在存在外部应力的情况下不保持光束的线性偏振(参见图7a)。在一个实施例中，除了传输光纤部134包括包层138b之外，传输光纤部134类似于扫描光纤部132，该包层138b具有几何不对称的横截面(例如，在这种情况下是椭圆形)，或者具有圆形不对称的折射率以在光纤中诱发双折射，从而即使在存在外部应力的情况下也能保持传播光束的线性偏振(参见图7b)。在另一实施例中，除了传输光纤部134还包括附加元件140之外，传输光纤部134类似于扫描光纤部132，所述附加元件140由与包层136a不同的材料构成，从而永久地在光纤中引发应力(参见图7c)。

在所示例的实施例中，扫描光纤部132相对较短并且固定在扫描设备114内，而传输光纤部134相对较长并且从相应的光源112被路由到扫描设备114。因此，传输光纤部134被光学耦合到相应的光源112，并且扫描光纤部132被耦合到扫描设备114的驱动组件120。扫描光纤部132和传输光纤部134以使得包层激光传输模式最小化的任何适当的方式拼接在一起。

由于扫描光纤部132被固定在例如扫描设备114的压电管122内，因此防止了扫描光纤部132上的应力，从而保持通过扫描光纤部132传播的光束的线性偏振。同样地，尽管弯曲力被施加到传输光纤部134，通过传输光纤部134传播的光束的线性偏振仍被保持。

因此，显示子系统104产生像素信息的一系列合成图像帧，这些图像帧向用户呈现一个或多个虚拟对象的未失真图像。例如，参考图8，示意性地示出了合成图像帧200，其中单元202a至202m被分成水平行或线204a至204n。帧200的每个单元202可以为单元202所对应的相应像素指定用于多个颜色中的每一个的值和/或指定强度。例如，帧200可以为每个像素指定用于红色206a的一个或多个值，用于绿色206b的一个或多个值以及用于蓝色206c的一个或多个值。值206可以被指定为用于每种颜色的二进制表示，例如，用于每种颜色的相应4位数。帧200的每个单元202可以另外包括指定幅度的值206d。

帧200可以包括一个或多个字段(field)，统称为208。帧200可以由单个字段组成。或者，帧200可以包括两个或甚至更多个字段208a至208b。帧200的完整第一字段208a的像素信息可以在完整第二字段208b的像素信息之前被指定，例如，在阵列、有序列表或其它数据结构(例如，记录、链表)中出现在第二字段208b的像素信息之前。假设呈现子系统被配置为处理多于两个字段208a至208b，则第三字段甚至第四字段可以在第二字段208b之后。

在序列号为14/212,961、名称为“Display Subsystem and Method(显示子系统和方法)”的美国专利申请以及序列号为14/696,347、名称为“Primary Waveguide ApparatusWith Diffraction Element(s)and Subsystem Employing Same(具有衍射元件的主波导装置以及采用该装置的子系统)”的美国专利申请中提供了描述显示子系统的进一步细节，这两个美国专利申请通过引用明确地并入本文中。

返回参考图2，虚拟图像生成系统100进一步包括被安装到框架结构102的一个或多个传感器(未示出)，用于检测终端用户50的头部54的位置和运动和/或终端用户50的眼睛位置和眼间距离。此类传感器可以包括图像捕捉设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪。

例如，在一个实施例中，虚拟图像生成系统100包括头戴式换能器子系统142，该换能器子系统142包括一个或多个惯性换能器以捕捉指示终端用户50的头部54的运动的惯性测量。可以使用这样的装置感测、测量或收集关于终端用户50的头部运动的信息。例如，可以使用这样的装置检测终端用户50的头部54的测量运动、速度、加速度和/或位置。

虚拟图像生成系统100进一步包括一个或多个前向相机144，前向相机144可用于捕捉关于终端用户50所处的环境的信息。前向相机144可用于捕捉指示终端用户50相对于该环境和该环境中的特定对象的距离和取向的信息。当戴在头部时，前向相机144特别适合于捕捉指示终端用户50的头部54相对于终端用户50所在的环境和该环境中的特定对象的距离和取向的信息。前向相机144例如可用于检测头部运动、头部运动的速度和/或加速度。例如，前向相机144可用于例如至少部分地基于终端用户50的头部54的取向来检测或推断终端用户50的注意力中心。可以检测到任何方向上的取向(例如，相对于终端用户50的参考帧的上/下、左、右)。

虚拟图像生成系统100进一步包括后向相机146的对以跟踪终端用户50的眼睛52的移动、闪烁和焦深。例如，可通过将光投射到终端用户的眼睛并检测至少一些所投射的光的返回或反射来辨别这样的眼睛跟踪信息。在序列号为14/212,961且名称为“DisplaySystem and Method(显示系统和方法)”的美国专利申请、序列号为14/726,429且名称为“Methods and Subsystem for Creating Focal Planes in Virtual and AugmentedReality(用于在虚拟和增强现实中产生焦平面的方法和子系统)”的美国专利申请、以及序列号为14/205,126且名称为“System and Method for Augmented and Virtual Reality(用于增强和虚拟现实的系统和方法)”的美国专利申请中提供了讨论跟踪设备的进一步的细节，这些专利申请通过引用被明确地并入本文中。

虚拟图像生成系统100进一步包括用户取向检测模块148。用户取向模块148检测终端用户50的头部54的瞬时位置，并且可以基于从传感器接收到的位置数据预测终端用户50的头部54的位置。用户取向模块148还基于从传感器接收到的跟踪数据来跟踪终端用户50的眼睛52。

虚拟图像生成系统100进一步包括可采取多种形式中的任一种的控制子系统。控制子系统包括多个控制器，例如一个或多个微控制器、微处理器或中央处理单元(CPU)、数字信号处理器、图形处理单元(GPU)、其它集成电路控制器，诸如专用集成电路(ASIC)、可编程门阵列(PGA)(例如现场PGA(FPGA))和/或可编程逻辑控制器(PLU)。

在所示例的实施例中，虚拟图像生成系统100包括中央处理单元(CPU)150、图形处理单元(GPU)152、以及一个或多个帧缓冲器154。CPU 150控制整体操作，而GPU 152渲染帧(即，将三维场景转换为二维图像)，并将这些帧存储在帧缓冲器154中。尽管未示出，但一个或多个另外的集成电路可以控制将帧读入帧缓冲器154和/或从帧缓冲器154读出帧，以及控制显示子系统104的扫描设备的操作。读入帧缓冲器154和/或从帧缓冲器154中读出例如可以在过度渲染帧的情况下采用动态寻址。虚拟图像生成系统100进一步包括只读存储器(ROM)156和随机存取存储器(RAM)158。虚拟图像生成系统100进一步包括三维数据库160，GPU 152可以从该三维数据库160存取用于渲染帧的一个或多个场景的三维数据。

虚拟图像生成系统100的各种处理部件可以物理地被包含在分布式子系统中。例如，如图9a至9d所示，虚拟图像生成系统100包括本地处理和数据模块170，该本地处理和数据模块170诸如通过有线引线或无线连接172可操作地耦接到显示子系统104(包括显示屏110和机械驱动组件120)的一部分和传感器。光源116和驱动电子器件124被包含在本地处理和数据模块170中，在这种情况下，连接172将包括光纤118。本地处理和数据模块172可以以各种配置被安装，诸如固定地附接到框架结构102(图9a)、固定地附接到头盔或帽子56(图9b)、嵌入耳机中、可移除地附接到终端用户50的躯干58(图9c)、或者以腰带耦接式配置可移除地附接到终端用户50的髋部60(图9d)。虚拟图像生成系统100进一步包括远程处理模块174和远程数据储存库176，远程处理模块174和远程数据储存库176例如通过有线引线或无线连接178、180可操作地耦接到本地处理和数据模块170，使得这些远程模块174、176可操作地彼此耦接并且作为资源可用于本地处理和数据模块170。

本地处理和数据模块170可以包括高功效处理器或控制器，以及诸如闪速存储器的数字存储器，二者都可用于协助处理、高速缓存和存储从传感器捕捉的数据，和/或使用远程处理模块174和/或远程数据储存库176获取和/或处理的数据，可能在这样的处理或检索之后传递给显示子系统104。远程处理模块174可以包括一个或多个相对强大的处理器或控制器，其被配置为分析和处理数据和/或图像信息。远程数据储存库176可以包括相对大规模的数字数据存储设施，其可以通过因特网或在“云”资源配置中的其它网络配置来获得。在一个实施例中，在本地处理和数据模块170中存储全部数据并执行全部计算，从而允许从任何远程模块的完全自主的使用。

上述各种部件之间的耦接172、178、180可以包括用于提供有线通信或光通信的一个或多个有线接口或端口，或者诸如经由RF、微波和IR用于提供无线通信的一个或多个无线接口或端口。在一些实施方式中，所有通信可以是有线的，而在其它实施方式中，所有通信可以是无线的，光纤118除外。在进一步另外的实施方式中，有线和无线通信的选择可以不同于图9a至9d所示的选择。因此，有线或无线通信的该特定选择不应被视为限制。

在所示例的实施例中，显示子系统104的光源116和驱动电子器件104被包含在本地处理和数据模块170中，在这种情况下，连接175将包括光纤118，光纤118用于将这些部件连接到与显示屏110密切关联地定位的机械驱动组件120。用户取向模块148被包含在本地处理和数据模块170中，而CPU 150和GPU 152被包含在远程处理模块174中，但是在替代实施例中，CPU 150、GPU 124或其部分可以被包含在本地处理和数据模块170中。三维数据库160可以与远程数据储存库176相关联。

尽管已经示出和描述了本发明的特定实施例，但是将理解，并不意图将本发明限制为优选实施例，并且对于本领域技术人员来说显而易见的是，可以在不脱离本发明的精神和范围的情况下做出各种改变和修改。因此，本发明旨在覆盖可包括在由权利要求限定的本发明的精神和范围内的替代、修改和等同物。