CN105339866A - 延迟扭曲凝视交互 - Google Patents

Abstract

计算机系统可以用非接触输入装置（诸如眼睛跟踪设备）进行控制。视觉指示符可以呈现在显示上以指示计算机功能（例如，常见的光标）将发生的位置。可以响应于在预定时间段内连续检测到由用户进行的动作（例如，触摸板触摸）而将视觉指示符移动到凝视目标。动作与视觉指示符的移动之间的所述延迟可以允许用户有时间来“中止”视觉指示符的移动。附加地，一旦视觉指示符已经移动，就可以随着用户在继续动作（例如，继续持有触摸板）的同时移动凝视而用附加精度控制视觉指示符。

Description

延迟扭曲凝视交互

相关申请的交叉引用

本申请要求2013年3月1日提交的美国临时专利申请号61/771659和2013年11月18日提交的美国临时专利申请号61/905536的权益，其两者以引用的方式全部合并于此。本申请进一步通过引用而合并2013年3月13日提交的美国专利申请号13/802240。

技术领域

本公开一般地涉及人机交互，并且更具体地涉及凝视检测。

背景技术

人机交互一般地涉及由用户向计算机输入信息和控制计算机。已经开发许多常见和流行的计算机程序和操作系统来主要与牵涉物理接触或操纵（例如，鼠标或键盘）的输入方法一起起作用。这种类型的物理输入方法在本文中被称为需要接触的输入。对于期望使用非接触输入方法的人而言可能难以以这些计算机程序和操作系统的完整潜力与它们交互。出于各种理由（例如，由于受伤或残障），一些人必须使用非接触输入方法。

非接触输入设备的示例是诸如在美国专利号7572008中描述的那样的眼睛跟踪设备。眼睛跟踪设备可以基于以下原理操作：用红外光照射眼睛并且利用图像传感器检测离开眼睛的光反射。处理器可以使用图像传感器的数据来计算用户的凝视方向。

然而，随着技术进步，计算机程序和操作系统合并了基于需要接触的输入装置的新形式的人机交互来实现简单功能和复杂功能两者。一种形式的人机交互的示例是在计算机、平板电脑、电话等等上基于触摸的交互，用户由此通过触摸和通过在触摸敏感设备（例如，触摸屏）上执行手势（例如，多手指手势）来与设备交互。这种和其他形式的用户交互需要设备与用户之间真正物理的连接，经常需要用户与触摸敏感设备之间的多点物理接触（例如，针对多手指手势）。

可能合期望的是开发基于具有执行简单功能和复杂功能两者的能力的非接触输入装置的人机交互方法。可能进一步合期望的是开发基于非接触输入装置的人机交互方法，该非接触输入装置可以在被开发为主要供需要接触的输入装置使用的计算设备上有效地起作用。

许多非接触交互缺少接触方法的清晰定义和标识，因此其关于非接触输入命令的意图有时可能是模糊的。为了帮助处理这个问题，先前已经提出在具有需要接触的输入设备（诸如计算机鼠标或触摸板）的情况下利用非接触输入装置（诸如眼睛跟踪）。例如，美国专利号6204828描述了一种系统，其中光标在屏幕上的显示在由计算机鼠标移动时被悬停并显示在用户凝视的位置。

一些交互方法不是直观的，并且用户可能不肯定地知道眼睛跟踪是否正在起作用或者光标的确切位置。一些交互方法导致认知混乱，由此在用户触发了光标的移动之后，该用户必须预测光标的将来位置并且相应地调整。

可能合期望的是在确定用户是否意图触发鼠标移动的时尽可能早地用信号通知用户光标的将来位置。进一步地，由于眼睛跟踪系统可能不提供100%的准确性，光标将移动到的所确定的凝视位置可能不是用户所意图的位置。可能合期望的是帮助用户更准确地确定如何及何时与诸如触摸板或鼠标之类的需要接触的输入装置相结合地使用诸如眼睛跟踪之类的非接触输入装置。

发明内容

术语“实施例”及类似术语意图广泛地指代本公开和下面的权利要求的所有主题。包含这些术语的陈述应当被理解为不限制本文中描述的主题或者不限制下面的权利要求的含义或范围。本文中覆盖的本公开的实施例由下面的权利要求而非本发明内容限定。本发明内容是本公开的各个方面的高层综述，并且介绍一些下面在具体实施方式中进一步描述的概念。本发明内容不意图标识要求保护的主题的关键或必要特征，也不意图被孤立地用于确定要求保护的主题的范围。应当通过参考本公开的整个说明书的适当部分、任一或所有附图及每一项权利要求来理解主题。

本公开的实施例包括可以用非接触输入装置通过区域控制进行控制的计算机系统。在一个实施例中，非接触输入装置跟踪由用户执行的非接触动作。计算机的显示器及以外部分可以根据配置被分割成数个分立区域。每个区域与一个计算机功能相关联。可以但不必须向用户指示这些区域和/或其功能。用户可以通过执行由非接触输入装置检测到的非接触动作来执行各种计算机功能。在指示与特定功能相关联的期望区域时，用户可以提供意图激活信号。该意图激活信号可以分别为是需要接触的动作或非接触动作，诸如按钮按压或停留的凝视。在接收到意图激活信号时，计算机系统可以使用所指示的区域（例如，由用户的非接触动作所指示的区域）来执行与该区域相关联的功能。

本公开的实施例包括可以用非接触输入装置（诸如眼睛跟踪设备）控制的计算机系统。可以在显示器上呈现视觉指示符以指示计算机功能将发生的位置（例如，常见的光标）。可以响应于在预定时间段内持续检测到用户进行的动作（例如，触摸板触摸）而将视觉指示符移动到凝视目标。动作与视觉指示符的移动之间的所述延迟提供了向用户提供视觉指示符在移动之后将被定位在何处的指示的机会，从而允许在视觉指示符已显现在新的位置之后较少的认知混乱。可选地，该延迟还可以允许用户有时间来“中止”视觉指示符的移动。附加地，一旦视觉指示符已经移动，就可以在用户在继续动作（例如，继续持有触摸板）时随着用户移动凝视而以附加精度控制视觉指示符。

本公开的实施例包括可以用非接触输入装置（诸如眼睛跟踪设备）控制的计算机系统。计算机可以响应于检测到第一动作（例如，按压触摸板）而扩大邻近第一凝视目标的显示器部分。该计算机然后可以允许用户将第二凝视目标放置在该扩大部分中（例如，通过看着期望位置）并且执行第二动作以便执行在该位置处的计算机功能。扩大可以允许用户用更高的精度标识计算机功能（例如，选择图标）的期望位置。

本公开的实施例包括可以用非接触输入装置（诸如眼睛跟踪设备）控制的计算机系统。可以执行非接触动作和需要接触的动作的各种组合来促使计算机执行某些计算机功能。功能可以包括滚动功能、视觉指示符的移动、显示的缩放以及选择另外的功能来执行。非接触动作和需要接触的动作的组合可以包括在看着显示的某些地方或者停止看着显示的某些地方时按压按钮和/或触摸触摸敏感设备。

附图说明

本说明书对以下附图进行参考，在附图中相同参考数字在不同图中的使用意图图示相同或相似的部件。

图1是根据某些实施例的合并非接触输入装置的计算机系统的示意性表示。

图2A是根据某些实施例的在图1的显示设备上表现或呈现的显示的图形描绘。

图2B是根据某些实施例的在具有第一配置的区域控制模式中图2A的显示的图形描绘。

图3是根据某些实施例的描绘用于区域控制的过程的流程图。

图4是根据某些实施例的当处于利用第二配置的区域控制模式中时表现或呈现在图1的显示设备上的显示的图形描绘。

图5是根据某些实施例的具有视觉指示符的显示的图形描绘。

图6是根据某些实施例的由计算机执行的延迟扭曲的流程图。

图7A是根据一些实施例的描绘多步点击功能的流程图。

图7B是根据一些实施例的描绘多步点击功能的流程图。

图8是根据某些实施例的显示的图形描绘。

图9是根据某些实施例的显示的图形描绘。

图10是根据某些实施例的菜单的图形描绘。

图11是根据某些实施例的显示的图形描绘。

图12是根据某些实施例的显示的图形描绘。

图13是根据某些实施例的显示的图形描绘。

图14是根据某些实施例的显示的图形描绘。

图15是根据某些实施例的显示的图形描绘。

图16是根据某些实施例的显示的图形描绘。

图17是根据某些实施例的显示的图形描绘。

图18是根据某些实施例的显示的图形描绘。

图19是根据某些实施例的显示的图形描绘。

图20是根据某些实施例的显示的图形描绘。

图21是根据某些实施例的显示的图形描绘。

图22A是根据某些实施例的显示的图形描绘。

图22B是根据某些实施例的示出菜单的图22A的显示的图形描绘。

图22C是根据某些实施例的示出菜单的图22C的显示的图形描绘。

图23是根据某些实施例的显示的图形描绘。

图24A是根据某些实施例的非接触动作的流程图。

图24B是根据某些实施例的非接触动作的流程图。

图24C是根据某些实施例的需要接触的动作的流程图。

图24D是根据某些实施例的非接触动作的流程图。

图25是根据某些实施例的具有视觉标记的延迟扭曲2500的流程图。

图26是根据某些实施例的没有视觉标记的延迟扭曲2600的流程图。

图27是根据某些实施例的没有隐藏的视觉指示符的延迟扭曲2700的流程图。

图28是根据某些实施例的延迟扭曲2800的流程图。

图29是根据某些实施例的描绘两步点击2900的流程图。

具体实施方式

可以用非接触输入装置通过区域控制来控制计算机系统。在一个实施例中，作为眼睛跟踪设备的非接触输入装置被用来跟踪用户的凝视。计算机的显示器可以根据配置而被分割成数个分立区域。每个区域与一个计算机功能相关联。可以但不必须向用户指示这些区域和/或其功能。用户可以通过朝向与该功能相关联的区域移动凝视并且提供意图激活信号来执行各种功能。该意图激活信号可以分别是需要接触的或非接触动作，诸如按钮按压或停留的凝视。

计算机系统可以在用非接触输入装置进行控制时实现延迟扭曲。在一个实施例中，可以在显示器上呈现光标来指示基于进一步动作（例如，点击）将发生计算机功能的位置。可以响应于在预定时间段内持续检测到由用户进行的动作（例如，持续触摸触摸板）而将光标移动到凝视目标。动作与光标的移动之间的所述延迟提供了向用户提供视觉指示符在移动之后将被定位在何处的指示的机会，从而允许在视觉指示符已显现在新的位置之后较少的认知混乱。可选地，该延迟给予用户“中止”光标的移动的机会。附加地，一旦光标已经移动，就可以在用户在继续动作（例如，继续持有触摸板）时随着用户移动凝视、移动鼠标或划扫触摸板而以附加精度进一步控制光标。

计算机系统可以允许在通过非接触输入装置瞄准元素时提高的确定性和精度。在一个实施例中，用户可以看着一组元素并且执行动作。如果计算机不能确定地确定哪一个元素被用户瞄准，则计算机可以扩大和/或分割这些元素并且允许用户进一步将凝视聚焦在期望的元素上，此时执行第二动作，计算机将对瞄准的元素执行期望功能（例如，选择图标）。

可以通过非接触动作和需要接触的动作的各种组合来控制计算机系统。可以通过非接触动作和/或需要接触的动作的组合来控制滚动、光标移动、缩放和其他功能。这样的组合可以包括在看着显示的某些地方或者停止看着显示的某些地方时按压按钮和/或触摸触摸敏感设备。

给出这些说明性示例以向读者介绍在此讨论的一般主题，并且所述示例不意图限制所公开的概念的范围。以下章节参考其中相同的数字指示相同元素的图来描述各种附加特征和示例，并且指导性描述用来描述说明性实施例，但是像说明性实施例一样不应当用来限制本公开。可以不按比例绘制本文中的图示中包括的元素。如本文中使用的，利用“例如”（“e.g.”）列出的示例是非限制性示例。

图1是根据某些实施例的合并非接触输入装置106的计算机系统100的示意性表示。计算机系统100（下文，“计算机”）可以被实现在单个外壳中（例如，平板计算机），或者可以被实现在由适当的供电电缆和/或数据线缆连接在一起的若干外壳中（例如，具有监视器、键盘和连接到包含桌面型计算机的CPU的主外壳的其他设备的标准桌面型计算机）。如本文中使用的，对存在于计算机100“中”的元件的任何引用指示该元件是计算机系统100的一部分，而非物理地在某个外壳内。

计算机100可以包括连接到显示设备104或以其他方式与显示设备104通信的处理器102、非接触输入装置104和需要接触的输入装置108。处理器102可以包括非接触解释器112，如下面进一步详细描述的。如本文中使用的，术语“处理器102”指代计算机系统内视需要而单独地或作为群组的一个或多个个体处理器。计算机100可以包括存储在永久性可重写或瞬时性存储器上的编程116，所述存储器使得处理器102能够执行本文中描述的功能，包括区域控制、延迟扭曲和两步点击，以及其他功能。该编程（例如，计算机可执行指令或其他代码）当由处理器102执行时促使处理器102执行本文中描述的操作。编程可以包括由编译器和/或解释器从以任何适当计算机编程语言编写的代码生成的处理器特定的编程。适当计算机编程语言的非限制性示例包括C、C++、C#、VisualBasic、Java、Python、Perl、JavaScript、ActionScript等等。存储器可以是诸如（但不限于）能够向处理器提供计算机可读指令的电子、光学、磁性或其他存储设备之类的计算机可读介质。这样的光学、磁性或其他存储设备的非限制性示例包括（多个）只读（“ROM”）设备、（多个）随机存取存储器（“RAM”）设备、（多个）磁盘、（多个）磁带或其他磁性存储装置、（多个）存储器芯片、ASIC、（多个）经配置的处理器、（多个）光学存储设备、（多个）软盘、CD-ROM、DVD或计算机处理器可以从其读取指令的任何其他介质。

需要接触的输入装置108可以是用于接受需要物理操纵或物理接触（下文称为“需要接触的动作”）的用户输入的任何设备。需要接触的输入装置108的示例包括键盘、鼠标、开关、按钮、触摸板、触摸屏、触摸敏感设备和需要物理操纵或物理接触的其他输入装置。需要接触的动作的示例包括轻击、点击、划扫、按压（例如，按键）等等。如本文中使用的，术语“需要接触的动作”进一步包括需要通过另一个设备物理接触（例如，用尖笔使用触摸屏）或紧密靠近需要接触的输入装置（例如，在诸如投影式电容触摸屏之类的对紧密靠近的手指进行响应的触摸屏上方悬停或划扫手指）的动作。从用户执行由需要接触的输入装置108所接收的需要接触的动作生成的信号被称为基于接触的信号110。在适当的情况下，对需要接触的动作的提及可以包括需要接触的动作的组合（例如，在按压第二按钮的同时保持第一按钮）。

非接触输入装置106可以是能够在没有物理操纵或物理接触的情况下接收用户输入的任何设备。非接触输入装置106的示例包括眼睛跟踪设备、麦克风、摄像机、光传感器等等。当用户执行可由非接触输入装置106检测到的动作（下文称为“非接触动作”）时，非接触解释器112基于用户执行的非接触动作生成非接触信号114。非接触动作可以包括移动凝视（例如，移动一个或多个眼睛的凝视方向）、凝视扫视、注视凝视、停留的凝视（例如，在预定长度的时间内基本上对单个目标的注视凝视）、眨眼（例如，一次眨动一个或多个眼睛或者以可辨认的型式眨动一个或多个眼睛，或者在较长长度的时间内闭上一个或两个眼睛）、执行有声命令（例如，说“点击”或“打开”）、面部识别（例如，识别用户面部的特征和移动）、3-D手势（例如，识别用户、用户的附属物或者用户持有的物体在3-D空间中的移动，诸如挥动）等等。取决于所执行的动作，非接触解释器112可以发送不同的非接触信号114。例如，用户移动凝视可以导致包含关于凝视的移动和/或新方向的信息的第一非接触信号114，而用户眨眼可以导致指示用户眨眼的非接触信号114。非接触信号114可以由处理器102用来执行各种任务，如下面进一步详细描述的。在适当的情况下，对非接触动作的提及可以包括非接触动作的组合（例如，在说“点击”的同时眨眼）。

附加地，在适当的情况下，对动作的提及可以包括需要接触的动作和非接触动作的组合（例如，在说“点击”的同时保持按钮）。

在一些实施例中，处理器102可以使用非接触信号114来模拟需要接触的信号110。例如，处理器102可以使用包含关于用户移动凝视到第一目标（例如，计算机图标）且停留凝视在该目标上的信息的非接触信号114以便模拟移动光标到该第一目标并点击该目标的需要接触的信号110。

本文中公开的实施例包括使用非接触动作和需要接触的动作，或者单独包括非接触动作，以执行各种计算机功能。计算机功能可以是可在计算机上执行的任何类型的动作，诸如鼠标点击；滚动/平移动作；扩大动作；缩放动作；触摸输入/动作；手势输入/动作；语音命令；调用菜单；激活眼睛跟踪/眼睛控制/凝视交互；暂停眼睛跟踪/眼睛控制/凝视交互；调整设备背光亮度；激活睡眠、休眠或设备的其他功率节省模式；从睡眠、休眠或设备的其他功率节省模式继续开始，等等。在一些情况下，模拟计算机功能使得计算机100表现得就像其正仅仅检测需要接触的动作那样。

区域控制

图2A是根据某些实施例的如表现或呈现在显示设备104上的显示200的图形描绘。虽然参考在图2A中示出的特定操作系统进行呈现，但是本文中的实施例和公开内容可以容易地适用于其他操作系统（例如，微软Windows、苹果iOS或谷歌Android）和计算机程序以执行其各种功能。图2A的操作系统包括通过需要接触的输入装置108（例如，触摸屏轻击和手势）可实现的各种计算机功能。下面的表1描述这些功能和用以执行每个功能的相关联的需要接触的动作示例中的若干。

表1

计算机功能	相关联的需要接触的动作示例
		打开开始菜单/开始屏幕	从显示200的右边缘向内划扫并且轻击显现的“开始”按钮
打开APP列表	从开始屏幕的中心向上划扫
		之前的APP	从显示200的左边缘向内划扫
显示超级按钮（charm）	从显示200的右边缘向内划扫
		打开APP栏	从显示200的顶边缘或底边缘划扫进入
移动APP栏	轻击并拖拽app栏
		隐藏APP栏	轻击并保持以及向下划扫app栏
切分窗口	轻击app并从显示200的顶边缘朝向显示200的中央，并且然后朝向显示200的左或右边缘拖拽app
		关闭APP	轻击app并将app从显示200的顶边缘拖拽到显示200的底部

为了容许执行这些和其他计算机功能而不仅仅依赖于需要接触的动作，计算机100可以将检测到的非接触动作（例如，移动凝视并注视目标）用作执行各种计算机功能的指令。计算机可以通过直接执行计算机功能（例如，打开app列表）或者通过模拟与计算机功能相关联的需要接触的动作（例如，模拟从开始屏幕的中心向上的划扫）而执行由非接触动作促动的计算机功能。

图2B是根据某些实施例的在区域控制模式206中的图2A的显示200的图形描绘。显示200被分割成第一配置204的八个区域202，然而可以使用任何数目的区域202和任何不同的配置。可以但不必须在显示设备104上向用户呈现区域202和/或区域202之间的线（例如，区域202或分割区域202的线的高亮突出）。区域202被用来实现计算机100的非接触控制。每个区域202可以与一个特定的计算机功能相关联。在一些实施例中，区域202被划分和/或定位以使得在一些或全部区域202之间存在没有功能的“死区”，从而确保测量误差和/或数据噪声不引起不期望的效果。在一些实施例中，滞后可以被用来避免非故意地选择不期望的功能（例如，在更改任何执行的功能之前，当凝视目标在区域202中时通过增大区域202的边界或者当凝视目标移出特定区域202时引入一定量的延迟）。

可以但不必须在显示设备104上向用户呈现与每个区域202相关联的计算机功能（例如，文本框）。计算机100可以包括作为眼睛跟踪设备的非接触输入装置106。眼睛跟踪设备可以跟踪用户的眼睛指示。如本文中使用的，术语“眼睛指示”包括检测用户的凝视方向、检测用户凝视方向的改变（例如，眼睛移动）、检测一个或两个眼睛的眨动以及检测来自用户的一个或多个眼睛的其他信息。非接触目标208是用户的非接触动作所指引到的计算位置。可以诸如通过图2中所示的符号在显示器上图形地表示非接触目标208。在眼睛跟踪设备的示例中，非接触目标208是凝视目标，或者用户的凝视所指引到的点。非接触目标208可以由3-D手势、面部取向或其他非接触动作来指示。可以但不必须在显示200上以某个方式描绘非接触目标208（例如，在非接触目标处呈现符号或者在非接触目标处或靠近非接触目标高亮突出元素或区域）。

在一些实施例中，区域202可以位于显示200的外部并且非接触目标208不必须被约束到计算机100的显示200。例如，区域202可以位于距显示设备104的左侧一定距离处并且可以与某个计算机功能相关联。用户可以通过将凝视聚焦到显示设备104的左侧来在该区域202中执行功能，如下面进一步详细描述的。可以经由形成眼睛跟踪设备的一部分的成像设备或单独的成像设备发生对显示200外部的区域202的确定。如果确定用户的凝视被指引朝向显示200外部的区域，则可以如本文中描述的那样确定凝视方向，并且如果凝视目标落入显示200外部的区域202的界线内，则可以如本文中进一步描述的那样执行适当的功能。

在一些实施例中，可以向检测到的凝视目标和/或检测到的凝视目标移动应用统计分析以便确定凝视目标是否在特定区域202中。

在一些实施例中，可以实现一个锁定时间，由此如果用户激活与区域202相关联的功能，则直到特定长度的时间到期才可以激活（例如，以相同的方式或不同的方式激活）与该区域202相关联的功能。在一些实施例中，在用户激活与区域202相关联的功能之后，区域202的尺寸在一个时间段内减小以使得需要用户进行的更全神贯注的凝视来再次激活与该特定区域202相关联的功能。

图3是根据某些实施例的描绘用于区域控制的过程300的流程图。参考图2B和3，下面讨论区域控制的一个实施例。

用户可以生成意图模式使能信号310。可以通过用户执行非接触动作或需要接触的动作来生成该意图模式使能信号310。计算机100在块302处检测意图模式使能信号310并且进入区域控制模式206。在区域控制模式206期间，计算机100在块304处跟踪非接触目标208。当计算机100在块306处检测到意图激活信号312时，则计算机100在块308处执行与区域202相关联的计算机功能，在区域202中在该意图激活信号312的时间定位非接触目标208。意图激活信号312可以但不必须是与意图模式使能信号310相同类型的意图信号。意图信号的示例包括需要接触的动作和非接触动作。在一些实施例中，计算机100总是处于区域控制模式206中（即，不需要单独的意图模式使能信号310），这种情况下接收到意图激活信号312时，计算机100将执行与区域202相关联的功能，在区域202中在意图激活信号312的时间定位该非接触目标208。计算机100可以但不必须提供接收到意图激活信号312的视觉反馈、非接触目标208在特定区域202中的视觉反馈和/或特定功能被激活的视觉反馈。

在第一示例中，用户可以大声说出“区域模式”（即，执行非接触动作）来生成意图模式使能信号310。在检测到该意图模式使能信号310时，计算机100进入区域控制模式206。用户然后可以将凝视聚焦在与计算机功能“打开APP列表”210相关联的区域202中的某个地方。用户可以在预定量的时间（例如，3秒）内将凝视停留（即，执行非接触动作）在与该计算机功能“打开App列表”210相关联的区域202上以生成意图激活信号312。计算机100可以至少通过检测作为凝视目标的非接触目标208在预定量的时间内停留在一位置（例如，基本上不移动或仅移动用户试图看着同一位置所预期的那么多）而检测到用户正在停留凝视。在检测到意图激活信号312时，计算机100可以执行打开App列表210功能（例如，通过直接执行该功能或者通过模拟从开始屏幕的中心向上的触摸屏划扫）。计算机100然后可以退出区域控制模式206。

在第二示例中，用户可以将凝视聚焦在与计算机功能显示超级按钮222相关联的区域202中的某个地方。用户可以按下硬件按钮（即，执行需要接触的动作）来生成意图激活信号312。在检测到该意图激活信号312时，计算机100可以执行显示超级按钮222功能。在该第二示例中，不需要意图模式使能信号310。

在由用户进行的动作时，或者在预定时间段之后，区域202的图形表示可以消失。在没有区域202的图像表示时，区域控制模式206仍然如所描述的那样起作用。

与潜在区域202相关联的可能的计算机功能的一些示例包括打开App栏214、移动App栏216、隐藏App栏218、之前的App220、切分窗口/关闭App224等等。

意图信号可以是可由计算机100检测到的任何非接触动作。意图信号可以是可由计算机100检测到的任何需要接触的动作。在一些实施例中，意图信号可以是选择和/或激活输入菜单中的图标。

在一些实施例中，区域202的形状和与每个区域202相关联的计算机功能可以根据计算机100的状态而改变。例如，在使用区域控制来执行计算机功能“打开App列表”210时，显现的新窗口可以包括不同区域202，不同区域202具有与其相关联的不同计算机功能。图4是根据某些实施例的当处于利用第二配置402的区域控制模式206中时表现或呈现在图1的显示设备104上的显示400的图形描绘。显示200被分割成第二配置402的区域202。第二配置402的区域202可以与在已经执行打开App列表210功能之后的计算机100的状态相关联。在该配置中，存在与各种计算机功能相关联的区域202，所述功能包括开始212、显示超级按钮222、向右滚动404、向左滚动406、缩小408和放大410。第二配置402不必须依赖于显示在显示200上的新屏幕，但是可以与计算机100的任何状态相关联。例如，放大410和向左滚动406区域202可以直到需要（例如，已经分别执行缩小408或向右滚动404功能）时才是第二配置402的一部分。第二配置402中的区域202可以另外类似于第一配置204的区域202被执行。

在一些实施例中，区域202可以重叠，使得当凝视目标在两个区域202内时根据区域202的激活而同时执行多个计算机功能。例如，如果重叠的区域202与滚动功能（诸如向上滚动功能和向右滚动功能）相关联，则激活区域202（例如，通过将凝视目标移动到区域中）可以导致窗口对角地向上并向右滚动。

图8-10演示其中区域是重叠在计算机显示之上的菜单形式的实施例。该菜单可以基于接触或非接触输入动作而显现或消失。菜单包括供选择的表示计算机功能的选项。选项可以通过凝视项目并且提供意图激活信号而被选择。作为示例，用户可以凝视表示被称为“左击”的常见计算机功能的项目，用户可以注视该项目从而提供意图激活信号。一旦已经提供意图激活信号，计算机就将在用户注视或提供另一个意图激活信号的下一个位置处执行“左击”。以这种方式，用户可以选择他或她期望执行的功能，并且然后选择显示上的该功能将被执行的位置。

在一些实施例中，用户可以看着第一区域，然后看着远离第一区域的位置以执行与非接触目标位于的区域相关联的计算机功能。例如，用户可以如前面描述的那样看着菜单项目，发起意图激活信号，然后看着图标，并且然后发起第二意图激活信号。在该示例中，计算机100可以基于用户的凝视所位于的位置（即，区域处）而确定要对图标执行的功能。

可以通过使用如本文中描述的区域控制执行（例如，直接执行或模拟）计算机上任何可能的功能。在主要设计用于触摸屏输入的计算机（例如，某些移动计算设备，诸如移动电话和平板）的情况下，所执行的功能可以包括诸如以下那些功能：打开应用、导航显示（例如，通过将手指划扫跨过显示而导航到新的页面）、缩放、硬件按钮（例如，主页按钮或返回按钮）、多手指手势等等。一些单个手指和多个手指手势可以包括轻击、双轻击、长按、按压并保持、触摸并保持、滑动、划扫、拖拽、按压并拖拽、投掷、轻弹、转向、旋转、滚动、平移、夹捏、拉伸、边缘划扫/边框划扫等等。在设计用于其他需要接触的输入的计算机（例如，具有键盘和鼠标的桌面型计算机）的情况下，可以使用区域控制来执行包括如下各项的功能：鼠标移动、鼠标点击（例如，单击、双击、右击或点击并拖拽）、键盘按压、键盘组合或与需要接触的动作有关的其他功能。

延迟扭曲

可以通过非接触输入装置106和需要接触的输入装置108中的一个或两者来控制计算机100。

图5是根据某些实施例的具有视觉指示符502的显示500的图形描绘。像鼠标光标一样使用视觉指示符502来帮助用户执行计算机功能（例如，点击、拖拽等等）。视觉指示符502是附加动作（例如，鼠标点击、触摸板轻击或其他需要接触的动作或非接触动作）的效果将发生的位置的指示。计算机100可以在显示上在非接触目标208的估计位置处生成视觉指示符502，如前面描述的。

在一个实施例中，可以在用户的估计的凝视目标处显示视觉指示符502。估计的凝视目标由眼睛跟踪设备或由使用来自眼睛跟踪设备的信息的计算机100计算。计算机100包含使得处理器102能够执行延迟扭曲的编程116，如下面描述的。

图6是根据某些实施例的由计算机100执行的延迟扭曲600的流程图。计算机100可以在块602处根据来自需要接触的输入装置（诸如计算机鼠标或触摸板）的输入而可选地执行点击。用户可以执行在块606处被检测到的动作。在一个实施例中，在块606处检测到动作时，计算机100可以在用户的估计的凝视目标处显示视觉标记。该视觉标记可以是如本文描述的那样光标将移动到的位置的指示符。例如，用户可以执行需要接触的动作，诸如触摸触摸敏感设备。在块606处检测到动作时，计算机100可以在块610处延迟预定量的时间。该延迟可以由计算机100用来提供用于用户更改动作（例如，决定不移动光标）并且用于计算机100确定用户的意图的足够时间。在块612处，如果计算机100仍然检测到动作（例如，用户继续触摸触摸敏感设备），则计算机100可以在块614处将视觉指示符502移动到凝视目标。如果未仍然检测到动作，则计算机100可以在块602处不做任何处理、返回到使需要接触的输入装置移动视觉指示符502（例如，光标）、或者在视觉指示符502的原始位置处执行点击或将视觉指示符502移动到其原始位置。

在实施例中，延迟扭曲600附加地包括可选的块618，在该块处计算机100确定是否仍然检测到动作（即，在视觉指示符502已经移动到凝视目标之后）。如果未仍然检测到动作，诸如如果用户不再触摸触摸敏感设备，则计算机100可以在路径620处根据需要执行附加功能（例如，在视觉指示符502最后所在之处执行“点击”，或者不做任何处理）。然而，如果在可选的块618处仍然检测到动作，则计算机100可以在可选的块622处根据用户凝视、计算机鼠标或触摸板的移动来缓慢地移动（例如，以更高的精度）视觉指示符502（例如，光标）。

例如，如果用户期望在显示500上选择元素504，诸如图标，则用户可以看着该图标并且在预定时间段（诸如200ms）内触摸触摸板，在此之后计算机100将移动视觉指示符502到该图标。如果用户在该预定时间段过去之前决定不使视觉指示符502移动到凝视目标，则用户可以停止触摸触摸板。

在一个实施例中，用户可以触摸触摸板或点击鼠标按钮并且等待预定时间段以使得视觉指示符502移动到凝视目标。此后，用户可以在将凝视移动远离视觉指示符502（例如，上方、下方或者到侧边）的同时继续触摸触摸板或保持鼠标按钮以便以精细调谐调整来移动视觉指示符502，直到视觉指示符502处于期望位置为止，此时用户可以停止触摸触摸板或停止保持鼠标按钮以便在该期望位置执行动作（例如，点击图标）。

在一些实施例中，用户可以触摸触摸板或点击鼠标按钮并且等待预定时间段以使得视觉指示符502移动到凝视目标。此后，用户可以在用触摸板或鼠标移动光标的同时继续触摸触摸板或保持鼠标按钮以便以精细调谐调整来移动视觉指示符502（例如光标），直到视觉指示符502处于期望位置为止，此时用户可以停止触摸触摸板或停止保持鼠标按钮以便在该期望位置执行动作（例如，点击图标）。

用户可以看着期望的屏幕元素504（例如，图标、窗口或其他图形用户界面（“GUI”）元素）以便将视觉指示符502指引到该元素504。为了执行期望的计算机功能（例如，点击），用户可以执行附加动作（例如，轻击触摸板）。

在一些实施例中，可以不规律地显示视觉指示符502，但是随着用户在显示500附近移动凝视，可以高亮突出在凝视目标处或邻近凝视目标的任何元素504或以其他方式区分在凝视目标处或靠近凝视目标的元素504。

在一些实施例中，视觉指示符502的使用使得用户能够在执行附加动作（例如，非接触动作或需要接触的动作）之前在计算机100上看到非接触动作的效果。当用户意图在显示上移动视觉指示符502或其他图形元素504时，用户看着视觉指示符502的期望目的地。眼睛跟踪设备基于用户的凝视计算估计的凝视目标。用户然后例如通过轻击触摸板来激活非接触输入装置106或需要接触的输入装置108。在例如200ms的预定时间段内，计算机100不执行计算机功能。

在该预定时间内，在显示500上在估计凝视目标处示出视觉指示符502。该视觉指示符502或单独的视觉标记然后可以向用户演示视觉指示符502将移动到的位置。如果用户确定继续，则将在预定时间段之后移动视觉指示符502。用户可以通过发起动作（例如，需要接触的动作，诸如移动输入设备）或者通过简单地等待预定时间段到期来指示期望继续。

如果用户确定不继续，则用户可以执行特定动作，诸如移除与输入设备的接触、轻击输入设备或按压并保持输入设备。通常，这些动作促使计算机100执行特定动作，诸如轻击以打开图标、拖拽，诸如在GUI上拖拽图标、缩放项目等等。用输入设备正常执行的动作将容易地被本领域技术人员理解。

如果用户不满意视觉指示符502的位置，则用户可以确定需要调整以便更准确地反映视觉指示符502的期望移动位置。用户可以凝视不同位置以便改变凝视目标，或者用户可以用输入设备执行小的移动（例如，移动计算机鼠标或在触摸板上移动触摸）以在视觉指示符502已经移动到凝视目标之后调整视觉指示符502的位置。

以这种方式，与触摸板的自然交互容许凝视信息。如果用户将其手指放置在触摸板上以便执行手势，诸如在该触摸板上的划扫或移动，则该移动可以撤销鼠标光标到凝视位置的移动。

在一个实施例中，计算机100包括作为需要接触的输入设备的触摸板和能够确定用户的凝视目标的眼睛跟踪设备。

计算机100利用来自触摸板和眼睛跟踪设备两者的输入来允许用户在用户界面之间导航。最经常地，这通过在显示500上移动视觉指示符502来实现。

计算机100利用在触摸板上使用的手势类型命令，例如由用户进行的跨过触摸板的划扫以移动到系列中的下一个元素504，或在触摸板上的夹捏手势以缩放所显示的元素504。

根据本公开，当用户用手指或类似物接触触摸板时，计算机100延迟执行计算机功能一预定时间段。在该时间段内，在用户的估计的凝视目标处示出视觉指示符502。估计的凝视目标是基于来自眼睛跟踪设备的信息而计算的。

在预定时间段到期之后，计算系统将显示500上的视觉指示符502的位置移动到凝视目标。用户然后可以通过在触摸板上移动其手指来移动视觉指示符502。

如果用户不希望视觉指示符502被移动到凝视目标，则用户可以在该预定时间段内执行另一个动作—诸如前述手势类型命令，或者简单地从触摸板移除其手指以取消任何动作。

在一个实施例中，计算机100可以将视觉指示符502定位在接近实际凝视目标的元素504处。该元素504可以是图形用户界面（GUI）对象，例如，诸如按钮、文本框、菜单等等。计算机100可以基于加权系统（其中一些元素504具有高于其他元素504的预定权值）来确定将视觉指示符502定位在哪一个元素504处。例如，按钮可以具有高于文本框的加权。将视觉指示符502放置在哪一个元素504处的确定也可以考虑到与凝视目标的接近性。

在一个实施例中，计算机100可以提供触觉或听觉反馈，该反馈指示能够确定凝视目标。这样，反馈将向用户指示系统是否正在正确地起作用并且如果否，则其将允许用户更改他们的行为以容许眼睛跟踪设备起作用或不起作用。该反馈还可以是当在光标移动过程期间已经确定估计的凝视位置时提供触觉反馈的触摸板的形式。

图25是根据某些实施例的具有视觉标记的延迟扭曲2500的流程图。视觉标记是视觉指示符（例如，光标）在某些条件下可能跳转或“扭曲”到何处的指示。在块2502处，检测到需要接触的动作，诸如用户触摸触摸板。计算机100在块2504处等待预定义长度的时间（例如，延迟）的持续时间。在一些实施例中，该延迟可以是0秒（即，无延迟）。在延迟之后，在块2506处，计算机100促使视觉标记在非接触目标（例如，凝视目标）处被显示。在替换实施例中，可以在块2506之后并且在块2508之前包括附加延迟。在块2508处，计算机100确定需要接触的动作是否被维持，诸如用户是否仍然在触摸触摸板。如果需要接触的动作被维持，则计算机100然后在块2510处停止显示视觉标记并且将视觉指示符（例如，光标）移动到非接触目标。如果在块2508处需要接触的动作未被维持，则计算机100可以在块2512处停止显示视觉标记并且在块2514处在视觉指示符（例如，光标）的位置处执行点击。

图26是根据某些实施例的没有视觉标记的延迟扭曲2600的流程图。在块2602处，检测到需要接触的动作，诸如用户触摸触摸板。计算机100在块2604处等待预定义长度的时间（例如，延迟）的持续时间。在延迟之后，在块2606处，计算机100将视觉指示符（例如，光标）移动到非接触目标（例如，凝视目标）。在替换实施例中，可以在块2606之后并且在块2608之前包括附加延迟。在块2608处，计算机100确定需要接触的动作是否被维持，诸如用户是否仍然在触摸触摸板。如果需要接触的动作被维持，则在块2610处结束该过程。如果在块2608处需要接触的动作未被维持，则计算机100在块2612处可以将视觉指示符移动回到其从块2606开始的移动之前的原始位置。接下来，计算机100可以在块2614处在视觉指示符的位置处执行点击。

图27是根据某些实施例的没有隐藏视觉指示符的延迟扭曲2700的流程图。在块2702处，视觉指示符处于隐藏状态。块2702包括视觉指示符被隐藏的所有情况，包括其之前从未被显示过的情况。在块2704处，检测到需要接触的动作，诸如用户触摸触摸板。计算机100在块2706处等待预定义长度的时间（例如，延迟）的持续时间。在延迟之后，在可选的块2708处，计算机100可以在非接触目标（例如，凝视目标）处显示视觉标记或视觉指示符（例如，光标）。在替换实施例中，可以在块2708之后并且在块2710之前包括附加延迟。在块2710处，计算机100确定需要接触的动作是否被维持，诸如用户是否仍然在触摸触摸板。如果需要接触的动作被维持，则计算机100在块2712处将视觉指示符移动到非接触目标。如果在块2708处需要接触的动作未被维持，则计算机100在块2714处在非接触目标处执行点击。

图28是根据某些实施例的延迟扭曲2800的流程图。在块2802处，检测到需要接触的动作，诸如用户触摸触摸板。计算机100在块2804处等待预定义长度的时间（例如，延迟）的持续时间。在块2806处，计算机100确定需要接触的动作是否包括用以移动指示符（例如，光标）的信号。这样的动作可以包括沿着触摸板划扫手指或者移动鼠标。如果需要接触的动作包括用以移动视觉指示符的信号（例如，用户触摸触摸板并四处移动手指），则计算机100在块2808处按照需要接触的动作移动视觉指示符。如果需要接触的动作不包括用以移动视觉指示符的信号（例如，用户触摸触摸板且不四处移动手指），则计算机在可选的块2810处可以在非接触目标（例如，凝视目标）处示出视觉标记或视觉指示符，但是然后在块2812处确定需要接触的动作是否被维持（例如，用户触摸并保持触摸触摸板）。如果需要接触的动作未被维持，则计算机100在块2814处在视觉指示符的原始位置处执行点击。如果需要接触的动作被维持，则计算机100在块2816处将视觉指示符移动到非接触目标。然后，在块2818处，计算机100确定需要接触的动作现在是否包括用以移动视觉指示符的信号（例如，用户在看到视觉指示符移动到非接触目标之后，开始在触摸板上四处移动手指）。如果需要接触的动作现在不包括用以移动视觉指示符的信号，则计算机在块2822处结束过程。然而，如果需要接触的动作现在包括用以移动视觉指示符的信号，则计算机100在块2820处按照新的需要接触的动作移动视觉指示符。可选地，在释放需要接触的动作时，可以执行“点击”或其他功能。在一些实施例中，视觉指示符在块2820处的移动慢于视觉指示符在块2808处的移动。

在延迟之后，在可选的块2808处，计算机100可以在非接触目标（例如，凝视目标）处显示视觉标记或视觉指示符（例如，光标）。在块2810处，计算机100确定需要接触的动作是否被维持，诸如用户是否仍然在触摸触摸板。如果需要接触的动作被维持，则计算机100在块2812处将视觉指示符移动到非接触目标。如果需要接触的动作在块2808处未被维持，则计算机100在块2814处在非接触目标处执行点击。

两步点击

用户可以执行可由计算机100通过非接触输入装置106（诸如眼睛跟踪设备）检测到的非接触动作。在一些实施例中，用户可以将凝视指引在显示500上的元素504处并且然后执行附加动作以对用户的凝视被指引在其上的元素504执行计算机功能（例如，点击）。计算机100可以不显示用户凝视目标的位置的任何视觉指示。尽管本文中描述的实施例涉及跟随初始非接触动作的单个“附加动作”，但是是应当认识到的是，在其他实施例中可以需要多个“附加动作”（例如，一系列击键或非接触和/或需要接触的动作的任何顺序或同时的组合）来触发特定计算机功能。

图7A是根据一些实施例的描绘多步点击功能700的流程图。在一般的实施例中，计算机100在块702处检测用户的凝视目标。用户的凝视目标可以位于邻近或远离显示处。计算机100然后在块704检测需要接触的动作（例如，按钮按压或触摸板轻击）。计算机100然后根据凝视目标和需要接触的动作在块706处执行计算机功能。

在一些实施例中，不向用户显示视觉指示，直到块704之后为止，此时计算机100高亮突出位于或靠近凝视目标的元素504。

图7B是根据一些实施例的描绘多步点击功能710的流程图。计算机100在块702处检测用户的凝视目标。计算机100在块704处检测第一动作（例如，按钮按压或触摸板轻击）。在块712处，计算机100然后确定是否存在一起足够紧密地位于邻近凝视目标处的多个小元素504。在一些情况下，多个元素504包括每个元素504彼此足够接近以致计算机100确定需要附加的准确性以便用户选择期望的元素504的情况。在块714处，计算机靠近用户的凝视目标呈现显示的一部分的缩放图像。该显示部分可以仅仅是元素504或者可以是元素504和显示的周围方面（例如，背景）。计算机100在块716处继续检测用户的凝视目标。可选地，计算机100可以在块716处附加地高亮突出用户的凝视目标所选择的任何元素504。计算机100可以在块718处检测第二动作。在检测到第二动作时，计算机100可以可选地在块708处高亮突出凝视目标处的元素并且然后在块706处根据凝视目标处的元素执行计算机功能（例如，选择位于凝视目标处的元素）。在计算机100在块712处未检测到多个小元素的情况下，计算机可以简单地直接继续到可选的块708和块706。

这样，计算机100可以动态地适应于用户的期望以使用非接触动作在显示上选择小元素或众多元素。如果用户试图使用非接触动作（诸如通过眼睛跟踪）来选择小元素或众多元素，则计算机100可以动态地放大以允许用户更好地控制拾取正确的元素。如前面描述的，第一动作和第二动作可以是需要接触的或非接触动作。

在一些实施例中，在块704和/或718处检测到的第一和第二动作可以是按压按钮或触摸触摸板。在一些实施例中，在块704和/或718处检测到的第一和第二动作可以是释放已经被按压的按钮和/或停止触摸之前已经被触摸的触摸板。例如，用户可以在将凝视在显示周围移动的同时按下按钮并且在期望计算机功能发生时释放该按钮。在一些实施例中，第二动作是释放按钮而第一动作是按下同一按钮。附加地，第一动作和第二动作一般是相同类型的动作（例如，按钮按压），但不必须如此。

在一些实施例中，计算机100可以在按钮被按下时高亮突出凝视目标和/或在该凝视目标处或靠近该凝视目标的元素。当用户看着足够小且紧密在一起以致计算机100将放大它们（如前面参考块714所描述的）的一组元素时，计算机100可以高亮突出该组元素，而不是单个元素。

在一个实施例中，计算机100可以在用户发起动作（例如，需要接触的动作）时在显示上进行放大。计算机100可以在显示上进行放大而不首先确定是否存在位于靠近凝视目标处的多个小元素。计算机100可以如前面参考图7B描述的那样以其他方式工作。

在一个实施例中，计算机100可以基于加权系统（其中一些项目具有高于其他项目的预定权重）来确定将凝视目标定位在哪一个元素504处。例如，按钮可以具有高于文本框的加权。将光标放置在哪一个元素504处的确定也可以考虑到估计的凝视位置的接近性。

在另一个实施例中，计算机100可以提供触觉或听觉反馈，该反馈指示能够确定估计的凝视位置。这样，该反馈将向用户指示系统是否正在正确地起作用并且如果否，则其将允许用户更改他们的行为以容许眼睛跟踪设备起作用或不起作用。该反馈可以是当在光标移动过程期间已经确定估计的凝视位置时提供触觉反馈的触摸板的形式。

图29是根据某些实施例的描绘两步点击2900的流程图。计算机100可以在块2902处确定非接触目标（例如，凝视目标）并且在块2904处检测第一动作。第一动作可以是需要接触的动作（例如，按钮点击）或非接触动作。可选地，在计算机100确定非接触目标位于元素上或者靠近元素时可以马上高亮突出在显示上提供的多个元素。在块2906处，计算机100确定是否可以可靠地确定在非接触目标处的元素。换言之，计算机100确定是否能够以足够的确定性确定用户正意图瞄准哪一个元素。计算机100可以考虑多个参数来确定用户正意图瞄准哪一个或哪些元素。这些参数可以是预设的和/或用户设定的，但是包括两个判定点。首先，计算机100基于可以包括由用户设定的用户偏好的因素确定期望的跟踪偏离。这样的偏好可以包括例如用户是否期望速度或准确性、用户眼睛跟踪质量（包括用户是否戴着眼镜、隐形眼镜等）、映射用户凝视的校正功能的质量、检测到的用户凝视相对于用户凝视的实际位置的偏移的估计值、眼睛跟踪系统中的信号噪声、眼睛跟踪器的配置、类型和频率、或者用于确定可以撤销其他因素的期望的凝视点偏离的全局参数。如果可以可靠地确定期望的元素，则计算机100可以可选地在块2908处高亮突出在非接触目标处的元素。计算机100然后可以执行与非接触目标处的元素相关联的计算机功能（例如，选择元素或打开元素等等）。其次，计算机100基于各因素在块2912处确定可能的目标，所述各种因素包括：靠近凝视目标的元素的几何结构（诸如多个元素有多紧密地在一起和元素的尺寸和/或形状）；元素的布局；表示元素的加权的元素重力的视觉点，使得可以以类重力的方式朝向元素对凝视目标进行加权；分组标准，包括分组相同交互类型的元素；来自用户的上下文输入，诸如对于避免诸如删除等等之类的功能的偏好；以及用户是否基于用户的凝视点已经看见元素高亮突出。在块2914处，计算机100确定在其中呈现所有潜在元素的可视化的区域的性质。计算机100可以考虑各种因素，诸如包括在块2912处确定的可能目标在内的元素的尺寸和布局、间隔开的元素的可视化的最大尺寸、由用户设定或者由计算机100预定的放大水平以及用于分析所显示的元素的分组标准。计算机100然后可以在块2914处呈现在块2912中标识的所有潜在元素的可视化，其中每个元素被进一步间隔开。可选地，可以把在块2914处显示的元素高亮突出为位于其上的用户凝视。在块2914处进一步间隔开的示例可以包括在元素所位于的区域上简单地放大（即，相对于显示设备104的尺寸增大元素之间的间隔）。在块2914处进一步间隔开的另一个示例可以包括在显示上进一步分开地扩大和/或移动每个个体元素以提供更大的间隔（例如，将占据显示的一小部分的正方形配置中的四个元素移动为延伸跨过显示的基本上大部分的线形形成）。在块2916和2918处，计算机100可以分别再次确定非接触目标和检测第二动作，以便标识所瞄准的元素。计算机100可以可选地在块2908处高亮突出所瞄准的元素。计算机100可以在块2910处执行与所瞄准的元素相关联的计算机功能（例如，点击元素）。

在对于图29中所示的实施例的增强中，在块2904处计算机100可以接收维持的第一动作，诸如在触摸板上的恒定压力、保持按下的按钮等等。由于用户正维持第一动作，所以用户正主动地选择元素并且因此准备在块2906之前且在块2914处高亮突出多个元素。在块2910处用户释放所维持的第一动作并且计算机100执行与非接触目标处的元素相关联的计算机功能。

另外的实施例

在一些实施例中，计算机100能够检测非接触动作以切换显示中的窗口的焦点。在一个实施例中，当用户看着不活动窗口并发起动作（例如，需要接触的动作或非接触动作）时，不活动窗口变成活动窗口。在该实施例中，眼睛跟踪设备确定用户的凝视相对于显示200的位置，如果计算机100确定凝视目标位于当前不处于活动状态的窗口或区域中，则用户可以通过在凝视该非活动窗口或区域的同时提供需要接触的动作来指令计算机100使该窗口或区域活动。在替换实施例中，用户可以在预定时间段内将其凝视注视在不活动窗口或区域内而不是提供需要接触的动作，以便使窗口或区域活动。

在一个实施例中，用户可以通过朝屏幕、窗口或区域的边缘看并且发起诸如需要接触的动作之类的动作来滚动窗口或屏幕区域。取决于用户是否正朝屏幕、窗口或区域的顶部、底部、左边、右边或对角边缘看，该区域或窗口可以向上、向下、向左、向右或对角滚动。例如，如果用户正朝区域或窗口的底部看并且发起诸如需要接触的动作之类的动作，则在区域或窗口底部处的区域或窗口内容可以向上朝窗口或区域的顶部滚动，以便有效地揭示来自区域或窗口的底部的新信息。该功能可以针对用户所凝视的每个方向以相同的方式进行操作。例如，如果用户在发起动作时正朝左边缘凝视，则左边缘处的信息将朝右边缘移动并且有效地从该区域或窗口的左边朝向该区域或窗口的右边滚动信息。在一个实施例中，当用户看着窗口或区域内的点并发起动作（例如，需要接触的动作）时，计算机100将滚动窗口或区域以使得将用户所标识的点移动到窗口中的预定位置（例如，窗口的顶部或窗口的中心）。在这些实施例中，在提到诸如边缘、顶部/底部、左边/右边等等之类的区域的情况下，计算机100可以基于凝视偏移或偏离来确定要在其中施行所描述的功能的靠近该边缘、顶部/底部、左边/右边等等的区域。

在一些实施例中，计算机100能够直接滚动窗口一预定的量以进行凝视交互。在替换实施例中，计算机100使用凝视交互来模拟按钮按压，诸如按压箭头按钮（例如，向上箭头或向下箭头）或页面按钮（例如，向上翻页或向下翻页），以便滚动窗口。

在一些实施例中，计算机100可以提供凝视目标位于定义用于滚动的特定区或区域中（例如，靠近用于向上滚动的屏幕的顶部边缘）的视觉指示（例如，不同的光标或其他指示）。

在一个实施例中，用户可以通过在滚动方向上凝视（例如，计算机屏幕的顶部、底部或侧边）的同时保持需要接触的输入（例如，按钮或触摸板）来滚动窗口。对于屏幕、窗口或区域的边缘的凝视可以从该边缘朝向屏幕、窗口、区域的中心滚动信息。滚动可以是基于动量的滚动，意味着需要接触的输入被保持越久（例如，按钮被按压越久或者触摸板被触摸而不释放越久）滚动速率将逐渐增大到预定的最大速度。在一些实施例中，一旦按钮或触摸板被释放，滚动将不立即停止，而是相反将迅速减慢直到达到完全停止。可以由计算机100调整在按钮或触摸板被保持按下时滚动增大的速度以及在释放之后滚动减小的速度。可选地，可以由用户更改调整。

在一些实施例中，用户可以简单地通过看着窗口边缘（例如，窗口的顶部、底部或侧边）来滚动窗口。窗口可以针对每次朝窗口边缘看而滚动预定的增量。在一些实施例中，滚动将仅在用户朝窗口边缘看且同时发起动作（诸如像是语音命令的非接触动作）的情况下才发生。在其他实施例中，增量可以取决于用户凝视的位置并且可以连续更新。这样实现了自然滚动，例如如果用户总是朝地图边缘凝视，则地图以小的增量滚动以平滑地滚动地图。滚动可以在用户没有同时发起动作的情况下发生。

在一些实施例中，用户可以通过看着期望的位置并且执行动作（例如，按压按钮或说出“滚动”）来滚动窗口，此时计算机100将促使位于凝视目标处的窗口和/或显示的部分移动到窗口和/或显示的中心。在一些实施例中，计算机100可以根据凝视目标的位置（例如，凝视目标相对于窗口的位置）确定滚动还是缩放。例如，如果用户看着包含地图的窗口并且将凝视目标移动到地图边缘，则按压按钮可以促使地图滚动，使得所瞄准的位置现在在地图中心处。然而，如果同一用户看着地图中心或看着地图中心附近，则按钮按钮可以促使地图缩放。在一些附加实施例中，可以基于凝视目标的位置（例如，凝视目标相对于窗口的位置）来控制动作（例如，缩放或滚动）速度。例如，当用户看着窗口边缘并按压按钮时，窗口可以快速滚动，而当用户看着窗口同一边缘与窗口中心之间的某处时，窗口将不太快速地滚动。

在一些实施例中，滚动基于用户在按键、按钮或触摸板上接触的时长或压力。例如，当用户保持按下按键、按钮或触摸板更久时，窗口可以滚动更大的增量。

在各种实施例中，可以通过执行或停止动作（例如，需要接触的动作）来终止滚动。在一些实施例中，滚动在完全终止之前减慢。在一些实施例中，可以通过用户将凝视目标逐渐移动远离预定区域（例如，在发起滚动时凝视目标所在的屏幕或区域的边缘）来减慢滚动。

在一些实施例中，轻击需要接触的输入装置（例如，快速按钮按压、在触摸板上的快速轻击或者计算机鼠标的移动）可以促使视觉指示符显现在显示上，或者可替换地在视觉指示符的上个已知位置处或在凝视位置处施行点击。此后，将手指保持在需要接触的输入装置上（例如，将手指保持在触摸板上）可以将视觉指示符移动到凝视目标。

在一些实施例中，计算机鼠标的移动可以促使视觉指示符在显示上显现在凝视目标处。在一些实施例中，在视觉指示符显现在凝视目标处之后，使用需要接触的输入装置（例如，计算机鼠标）来移动视觉指示符（例如，光标）可以在视觉指示符靠近用户的凝视目标时被减慢。在一些实施例中，用户可以在使用计算机鼠标的同时在元素（例如，图标）上发起附加动作（例如，需要接触的动作，诸如按压和保持鼠标按钮）。然后可以朝向期望的目的地移动用户的凝视并且可以释放鼠标按钮以便将元素拖拽到期望的目的地（例如，将项目移动到另一个文件夹中）。以这种方式，用户可以通过借助于使用之前描述的凝视使能的视觉指示符移动方法或者借助于移动计算机鼠标、触摸板等等来将视觉指示符定位在项目上或项目附近而在显示上选择项目。用户然后可以保持按下诸如计算机鼠标之类的激活器或者在触摸板上维持接触来选择项目，当用户释放激活器时，项目移动到显示上用户凝视的位置。因此，用户可以“抓取”诸如图标之类的项目并且将图标“拖拽”到用户的凝视位置，由此在释放激活器时图标被重新定位到用户的凝视位置。

在一些实施例中，执行诸如需要接触的动作（例如，点击鼠标按钮）之类的动作可以促使视觉指示符移动到凝视目标。在一些实施例中，保持需要接触的动作（例如，按压并保持鼠标按钮）可以将视觉指示符移动到凝视目标并且允许用户在释放需要接触的动作（例如，释放鼠标按钮）之前精细调谐视觉指示符的位置以在视觉指示符的位置处执行动作（例如，选择元素）。在需要接触的动作正被保持时，凝视目标的大的移动可以转换成视觉指示符的较小的移动，以便允许用户更精细地调整视觉指示符的位置。

在一个实施例中，发起动作（例如，需要接触的动作）可以在凝视目标处打开菜单。用户可以看着期望的菜单项目并发起第二动作（例如，第二需要接触的动作或释放被维持的第一需要接触的动作）以选择该菜单项目。在一些实施例中，在预定时间段内保持凝视在菜单项目上或者菜单项目附近可以用来选择该菜单项目。

在一个实施例中，可以通过保持需要接触的动作、看向显示边缘和释放需要接触的动作来打开（例如，显示）边缘菜单或按钮。在一些情况下，计算机100呈现这样的视觉指示：在用户在保持需要接触的动作的情况下看向屏幕边缘时有可能打开菜单。如果用户在不释放需要接触的动作的情况下看向远离显示边缘，则菜单不打开。例如，用户可以保持或维持需要接触的动作并朝显示边缘看。发光或其他视觉指示符可以显现在显示边缘处以指示可以打开菜单。如果在呈现发光或其他视觉指示符时停止需要接触的动作，则菜单显现在屏幕上。如果在未呈现发光或其他视觉指示符时停止需要接触的动作，则没有菜单显现在屏幕上。菜单可以占据全部屏幕或屏幕的部分。可替换地，菜单可以是按钮，例如表示在web浏览器等等中的“后退”移动的按钮。

在一个实施例中，发起动作（例如，诸如致动滚轮之类的需要接触的动作）将在凝视目标处放大或缩小显示。在一个实施例中，发起动作（例如，在触摸板上双轻击）可以在凝视目标处放大显示。在一个实施例中，发起动作（例如，在保持按下转换（shift）按钮的同时轻击触摸板）可以在凝视目标处缩小显示。在另一个实施例中，两个手指朝向彼此的移动（诸如在触摸板、触摸屏等等上的“夹捏”移动）可以实现放大或缩小，并且两个手指远离彼此的移动可以施行相反的放大或缩小移动。

在一个实施例中，为了激活非接触输入模式，用户朝显示设备104的边缘看。计算机100确定凝视目标在显示设备104的边缘处或靠近显示设备104的边缘并且激活非接触输入模式。在一些实施例中，计算机100在显示200上或邻近显示200显示输入菜单。当用户远离显示200的边缘看时，该输入菜单可以立即消失、无限期地保留在显示200上或者在预定量的时间之后消失。用户可以通过在凝视图标的同时执行需要接触的动作或者通过使用非接触激活方法（诸如在例如一秒的预定时间段内将他们的凝视停留在图标附近，或者眨动一个眼睛或双眼，它们可以被计算机解释为激活命令）而激活输入菜单上的图标。每个图标可以与计算机功能相关联。当图标被激活时，计算机100可以提供激活的指示，诸如图标外观的改变、声音、物理反馈（例如，触觉的响应）或其他指示。

可以激活放置光标图标以将鼠标光标放置在期望的点或位置。放置光标图标可以用于鼠标结束功能（例如，其中不期望鼠标点击的功能）。可以激活凝视滚动图标以在可滚动窗口内实现凝视控制的滚动，如下面进一步详细描述的。可以激活左击图标以执行单个左击（例如，在附接的计算机鼠标上模拟物理左击）。可以激活双击图标以执行双左击（例如，在附接的计算机鼠标上模拟物理双击）。可以激活右击图标以执行单个右击（例如，在附接的计算机鼠标上模拟物理右击）。可以激活凝视拖放图标以实现凝视拖放模式。凝视拖放模式允许用户使用非接触输入装置来模拟物理鼠标上的拖放动作（例如，点击并保持鼠标、移动鼠标、释放鼠标），如下面进一步详细描述的。可以激活凝视键盘图标以打开屏幕上、凝视使能的键盘以用于使用凝视打字，如下面进一步详细描述的。可以激活设置图标以打开设置窗口或对话。

如前面描述的，可以激活凝视滚动图表以实现凝视控制的滚动。当凝视控制的滚动被激活时，用户可以使用非接触输入装置滚动窗口（例如，向上和向下，以及向左和向右）。在一个实施例中，用户可以将滚动指示符放置在窗口上并且看向滚动指示符上方以向上滚动，看向滚动指示符下方以向下滚动，看向滚动指示符的左边以向左滚动，以及看向滚动指示符的右边以向右滚动。用户可以通过首先实现凝视控制的滚动（例如，将凝视停留在凝视滚动图表上）然后看着任何可滚动区域并将凝视停留在该区域上直到滚动指示符显现为止来放置滚动指示符。当用户期望禁用凝视控制的滚动时，用户可以凝视屏幕外部或者回到输入菜单。

如前面描述的，可以激活凝视拖放图标以实现凝视拖放模式。当凝视拖放模式被使能时，用户可以凝视第一位置并且提供促使计算机模拟鼠标点击并保持在第一位置的用户信号（例如，停留凝视、眨眼、眨眼睛、以某一型式进行眨眼或者使用诸如按钮之类的接触输入装置）。用户然后可以将凝视移动到第二位置并且提供第二用户信号，该第二用户信号促使计算机模拟将鼠标移动到第二位置并释放鼠标按钮。

在一些实施例中，一旦用户已经在输入菜单上选择图标，所选择的图标就可以不被取消选择，除非在输入菜单上进行新的选择。在其他实施例中，图标可以被取消选择，诸如通过再次凝视同一图标。

在一些实施例中，为了促进使用在输入菜单上所选择的动作，计算机100可以向显示的一部分提供缩放（例如，以较低分辨率显示）。例如，当用户在输入菜单上选择“左击”图标并凝视显示的一部分时，显示上凝视点周围的区域可以缩放，使得用户然后可以通过凝视扩大的显示部分来更容易地选择针对其动作的意图目标。

在一些情况下，用户可以执行某个动作（例如，需要接触的动作或非接触动作）以便选择将在其上执行计算机功能的显示区域，此时计算机100可以在该点处或该点周围显示输入菜单以选择所期望的计算机功能。

在另一个改进中，也可以在显示200和/或显示设备104的外部提供输入菜单。以这种方式，其可以被提供在诸如眼睛跟踪设备之类的输入设备上、在显示器的外壳上或者在分离的设备上。菜单然后可以由分离的显示或者诸如发光二极管、开关等等的向用户传达信息的另一构件构成。在另一个实施例中，在外部输入菜单上选取图标的动作被示出为该图标在常规显示上适当位置处的透明图像。在一些实施例中，用来标识要激活的期望图标的凝视目标可以位于显示200和/或显示设备104外部。

在一些实施例中，用户可以经由语音交互执行区域上或该区域处的计算机功能，该区域位于凝视目标处或附近。一旦已经选择区域（例如，通过将凝视聚焦在该区域），就可以通过用户说出诸如“打开”、“点击”等等的某些词语来执行动作，这将是技术受众容易理解的。

在一些实施例中，在输入菜单上选择计算机功能可以包括多个步骤并且还可以包括多个菜单。例如，用户可以使用本文中描述的任何输入方法选择图标或菜单，并且然后选择第二图标或菜单以用于选择要执行的计算机功能。

在一些实施例中，眼睛跟踪设备可以辨认用户的身份（例如，通过用户的凝视型式或诸如眼睛之间的距离和虹膜尺寸之类的生物计量数据）以便为该特定用户定制功能（例如，使用特定菜单和/或特征或者设定期望的亮度设置或其他设置）。

在一些实施例中，计算机100将基于一系列或序列的可辨认的凝视移动（例如，凝视目标的移动）来执行某些功能。

在一些实施例中，计算机100可以基于什么元素被呈现在显示200上来确定什么样的各种计算机功能可用于整体地或部分地通过非接触动作执行。

在一些实施例中，执行动作可以促使信息基于凝视目标而呈现在显示200上。例如，按压按钮可以促使活动计算机程序的列表显现在显示200上。用户可以通过凝视信息的各部分来与所呈现的信息（例如，活动计算机程序的列表）进行交互。例如，用户可以按压按钮以促使活动计算机程序的列表显现在显示200上，然后看着特定程序并释放按钮以便促使该特定程序在计算机100上获得焦点。

本文中呈现的很多示例是关于凝视跟踪进行描述的。将理解的是，在适用的情况下，跟踪其他非接触动作（例如，3-D手势等等）可以替换凝视跟踪。当跟踪其他非接触动作替换凝视跟踪时，对凝视目标的提及应当被认为是对非接触目标的提及。

可以根据对各种动作的检测确定凝视目标的位置，所述各种动作包括眼睛的移动、面部的移动和面部特征的移动。例如，在用户阅读显示200时可以通过用户的面部倾斜（例如，向上或向下）来控制滚动功能（例如，向上或向下滚动页面），其中计算机100不基于在该时间的眼睛跟踪来控制滚动功能。

在一些情况下，基于摄像机的凝视检测系统可以依赖于面部识别处理来检测诸如鼻子、嘴巴、两眼之间的距离、头部姿势、下巴等等的面部特征。这些面部特征的组合可以用来确定凝视目标。例如，在要基于来自摄像机的面部图像执行垂直滚动（例如，向上滚动功能和/或向下滚动功能）的实施例中，凝视目标的检测可以仅仅或部分地依赖于所检测到的（多个）眼睑位置。当用户凝视显示设备104的较低部分时，眼睛将被检测为闭上更多，而当用户凝视显示设备104的顶部时，眼睛将被检测为打开更多。

眼睑位置检测对于确定凝视目标在垂直方向上的改变是有好处的，但对于确定凝视目标在水平方向上的改变而言不有效。为了更好地确定凝视目标在水平方向上的改变，可以替换地使用头部姿势的图像。在这样的情况下，凝视目标可以仅当用户的面部被确定为在显示设备104的一般方向上取向时才被确定为在滚动区域内。作为一般规则，每当用户离开视线正前方多于七度地看着对象时，用户的头部将立即转到该对象的方向上。因此，指示从显示设备104离开到侧边多于七度的头部姿势是如下指示：用户不可能正在看着在显示设备104上呈现的内容（例如，显示200）。

取决于凝视检测组件的灵敏度和准确性（其可以由摄像机分辨率、处理能力、可用存储器等等决定），凝视目标可以占据相对于显示设备104的更小（例如，更灵敏和/或准确的）或更大（例如，不太灵敏和/或准确的）区域。凝视检测组件的校准也可以在凝视目标计算的准确性和灵敏度方面起作用。准确性或灵敏度可以决定用户凝视的实际方向与所计算的凝视目标之间的关系。所公开的实施例即使在实际凝视方向与所计算的凝视目标之间的关系非直接的情况下也可以起作用。

在一些实施例中，凝视目标可以通过使用来自触摸屏的输入帮助校准来进行校准。例如，计算机100可以提示用户看着并触摸显示设备104上的（多个）相同点。可替换地，可以在后台执行这样的校准过程而不提示用户或打断用户与计算机100的正常交互。例如，在正常操作计算机100时，用户将按压具有已知位置的显示200、显示设备104和/或计算机100的按钮、超链接和其他部分。可以假定的是，用户也将同时正常地看着按钮、超链接等等。因此，计算机100可以将触摸点或点击点识别为用户的凝视方向并且然后校正用户的凝视方向与所计算的凝视目标之间的任何差异。这样的后台校准过程可以是有帮助的以便在用户随着时间推移与计算机100交互时缓慢地改进校准。

在一些实施例中，计算机100能够确定何时用户正在阅读显示200上的元素504而不是试图控制计算机100。例如，检测用户是否正在阅读可以基于检测和评估眼扫视以及眼睛是否注视或停留在显示上的恒定点上或者恒定点周围。该信息可以用来确定如区别于更固定的凝视的阅读的指示符。在一些实施例中，计算机100被配置为使得即使在用户被确定为在阅读时也可以发起滚动功能。例如，当用户正看着地图时，应当比当用户正阅读文本（例如，字词处理器文档）时相对更快地发起滚动（例如，平移）。因此，在阅读文本时在触发滚动功能之前的任何停留时间可以比用于回顾地图和其他图形内容的更长，并且在每种情况下可以不同地选取滚动区域和/或滚动交互。例如，在地图或其他图形内容的情况下可能不得不将（多个）滚动区域做得更大以便使计算机100具有足够的响应性，而用于文本文档的（多个）滚动区域可以较小，因为直到用户在阅读非常接近（例如，5行）窗口底部或顶部的文本才通常需要滚动动作。

本文中公开了可以将某些动作与计算机功能相关的各种实施例。在附加实施例中，在适用的情况下，计算机100可以被置于一个或多个模式中，其中每个模式使得不同计算机功能能够响应于用户执行各种动作而被执行。

在一些实施例中，计算机100可以被配置成使用凝视数据型式（例如，凝视目标显现在相对于显示设备104的某些位置或方位中的频率）来基于统计分析更精确地确定何时用户在看着特定区域202或元素504。

图8-24D描绘本文中公开的各种实施例和功能的图形表示和流程图。

尽管已经参考需要接触的和需要非接触的动作描述了实施例，但是所意图被理解的是，这些动作可以是交织的。换言之，如果使用诸如鼠标的移动、触摸板接触、按压按钮等等需要接触的动作描述一个实施例，则所意图的是这样的动作也可以通过使用诸如语音命令、手势、凝视移动等等的非接触方法来执行。

前面引用的所有专利、出版物和摘要通过引用全部合并于此。本文中使用的任何标题仅用于组织性目的并且不应被解释为以任何方式限制本公开或权利要求。已经描述了各种实施例。应当认识到的是这些实施例仅仅说明本公开的原理。在不脱离如在所附权利要求中限定的本公开的精神和范围的情况下，其众多修改和改动对于本领域技术人员而言将容易地是显而易见的。

除非另外具体说明，要意识到的是，遍及本说明书，利用诸如“处理”、“计算”、“运算”、“确定”和“标识”等等术语的讨论指代计算设备的动作或过程，所述计算设备诸如一个或多个计算机或类似的（一个或多个）电子计算设备，所述计算设备操纵或变换被表示为计算平台的存储器、寄存器或其他信息存储设备、传输设备或显示设备内的物理电子量或磁量的数据。

本文中讨论的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括提供以一个或多个输入装置上调节的结果的任何合适的组件布置。合适的计算设备包括基于多用途微处理器的计算机系统，其访问存储的软件，该软件把计算系统从通用计算装置编程或配置为专门化计算装置以实现本主题的一个或多个实施例。任何合适的编程、脚本或其他类型的语言或语言的组合可以用来在软件中实现本文中包含的教导，该软件用于编程或配置计算设备。

本文中公开的方法的实施例可以在这样的计算设备的操作中被执行。在前面的示例中呈现的块的次序可以发生变化——例如，块可以重新排序、组合和/或分解为子块。某些块或过程可以并行地执行。

“被适配成”或“被配置成”的使用在本文中意指为开放和包含性的语言，其不排除被适配成或被配置成执行附加任务或步骤的设备。附加地，“基于”的使用意指是开放和包含性的，因为“基于”一个或多个记载的条件或值的过程、步骤、计算或其他动作实际上可以基于超出记载的那些的附加条件或值。

如下面所使用的，对于一系列示例的提及应被理解为对于那些示例中的每一个分离地提及（例如，“示例1-4”应被理解为“示例1、2、3或4”）。

示例1是控制计算机的方法。该方法包括呈现具有视觉指示符的显示；检测用户的凝视目标；检测用户的需要接触的动作；以及响应于需要接触的动作和凝视目标而执行计算机功能。执行计算机功能包括执行第一功能。第一功能可以是响应于检测到需要接触的动作基于凝视目标相对于显示的位置而滚动显示的第一部分。第一功能可以是响应于连续检测到需要接触的动作基于凝视目标相对于显示的位置而滚动显示的第二部分。第一功能可以是响应于需要接触的动作将视觉指示符移动到凝视目标。第一功能可以是响应于连续检测到需要接触的动作以比凝视目标的移动的第二速率更慢的第一速率移动视觉指示符。第一功能可以是响应于需要接触的动作缩放显示的邻近凝视目标的第三部分。第一功能可以是当凝视目标在显示的外部时响应于需要接触的动作基于凝视目标而执行第二功能。第一功能可以是响应于需要接触的动作基于凝视目标的移动序列而执行第二计算机功能。

示例2是示例1的方法，其中第一功能是响应于连续检测到需要接触的动作基于凝视目标相对于显示的位置而滚动显示的第二部分。连续检测到需要接触的动作是检测到触摸板的连续触摸。

示例3是示例1或2的方法，其中第一功能附加地包括增大滚动的冲量直到停止检测到触摸板的连续触摸。

示例4是示例1的方法，其中第一功能是响应于需要接触的动作将视觉指示符移动到凝视目标。需要接触的动作是由触摸触摸板或移动计算机鼠标构成的组中的一个。

示例5是示例1的方法，其中第一功能是响应于需要接触的动作缩放显示的邻近凝视目标的第三部分。该需要接触的动作是滚轮的致动。

示例6是示例1的方法，其中第一功能是响应于需要接触的动作缩放显示的邻近凝视目标的第三部分。该需要接触的动作是按压按钮和执行第二需要接触的动作的组合。

示例7是示例1的方法，其中需要接触的动作是触摸触摸敏感设备。

示例8是具有计算机的计算设备，该计算机包括用于呈现具有视觉指示符的显示的显示设备。计算机进一步包括需要接触的输入装置和非接触输入装置。计算机被编程来检测用户的非接触目标并且检测用户的需要接触的动作。计算机进一步被编程来响应于需要接触的动作基于非接触目标而执行计算机功能，其中执行计算机功能包括执行第一功能。第一功能可以是响应于需要接触的动作基于非接触目标相对于显示的位置而滚动显示的第一部分。第一功能可以是响应于连续检测到需要接触的动作基于非接触目标相对于显示的位置而滚动显示的第二部分。第一功能可以是响应于需要接触的动作将视觉指示符移动到非接触目标。第一功能可以是响应于连续检测到需要接触的动作以比非接触目标的移动的第二速率更慢的第一速率移动视觉指示符。第一功能可以是响应于需要接触的动作缩放显示的邻近非接触目标的第三部分。第一功能可以是当非接触目标在显示的外部时响应于需要接触的动作基于非接触目标而执行第二功能。第一功能可以是响应于需要接触的动作基于非接触目标的移动序列而执行第二计算机功能。

示例9是示例8的计算设备，其中第一功能是响应于连续检测到需要接触的动作基于非接触目标相对于显示的位置而滚动显示的第二部分。连续检测到需要接触的动作是检测到触摸板的连续触摸。

示例10是示例9的计算设备，其中第一功能附加地包括增大滚动的冲量直到停止检测到触摸板的连续触摸。

示例11是示例8的计算设备，其中第一功能是响应于需要接触的动作将视觉指示符移动到非接触目标。需要接触的动作是由触摸触摸板或移动计算机鼠标构成的组中的一个。

示例12是示例8的计算设备，其中第一功能是响应于需要接触的动作缩放显示的邻近非接触目标的第三部分。该需要接触的动作是滚轮的致动。

示例13是示例8的计算设备，其中第一功能是响应于需要接触的动作缩放显示的邻近非接触目标的第三部分。该需要接触的动作是按压按钮和执行第二需要接触的动作的组合。

示例14是示例8的计算设备，其中需要接触的动作是触摸触摸板。

示例15是示例8的计算设备，其中非接触输入装置是凝视跟踪设备并且非接触目标是凝视目标。

示例16是具有计算机的系统，该计算机包括：用于呈现具有视觉指示符的显示的显示设备；用于检测凝视目标的眼睛跟踪设备；用于检测需要接触的动作的需要接触的输入装置；以及可操作地连接到眼睛跟踪设备、需要接触的输入装置和显示设备的处理器。该计算机进一步包括使得处理器能够响应于需要接触的动作基于非接触目标而执行计算机功能的编程，其中执行计算机功能包括执行第一功能。第一功能可以是响应于需要接触的动作基于凝视目标相对于显示的位置而滚动显示的第一部分。第一功能可以是响应于连续检测到需要接触的动作基于凝视目标相对于显示的位置而滚动显示的第二部分。第一功能可以是响应于需要接触的动作将视觉指示符移动到凝视目标。第一功能可以是响应于连续检测到需要接触的动作以比凝视目标的移动的第二速率更慢的第一速率移动视觉指示符。第一功能可以是响应于需要接触的动作缩放显示的邻近凝视目标的第三部分。第一功能可以是当凝视目标在显示的外部时响应于需要接触的动作基于凝视目标而执行第二功能。第一功能可以是响应于需要接触的动作基于凝视目标的移动序列而执行第二计算机功能。

示例17是示例16的系统，其中第一功能是响应于连续检测到需要接触的动作基于凝视目标相对于显示的位置而滚动显示的第二部分。连续检测到需要接触的动作是检测到触摸板的连续触摸。

示例18是示例16的系统，其中第一功能附加地包括增大滚动的冲量直到停止检测到触摸板的连续触摸。

示例19是示例16的系统，其中第一功能是响应于需要接触的动作将视觉指示符移动到凝视目标。需要接触的动作是由触摸触摸板或移动计算机鼠标构成的组中的一个。

示例20是示例16的系统，其中第一功能是响应于需要接触的动作缩放显示的邻近凝视目标的第三部分。该需要接触的动作是滚轮的致动。该需要接触的动作是按压按钮和执行第二需要接触的动作的组合。

示例21是示例16的系统，其中需要接触的动作是触摸触摸板。

Claims (57)

1.一种控制计算机的方法，包括：

呈现显示；

检测用户的动作；

延迟预定量的时间；以及

响应于在预定时间段之后持续检测到动作而在显示上在凝视目标处呈现视觉指示符。

2.权利要求1所述的方法，其中所述动作是按压按钮。

3.权利要求1所述的方法，其中所述动作是触摸触摸敏感设备。

4.权利要求1所述的方法，其中所述预定量的时间为大约200ms。

5.权利要求1所述的方法，附加地包括：以比凝视目标的移动更慢的速率并且在由凝视目标的移动所指示的方向上移动视觉指示符，直到不再检测到所述动作为止。

6.权利要求5所述的方法，其中所述动作是按压按钮。

7.权利要求5所述的方法，其中所述动作是触摸触摸敏感设备。

8.权利要求1所述的方法，附加地包括：响应于没有检测到第二动作而将视觉指示符移动到所述视觉指示符的原始位置。

9.权利要求8所述的方法，附加地包括在视觉指示符的原始位置处执行计算机功能。

10.一种计算设备，包括：

计算机，包括用于呈现具有视觉指示符的显示的显示设备和非接触输入装置；

其中，所述计算机被编程成：

检测用户的动作；以及

响应于在预定时间段之后连续检测到动作而将视觉指示符移动到非接触目标。

11.权利要求10所述的计算设备，其中所述非接触输入装置是眼睛跟踪设备并且所述非接触目标是凝视目标。

12.权利要求10所述的计算设备，其中所述计算机附加地包括需要接触的输入装置并且所述动作经由所述需要接触的输入装置被检测。

13.权利要求12所述的计算设备，其中所述动作是按压按钮。

14.权利要求12所述的计算设备，其中所述动作是触摸触摸敏感设备。

15.权利要求10所述的计算设备，其中所述预定量的时间为大约200ms。

16.权利要求10所述的计算设备，其中所述计算机被附加地编程成：以比非接触目标的移动更慢的速率并且在由非接触目标的移动所指示的方向上移动视觉指示符，直到不再检测到所述动作为止。

17.权利要求16所述的计算设备，其中所述非接触输入装置时眼睛跟踪设备并且所述非接触目标是凝视目标。

18.一种系统，包括：

计算机，包括：

　　显示设备，用于呈现具有视觉指示符的显示；

　　眼睛跟踪设备，用于检测眼睛指示；

　　处理器，可操作地连接到眼睛跟踪设备和显示设备；以及

　　使得处理器能够进行以下操作的编程：

　　　　检测用户的动作；以及

　　　　响应于在预定时间段之后连续检测到所述动作而将视觉指示符移动到非接触目标。

19.权利要求18所述的系统，其中所述动作是按压按钮。

20.权利要求19所述的系统，其中所述动作是触摸触摸敏感设备。

21.权利要求19所述的系统，其中所述预定量的时间为大约200ms。

22.权利要求18所述的系统，其中所述计算机被附加地编程成：以比非接触目标的移动更慢的速率并且在由非接触目标的移动所指示的方向上移动视觉指示符，直到不再检测到所述动作为止。

23.一种控制计算机的方法，包括：

呈现具有视觉指示符的显示；

检测用户的第一动作；

延迟预定量的时间；以及

确定是否检测到第二动作，其中所述视觉指示符响应于检测到第二动作而被移动到凝视目标，并且响应于没有检测到第二动作而在凝视目标处执行计算机功能。

24.权利要求23所述的方法，其中所述第一动作是按压按钮。

25.权利要求24所述的方法，其中所述第二动作是释放按钮。

26.权利要求23所述的方法，其中所述第一动作是触摸触摸敏感设备。

27.权利要求26所述的方法，其中所述第二动作是停止触摸触摸敏感设备。

28.权利要求23所述的方法，进一步包括在检测到用户的第一动作时在凝视目标处显示视觉标记。

29.权利要求23所述的方法，其中所述计算机功能是点击。

30.一种控制计算机的方法，包括：

向用户呈现显示；

确定相对于所述显示的用户的第一凝视目标；

检测第一动作；

响应于检测到第一动作而扩大所述显示的大约邻近凝视目标的至少一部分；

确定相对于所述显示的扩大部分的用户的第二凝视目标；

检测第二动作；

执行与第二凝视目标相关联的计算机功能。

31.权利要求30所述的方法，其中所述第二动作是在第二时间执行的第一动作。

32.权利要求30所述的方法，其中所述第一动作是按压按钮。

33.权利要求32所述的方法，其中所述第二动作是释放按钮。

34.权利要求30所述的方法，其中所述第一动作是触摸触摸敏感设备。

35.权利要求34所述的方法，其中所述第二动作是停止触摸触摸敏感设备。

36.权利要求31所述的方法，其中所述第一动作是说出词语。

37.权利要求30所述的方法，其中扩大所述显示的所述至少一部分是在凝视目标位于邻近数个元素处时响应于检测到第一动作。

38.权利要求30所述的方法，附加地包括：高亮突出所述显示上位于邻近所述第一凝视目标处的元素。

39.权利要求30所述的方法，附加地包括：高亮突出所述显示上位于邻近所述第二凝视目标处的元素。

40.权利要求30所述的方法，其中扩大所述显示的所述至少一部分基于从由所述显示的元素的性质、用户的偏好和与用户的凝视有关的信息构成的组中选择的至少一个。

41.权利要求40所述的方法，其中扩大所述显示的所述至少一部分基于包括显示上的元素的形状、尺寸和布局的元素性质。

42.权利要求40所述的方法，其中扩大所述显示的所述至少一部分基于从由速度、准确性和对某些计算机功能的避免构成的组中选择的用户偏好。

43.权利要求40所述的方法，其中扩大所述显示的所述至少一部分基于与用户的凝视有关的信息，所述信息从由校准信息、凝视偏移信息、信号噪声、所使用的眼睛跟踪设备的类型和所使用的眼睛跟踪设备的频率构成的组中选择。

44.一种计算设备，包括：

计算机，包括用于呈现显示的显示设备和用于检测非接触动作的非接触输入装置；

其中所述计算机被编程成：

　　通过非接触输入装置检测所述显示上的非接触目标；

　　检测第一动作；

　　响应于检测到第一动作而扩大所述显示的大约邻近非接触目标的至少一部分；

　　检测第二动作；以及

　　在非接触目标在所述显示的所述一部分内时响应于检测到第二动作而执行与非接触目标相关联的计算机功能。

45.权利要求44所述的计算设备，其中所述非接触输入装置是眼睛跟踪设备并且所述非接触目标是凝视目标。

46.权利要求44所述的计算设备，其中所述计算机附加地包括需要接触的输入装置。

47.权利要求44所述的计算设备，其中所述第二动作是第一动作的第二实例。

48.权利要求47所述的计算设备，其中所述需要接触的输入装置能够操作用于检测第一动作。

49.权利要求48所述的计算设备，其中所述第一动作是按压按钮。

50.权利要求48所述的计算设备，其中所述第一动作是触摸触摸敏感设备。

51.权利要求44所述的计算设备，其中所述第一动作是说出词语。

52.权利要求44所述的计算设备，其中所述计算机被编程成：仅在凝视目标位于邻近所述显示的数个小元素处时才响应于检测到第一动作来扩大所述显示的所述至少一部分。

53.一种系统，包括：

计算机，包括

　　显示设备，用于呈现显示；

　　眼睛跟踪设备，用于检测眼睛指示；

　　处理器，可操作地连接到眼睛跟踪设备和显示设备；以及

　　编程，使得处理器能够进行以下操作：

　　　　根据眼睛指示确定凝视目标；

　　　　检测第一动作；

　　　　响应于检测到第一动作而扩大所述显示的大约邻近凝视目标的至少一部分；

　　　　检测第二动作；以及

　　　　在凝视目标在所述显示的所述一部分内时响应于检测到第二动作而执行与凝视目标相关联的计算机功能。

54.权利要求53所述的系统，其中所述第二动作是第一动作的第二实例。

55.权利要求54所述的系统，其中所述第一动作是按钮按压。

56.权利要求54所述的系统，其中所述第一动作是触摸敏感设备的触摸。

57.权利要求53所述的系统，其中所述编程使得处理器能够仅在凝视目标位于邻近所述显示的数个小元素处时才响应于检测到第一动作来扩大所述显示的所述至少一部分。