体感交互
Leap
Motion
Leap motion 视频
返回
?设备的易用性VS. 高性能
Tricycles
Versus
Bicycles
实物交互
例 1 ： 热 气 球
例 2 ： 拼 卡 学 汉 语
眼动控制车
2018/10/2
人机交互技术的发展趋势

在未来的计算机系统中，将更加强调“以人为 本”、“自然、和谐”的交互方式，以实现人 机高效合作 集成化 网络化 智能化 标准化
触摸屏输入
数字化仪输入:适用于CAD/CAM系统 扫描输入:条形码、扫描仪、光电阅读器 三维输入：数据手套、三维鼠标、力矩球等 返回 视觉输入：摄像设备
人机交互方式--输出设备
显示终端输出：重要工具 声响输出：声波 打印输出：标准输出设备之一 三维输出：产生三维输出的设备有投影
显示器 、头盔显示器、立体眼镜等
人机交互技术
物联网
认知心理学
模式识别
智能化
目前，用户使用键盘和鼠标等设备进行的交互 输入都是精确的输入，但人们的动作或思想等 往往并不很精确，人类语言本身也具有高度模 糊性，人们在生活中常常习惯于使用大量的非 精确的信息交流。 在人机交互中，使计算机更好地自动捕捉人的 姿态、手势、语音和上下文等信息，了解人的 意图，并做出合适的反馈或动作，提高交互活 动的自然性和高效性，使人－机之间的交互像 人－人交互一样自然、方便。
图形用户界面阶段

图形显示器的诞生以及光笔的出现造就了 Sketchpad
人“ 19 机 62 对 话 图 形 发林 通 表肯 信 博实 系 士验 室 统 论 ， ” 文 , MIT I.E.Sutherland Sketchpad drawing system :
图形用户界面阶段

鼠标的诞生推进了人机交互方式的变革
2018/10/2
人机交互的研究内容（续）
计算机支持的协同工作
“计算机支持的协同工作已成为一个多学科 交叉的新兴的研究领域 CSCW是要研究在计算机技术支持的环境下 (CS)，特别是在计算机网络环境下，一个群 体如何协同工作完成一项共同的任务(CW) 。它的目标是要设计出能支持各种各样的协 同工作的工具、环境与应用系统
• 人机交互界面表示模型与设计方法（Model and Methodology）
一个交互界面的好坏，直接影响到软件开发的成败。 友好人机交互界面的开发离不开好的交互模型与设计 方法 软件系统开发方法：MDD\MDA
2018/10/2
人机交互的研究内容（续）

多通道交互技术（Multi-Modal）
眼动跟踪
VR中，头部运动时生成的虚拟场景将随之改变。 利用图像处理技术，使用锁定眼睛的特殊摄像机。

返回
2018/10/2
多通道交互-手势语音集成

手势语音集成项目的研 究集中在对多通道输入 信息的联合解释。 例子:日程安排
用户操纵情景是： 用户口述：“在星期一 安排一个会议”，同时 用笔在日历上划一条线 指示会议的开始时间和 持续时间。

2018/10/2
标准化
在人机交互领域，ISO已正式发布了许多
的国际标准，以指导产品设计、测试和 可用性评估等。但人机交互标准的设定 是一项长期而艰巨的任务，并随着社会 需求的变化而不断变化。
2018/10/2
人机交互的研究内容
人机交互的研究内容十分广泛，涵盖了建 模、设计、评估等理论和方法以及在计算 机支持的协同工作、信息搜索与可视化、 超媒体与万维网、普适计算与增强现实等 方面的交互设计技术，主要包括：
体感交互
Wii：2006，日本任天堂公司推出的家用游戏主机
特色：准控制器Wii Remote.
指向定位； 如同光线枪或鼠标可以控制萤幕上的光标； 动作感应。 可侦测三维空间当中的移动及旋转。 结合两者可以达成所谓的“体感操作”。 Wii Remote在游戏软件当中可以化为球棒、指挥棒、鼓棒、 钓鱼杆、方向盘、剑、枪、手术刀、钳子……等工具； 使用者可以挥动、甩动、砍劈、突刺、回旋、射击……等各 种方式来使用。



语音交互 手势、表情、体势交互 基于视线追踪的人机交互 其他传感器类的交互 触控交互 体感交互

多通道交互方式的两种集成交互方式:

Voice Photo
语音交互举例
返回
手势识别
基于数据手套的识别

手的位置、方向和手指弯曲 度对手势分类 采用摄像机采集的图像序列 模板匹配、统计分析、机器 学习、深度学习等
机与人之间交流的接口。
人机交互的发展历史
人 与交互式计算机的发展相伴 机 人机交互方式的发展 交 输入设备 互 输出设备 的 多 人机界面 个 的发展 阶 段
人机交互方式-输入设备
键盘输入:传统方式 鼠标输入:图形用户界面的重要输入方式 手写输入:手写汉字识别、“平板电脑” 语音输入
的感应食指指压的多点触控屏幕。 1984年，贝尔实验室研制出一种能够以多于 一只手控制改变画面的触屏。 1999年出现多点触控产品包括iGesture板和 多点触控键盘。在2005年被苹果电脑收购。 2007年，“苹果”及“微软”分别发表了应 用多点触控技术的产品及计划，令该技术开 始进入主流的应用。 返回
2018/10/2
集成化
人机交互将呈现出多样化、多通道交互的
特点 桌面和非桌面界面，可见和不可见界面， 二维与三维输入，直接与间接操纵，输入 与输出、语音、手势、表情、眼动、唇动 、头动、肢体姿势、触觉、嗅觉、味觉以 及键盘、鼠标等交互手段将集成在一起
2018/10/2
网络化
无线互联网、移动通信网的快速发展，对
图形用户界面阶段
输入、输出设备以及界面技术的发展，催生
了使用图形用户界面的个人计算机(PC)！
Mac是全球首款使用图形用 户界面驱动的个人计算机； 是今天所有PC界面的基础
• PC的出现使人机交互界面的需求面临多样化的选 择，并向多通道、多媒体、智能化的方向发展。
多通道、多媒体交互阶段

多通道交互
人机交互技术提出了更高的要求。 新一代的人机交互技术需要考虑在不同设 备、不同网络、不同平台之间的无缝过渡 和扩展，支持人们通过跨地域的网络（有 线与无线、电信网与互联网等）。 在世界上任何地方用多种简单的自然方式 进行人机交互，而且包括支持多个用户之 间以协作的方式进行交互。
2018/10/2
1963年，美国斯坦福研究所的恩格尔巴特D.Engelbart， 他预言鼠标器比其他输入设备都好 10年后鼠标器经不断改进，成为影响当代计算机使用 的最重要成果。 获1997年ACM图灵奖。
图形用户界面阶段
上世纪70年代施乐(Xerox)研究中心的
Alan Kay提出了Smalltalk面向对象程序 设计等思想，并发明了重叠式多窗口系 统

返回
人机交互传感器技术
传感器是一种物理装置或生物器官，能够
探测、感受外界的信号、物理条件（如光 、热、湿度）或化学组成（如烟雾），并 将探知的信息传递给其他装置或器官。 基于传感器的交互设备
头部跟踪设备 手部跟踪设备 躯体、姿态跟踪设备 声音交互设备
触控交互
多点触控技术始于1982年由多伦多大学发明
3D打印
返回
人机界面的发展

由指示灯和机械开关组成的操纵界面
由终端和键盘组成的字符界面(80年代) 由多种输入设备和光栅图形显示设备构 成的图形用户界面(GUI)(90年代) 网络用户界面：浏览器（90年代） 多通道自然人机交互界面（90年代起）
返回

人机交互阶段

手工交互阶段


字符用户交互阶段


在多通道交互中，用户可以使用语音、手势、眼神 、表情等自然的交互方式与计算机系统进行通信。 多通道交互主要研究多通道交互界面的表示模型、 多通道交互界面的评估方法以及多通道信息的融合 等。 智能用户界面（Intelligent User Interface，IUI） 智能用户界面的最终目标是使人机交互和人－人交 互一样自然、方便。上下文感知、眼动跟踪、手势 识别、三维输入、语音识别、表情识别、手写识别 、自然语言理解等都是认知与智能用户界面需要解 决的重要问题。
第二讲
人机交互技术及其应用
人机交互?...
Iphone、Ipad、Note、…
多点触控设备
键盘与鼠标
Windows界面
图形用户界面
游戏设备
微软Xbox Controller
Kinect
Leap Motion
多通道交互界面
无处不在的交互
平板PC Pocket PC
Phone PC
桌面 PC
Wrist PC
基于视觉的识别

手势识别主要技术

2018/10/2
面部表情识别

基于特征的人脸检测
直接利用人脸信息，如肤色、人脸几何结构 轮廓规则 器官分布规则 肤色、纹理规则 对称性规则 运动规则

基于图像的人脸检测

模板匹配法 特征脸方法 神经网络法
返回
2018/10/2
图形用户界面阶段(WIMP)

后WIMP阶段

多通道、多媒体交互阶段
人机自然交互阶段
人机情感交互阶段
手工交互阶段
1945年,Harvard使用的MARK I,55英尺长,8英尺高,5吨重.
字符用户交互阶段
键盘的出现将计算机带入了字符用户交互阶
段。此阶段的界面以语言命令方式实现。 语言经历了机器语言->汇编语言->高级语言 的发展过程。这个过程也可以看作早期人机 交互的一个发展过程。