计算机科学、社会科学…
普适计算的理解(2) 三个层次
mobility
Wearable
Computing
Mobile
Ubiquitous
Computing
Computing
Desktop computing
Interface transparency
计算 信息交流
服务
普适计算的用户界面
从社会科学的角度出发
研究如何集成现实世界和虚拟世界的问题
二者的区别
输入手段不同。TUI强调把直接抓取实物作 为输入手段；AR是重叠显示现实世界和虚拟 信息的投影。
TUI的研究现状
MIT Media Lab TUI Group 斯坦福大学 Interactivity Lab 华盛顿大学 Design Machine Group 加州大学 Group for User Interface Research 多伦多大学 Department of Computer Science
Pen input Gesture Speech Perceptual UI Tangible UI
脱离桌面
自然界面（2）
第一类自然数据类型 （First-Class Natural Data Types）
视觉、听觉、笔画、作为基本数据类型，
并支持对这类数据类型的操作。
基于识别交互的容错技术 识别的准确度/ 纠错的复杂度及有效度 1）减少错误 2）发现错误 3）可修
Douglas C. Engelbart
什么造就了计算机辉煌历史?
PC plus GUI made the history
Things behind GUI
Desktop metaphor WIMP (Windows, icons, menu, and pointer) Direct manipulation and WYSIWYG
人机交互技术和实物操作界面(TUI)
Tangible User Interface
戴国忠
人机交互技术和智能信息处理实验室
提纲
人机交互技术和用户界面 无处不在计算及其用户界面
实物操作界面(TUI)
什么造就了计算机辉煌历史?
National Medal of Technology , 2000 IEEE, John Von Neumann Medal Award , 1999 ACM, A. M. Turing Award , 1997 影响几代人，创造计算机的历史
用于神经外科手术规划的一个双手交互 系统
反馈触觉和肌肉 运动知觉 二者区别：
TUI界面不但是实物 操作输入，还能输出 环境反馈
MIT Media Lab的研究工作
三个原型系统
metaDESK 和 transBOARD 抓取的实物 ambientROOM 环境反馈
MetaDESK
有Windows中界面构件（如窗口、菜单、 图标）的实物对应，也有嵌入了数字信 息的现实生活中的物体
移动环境
Non WIMP??
无处不在的计算 AR
?????
人机交互和用户界面----计算机应用的主要障碍
硬件：摩尔定律(18个月翻一倍)
软件：每五年升一代
界面：15-20年换一代 60年代一70年代：键盘，字符界面 80年代一90年代：鼠标，图形界面
21世纪:
新一代界面
什么是今后计算机应用的障碍?
1950年，
大型机计算时代 多人一机
1975年，
PC计算时代 信息交流 一人一机
2000年，
普适计算时代 服务 一人多机
•字符用户界面 键盘
•图形用户界面 鼠标，GUI，WIMP
•新世纪用户界面(???) 笔、语音(???)
计算机是什么?计算的三次革命
计算机能做什么?不能做什么?
ClearBoard Hiroshi Ishii1994
最早把现实中的表面做为物理空间和信 息空间的集成媒介的系统
支持CSCW 一个背投的显示器充 当了物理动作和虚拟 信息之间的媒介
Live Wire Weiser 1995
一个给用户提供环境反馈的例子 塑料绳就会抖动和发声，这样就跟用 户提供了声音反馈
多人可以使用的计算，计算环境 如交互墙(会议室)、电子白板(教室) 普遍、到处 无处不在的计算
Pervasive Computing(Computing
pervasive) 个人所拥有的计算，日用品 如可穿戴计算设备 扩散、渗透
普适计算的认识(4)人机融合过
程
人适应计算机
弱智十奇才
人
一只眼睛 十
一个指头
计算机计算模式(1.2)
人 活动
Mainframe
Desktop
环境
无处不在的计算
用户界面的发展历史(1.3)
三维空间
Non WIMP??
虚拟现实 VR
大型机
文本命令
科学计算 台式机
GUI 命令 / WIMP
办公自动化
Post desktop
Post WIMP人机来自境键盘鼠标计算机
主机时代
计算机适应人
PC时代 普适时代
普适计算中人机交互的三个主题
自然界面(natural interfaces ) 上下文感知应用(context-aware )
基于物理和计算环境感知到的信息的行为。 简单的上下文、重用性、和复杂的上下文
自动捕捉及访问 (automated capture and access)
听/看-----提取----记录
目 的：计算机擅长十人擅长
主要 应 用：会议室、课堂环境、个人note-taking
2000
Phoneslave Xcapture Classroom
捕捉：源信息流记录十关健信息的捕捉
访问：多捕捉流同步重放
普适计算面临的其它挑战
评估
人的需求 使用的可信度 方法(以任务为中心的评估技术是不合适)
“凡有助于缩小人机隔阂，建立和谐人机环境的
理论、方法、技术和产品都具有强大的生命力”
一
计算机硬件技术已不是阻碍 人机交互和用户界面----计算机应用的主要障碍 人机交互技术一21世纪重大信息技术
计算机研究发展的主干: 计算如硬件技术，计算机软件技术，智能接口技术
-863计划计算机发战研讨会 2002.1.18
普适计算的认识(2)
Focus on Applications
The real purpose for ubiquitous computing, of course, are the applications.”
Mark Weiser
普适计算的认识(3)
Ubiquitous Computing
无处不在计算的应用试图自动捕捉生活经历, 提供以后对这些经历的灵活访问
普适计算中人机交互的三个特征
•自然化
•多通道 •模糊 •非结构 •连续
•人性化
•显式感知(符号、动作、表象、情感) •隐式感知---用户意图捕捉
•智能化
•学习能力 •数据挖掘
自然界面（1）
Integrate into human life
Killer application
Word processing Electronic spreadsheet
计算机是什么?无处不在的计算
Tablet PC
Pocket PC
Phone PC
Desktop PC
Wrist PC
无线连接
计算机是什么?PC手写设备
(a)：Wacom Intuos
TUI的目标
实物操作界面通过使得数字信息可触摸而达到 无缝集成物理世界和信息世界的目的。
三个关键的概念： 交互式表面 信息和物体的链接 环境反馈
和TUI 相关的工作
1. Ubiquitous Computing（普适计算）
计算无处不在 计算之间，设备之间的通讯是“透明” 的 例子：会议桌、便签条
社会问题
安全性，可视性，可控制性，个人隐私
普适计算的理解(1) 三个层次
计算
为基础层次，提供必要的软硬件技术 计算机科学
信息交流
计算设备之间的交流：计算机网络 人机交流：人机界面 计算机科学、心理学等学科…
服务
没有感觉计算的存在，却无处不在的享受着服务。 计算主要以服务的形态提供人们，并自然地融入社 会
从根本上彻底改造技术以适应人 目标是使人获得真正的效率
使得计算机“Invisible”
“最好的仆人是看不见的仆人”
多种多样的服务形式，更为自然信息获 取
普适计算的用户界面
充分利用人们在现实生活中的获得的 生活体验，易学习
自然直观的用户界面 直接将人们在现实生活中和物体的交互 动作映射为和信息空间的交互过程
Bricks: Graspable User Interfaces （可抓取界面）Fitzmaurice 1995
方块（Bricks）和虚拟物体链接并同步动 作
方块的数目不限，可以同时操纵多个方 块
TUI界面中借鉴了 这个系统的思想
Passive Real-World Interface Props HINCKLEY 1998
人们和信息空间的交互被局限于传统的 图形用户界面(GUI)中
实际上，正是GUI把我们生活的物理世界 和我们要访问的信息世界隔离开来。
从桌面环境到物理世界GUI到TUI
1981年，施乐公司提出了GUI概念 1991年，Mark Weiser提出 了“普适计算”：计算是
无处不在的，是不可见的
“Star”是第一个采用“WIMP”界 面
信息技术的尴尬(TUI的动机)
传统的计算工具
结绳记事 沙漏计时 算盘 简单，可触摸，易学习 触觉和肌肉运动知觉