LiveCam_基于增强现实的汽车的导航系统 基于增强现实的汽车的导航系统
汽车的挡风玻璃就 是导航计算机的显 示和接口 驾驶员可同时看到
–
–
现实世界中的道 路 计算机产生的导 航信息
10
从IBM的”到处显示”到 的 到处显示” Sony的自校正投影仪 的自校正投影仪
11
12
三维空间中的人机交互 人机交互：
计算，通信，传感集成的信息设备
7
手机上可显示各种信息： •语言翻译 •小孩找玩伴
手腕显示器 • 电子邮件 •天气预报
家具是计算机，桌面是接口
First generation Second Generation
8
9
Mitsubishi Electric Research Labs Cambridge Research
–
Three type of interactions
– – –
33
服务层次上的对偶
用户在物理空间中的各种活动和事件
–
具有时间－空间特性的动态过程 对偶关系可建立在时－空流各个抽象层次的对应点上 可在物理空间中进行检索 体育视频的分析 白板获取系统
信息空间中的多模态时－空流的档案
– –
基于内容和事件的视频索引和检索
–
“物理－信息”对偶空间
物理空间－ 物理空间－>信息空间的对偶是建立对应关 系
–从现实物理空间中获取各种数据和信息 –
“对应”的层次：特征，表面，物体（包括物体 对应” 对应 之间的关系），动作，事件，场景，描述，上下 文等各个层次。
信息空间－ 信息空间－>物理空间对偶关系的建立
–向现实物理空间中的任何地方提供数据
–
快速编辑、复制、转换、共 享、检索 可用关键字搜索、拼写检查、 快速计数
24
数字桌面计算机器
用户可用手或笔直接在普通纸上指出相应的数字即可输入。（所指的 数字显示在计算器上）
25
PaperPaint (纸上的编辑功能） 纸上的编辑功能） 纸上的编辑功能
用笔（stylus) 在 纸面是完成文档 和图像的编辑
普适计算－ 普适计算－实现和谐人机交互 的关键技术
内容 什么是普适计算
– –
信息空间集成和融入到物理空间 “物理－信息”对偶空间 普适计算建立和谐人机交互的环境 对偶空间是普适计算的人机交互的基础
什么是和谐人机交互
– –
2
普适计算是21世纪的计算模式 普适计算是 世纪的计算模式
1980’s Current
– – –
Interactive whiteboard Laptop display Desktop AR display To determine which devices Pointing Command Annotation
Index line Voice to text
Three fiducial marker
利用视觉标记发现相应的URL
29
自动对视觉标记上的电话拨号
30
更多的应用
摄像机控制 3-D 线框图的旋转
31
摄像机控制地 铁的地图
摄像机跟踪移动的 笔尖
物理空间中的超链
桌面上的 AR 显示 基准标记
–
与计算机的网址相关，在 此计算机上显示相关信息
32
物理空间中的超链
Three display devices
– –
34
白板获取系统 （Whiteboard Capture System） ）
Whiteboard Capture System
35
36
Physical space
–
Cyber space
–
Meeting
Spatial-temporal sequence in physical space
19
信息空间－ 物理空间对偶关系的建立 信息空间－>物理空间对偶关系的建立
信息直接反馈到物理空间的对应物体上
– –
确定信息反馈点就是建立对偶关系
对偶关系：自动建立，或人工建立
反馈是多通道，多层次的
–
在桌面检索情况下，反馈都是在计算机的屏幕上
以物体或物体表面作为信息交互的接口
静止的：例如，觉察位置的导游显示 – 动态跟踪的：AR系统
Dual relation Demand Information deliver
什么是对偶关系
基本的出发点
–
信息空间中的所有数据和信息都来自物理空间
通过传感器 通过人机交互
–
信息空间中的对象与物理空间中的对象存在对 应关系（ 应关系（corresponding)
基本的对偶关系是对应关系 对应关系的建立 – 首先是物理空间－》信息空间 首先是物理空间－ 对应关系是对偶关系的基础， 对应关系是对偶关系的基础，
Meeting archive
A structured multimedia streams
–
Speaker writes on the board Actions or events ( erase the title)
–
– –
Recording the message on the whiteboard Generate the key frame as the interface
–
–
系统用投影的框 来指示编辑的区 域 完成“复制”和 “粘贴”
26
DoubleDigitalDesk (共享编辑） 共享编辑） 共享编辑
本地用户用红笔在 纸上画，同时可看 到远端的纸和所画 的图形(o)
27
增强现实（ 增强现实（Augment reality） ）
跟踪物体表面的细节
28
利用物体上的视觉标记
17
Cyber space
Structured data Context
Physical Space
Deliver control demands
user
Scene
Events, actions
Objects
Surfaces
Features
Raw data
Sensor data extract
18
computing
15
如何建立和谐的人机交互环境
建立和谐的人机交互环境
– –
– –
不仅是把接口嵌入到日常用品 不仅是把计算节点联网，成为一个分布式系 统 不仅是自然的人机接口 还需要找到合用的信息
要建立“物理－信息“对偶空间
16
“物理－信息”对偶空间 物理－信息” 物理
信息空间融入物理空间的影响是什么？
–
单台计算机交互 space)的交互
与信息空间（cyber
Human Cyber Space Interaction
所有的计算节点都联网 – 用户不明确与哪台计算机交互 – 用户没有意识到在交互( implicit interaction)
–
13
内容 什么是普适计算
– –
信息空间集成和融入到物理空间 “物理－信息”对偶空间 普适计算建立和谐人机交互的环境 对偶空间是普适计算的人机交互的基础
Camera capturing teacher’s video, delivering to remote students
SmartCam
39
谢谢！
40
什么是和谐人机交互
– –
14
普适计算与和谐的人机交互
普适计算的人机交互
– 信息空间融入物理空间
和谐的人机交互
–
以人为中心的交互
沉浸的 普适化 可视化，直观的
在三维空间中的交互
– 就在用户生活的空间中
随时、随地、应用日常 用品的交互
– 物体就是接口 – 信息直接在物理空间中
显现
隐含的人机交互
– Invisible
Student-Board: As a window between remote students and local classroom
Remote Students Studentboard Mediaboard
MediaBoard: serves as a blackboard in ordinary classroom. And its content is synchronized with remote student’s client program.
Fig.3 在纸面上用手势输入
22
数字桌面的特征
把电子图像投影到桌面和纸质的文档上 能对笔和手直接作出相应 能阅读放在桌面上的纸质文档
23
电子文档与纸质文档的比较
虚拟桌面上的电子文档
–
现实桌面上的纸质文档
可重叠放置、便宜、易携 带、广泛接受、易读、高 分辨率 可触摸、用手和手指来操 作、可用笔来涂写
Camera tracking the teacher
Virtual Assistant
Cameras for Virtual Mouse, Laser Pointer
Natural UI
Strokes added by using Virtual Mouse, Laser Pointer Speech command Speaker recognition Cameras for face recognition Touch Board
37
系统级的对偶
智能空间
–
接口层次上的对偶关系
电子白板 与远端学生交互的桌面会议和虚拟助理交互的墙面 登录系统交互的身份识别接口
–
功能层次上的对偶
记录为有结构的多媒体流