大型机 PC机
自动化计 字符用户界面
算
键盘
信息处理 图形用户界面 和交流 鼠标WIMP
虚拟现实 身临其境 新用户界面 的体验 (???) 笔、语音(???)
不重要
以GOMS为代 表的认知心理 学 分布式认知等 对GOMS的扩 展
人机分离
某些人机融 合
人机融合为 一个整体
以GOMS为核心的人机交互认知模型是传统界面技术的基础
虚拟现实的认识(认知特征-3I)
• 沉浸感（Immersion）:能给人们以真实世界的感觉， 全方位地沉浸在这个虚幻的世界中。
• 交互性（Interaction）:不同于CAD系统所产生的模型， 可以对使用者的输入作出反应。
• 想象性 （Imagination）: 用户和ＶＲ系统并行操作,发 挥用户的创造性想象力。
• 利用计算机构造的一个真实世界的模拟，地理上分布 的用户可以通过网络共享该环境，并与周围的环境以 及在相互之间进行交互。共享虚拟环境涉及到虚拟现 实、分布对象、网络、人机交互、智能代理等领域。 其他同义词包括: Networked VE(VR), Shared VE(VR), Multi-User VE, etc. 其实质是一种人机交互界面
虚拟现实的历史(最新进展)
混合现实(Mixed Reality)
Real Environment
Mixed Reality (MR)
Augmented
Reality (AR)
Augmented Virtuality (AV)
Virtual Environment
虚拟现实的历史(最新进展)
分布式虚拟环境（Distributed Virtual Environment)
George Coates (1992):
Myron Krueger
Virtual Reality is electronic simulations of environments
experienced via head mounted eye goggles and wired clothing
认知主体
VR的人机交互心理学研究
GOMS 的一个例子
GOAL: CLOSE-WINDOW . [select GOAL: USE-MENU-METHOD
. MOVE-MOUSE-TO-FILE-MENU . PULL-DOWN-FILE-MENU . CLICK-OVER-CLOSE-OPTION GOAL: USE-CTRL-W-METHOD . PRESS-CONTROL-W-KEYS]
虚拟现实的产生(定义4)
• 虚拟现实的定义:
– “凡形于外者皆曰象，如气象、星象” (辞 源)-----电象
– 虚拟现实/虚拟实在(金吾伦) – 灵境(钱学森) – 虚实
虚拟现实历史 (重要技术突破)
1956 Sensorama (Morton Heilig) 3D visuals, vibration, stereo sound, wind, smell, little interaction.
1987 Virtual Cockpit (British Aerospace) head and hand tracking, eye tracking, 3d visuals, 3D audio, speech recognition, vibro tactile feedback.
虚拟现实的历史(最新进展)
可感知(awareness) 可说明性 (accountability)
虚拟现实的认识(本质)
人和虚拟环境交互
– 可视性(visibility)：虚拟现实的生成和显示 – 可感知性(awareness)：虚拟环境能感觉到人的存在 – 可说明性 (accountability)：将自然界的原则、规则、
逼真的感觉 自然的交互 个人的视点 迅速的响应
视觉，听觉，触觉，嗅觉 等 运动，姿势，语言，身体跟踪 等 用户的眼、耳、身 所感到的感觉信息 感觉信息根据视点变化和用户输入及时更新
虚拟现实的认识(本质)
• 虚拟现实是一种界面: – 器物阶段(实物)--机器阶段(界面)--网络空间阶段(虚拟现实)
人-人面对面进行交流
虚拟现实的历史(主要类型)
• 桌面虚拟现实系统(Desktop VR) – 立体(Stereoscopitic)显示技术
• 临境虚拟现实系统(Immersive VR)
– 利用头盔显示器把用户的视觉、听觉和其它感觉封闭起来
• 增强型现实、增强虚实 • 混合型虚拟现实 • 分布式虚拟现实(Distributed VR)
规范等变成数字系统的有效机制
虚拟现实的认识(本质)
• VR 是一种新的人机界面形式 • VR 为参与者提供了一种临境
(Immersive) 和多感觉通道(Multi-Sensory)的体验 • 寻求一种最佳的人机通讯方式
虚拟律、法则(数字)
•物理空间
•虚拟空间
Douglas C. Engelbart
First mouse invented
三维用户界面
虚拟现实的产生(应用)
• 计算机的发展
– 计算机的活动显示在屏幕上 – 通过屏幕观看虚拟世界 – 看到3D的虚拟物体 – 与虚拟世界相互作用 – 沉浸的灵境系统有声的虚拟世界
虚拟现实的产生(定义1)
In 1989, Jaron Lanier创造虚拟现实的概念。
• 人和人之间的交流非常和谐
– 利用自然的效应通道--输出 – 利用高效的感知通道--输入
• 对其他人的行为和交流信息反应很快,可以从其他人或环境 那里学到知识
– 人能了解各种背景，具有各种社会知识和经验
虚拟现实的认识(本质)
面对面交流
人机交流
动作,行为
可视化(visibility)
感知
社会原则,规则, 规范以及习俗
• 混合现实(Mixed Reality)。 它是将真实环境和 虚拟现实的景象结合起来的一种技术，既可减 少生成复杂环境的开销，又便于对实际物体的 操作；
• 分布式虚拟现实环境。在因特网（环境下，充 分利用各地资源的优势，协同开发虚拟现实的 应用，如美国大型军用交互仿真系统NPSNET 及因特网上多人游戏MUD等；
enabling the end user to interact in realistic three-dimensional
situations.
P. Greenbaum (1992): Virtual Reality is an alternate world filled with computergenerated images that respond to human movements.
1967 Grope (University of North Carolina) 6 degree of freedom force feedback.
1977 The Sayre Glove (Sandin, Sayre, DeFanti Univ. Illinois) Gesture recognition.
虚拟现实的产生(定义2)
• 从界面到网络空间(Cyberspace) – 虚拟现实的形而上学 • (迈克尔.海姆 著 金吾伦 刘钢译)
• Real in effect; not real in fact – 实际上是真实的,而事实上不是真实的 实体或事件
虚拟现实的产生(定义3)
在计算机软硬件及各种传感器(如高性能计算机、 图形图象生成系统，以及特制服装、特制手套、特 别眼镜等)的支持下生成一个逼真的、三维的、具有 一定的视、听、触、嗅等感知能力的环境，便用户 在这些软硬件设备的支持下，能以简捷、自然的方 法与计算机所生成的‘虚拟’的世界中对象进行交互 作用。它是现代高性能计算机系统、AI、CG、CHI、 立体影象、立体声响、模拟仿真等技术综合集成的 成果。目的是建立起一个更为和谐的人工环境” 。 (汪成为)
1961 Headsight System (Philco Corp.) Head Mounted Display (HMD), head tracking, remote video camera, telepresence.
1965 The Ultimate Display (Ivan Sutherland) Stereoscopic HMD, computer generated images, tracking, visually coupled system.
•自然行为
•真实反应 •自然行为
•虚似反应
•人 •实物阶段
•人 •虚拟现实阶段
虚拟现实的认识(交互问题)
•理论(认知科学、计算机科学)
•人类感一觉特点及知觉机制 •虚拟现实中的心理加工机制 •VR中人机交互的认知模型和分布式认知模型多通道 人机交互的用户模型 •多通道人机交互的描述及语义模型 •虚拟环境中人机交互的时空模型
– 分布式VR则是让不同的用户(参与者)共享同一个虚拟空间
虚拟现实的认识(功能特征)
真实感
(环境表达的丰富程度) • 广度 (visibility, audibility, touch, smell) • 深度 (quality, fidelity)
交互性
(用户于环境的信息交换) • 速度 (update rates, time lag) • 映射 (text, speech, gestures, gaze, complex behavior patterns)
虚拟现实中的人机交互的心理学模型
视 觉 表象存储
长时记忆
工作记忆 声 音 存储
知觉处理器
认知处理器 运动处理器
DESK-TOP中的 人机交互模型
• 心理学模型(MHP)