当前位置:文档之家› 人机交互系统的设计准备.

人机交互系统的设计准备.

第三讲 人机交互系统的设计准备
——江萍
虚拟环境是一个封闭的回路系统,虚拟环境生成系统将生成的用以仿 真现实环境的图象、音响(和语音)、压力等等通过人机接口系统作用到用户 的感官,并实时通过传感器测试与跟踪用户的行为与反应,以便实时调整 生成的序列,用户则通过交互方式可以实际感知和响应虚拟环境。虚拟环 境人机接口系统中传感器的作用是将得到的用户数据实时地反馈到虚拟环 境系统中,而虚拟环境则可以根据这些数据来计算和生成新的视景、音响 和作用力,以使生成的系统更加逼真,更加符合自然规律,并将新的结果 再作用到用户作为新的激励。 为了设计一个友好和实用的虚拟环境系统,有必要对虚拟环境系统的 构成,特别是人机交互系统的构成,以及其中主要部件和模块的情况和设 计准则有一个概括的了解。 关于友好和实用虚拟环境的解释,本领域的开创人 Ivan Sutherland最 初的想法是利用计算机系统构造一个用户看起来是“景物真实、动作真实、 声音真实、感觉真实”的世界。当时强调的是视觉感知和视觉作用,主要 想法是通过显示设备(头盔式显示器HMD)来解决问题。从虚拟环境技术的 应用中不难发现,在虚拟环境的实现中实际要解决的问题远比仅仅开发一 个显示设备要复杂得多,因为它需要考虑虚拟环境系统的所有主动和被动 的部分,包括视觉、听觉、触觉、嗅觉以及回路中人的运动和对环境的反 应。由此,我们可以看出这样的系统绝不只是一个简单的显示系统,至少 还必须考虑音响系统、力觉作用系统、人类感知的心理学和生理学因素、 传感器技术、实时图象生成及系统集成。
虚拟环境的基本设计准则
设计一个应用虚拟环境系统,应该确定的设计准则和策略: 所设计的系统应该是开放的 虚拟环境系统是一个集成系统,是一个尚 不成熟的技术学科。为了使所设计的系统能够方便地在绝大多数硬件平台 上运行,能够吸收任何新的软件系统和硬件设备成为自己的组成部分,能 够方便地在网络环境上运行,必须遵循开放性设计的原则。 所设计的系统应该是面向对象的和可重用的 虚拟环境系统中的软件子 系统和传感设备种类繁多,而且新的设备不断出现,新的应用要求也不断 出现,因此必须采用面向对象技术,将功能块和功能设备全部利用面向对 象技术进行描述和管理。 所设计的系统应该是服从标准化原则 必须认真了解每个分支领域在接 口和算法方面的标准化现状,严格服从已有的标准化方案,对正在制定中 的标准化方案也要充分注意。 所选择的部件或子系统应该是有生命力 在灵境的商品化领域,特别是 虚拟环境中的传感设备和应用软件方面,绝大多数的公司都是只有几十个 人甚至几个人,因而如何判断他们的生命力是一个很困难的问题。 用户的安全和健康放在第一位 与其他的计算机应用系统不同,虚拟环 境系统使用生成的视景和音响,使用力学装置产生虚拟环境,由于我们对 生成的环境、对人的健康到底会有什么样的影响和副作用尚不十分清楚, 所以在设计和引入某些设备时一定要首先考虑可靠性,要仔细计算或调查 对于用户可能带来的任何影响。
虚拟环境系统分类
根据应用的要求,虚拟环境系统可以设计成非配带型或配带型: 非配带型 有时也称为桌上型,其视景是通过计算机的屏幕,或电视 屏幕,或投影屏幕,或室内的实际景物加上部分计算机生成的环境来提示 给用户的;音响是通过安放在桌上的或室内的音响系统提供的。汽车模拟 器、飞机模拟器、电子会议等都属于非配带型。 非配带型的优点是用户比较自由,不需要戴头盔和耳机,不需要戴数 据手套,不需要戴跟踪器,可以同时允许多个用户加人系统,对用户数的 限制铰小。但非配带型系统不容易解决双目视觉竞争问题。不容易构造用 户沉浸于其中的环境。 非配带型系统中比较重要的功能块包括计算机系统、显示系统、摄象 机的光学跟踪系统、音响系统、甚至网络系统。 配带型 用封闭的视景和音响系统将用户的视听觉与外界隔离,使用 户完全置于计算机生成的环境之中。计算机通过用户戴的数据手套和跟踪 器可以测试出用户的运动和姿态,并将测得的数据反馈到生成的视景中, 产生人在其中的效果。 配带型系统中比较重要的功能块包括计算机系统、头盔式显示器、图 象生成器、数据手套、音响系统和力学传感器系统等等。
虚拟环境中人机接口系统的构成
在理想的情况下,虚拟环境系 统应当是多传感器构成的人机交互 方便的综合集成系统,该系统所产 生的图象的分辨率应该足够高,图 象要十分丰富和自然(主要指图象的 色彩和运动图象的连续及实时显示), 系统集成不会产生延迟,色彩和立 体感要足够好,音响的立体声效果 要好,语音合成要足够逼真,力感 要足够细微,用户使用该系统不会 轻易感觉疲劳,系统中的传感器系 统应具有多个自由度,延迟时间要 足够短。 一个理想的虚拟环境系统的人 机交互系统应该包括右图所示的内 容:
立体声 音响合成 语音合成 虚 拟 环 境 生 成 器 图形图象 生成 语音识别 头眼手身 跟踪 人体语言 识别 运动学 力觉作 用装置
头 盔 显 示 设 备
多传感 器组
ห้องสมุดไป่ตู้
分辨率足够的立体显示设备 如头盔式显示器HMD,分左右两屏显
示景物,并经过视觉的作用产生立体视觉效果; 立体声音响合成 产生以用户本人为原点的立体声音响; 语音合成 根据文本生成自然语言的语音; 图形与图象生成 产生以用户本人为视点的包括景物和运动目标的视 景; 头、眼、手、身体定位与跟踪 确定用户头、眼、手和身体的位置 与方向; 人体语言识别 识别用户的手势、头势、体势等形体语言信息; 语音识别 识别用户的语音命令甚至会话内容; 触觉系统 提供重力与压力的反馈; 运动学系统 提供用户和目标运动的法则和定律; 虚拟环境生成器 根据内部模型和外部环境的变化计算生成人在回路 中的逼真的虚拟环境。 从系统组织上分类,我们可以将虚拟环境的人机交互子系统分为硬件、 软件、界面和人性因素等四部分。 从功能的角度分类,将人机交互子系统分为显示与表现、生成与合成、 感知与识别和人性因素等四部分。
相关主题