计算机多媒体技术
• 多媒体技术的定义
以数字化为基础、对媒体进行采集、编码、 存储、传输、处理和表现
• 研究的主要内容
构造媒体间的逻辑联系、集成地、交互性地 表示和表现各种媒体
多媒体技术的关键特征
信息媒体的多样性
信息多维化
媒体表现的交互性
虚拟现实（virtual Reality)
媒体表示的集成性
MPC应具有的性能
（1）图像处理能力，包括图像的获取、编辑、变换 （2）声音处理能力，包括声音的采样、编辑 （3）MIDI乐器数字接口 （4）动画处理能力
计算机多媒体系统
• 多媒体信息系统 – 多种媒体整体综合性的有机应用 • 多媒体系统层次结构 用户→应用软件→多媒体操作系统 →驱动程序(I/O)→实时压缩、解压 →多媒体硬件设备
多媒体技术在计算机中的应用
• • • • 录音和播音 音乐合成和播放 图形照片的编辑 影视编辑与播放
多媒体计算机设备简介（一）
• • • • • 鼠标器和跟踪球 光笔 键盘 CD-ROM 扫描仪
多媒体计算机设备简介（二）
• • • • • • • 显示器的类型 （CGA，VGA，SVGA，像素，分辨率） 数字照相机（CCD阵列） 声卡 音箱 麦克风 触摸屏
声卡的原理及使用
• 功能：把模拟信号数字化 / 数字信号模拟化 • 性质：8位，16位，32位（采样分辨率） • 采样频率（4KHZ-44.1KHZ） • 功能接口：MIDI接口，CD-ROM接口 组成： ★线路输入（LINE IN）插孔 ★ 麦 克 风 （ MIC ） 输 入 插 孔 ★线路输出插孔（ LINE Out, AUDIO OUT ） ★D形连接口(15芯D型接口)
多媒体信息处理技术(1)
• 音频技术（A/D,D/A) – 数字音频文件（WAV) – 声音的物理特性（频率、振幅） – 数字音频基础（采样频率、量化） – 数字音频文件格式（WAV、音轨、 MID）
音乐合成与MIDI
• 概念：电子乐器与电脑沟通的语言 • 原理：MIDI信息是乐谱数字化的描述 – MIDI文件（音序）记录演奏的动作
多媒体信息处理技术(2)
• 图像与视频处理技术 – 图形与图像（矢量，位图，动态图像） – 视频技术 • 模拟视频 • 数字视频（对模拟视频数字化）
• 数据压缩技术的性能指标
– 压缩比（输入量和输出量之比） – 图像质量（有损压缩、无损压缩） – 压缩和解压的速度要求 动态视频：１５帧／秒，全态视频：２５ˇ３０／秒
数据压缩的过程
（1）编码过程（可逆编码，不可逆编码） （2）解码过程（还原）
数据的 空间冗余 时间冗余 信息冗余 视觉冗余（人的视觉分辨率 26灰度等级，图像量化 为 28灰度等级） 听觉冗余
多媒体个人计算机——MPC
定义：集声、文、图、像于一体， 具有多媒体功能的个人计算机。
MPC包括的五大部件
– – – – – 个人计算机（PC) CD-ROM（ＤＶＤ）光驱 高质量数字音响（声卡） 图文并茂的显示（视频卡） 多媒体操作系统
MPC的技术规范
• 1990 MPC-1 • 1993 MPC-2 • 1995 MPC-3
媒体的特点
各种媒体具有不同的特点 文本媒体擅长表现概念和刻画细节 图形媒体擅长表达事物的轮廓 视频媒体擅长表现真实的场景 声音媒体擅长解说
媒体的性质
媒体具有数据性质
（1）媒体数据具有不同格式 （2）同类媒体数据格式可以转换
媒体具有空间性质
（1）媒体的表现空间（可视媒体的显示位置、形式、顺序） （2）媒体反映信息的空间结构（将信息在空间有序的组织、 构照空间“上下文”关系）
多媒体计算机的基本技术和关键技术
• 视频和音频数据压缩和解压缩技术 • 超大规模集成电路制造技术（多媒体专用芯片） 视频/音频芯片组、视频压缩/还原芯片组、数字/模拟 转换芯片、数字信号处理芯片（DSP ） • 大容量光盘存储器（650M） • 多媒体同步技术 • 多媒体网络和通信技术
多媒体数据的压缩
媒体具有时间性质
（1）媒体表现所需的时间 （2）媒体表现的时序结构
不同媒体结合的影响
理解程度 视觉（83%）听觉（11%）触觉（3%） 记忆驻留 谈话方式 2H: (70%) 72H: (10%) 观看方式 2H: (72%) 72H: (20%) 视听方式 2H: (85%) 72H: (65%)
媒体本身的集成、处理媒体设备的集成
常见的媒体元素
文本（Text ) 格式化文本、纯文本 图形 ( Graphic ) 矢量图 图像 ( Image ) 场镜画面 视频 ( Video ) 图像的顺序播放 音频 ( Audeo ) 波形声音、音乐（MIDI） 动画 ( Animation ) 造型动画、幀动画
多媒体的工作文件
• • • • 文本类（*.TXT,*.DOC…） 图像类（*.BMP,*.PCX,*.GIF…) 声音类（*.WAV,*.MID,MPx…) 视频类（*.AVI,*.MOV,*.DAT,*.MPG…)
多媒体数据的特点
（１）数据量大（640×480,24bit，1幀1MB,25MB/秒） （２）数据类型多 （３）数据类型差别大 （４）数据输入、输出复杂 输入：多通道异步输入 输出：合成→同步输出→表现
多媒体计算机软件平台技术
• • • • • 多媒体操作系统 素材制作软件 多媒体编辑创作软件 多媒体应用软件 超文本与超媒体技术 – 超文本：以结点为单位组织文本信息 – 超媒体：以网状体系组织多媒体信息
多媒体技术的应用
• • • • • 教育培训 (CAI) 网络及通信 出版与图书 商业 娱乐
数据的压缩方法的分类
预测编码 变换编码 统计编码（可逆编码） 分析-合计编码 统计编码的原理： 根据信息出现概率的分布编码，出现概率越低的模式， 其编码位数就越多，出现概率越高的模式，其编码位 数就越少。在数据流中所有模式出现概率相等，信源 没有冗余。
多媒体计算机硬件系统结构的关键技术
• 多媒体声音卡技术 • 多媒体视频卡技术 • 多媒体触摸屏技术