多媒体技术第一章绪论1有关多媒体的基本概念·多媒体信息处理技术：是指能够同时捕捉、处理、编辑、存储和播放两种以上不同类型信息媒体的技术。
常见信息媒体类型包括：文本、图形、图像、动画、音频、视频等。
·静态媒体与连续媒体：静态媒体（如文本）是没有时间维的媒体，即其播放速度不会影响所含信息的再现。
连续媒体（如视频和音频）是由媒体“量子”（如音频采样和视频帧）组成的，具有隐含的时间维，播放速度影响其所含信息的再现，因此，需要在一段特定的时间里按特定的速度播放；如果播放速度得不到满足，媒体信息的完整性就会受到影响。
·捕捉媒体与合成媒体捕捉媒体是指从现实世界中捕捉到的真实媒体信息。
合成媒体是指通过计算机合成的媒体。
2单机与网络化多媒体单机多媒体是指完全由本机提供多媒体应用所需的全部资源。
例如，基于计算机的培训与教育（CBT 与CBE）、多媒体制作、多媒体写作、多媒体演示。
多媒体计算机网络多媒体是指基于计算机网络（LAN，MAN，W AN）的多媒体应用。
例如，多媒体电子邮件、计算机会议、Internet电话，等等。
多采用客户/服务器模式，也有对等模式。
3多媒体应用领域·多媒体出版·多媒体办公自动化系统·计算机会议·多媒体信息查询系统·交互式电视与视频点播·交互式影院与数字化电影·数字化图书馆·家庭信息中心：回家工作·远程教育·远程医疗·计算机支持下的协同工作（Computer Supported Cooperative Work）·媒体空间（MediaSpace）与赛博（CyberSpace）空间将办公室、公共活动区、公共资源设备等通过计算机网络互联起来，形成超越时空距离的环境，供工作人员交换信息、传递数据或进行讨论，就形成了所谓的媒体空间。
当媒体空间发展到相当大的范围，信息内容极其丰富，用户访问的界面更加方便而且更具沉浸感时，就成为赛博空间。
·虚拟现实（Virtual Reality）第二章数字化多媒体系统1基本概念计算机化的数字式多媒体信息系统。
数字式不等于计算机化。
例如，数字式影碟机就不能称为是数字化多媒体系统。
2基本特征·计算机化至少对终端用户来说媒体信息的播放是由计算机控制的。
·集成化涉及的设备的类型与数量尽可能地单一。
包括存储集成化、捕捉集成化、播放集成化、网络集成化（ISDN与ISPN）·数字化主要是指媒体信息表示的数字化模拟信号-->数字信号：采样、量化、编码、AD/DA优点：有利于计算机化与集成化，方便存储、传输与处理缺点：失真权衡：数字化的精确性（采样速率与编码位数）与（存储器与网络）带宽·交互性四种用户定制化程度：媒体播放开始时间、媒体播放次序、媒体播放速度、播放形式第三章常见媒体类型1文本·非格式化文本：可以使用的字符个数有限（即简单的字符集，如ASCII）而且通常字符的大小固定，仅能按照一种形式和内容使用。
纯文本文件·格式化文本：字符集丰富（如增加罗马字母、各种特殊符号），多种字体、多种大小、多种排版格式。
文本外观可与印刷文本媲美。
2图形与图像·图形：是可修正的文件，在文件格式中必须包含结构化信息即语义内容被包含在对图形的描述中，作为一个对象存储。
一般是用图形编辑器产生或者由程序产生，因此也常被称作计算机图形。
·图像：是不可修正的，在文本格式中没有任何结构信息，因此没有保存任何语义内容，作为位图存储。
图像有两种来源：扫描静态图像和合成静态图像。
前者是通过扫描仪、普通相机与模数转换装置、数字相机等从现实世界中捕捉；后者是由计算机辅助创建或生成，即通过程序、屏幕截取等生成。
象素是图象数字化的基本单位。
每一个象素对应一个数值，称为象素的振幅。
数字化位数称为振幅深度或者象素深度，如1（黑白图象）和24（真彩色图象）3视频与动画·帧：一个完整且独立的窗口视图，作为要播放的视图序列的一个组成部分。
它可能占据整个屏幕，也可能只占据屏幕的一部分。
·帧速率：每秒播放的帧数。
两幅连续帧之间的播放时间间隔即延时通常是恒定的。
在什么样的帧速率下会开始产生平稳运动的印象取决于个体与被播放事物的性质。
通常，平稳运动印象大约开始于每秒16帧的帧速率。
电影24帧/秒。
美日电视标准30帧/秒，欧洲25帧/秒。
HDTV60帧/秒。
·视频（运动图象）：以位图形式存储，因此缺乏语义描述，需要较大的存储能力，分为捕捉运动视频与合成运动视频。
前者是通过普通摄像机与模数转换装置、数字摄像机等从现实世界中捕捉；后者是由计算机辅助创建或生成，即通过程序、屏幕截取等生成。
·动画（运动图形）：存储对象及其时空关系，因此带有语义信息，但是在播放时需要通过计算才能生成相应的视图。
通常是通过动画制作工具或程序生成。
4声音录制、存储、播放与合成5其他类型媒体以上媒体类型实质上只涉及到视听。
人类的认知媒体除此之外还包括触觉、味觉、嗅觉等。
因此，多媒体与多感知是两个不同的概念。
第四章多媒体数据压缩1基本概念数字化的音频与视频信息的数据量极其庞大-->数据存储与网络带宽的压力极大-->需要压缩多媒体信息存在自然冗余，例如，帧与帧之间的象素具有极大的相关性-->能够压缩无损压缩与有损压缩衡量一种数据压缩技术优劣的指标：压缩比、压缩算法是否适于实现、恢复效果2常见压缩标准2.1 ISO指定的国际标准. JPEG标准JPEG（Joint Photographic Expert Group）小组1991年3月提出了ISO CD10918号建议草案：“多灰度静止图象的数据压缩编码”，用于连续色调灰度级或彩色图象的压缩标准，采用离散余弦变换、量化、行程与哈夫曼编码等技术，支持几种操作模式，包括无损（压缩比2:1）与各种类型的有损模式（压缩比可达30:1且没有明显的品质退化）。
Motion JPEG-->Motion Video.JBIG标准JBIG（Joint Bi-level Image Group）是一种无损的二值图象压缩标准。
JBIG可以支持很高的图象分辨率，常用的文件格式为1728×2376或2304×2896，压缩比可达10:1。
虽然JBIG是二值图象的编码标准，但是它也可以对含灰度值的图象或彩色图象进行无失真压缩，在这种情况下，JBIG是对图象的每个比特面作压缩变换。
.MPEG系列标准ISO于1992年制定了运动图象数据压缩编码的标准ISO CD11172，简称MPEG（Motion Picture Expert Group）标准，它是视频图象压缩的一个重要标准。
MEPG编码技术的发展十分迅速，从MPEG-1、MPEG-2到MPEG-4，不仅图象质量得到了很大的提高，而且在编码的可伸缩性方面，也有了很大的灵活性。
MPEG-1是以1.5Mbps的速率传输电视质量的视频信号，其亮度信号的分辨率为352×240，色度信号的分辨率为180×120，每秒25或30帧。
MPEG-1标准有三个部分组成：MPEG视频（速率小于1.5Mbps）、MPEG 音频（速率为64.2Kbps和19.2Kbps）和MPEG系统（视频和音频的同步）。
因此MPEG-1涉及的问题是视频/音频压缩和多种压缩数据流的复合和同步问题。
采用两个基本技术：一是基于16×16子块的运动补偿，可以减少帧序列的时域冗余度；二是基于DCT 的压缩技术，可以减少空域冗余度。
设计MPEG算法本身面临着一个矛盾：为了满足随机访问的需要，最好对其使用帧内编码，但是，仅靠帧内编码是无法达到在保证画面质量的前提下而满足高压缩比的需要的。
因此，MPEG采取了预测和插值两种帧编码技术。
MPEG中的DCT技术不仅用于帧内压缩，而且对于帧间预测误差也作了DCT变换，大大减少了空间域的冗余，达到了进一步压缩的目的。
I帧（I-Frame）（Intracoded Frame）：基准帧（reference frame）。
P帧（P-Frame）（Predicted Frame）：只能根据I帧重建，同时作为重建B帧的基准帧之一。
B帧（B-Frame）（Bidirectional Frame）：根据I帧与P帧重建。
MPEG-1是为中等分辨率视频图象制定的一个标准，特别适合于VCD的性能要求。
MPEG-21993年ISO/IEC/JTC/SC29/WG11推出的ISO/IEC 13818标准，是一种高带宽的视频数据流标准。
MPEG-2既可以工作在隔行扫描模式下，也可以工作在逐行扫描模式下，最多支持5个音频声道，可以实现立体声环绕。
MPEG-2提供了较为广泛的应用，典型的应用有HDTV。
MPEG-2标准主要包括四个部分：1)MPEG-2视频：主要定义了视频数据的编码表示和图象再现的解码方法及过程；2)MPEG-2音频：主要定义了音频数据的编码表示和音频编码信息的解码方法及过程；3)MPEG-2系统：该部分定义了包含视频/音频的复合结构，以及实时播放视频/音频所需的时间同步信息；4) MPEG-2的一致性测试规范。
MPEG-3： 是为1920 x 1080 x 30Hz 的HDTV 制定的。
后来，人们又发现MPEG-2标准也能够很好地支持这种应用，所以MPEG-3后来成为MPEG-2标准的一部分，称为MPEG-2High-1440。
MPEG-4是一种低带宽的视频标准，主要用于视频会议，其视频速率只有64Kbps ，分辨率为176 x 144 x 10Hz 。
极低比特率（V ery Low Bit Rate Transfer ）向前预测双向预测2.2 ITU 指定的国际标准T.120有关电视会议的国际标准T.120，但不太成功，没有被广泛使用。
H.320H.320（其原名为Narrow Band ISDN visual telephone systems and terminal equipment ），但是H.320标准还是只适合在ISDN 、E1、T1等高速率的数字网上运行，而并不适合于象在电话线这种窄带网上使用。
因此，ITU 从1993年开始着手制定一套新的标准H.324。
表2.6 MPEG-2的级别H.261P ×64数字通道(64Kbps 到2.048Mbps ，即P=1-30)。
图象将会及时压缩及解压，这样就将发出方和接收方之间的等待时间减至最低。
H.261唯一的缺点是图象的质量低，后面介绍的H.263标准将取代H.261规范。