多媒体原理与系统设计第一章多媒体技术概述1.相关基本概念1)媒体：信息传输、存储和呈现的载体2)新媒体：艺术与现代数字媒体技术结合的新型媒体形态3)媒体分类：a)感觉媒体：作用于感觉器官的信息形态b)表示媒体：以模拟或数字编码形态出现的感觉媒体c)显示媒体：(显示器)d)存储媒体：(光盘)e)传输媒体：(光纤)4)多媒体(技术)：融合了两种以上感觉媒体的协同应用系统和技术，以帮助人们获得更丰富的应用体验5)超媒体：(媒体的媒体)通过超链接技术构成的多媒体系统6)多媒体技术的特点：a)媒体形式的多样性b)媒体技术的集成性c)媒体应用的交互性2.应用场景●多媒体电子消费领域●现代教育技术领域●通信领域●军事领域管理与决策领域●表演与会展领域●信息可视化领域●物联网工程领域●Web应用系统3.多媒体技术的体系结构第二章数字音频基础1.声音的相关概念1)声音的基本物理属性：频率、振幅2)声音的三要素：音高、音色、音强3)模拟音频(Analogous Audio)：用连续的电流或电压表示的音频信号4)数字音频(Digital Audio)：通过采用和量化技术获得的离散性(数字化)音频数据5)采样频率：单位时间内采集的样本数，是采样周期的倒数●CD-Audio采样频率为44.1kHz●一般网络和移动通信采样频率：8kHz6)量化深度：表示一个样本的二进制的位数(样本的比特数)2.声卡的结构及工作原理功能模块：a)DSP：Digital Signal Processor(数字信号处理器)●Sampling(采样)●Quantization(量化)●Code and decode(编/解码)●D/Ab)Synthesizer：合成器c)ROM/RAM：波表d)Mixture：混声器(过滤、去噪、切换单/双声道)3.数字音频编码1)音频编码：将模拟音频转换成数字音频里并以某种格式存储的技术或过程2)PCM编码：即通过脉冲编码调制的方式生成数字音频数据的技术或格式a)PCM的均匀量化：量化阶跃值是常数的PCM量化b)非均匀量化：量化阶跃值为变量的PCM量化(又称非线性量化)c)μ律压扩：有μ洗漱调节的对数函数型非线性量化PCM编码d)A律压扩：由A系数调节的分段函数型线性与非线性组合量化构成的PCM编码3)增量调制编码(DM)：通过增量起伏来记录模拟音频信号实际变化过程的数字音频编码(数据量很小，用离散的跳跃信号去仿真(模拟)去逼近输入信号的变化) DM算法描述：y0 = 0；y[0] = 0；x[0] = 1；for (ith sampling not end){if(x[i-1] == 1 )y[i] = y[i–1] + ∆；elsey[i] = y[i-1] - ∆；if ( y i > y[i] ) x[i] = 1else x[i] = 0;}第三章音频数据处理程序设计1.音频数据格式分析波形音频文件格式：存储数字音频样本序列的格式文件，该文件直接记录的音频的波形WAVE波形音频文件：使用最广泛，遵从RIFF格式标准●文件结构：RIFF WAVE Chunk、Format Chunk、Fact Chunk、DataChunk●wav数据的bit格式形式：✓单声道8bit量化、双声道8bit量化✓单声道16bit量化、双声道16bit量化2.音频回放与编程接口1)使用PlaySound函数2)使用MCI函数3)基于DirectShow开发包的应用程序：目标是简化在Windows平台上创建数字媒体的任务，通过将应用程序从数据传输、硬件区别、同步中隔离出来诸多挑战：a)多媒体流包含大量需要被快速处理的数据b)音频和视频必须同步c)数据来源很多：本地、计算机网路、广播、摄像机d)数据格式繁多：Audio-Video Interleaved (AVI)Advanced Streaming Format (ASF)Motion Picture Experts Group (MPEG)Digital Video (DV)e)应用程序并不能预见终端设备上的硬件4)基于Media Foundation开发包的应用程序3.基于MF的音频转码程序设计第四章无损数据压缩编码1.熵编码1)算术编码(Arithmetic Coding)2)行程编码：可用索引+索引对象(重复对象)的方式来表示2.字典编码1)第一类字典编码:用指向早起曾经出现过的字符串的指针来表示当前被编码字符串算法：LZ77算法、LZSS算法(LZ77的改进版)2)第二类字典编码：从输入的数据流中创建一个短语词典，后续数据流中若出现词典中的短语，则可用该短语在词典中的索引表示该短语，而不需要输出短语本身算法：LZ78算法第五章数字图像基础1.色彩及其模型1)色彩的概念2)色彩的三特性a)亮度：色光的明暗程度，由色光所含的能量决定b)色调：颜色的类别c)饱和度：色调深浅的程度3)色彩模型：对三维色彩空间中的可见光子集的一个描述4)RGB模型：用红、绿、蓝三种基本颜色表示其他颜色的模型RGBA模型：A表示Alpha通道(一般用作不透明度参数，0%表示完全透明，100%表示完全不透明)5)CMYK模型：用物质吸收光的数量表示色彩的方式(青C，品M，黄Y，黑K)6)HSV模型：a)色相(H)：色彩的基本属性b)饱和度(S)：色彩的纯度c)亮度值(V)：颜色的明亮程度2.数字图像的概念1)数字图像：用二维像素矩阵表示的图像2)像素：图像平面中特定位置的一个点，具有一定的颜色属性3)二值图像：像素值仅仅为两种颜色的图像4)灰度图像：像素值分布在RGB色彩空间中的灰度线上的数字图像5)色彩图像：由三幅原色图像(红、绿、蓝)融合而成的图像6)真彩图像：像素值直接表示了颜色属性的彩色图像7)伪彩图像：像素值不直接表示颜色值本身而表示了颜色在调色板中索引的彩色图像8)图像分辨率：图像在水平和垂直方向上的像素数的乘积3.图像的存储格式1)BMP文件格式2)BMP文件的数据存储格式a)非压缩格式：b)压缩格式：●BI_RLE_8编码：一个字节表示一个像素，二个字节为一个编码单元●BI_RLE_4编码4.图像压缩技术JPEG的格式第六章图像处理程序设计1.图像的基本操作1)利用系统函数显示图像2)利用打点函数显示图像2.滤波与合成1)卷积运算2)高斯模板第七章数字视频基础1.模拟电视信号分析1)模拟电视系统的主要概念：a)扫描：逐行扫描、隔行扫描b)电视制式c)彩色模型2)模拟电视信号分析a)电视信号的调制过程b)复合电视信号c)分量电视信号d)S-Video信号2.模拟视频信号的数字化1)数字化方法a)先分离再采样b)先采样再分离c)采样频率d)每行有效样本数e)采样格式f)视频图像的公共交换格式3.数字视频数据格式1)YUV文件格式2)AVI文件格式第八章数字视频编码1.视频编码原理1)视频数据分层2)视频图像的类型a)frame：采用帧内编码的图像b)P-frame：采用单向预测编码的图像c)B-frame：采用双向预测编码的图像3)P/B图像的处理过程4)块匹配标准a)绝对差b)均方差c)平均绝对差5)最佳匹配宏块搜索算法a)二维对数法b)三步法c)对偶搜索法2.H.2613.H.2631)支持更多格式2)运动向量的模式不受限制3)基于语法的算术编码4)高级预测模式5)P/B帧模式4.MPEG-1/21)MPEG-1采用了I、B、P的帧分类2)MPEG-1帧内量化表与帧间量化表不同3)MPEG-2采用分场压缩技术4)MPEG-2的DCT系数行程编码之子形扫描方式5.MPEG-41)MPEG-4的基本概念a)视频对象：视频图像序列中的同一个物理对象b)视频对象区：位于一个图像中的视频对象2)MPEG-4的编码方法a)帧视频对象编码b)任意视频对象的编码c)轮廓编码d)纹理编码3)MPEG-4面向对象的表示与交互式框架第九章MPEG音频1.听觉系统的感知特性1)对响度的感知2)对音高的感知3)掩蔽效应2.MPEG Audio的心理声学模型3.MPEG Audio编解码系统1)系统结构2)部件分析a)多相滤波器组：将输入信号分层32个频率子带b)编码器c)心理声学模型d)心理声学模型如何作用于编码器：计算所谓信掩比，通过SMR来调节量化深度3)MPEG Audio的编码分层：层1、层2、层3(MP3)第十章光学存储媒体1.基本技术1)光盘的构造2)光盘驱动器的构造3)通道编码2.激光数字唱盘CD-DA：Red Book1)帧、扇区和区的概念2)CD-DA的数据率与容量计算3.CD-ROM：黄皮书pact Disk Write Once第十一章网络组播技术1.组播的概念1)广播：将源端数据发送到一个网络中的所有主机的传播方式。

广播使用广播地址2)单播：将源端数据发送到网络中的某个特定主机的传播方式。

单播使用特定主机地址3)组播：将源端数据发送到网络中的一组主机的传播方式。

组播使用组地址2.组播的应用：远程会议、Web缓存更新…1)组播与广播、单播的比较a)广播（Broadcast）:●将一个数据拷贝发送到网络中的所有主机●实现简单（Simple）, 但是效率不高（inefficient）●即使主机对该数据不感兴趣也必须处理它●因此占用了主机的CPU资源●会产生广播风暴“broadcast storms”b)多个重复的单播（Replicated Unicast）：●发送者依次向各接收主机发送相同的数据●发送者必须事先知道每个接收主机的地址●通讯量在发送方过于集中，●但比较可靠（Reliability => per-receiver state, separatesessions/processes at sender）3.IP组播的体系结构4.IP组播模型：RFC 11125.IP组播地址6.IP组播地址到链路层组地址的映射7.群组关系管理协议8.组播路由第十二章视频会议系统1.视频会议系统的概念1)基本定义：●视频会议系统：利用通信设施（如卫星模拟传输线路、电话网、有线电视传输网、计算机网络、互联网）传输文本、音频和视频数据，实现分布式会议功能的多媒体应用系统2)用途：●各类不同规模的远程会议●远程教育●远程协同工作3)视频会议系统的一般组成:●会议终端●会议控制器●多点控制单元(MCU)2.传输拓扑结构分析1)全互联结构2)星形结构(基于汇聚点的传输方式)3)网络层源根组播结构3.一种桌面会议系统的应用基于IP Multicast 的多点视频会议系统。