第14页
1.4 声音媒体
音乐合成技术MIDI（音乐设备数字接口）
何谓MIDI：将电子乐器键盘的演奏信息（键名、力度、时 间长短）记录下来，播放时读出这些信息，生成对应乐曲 的声音波形。
MIDI消息 3字节指令，如9nkkvy——MIDI指令 记录状态信息、数据信息、弹奏动作（音高、音长、通 道、力度等） 相当于乐谱的数字描述，由合成器解释，产生音乐 可定义16个通道，同时产生16种音色/声部
第13页
1.4 声音媒体
波形音频
波形音频采样的参数 采样频率：每秒采样次数。高保真44.1kHz，音乐 效果22.05kHz，语音效果11.025kHz 采样定理：当采用频率是信号最高频率2倍时就能 恢复原信号波形。 量化精度/等级：量化二进制位数，8/16/32位 声道数：记录声音时产生声波个数（单/双） 数据量（单位：字节） [(采样频率×采样精度×声道数)/8]×时间
第7页
1.4 声音媒体
声音媒体的性质及分类
分类： 按用途分： 语音 音乐 效果 按处理方式分 波形音频（Waveform Audio） MIDI音频
第8页
1.4 声音媒体
声音媒体的性质及分类
性质 随时间变化的连续时基类媒体：处理时对时序要 求高 三要素：音调也称音高（频率决定）、音强也称 响度（振幅决定）、音色（波形的形状，多频混 合，基音＋泛音） 声音的方向感：声音以波形式传播，有方向，人 能分辩，因此可形成立体声和空间效果
aa是音符数据，表明所演奏的音符，其范围为0～7fH，这样共有128 个音符，足以覆盖整个音域；
bb是速度数据，表明击键的速度，又称力度数据，其范围也是0～7fH。
第1页
1.3 媒体数据
感觉媒体
感觉媒体的性质 不同媒体的格式不同 不同媒体所表达的信息量不同 媒体间的相互关系也包含丰富的信息 部分媒体间可相互转换
第2页
1.3 媒体数据
多媒体数据的特点
数据量大 600MB的标准光盘能存储： 1小时44.1kHz 16bit 立体声语音信号 20秒N制非压缩真彩视频图像（30帧/S） 1小时15分压缩视频图像（200:1压缩比）
连续的音频信号x(t)变为时间上离散的序列 {x1,x2,x3,…}
声音的 模拟信号
采样
量化
编码
声音信号数字化的过程
声音的 数字信号
第12页
1.4 声音媒体
波形音频
100
90
80
70
60 50
采样量化图
40
30
20
10
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
采样点 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 幅度 10 25 62 72 79 85 86 84 90 97 94 89 57 36 0
数据类型多 媒体类型多：文本、图形、图像…… 同一种媒体分多种格式：图像分黑白、彩色、 高分辨率、低分辨率……
第3页
1.3 媒体数据
多媒体数据的特点
不同类型数据之间差别大 空间上：存储量差别大 时间上：时基媒体信息组织方法不同 格式和内容上：不同媒体不可能统一
数据处理复杂 多媒体数据处理包括：采集、编码变换、应用等 环节，每环节都有不同的处理方式。 如：输入输出可分异步和同步两种（下页图）
第9页
1.4 声音媒体
声音媒体的性质及分类
乐音基本知识——三要素构成：音高、音色和响度 音高：声波的基频（越低，声音越沉）
音阶
C
D
E
F
G
A
B
简谱
1
2
3
4
5
6
7
频率Hz 261 293 330 349 392 440 494
音色：具有固定音高和相同谐波的乐音。有时给人感觉有很大差异。 比如：相同音高的钢琴和二胡，我们很容易辨认。原因是：各阶谐 波比例不同，随时间衰减程度不同，音色就不同。比如：小号高次 谐波丰富，所以声音高亢。
声音：运动使空气振动产生声音，其携带的信息量 远远大于文字。
分类： 按频率分：次声(<20Hz)、超声(>20kHz)、可听 声（也称音频，20Hz~20kHz） 音频再按频率范围分：
电话语音(20Hz~3.4kHz) 调幅广播(50Hz~7kHz) 调频广播(20Hz~15kHz) 宽带音频(20Hz~20kHz)
第15页
1.4 声音媒体
音乐合成技术MIDI
MIDI指令
以8nH或9nH开头，一般由3个字节组成，格式是：
8n(9n) aa bb
第一个字节8n(9n)是状态字节(指令)。
其中：8nH是“音符关”指令，在多数MIDI设备中，该指令中的速度 数据
bb 被忽略。 9nH是"音符开"指令，如果速度数据等于0，则等同于8nH命令。
第4页
1.3 媒体数据
多媒体数据的特点
声音
表现
通
合
道 输 入
分 解
成 存储
多通道同步输入输出
输出
第5页
1.3 媒体数据
多媒体数据的特点
声音 图像 文字
声音通道 图像通道 文字通道
计算机
表现
合
成
存储
多通道异步输入输出
输出
第6页
1.4 声音媒体
声音媒体的性质及分类
清华大学本科任选课程
多媒体技术及应用
开课单位：清华大学自动化系 课程编号：00250043 授课时间：2008年秋季学期 主讲教师：胡坚明 副教授
2020年9月16日
1.3 媒体数据
感觉媒体
感觉媒体的分类 视觉类：时基动态视觉媒体、静止视觉媒体 听觉类：时基类连续媒体，声音信息 触觉类：压力、温度、湿度、运动、振动、旋转，也称为 环境媒体 其他类 嗅觉媒体、味觉媒体等 活动媒体：人可以通过活动（一组行为的过程，如作 试验）得到更多的信息； 抽象事实媒体：对原始数据中进行统计、分析、加工 和挖掘等抽象操作，以视觉或听觉媒体加以表达，获 得新信息； 混合媒体：组合媒体的信息大于简单相加
响度和时值：人耳对声音细节的分辨和响度有关，只有适中时，人 耳辨别才最灵敏。时值（持续时间），影响旋律的行进。如：平缓、 跳跃等。
第10页
1.4 声音媒体
声音媒体的性质及分类
性质 周期
音色 变化
音强
第11页
1.4 声音媒体
波形音频
波形音频：以数字方式来表示声波 波形音频的采样：将模拟信号变为数字信号，即将