17
Speech Signal Processing
语音信号波形表示示例
18
Speech Signal Processing
一些常用的语音波形分析与处理的软件
Goldwave (audio editor) Esps Xwaves (routines + visual.) Praat (speech analysis) Wavesurfer (speech editor) Transcriber (annotation tool) Matlab (general purpose soft) OGI speech tools (routines + app. dev.) …winpitch, pitchworks, phonedit, cooledit, Cooledit, SFS,Nero waveedit…..
30
Speech Signal Processing
80年代以来– 近代语音处理技术
• 语音编码技术 – 1980年2.4kb/s LPC-10 – 1988年4.8kb/sCELP标准FS-1016，16kb/s REAL编码标 准（欧洲） – 90年代2.4kb/s MBE – G系列Model Based Vocoder • 语音合成 – 1980年Klatt 串/并联共振峰合成器 – 基于规则和波形拼接的合成--TD-PSOLA语音合成 – 基于统计大语料库的合成--Corpus based 语音合成方法 – Trainable TTS – HMM based 语音合成方法
8
Speech Signal Processing
教材目录
第01章 绪论：2学时 第02章 语音信号处理基础知识：4学时 第03章 语音信号的时域分析：6学时 第04章 短时傅立叶分析：4学时 第05章 同态滤波及倒谱分析：6学时 第06章 语音信号线性预测分析： 第07章 语音信号的矢量量化： 第08章 隐马尔可夫模型(HMM) 2学时 第09章 语音检测分析 2学时 第10章 语音编码(1)——波形编码 2学时 第11章 语音编码(2)——声码器技术及混合编码 2学时 第12章 语音合成 2学时 第13章 语音识别4学时 第14章 说话人识别 第15章 语音增强 2学时 第16章 人工神经网络的应用 第17章 语音信号处理中的新兴与前沿技术
返回
24
Speech Signal Processing
二、语音处理的发展历史
• 1876年贝尔发明电话 – “如果能使电流强度像声音通过空气时，空气密度那样 变化地变化，那么不管是我讲的话，还是你讲的话音， 都能被传输远方” – 统治电话通信一个世纪之久的原则 • 1939年Dudley发明声码器 – 根据载波电话原理，将声带正东产生的音源类比载波 信号，口腔运动看成是对载波的调制 – 将3000Hz带宽的语音信号压缩到300Hz以内 – 打破了垄断一个多世纪的波性原则，导致语音参数模 型的出现 Speech Signal Processing
2
Speech Signal Processing
考核方式
平时成绩 30% 考勤(20分) 作业 (20分) 学习态度(30分) 提问(30分) 考试成绩 70% 上机考试与卷面考试相结合
Speech Signal Processing
3
课程位置
前续课程 信号与系统、数字信号处理、数据压缩 技术、工程数学 后续课程及综合应用 DSP技术、多媒体通信技术、移动通信 及各类语音电子设备
25
1939年Dudley发明声码器
26
Speech Signal Processing
1939年纽约国际博览会展示 Voder盛况
27
Speech Signal Processing
1947年贝尔实验室发明语图仪
28
Speech Signal Processing
50年代发展
• 1952年BELL实验室Davis等首次研制成功识别十个英 语数字的实验装置（根据第一、二共振峰位置特征） • 1956年Duddley等将语音分割成元音、辅音等，改进这 一装置 • 1956年Olson等采用8个带通滤波器提取频谱参量作特 征，研制成一台简单的声控打字机
4
Speech Signal Processing
教材
(英文缩写请查阅附录)
《语音信号处理》（第3版）胡航 哈尔滨工业大学出版社
5
Speech Signal Processing
参考资料
-语音信号数字处理 Lawrence Rabiner -语音识别基本原理 Lawrence Rabiner -语音信号处理 赵力
7
Speech Signal Processing
课程内容
• 语音处理基本原理 – 语音信号及其特征 – 语音产生与感知机理 – 汉语语音学 • 语音处理的基本技术 – 时间域与频率域方法，STFT，同态处理，LPC分析…. – 统计分类与模式识别 • 语音编码的基本概念 – 波形编码与参数编码 – 近代编码技术 • 应用专题 – 语音合成，TTS – 语音识别
22
Speech Signal Processing
语音信号数字处理基本过程
以降低语音发音速率的处理过程为例
23
Speech Signal Processing
语音信号数字处理基本过程
Continuous-time waveform（Speech Signal） -> A/D converter -> Discrete-time signal -> Processing by Digital computer -> Modified discrete-time signal -> D/A converter -> Analog waveform
9
Speech Signal Processing
第一章 绪论
一． 二． 三． 四．
数字语音处理研究的内容 语音处理的发展历史 语音文件Speech Signal Processing
语音信息的重要性
其它信息 20% 图像信息 语音信息 其它信息
语音信息 20%
图像信息 60%
13
Speech Signal Processing
1.语音信号处理的实质
3).学科基础：以语音语言学和数字信号处 理为基础而形成的一门涉及面很广的学科, 与心理学、生理学、计算机科学、通信与 信息科学、模式识别和人工智能等学科均 有密切的关系。
14
Speech Signal Processing
语音信号处理
一 份 辛 苦 一 份 才
华东交通大学 通信工程教研室 罗 晖
Tel: 7046241 Email:lh_jxnc@
1
Speech Signal Processing
答疑安排
答疑地点： 答疑地点：4＃306 答疑时间： 答疑时间：周四下午 4:30－ 4:30－5:30 资源内容： 资源内容：网络课程
Speech Signal Processing
3. 语音信号的数字处理方法
① ② ③ ④ ⑤
语音信号的特点—短时平稳性 短时时域处理方法—短时能量、短时平 均过零率以及短时自相关函数计算 短时频域分析—短时傅立叶分析 线性预测技术—本质上属于时域分析方 法，但其结果可以是频域参数 倒谱和同态分析、矢量量化和隐马尔可 夫模型
31
Speech Signal Processing
80年代以来–近代语音处理技术
• 语音识别 – 基于HMM框架的统计模式识别算法发展与工程化 – 80年代中期开始美国DARPA委托NIST组织的一系列 评测，对语音识别研究发展重要的影响 – 语音处理技术产品化热潮 • 1985年开始IBM大词汇英语听写机Tangora • 90年代初Dragon Dictate70000词识别系统 • 1988年无限词汇的中文听写机研制成功 – 90年代初开始 • CMU的Sphinx非特定人连续语音识别系统 • 1997年IBM推出的中文ViaVoice • VLSI和计算机技术发展带来的巨大推动 Speech Signal Processing
6
Speech Signal Processing
参考资料
– X. Huang, A. Acero and H-W Hon, Spoken Language Processing, Prentice Hall Inc, 2000 – 陈永彬，王仁华《语言信号处理》， 中国科学技术大学出版社 1990 – L. R. Rabiner and R. W. Schafer, Digital Processing of Speech Signals, Prentice Hall Inc, 1978 – Richard O. Duda, Peter E. Hart,David G. Stork, PatternClassification (Second Edition), John Wiley & Sons Inc., 2003 – L.R.Rabiner and B.H.Juang, Fundamentals of Speech Recognition,Prentice Hall Inc, 1993 – 易克初，田斌，付强《语音信号处理》，国防工业出版社，2000 – 杨行峻，迟惠生等《语音信号数字处理》，电子工业出版社， 1995 – 吴宗济，林茂灿《实验语音学概要》，高等教育出版社，1989
1.语音信号处理的实质
4).研究重点： ①语音分析。 ②语音编码与压缩。 ③语音合成。 ④语音识别与理解。 ⑤语音增强。
返回
15
Speech Signal Processing
2. 语音信号的表示
1) 语音表示方法的选择 要保存语音信号中的消息内容； 表示形式要便于传输和存储、变换和处理，不 至于严重损害消息的内容，有用信息更易于被 提取； 2) 语音信号数字表示的优点 数字技术能完成许多很复杂的信号处理工作； 语音可以看成是音素的组合，具有离散的性质， 特别适合于数字处理；