声学场景深度识别系统设计 李嘉 ，黄程韦 。韩辰’ （１．江苏省广播电视总台，南京２１００１３；２．苏州大学，苏州２１５００６）
摘要：基于视频的监控系统存在很多不足，声学场景识别系统依据基于人耳听觉仿生的目标声音识别技术，积极探 索先进的人耳仿生理论、特征提取技术、目标声音分类技术，实现对声音场景进行自动化分类和信息抽取，具有广泛的 应用前景。
关键词：声音识别；声音场景；特征提取；神经网络 ｄｏｉ：１０．３９６９／Ｊ．ＩＳＳＮ．１６７２—７２７４．２０１６．０７．００５ 中图分类号：ＴＮ９１２ 文献标示码：Ａ 文章编号：１６７２—７２７４（２０１６）０７—００１２—０３
Ｔａｌｋ ａｂｏｕｔ Ａｃｏｕｓｔｉｃ Ｓｃｅｎｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｙｓｔｅｍ Ｌｉ Ｊｉａ ，Ｈｕａｎｇ Ｃｈｅｎｇｗｅｉ ，Ｈａｎ Ｃｈｅｎ （１．Ｊｉａｎｇｓｕ Ｂｒｏａｄｃａｓｔｉｎｇ Ｃｏｒｐｏｒａｔｉｏｎ，Ｎａｎｊｉｎｇ，２１００１３；２．Ｓｏｏ Ｃｈｏｗ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，２１５００６）
Ａｂｓｔｒａｃｔ：Ａｓ ｖｉｄｅｏ ｍｏｎｉｔｏｒｉｎｇ ｓｙｓｔｅｍｓ ｈａｓ ｍａｎｙ ｄｅｆｉｃｉｅｎｃｉｅｓ，Ａｃｏｕｓｔｉｃ Ｓｃｅｎｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｙｓｔｅｍ ｉｓ ｂｕｉｌｔ ｏｎ ｔａｒｇｅｔ ｖｏｉｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ｂａｓｅｄ ｏｎ Ｂｉｏｎｉｃ ｅａｒ ｈｅａｒｉｎｇ，ａｎｄ ａｃｔｉｖｅｌｙ ｅｘｐｌｏｒｅ ａｄｖａｎｃｅｄ ｅａｒ ｂｉｏｎｉｃ ｔｈｅｏｒｙ， ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ，ｔａｒｇｅｔ ｓｏｕｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ．Ｉｔ ｃａｎ ａｃｈｉｅｖｅ ｔｈｅ ｓｏｕｎｄ ｓｃｅｎｅ ａｕｔｏｍａｔｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ
ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ ｅｘｔｒａｃｔｉｏｎ，ａｎｄ ｈａｓ ｂｒｏａｄ ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｓｐｅｃｔｓ．
Ｋｅｙｗｏｒｄｓ：Ｖｏｉｃｅ Ｒｅｃｏｇｎｉｔｉｏ；Ｓｏｕｎｄ Ｓｃｅｎｅ；Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ；Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ
ｌ 引言 ２．２网络拓扑
声学场景深度识别系统既可对目前的视频监控 进行有益的补充，以应对遮蔽、光照变化、死角等情 况，还可对声音信号场景进行识别，方便自动搜索海 量数据、识别目标，并实时发现和处理突发事件。
音频传感器尺寸较小，可较为隐蔽的布放，也 可以和视频摄像头布置在一起，作为对视频监控的 有益补充，将采集的音频特征通过Ｗｉ—Ｆｉ、数据网络 或者有线方式传输给后台数据中心处理。 ２系统设计 ２．３功能设计
２．１系统总体架构 系统总体框架如图１所示。
Ｉ！兰竺竺 型Ｆ １ ２ ＤＩＧＩＴＣＷ２。 。 兰竺！竺｝：： 兰 兰塑
图１系统总体架构
该系统可实现如下几个功能：场景识别，身份识 别，内容检索，声源定位与信号增强。
３关键技术原理 ３．１信号特征提取 通过对公共场所异常声音声谱图等特性的分 析，将公共场所异常声音信号转换为异常声音的声 谱图，采用２Ｄ．Ｇａｂｏｒ滤波器对声谱图时频特征进行 特征描述；采用随机非负独立成分分析（ＳＮＩＣＡ） 提取异常声音的声谱图特征，最后采用稀疏表示分 类（ＳＲＣ）方法进行分类识别。 下面描述基于人耳掩蔽效应的增强算法。由于语 音信号通常是逐帧进行处理的，写成帧的形式 ｙ（ｍ ｎ） ｘ（ｍ．ｎ）＋ｄ｛ｍ．ｎ） 式中，ｍ为帧的序号，ｍ＝ｌ，２，３…； 为帧内数据 点序号，ｎ＝Ｏ，１…．，Ｎ．１，Ｎ为帧长。对等式两边进行 傅里叶变换，可得 Ｙ（ｍ．ｋ）＝Ｘ（ｍ．ｋ）＋Ｄ（ｍ．ｋ） 式中，ｋ是离散频率；Ｙ（ｍ， ，Ｘ（ｍ， ，Ｄ ， 分 别是含噪语音ｙ（ｍ， 、纯净语音 ， 、噪声ｄｏｎ， 的傅立叶变换。
增强以后的语音幅度谱函数可以表达为 ｒ ｒ ］Ｉ ．］ Ｘ（ｍ，ｋ）＝ａｒｇｍｉｎＥ｛ｄＩ Ｘ（ｍ， ），Ｘ ｆｌｙｏ｝ Ｘ Ｌ Ｌ ｊ Ｊ
式中， 是ｍ 帧带噪语音的傅立叶变换， 厂 ＾］ ＝ （０，尼）， （１，尼），．．．，ｒｍ．（ｍ’，Ｉｉ｝）｝；ｄＩ Ｘ（ｍ， ）， Ｉ是
Ｘ（ｍ， ）和 的距离度量函数，用来度量语音增强前 后语音谱的接近程度。
目标是找到 ｆ 。后１使得在条件期望之下的距离度 量函数最小。如果ｍｌ＜ ，那么就是对 ｆ ，后）的因果估 计；如果，，ｚ ＞，，２，那么就是对 （ ， ）的非因果估计。
增强函数的形式可以表达为
（ ｙｍ） 式中，先验信噪比为 Ｉ ｔ垒 生；后验信噪比 为 垒 。由 １递推 叫 的迭代算法为 Ｉ ： （１＋４ｍｌｍ－ｌ￣ｍ） ’ １＋；￣ｍｌｍ－１ ｌ＋￣ｍｌｍ一１ 定义信号功率谱估计
＝Ｅ （．ｊ｝） ）垒 ．＝ ｙ ）Ｉ Ｉ
式中，Ａ （后）为第ｍ帧估计语音谱的幅度，则有 增强后的语音谱函数为
Ｘｍ＝ （ ｙｍ） 按照如下形式的启 的参数化估计公式
Ｘ（ｍ，｜ｉ｝）＝ Ｔｅｏｈｎｏｌｏｇｙ Ｓｔｕｄｙ 技术研究
ｒ（ｍ，｜ｉ｝） 式中，ｚ（ｍ，．ｊ｝）是时间和频率的函数，定义如下 的误差函数
６（ｍ， ）＝Ｘ （ ，七）一 （ｍ，七） 根据可听闻阈的要求，令 Ｉ （ ，ｋ）１］≤Ｔ（ｍ， ）
上式就是令畸变噪声的能量在掩蔽阈值以下， 而不被人耳感知。为了推导方便，令
Ｍ： ！： （ｍ， ）＋ Ｉ 一１
则有
Ｅ ，七）１）＝Ｅ｛Ｘ （ ，七）一 （ｍ，Ｊｉ｝）Ｉ）
＝Ｅ｛ｌ （ ，七）一 （１＋ ｙ）ｙ （ ，七）Ｉ）
－－Ｅ｛Ｉｘ （ ，ｋ）－Ｍ（１＋Ｍｙ）（Ｘ（ｍ，七）＋Ｄ（ ，．ｊ｝）） Ｉ）
＝ｌＥ｛ｘ。（ ，ｋ）｝－Ｍ（１＋ 却）Ｅ｛（ （ ， ）＋Ｄ（ｍ，七）） ）１ ≤Ｔ（ｍ，｜ｉ｝） 注意到Ｅ （ ， ））＝ ， ｛Ｄ （ｍ，七）｝＝ ，则有
－Ｔ（ｍ，ｋ）≤ （１＋Ｍｙ）（ ＋ ）≤ ＋ （ ，ｋ） 当 一Ｔ（ｍ， ）≤０时，即语音信号功率小于掩蔽 阈值时，我们采用滤波函数，令 （ ，后）＝１。
当 －Ｔ（ｍ， ）≥ｏ时，即语音信号功率大于掩蔽 阈值时，由于Ｍ＞Ｏ，所以
ａ￣－Ｔ（ｍ，ｋ）≤Ｍ（１＋Ｍ），）≤ ｏ ＋ｄ Ｏ ＋ｏ
可以看出不等号两边 相当于在维纳 滤波的基础上做了修正，令 Ｂ： －；Ｔ（ｍ＿，ｋ）Ｃ
－ ｏ：＋Ｏｊ ｏ：＋ａ
化简后得到
二 ± ≤ ≤二 ± ！ ２ｙ ２）， 即
二了 一 ≤ （ ，七）≤二 一 参数 （ｍ，ｋ）由人耳的听觉掩蔽阈值、估计的信 号功率谱、噪声功率谱、先验信噪比以及后验信噪 比共同确定，它可以动态的改变传递函数形状，以
■２０１６ ０７数字通信世界１ ３ －Ｕ 昌 ： ．二二．二二． 二 二二
在模型优化方面，通过启发式优化方法，对模 型参数进行优化；通过高阶马尔科夫场对识别结果 进行动态纠正，提高识别鲁棒性。
３．３深度机器学习 在深度机器学习方面，依据人耳听觉特性，研 究符合认知规律的深度神经网络模型。依据短时记 忆规律，提高声音目标的识别模型。
３．４概率模型 高斯混合模型对这些数据的适应能力较强，可 能是多数应用场合的一种合理选择。高斯混合模型 （ＧＭＭ）可以定义为 ｐ（ Ｉ ）＝∑ａ， （ ） 式中， 是语音样本的Ｄ维特征向量，ｔ为其样本 序号；６ （ ），ｉ＝１，２，Ｏｔ￣，』幌成员密度；ａ ，ｉ＝１，２，…，Ｍ 是混合权值。每个成员密度是一Ｄ维变量的关于均 值矢量 和协方差矩阵互的高斯函数，形式如下
） 。ｘｐｉ一吉（ 一 ）＿ （ — ｊ 其中混合权值满足条件： ∑ ＝１ 完整的高斯混和密度由所有成员密度的均值矢 量、协方差矩阵和混合权值参数化。这些参数聚集
一起表示为
＝｛ａｉ， ， ），ｉ＝１，２，…，Ｍ 根据贝叶斯判决准则，基于ＧＭＭ的识别可以 通过最大后验概率来获得，
Ｌａｂｅｌ＝ａｒｇ ｍａｘ（ｐ（Ｘ， ）） 式中，ｋ为类别序号。 对于高斯混合模型的参数估计，可以采用ＥＭ （Ｅｘｐｅｃｔａｔｉｏｎ．ｍａｘｉｍｉｚａｔｉｏｎ）算法进行。ＥＭ是最 大期望算法，它的基本思想是从一个初始化的模型 开始，去估计一个新的模型 ，使得ｐ（Ｘ １ ）≥ｐ（Ｘ １ ）
。这时新的模型对于下一次重复运算来说成为初始 模型，该过程反复执行直到达到收敛门限，这类似 于用来估计隐马尔科夫模型（ＨＭＭ）参数的Ｂａｕｍ．
１ ４ ＤＩＧＩＴＣＷ 。 。
Ｗｅｌｃｈ重估算法。每一步的ＥＭ重复中，下列重估公式 保证模型的似然值单调增加：
∑）， 混合参数的重估：ｎ ＝ ＝ 一 ∑∑）， ｔ＝ｌⅢ＝ｌ ｒ ∑
均值矢量的重估：，ｆ ＝ 广＿ ∑）’
方差矩阵的重估： ∑）， （ 一 ｉ）（ －ｕＤ ＝ ———丁———一 ∑），
ｔ＝１
， —日 Ⅳ（ ｌ ， ） ｉ－ Ⅳ（ ｌ ， ） ｍ＝ｌ ＧＭＭ各个分量的权重、均值和协方差矩阵的
估计值，通过每一次迭代趋于收敛。
高斯混合模型中的混合度，在理论上只能推 导出一个固定的范围，具体的取值需要在实验中确 定，各高斯分量的权重可以通过ＥＭ算法估计得到， 在ＥＭ算法的迭代中，要避免协方差矩阵变为奇异 矩阵，保证算法的收敛性。
４技术应用 声学场景识别系统目前有两大类应用：安防监 控和内容检索，这两类主要应用可以很好地用于智 慧城市中。基于音频的安防监控在工业、消费者、政 府部门有不同的应用。音频场景识别技术的另一个 重要应用，是在基于内容的多媒体检索中。■
参考文献 ［１］李嘉，黄程韦，余华．语音情感的唯独特征提取和识别［Ｊ］．数据采集与 处理，２０１２（０３） ［２］黄程韦，赵艳，金赞，于寅骅，赵力．实用语音情感的特征分析与识别的 研究［Ｊ］．电子与信息学报，２０１１，３３（１）：１１２．１１６．ＥＩ：２０１１１２１３７６８１７３ ｆ３］３ 黄程韦，金赞，王青云，赵艳，赵力．基于特征空间分解与融合的语音情 感识别［Ｊ］．信号处理，２０１１，２６（６）：８３５－８４２ ［４］Ｃｈｅｎｇｗｅｉ Ｈｕａｎｇ，Ｄｏｎｇ Ｈａｎ，ＹｏｎｇｑｉａｎｇＢａｏ，Ｈｕａ Ｙｕ，ａｎｄ Ｌｉ Ｚｈａｏ， Ｃｒｏｓｓ—ｌａｎｇｕａｇｅ Ｓｐｅｅｃｈ Ｅｍｏｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｇｅｒｍａｎ ａｎｄ Ｃｈｉｎｅｓｅ， ＩＣＩＣ Ｅｘｐｒｅｓｓ Ｌｅｔｔｅｒｓ，ｖｏ１．６，ｎｏ．８，Ａｕｇｕｓｔ，２０１２，ＰＰ．２１４１－２１４６．ＥＩ： ２０１２３５１５３７６７７５ ［５］Ｃｈｅｎｇｗｅｉ Ｈｕａｎｇ，Ｙｕｎ Ｊｉｎ，Ｙａｎ Ｚｈａｏ，Ｙｉｎｈｕａ Ｙｕ，Ｌｉ Ｚｈａｏ，Ｓｐｅｅｃｈ ｅｍｏｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｒｅ－ｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ｔｗｏ—ｃｌａｓｓ ｃｌａｓｓｉｆｉｅｒｓ． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｆｆｅｃｔｉｖｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｎｔｅｒａｃｔｉｏｎ ａｎｄ Ｗｏｒｋｓｈｏｐｓ，Ａｍｓｔｅｒｄａｍ，Ｎｅｔｈｅｒｌａｎｄｓ，１０－１２ Ｓｅｐｔ．２００９． ＥＴ：２０１Ｏ１１１２７７２８】３