虚拟声的原理、进展及应用’
谢菠荪
（华南理工大学应用物理系广州５１０６４１）
Ｔｈｅ Ｐｒｉｎｃｉｐｌｅ， Ｐｒｏｇｒｅｓｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｖｉｒｔｕａｌ Ｓｏｕｎｄ
Ｍｅ Ｂｏｓｕｎ（Ｓｏｕｔｈ Ｃｈｉｎａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ａｐｐｌｉｅｄ Ｐｈｙｓｉｃｓ Ｄｅｐｔ．， Ｇｕａｎｇｚｈｏｕ， Ｐ．Ｒ．Ｃｈｉｎａ）
１．引言 虚拟声是国际上近十年新发展的一项技术。它是在声音重发中，采用信号处理的方法，
模拟出空间不同位置的声源所发出的声波到双耳的传输，从而模拟出相应的空间听觉效果。
由于虚拟声系统在硬件结构上较为简单，故在多媒体与虚拟现实、心理声学研究、室内声
学模拟、家用声重发等领域有广泛的应用前景，并成为国际上研究的热门课题。但虚拟声也
存在有待改进的缺陷。本文将评述虚拟声的原理、进展、应用和需要进一步解决的问题。
２．空间听觉与虚拟声的基本原理 人类是利用双耳感知声音空间特性的。声源产生的（直达）声波经头部等的散射后到达双
耳，产生双耳时间差（（ＩＴＤ）和声级差（（ＩＬＤ）。听觉系统利用双耳差和过去的经验比较，从而
判断声源的方向。而耳廓对声波的衍射所引起的梳状滤波效应和头部的转动引起双耳差的改
变对（前后和中垂面）定位也有重要的作用。在有限空间内，除直达声外，边界的反射声也
会到达双耳。各种反射声的组合使听觉系统产生对周围声学空间环境一种综合的、总体印像
的感觉。因而人类对声音空间特性的感觉包括对直达声和反射声的感觉两部分。
Ｆｒｏｎｔ
Ｈｅａｄ
图１声源到双耳的传输图２扬声器重发
如图１所示，自由场条件下，点声源在双耳产生的频域声压可表示为：
几＝Ｈ Ｊ６， Ｏ ， ｒ， ｃ），ａ） ＰＯ凡＝ＨＲ （ｅ， Ｏ ， ｒ， ｏ），ａ） ＰＯ（Ｉ）
＊教育部优秀青年教师资助计划和ＴＣＬ王牌电子有限公司项目
其中Ｐ。为头部不存在时头部中心位置处的声压；而ＨＬ， ＨＲ称为头相关传输函数（ＨＲＴＦ），
它们反映了头部等对声波的散射作用，包含了声音的空间信息，并且和声源的方位ｅ、小、
距离ｒ（远场近似时与ｒ无关）、（角）频率。、头部等的几何尺寸ａ有关。
由于双耳处的声压包含了声音的空间信息，通过对双耳声信号的捡拾、模拟、传输和重发，就可重发声音空间信息。传统上是采用人工头进行双耳声信号捡拾的。近年可采用ＨＲＴＦ
信号处理的方法模拟出双耳声信号。当把单路声频信号Ｅ。按下式进行处理［１１［２ｌ，
Ｅ，．＝ＨＬ （（９１ ０，ｒ， ｏ），ａ） Ｅｏ ＥＲ＝ＨＲ （９， ０， ｒ，ｃｏ，ａ） Ｅｏ （２）
并采用耳机进行重发，那么倾听者双耳处的声压将正比于（１）式的方位为产生的ＰＬ， ＰＲ，从而在听觉中虚拟出相应的声象，这就是虚拟声的基本原理
式可表示为等价的时域卷积形式：
ｅ， （ｔ）＝乓（９，必，ｒ， ｔ， ａ）＊ｅｏ （ｔ） ｅｒ （ｔ）＝ｈｒ （Ｂ， ０， ｒ， ｔ， ａ）＊ｅｏ （ｔ）ｅ、中的声源所
。（２）式或（１）
（３）
其中各小写字母所代表的物理量与（２）式的大写字母所对应的物理量互为付立叶变换。而
ｈ，（ｔ）， ｈｒ（ｔ）称为头相关脉冲响应或（自由场）双耳脉冲响应。 虚拟声信号ＥＬ， ＥＲ也可以利用一对左右对称的扬声器重发。但这时会产生一种交叉串声
效应，即不但左耳，而且右耳都会听到左扬声器所发出的声音，反之亦然。因而ＥＬ， ＥＲ在馈
给扬声器之前应经过一串声抵消网络，以消除交叉串声。如图２所示，设（（２）式的Ｅ， ＥＲ
信号经过２＊２串声消除网络（矩阵［Ａ］）后变为Ｌ， Ｒ信号而馈给左右、扬声器，而左、右扬
声器到双耳的传输函数分别为Ｈ那么双耳声压为：
［Ｈ］ ［Ａ］（４）－ｌｅｓｅｓｅｓｅｓｅｓｅｓＪ Ｌ
ＲＥ
ＥｒｓｅｓｅｅｓｓｅｅｓＬ 一－「！１１‘‘１且１ Ｌ
ＲＥ
Ｅ厂１ｌｌｗｅｌ．」「ｌｗｅｅｓｅｓｅｓｅｓＪ ，‘，二Ａ
Ａ坑
Ｈｒ， 一一Ｌ
Ｒ ｌｒ
ｒｒＨ
ＨＨ
Ｈ 一一，十ｌｓｅｅｓＪ尺
．凡厂ｌｅｓｅｓｅｓｅｓＬ
不难证明，当选择串声消除网络网络的传输特性，使得〔Ａ〕二［Ｈ丁‘，就有ＰＬ＇ ＝ ＥＬ， ＰＲ＇＝ＥＲ，
使得扬声器重发时的双耳声信号与耳机重发的情况一致，完全消除串声干扰。考虑左右对称性，可设Ｈｉ，＝Ｈｒｒ＝ａ
八Ｕ Ｅ『Ｉｔ．１．ｓｅ
ｌ［五」＿一一１一一一「“
｝Ｄ Ｉ ＿．２ Ｄ２ Ｉ ａＬ＂Ｊ“一Ｐ Ｌ－ Ｐｐ，而馈给扬声器的重发信号可以写成：
Ｅｏ ＝ ｚ １－－一 Ｄ ａ ［
Ｕ一Ｐ ＬａＨ：一刀ＨＲ
一刀ＨＬ＋ａｌｌＲ（５）
上式的第二个等号表明，串声抵消的信号处理与（２）式的虚拟声信号处理可以合在一起进
行，直接得到适合于扬声器重发的虚拟声信号。 由于声波从声源到双耳的传输可看成是线性系统，因此可以采用（２）或（５）式的信号
处理方法，在耳机或扬声器重发中同时虚拟出多个空间不同方向的声象。 对于存在房间反射声的情况，（３）式的ｈ， （ｔ）， ｈ｝ （ｔ）可推广为双耳（或头相关）房间
脉冲响应，它表示包括声源到双耳的直达声和房间反射声的脉冲响应，包含了直达声和特定
的房间（如某音乐厅）反射声的空间信息。如果将单路音频信号按（３）式用双耳房间脉冲
响应进行处理，即可在耳机重发中虚拟出相应的空间听觉（包括直达声定位和反射声的环境
信息）。对于扬声器重发，理论上也可以利用类似（４）和（５）式的方法，引入串声消除网
络，消除扬声器到双耳的交叉串声和重发房间（注意是听音室，不是要虚拟的音乐厅）的反
射声干扰。但由于普通房间的双耳脉冲响应的长度较自由场的情况长得多，并且其对应的频
域响应可能存在零点和极点，这些都给信号处理带来困难。因而实际的扬声器重发应该在消
声室至少是低混响听音室内进行，这样才能有效地实现串声抵消。
３，有关虚拟声的进展与存在问题
３． １ ＨＲＴＦ的测量与计算 虚拟声的核心是用ＨＲＴＦ进行信号处理，因而ＨＲＴＦ的获取成为关键问题之一。ＨＲＴＦ可通过
实验测量得到，它与头部、耳廓等的尺寸有关，是因人而异的。严格来说，应在每个倾听者
对不同空间方向声源的ＨＲＴＦ进行测量。并利用倾听者自身的ＨＲＴＦ进行信号处理，才能得到理想的声音效果。国外己有多个研究小组进行了这方面的工作〔３］，但是这种方法在实际应用中
困难较大。更多的是通过对某个特定的人工头模型（或有代表性的倾听者）进行侧量得到“普
遍”的ＩｉＲＴＦ，并川其进行信号处理。ＭＩＴ媒体实验室通过测量得到ＫＥＭＡＲ人工头的ＨＲＴＦ数据库，井在｀ｆ．联网上公布￡４１当实际倾听者的头部等的尺寸与信号处理用的头部模型接近时，可得到较好的重发效果；反之，则会带来声象位置畸变。我们最近的研究表明［５１，头部尺寸
改变时，特别容易引起侧向的虚拟声象位置畸变。因而采用“普遍”的ＨＲＴＦ进行信号处理存
在重发效果因人而异的问题，这是虚拟声系统的一人缺陷。特别是广泛采用的ＫＥＭＡＲ人＿Ｌ头，
它是根据欧洲人的平均生理数据所建立的听觉生理模型，不一定适合于中国人。目前还没有
根据中国人的生理数据所建立的听觉生理模型。 在耳道的不同位置测量得到的ＨＲＴＦ也会不同。但从耳道入口到鼓膜可近似为一维声学传输，基本与声源方位无关。因而耳道不同位置的ＨＲＴＦ可用信号处理的方法相互转换ｕ］０
另外由于ＨＲＴＦ是和空间方向有关的。但实际测量中只能按一定的间隔对空间有限个方
向进行测量（空间采样），因而空间其它方向的ＨＲＴＦ函数就要通过数据插值的方法得到。采用有效的插值方法，减少数据的误差也是一个意义的研究课题〔６ｌ０
ＩＩＲＴＦ函数也可通过理论计算得到。最早的方法是将头部简化成半径为ａ的刚性球体，
双耳简化为球面上相对的两点，然后利用刚球对声波散射的瑞利公式计算ＨＲＴＦ，改变参数ａ
还可以模拟出不同的头部尺寸。该模型虽然简单，但忽略了头部形状，耳廓和躯体对声波的散射等因素，只能适用于频率小于３－４ ｋＨｚ的情况。也有研究采用刚性椭球作为头部模型，并利用数值计算ＨＲＴＦ１＇１。更进一步的模型包括了耳廓的影响。而Ｎ．Ａ．Ｇｕｍｅｒｏｖ等人则利用
多重散射的方法，计算了躯体散射的影响［１８１。这些新的计算模型当然较刚球模型准确，但计
算上更为复杂，且与实际测量结果还有一定的差别。最近也有研究提出利用计算机仿真技术，
通过头部的图象进行头部模型建模，并利用数值计算的方法计算ＨＲＴＦ１＇１
３．２耳扫Ｌ重发声象的改善 月Ｉ耳机重发虚拟声可产生三维空间的声象。但实验表明，对不少的倾听者会产生头中定
位效应，声象常集中在人头内部或表面，而不是在头外分布，从而造成一种不自然的听觉效
果。另外前方声象也很容易出现在后方的镜象位置，导致声象位置畸变。产生畸变的可能原因包括：（ａ）信号处理用的ＨＲＴＦ（头部模型）与实际倾听者的ＨＲＴＦ差别较大．特别是耳
廓部分，因为耳廓对声波的散射所引起的双耳声压的梳状滤波效应对区分前后镜象位置声象
是非常重要的。（ｂ）对真实声源的倾听中，头部转动所引起的双耳声信号的改变对区分前后
镜象位置声源和头外定位是重要的，但虚拟声却忽略了这因素。（ｃ）在对真实声源的倾听中，
环境的反射声对头外定位是重要的，而耳机重发正是缺少这部分的信息。 在一些研究中，也提出了改进耳机重发声象的方法１９１。包括采用倾听者自己的ＨＲＴＦ函
数进行信号处理；在信号处理中加入人工反射声；采用传感器跟踪倾听者头部的位置，并根据头部的位置进行自适应信号处理等。这些措施对改善声象效果有一定的作用，但同时也增
加了系统的复杂性。因而简单而有效的改善声象效果方法仍是值得探讨的问题。
３．３扬声器重发的声象稳定性和声象位置畸变
由前面（４）至（５）式的分析，由于扬声器到倾听者双耳的传输函数是和扬声器与倾听
者之间的相对位置有关的，因此特定的串声消除网络只能对特定的听音位置有效。当倾听者
的位置有所偏离时，双耳声压随之改变，导致声象不稳定。 另外实验表明，系统在实际重发中是不能产生稳定的后方声象的，后方声像会出现在
前方的镜像位置上，所以声象最多能分布在前半平面＋＋９００（正左）到一９００（正右）范围内，而不是３６００水平面，更不能达到整个三维空间，这一点与耳机重发不同。这是因为在
人类的听觉中，虽然耳廓对声波的衍射所引起的梳状滤波效应对区分水平面内前后镜像位置
声源以及中垂面上的声源定位是重要的，但耳廓效应仅在高频（ｆ＞５一６ ｋＨｚ ），当耳廓
的尺度与声波的波长可以比拟时才开始起作用。在ｆ＜３ ｋＨｚ的中低频段，头部可简化成刚球模型，而ＨＲＴＦ是近似前后对称的。在实际声源的倾听中，是通过头部的转动所引起的
双耳时间差和声级差的改变而区分前后镜像位置的声源的，但虚拟声重发时并没有考虑这一
点。因而即使用ＨＲＴＦ进行信号处理时考虑了耳廓效应也仅在高频（短的波长）有效，只要
倾听者偏离半个波长的位置，双耳处的声波就完全改变。 解决上述问题的最佳方法当然是把头部的运动考虑进去，采用传感器跟踪倾听者头部的位置，并根据头部的位置进行自适应信号处理１１０１。但这样的系统较为复杂。
也有研究提出通过增加扬声器或改变扬声布置的方法，以改善声象的稳定性。如果将前方的重发扬声器增加到左、中、右三个（类似于目前家庭影院的布置）或更多［［Ｉｌｌ，则可改
善前半水平面内声象的稳定性；如果采用前后两对扬声器则可重发水平面内３６０。的声象。
特别值得一提的是，通常前方立体声扬声器是布置在１３０。的位置，而０． Ｋｉｒｋｅｂｙ证明了缩
窄左、右扬声器对之间的张角，可提高声象的稳定性和扩大听音区域，并提出一种称为“立体声偶极”的虚拟声重发系统［１２１，它将左、右扬声器布置在１５“的位置上，通过（５）式
的信号处理，可重发前平平面的声象。但由（５）式可以证明，“立体声偶极”需要对信号的
低频部分作较人的提升，信号处理较为困难。
３．４信号的均衡处理 ＨＲＴＦ是明显与频率有关的，所以无论是耳机或扬声器虚拟声系统的信号处理都会改变
信号的频谱，即改变了信号在不同频率的能量之间的平衡，从而引起频率失真，使音色改变。
在实际的虚拟声信号处理中，需要加入均衡处理，以对频率失真进行补偿Ｌ’〕。
对耳机虚拟声系统，通常采用自由场均衡或扩散场均衡两种方法。对自由场均衡，用作（２）式信号处理的所有ＨＬ（ ６，４）， ｒ， ｗ， ａ）， ＨＲ （０，４｝ ， ｒ， （ｊ， ａ）函数都用正前方的ＨＲＴＦ函数
（这时ＨＬ＝ＨＲ）进行均衡，也就用以下的ＨＬ＇， ＨＲ＇代替ＨＬ， ＨＲ进行信号处理：
ａ）一ａ）ＨＬＨｔ （０，０，ｒ，ｒｊ，ａ）
ＨＬ （０，０， ｒ，ｃｏ，ａ）ＨＲ（ｅ，０，ｒ，ｗ，
ＨＬ （０，０， ｒ，ｃｖ，（６）
而扩散场均衡中，则采用ＨＲＴＦ函数对所有角度０、４）的平均值代替上式的分母。 对扬声器虚拟声系统，也有各种的不同的均衡处理方法［［１３１。无论是耳机或扬声器虚拟
声系统，经过均衡处理后，频率失真都有所改善，但并不能完全消除。至于那一种均衡方法
更合理也无定论。因而在均衡处理方面还有许多问题有待研究。 另外在耳机重发中，由于耳机与耳道等的祸合，也会使得鼓膜处的声压的频率特性改变。
因而为补偿不同的耳机的频率特性，也应加入不同的均衡处理１１１．
３．５信号处理的方法 虽然可按（２）或（５）式直接用时域卷积或频域相乘实现信号处理，但实际多是采用各