CN101454825B - 用于提取和改变音频输入信号的混响内容的方法和装置 - Google Patents

Abstract

提供了用于提取和改变音频输入信号的混响内容的方法和装置。估计混响系统的脉冲响应的方法包括：将具有脉冲响应的混响系统的信号抽样为块的序列；为序列的每个块，确定与先前块的幅度相关的幅度；使用确定出的幅度作为有限脉冲响应滤波器的参数形成脉冲响应的估计。利用来自混响系统的具有较少声道的信号生成多声道信号的方法包括：将来自具有脉冲响应的混响系统的信号抽样为块的序列；为序列的每个块，确定与先前块的幅度相关的幅度；使用确定的幅度作为有限脉冲响应滤波器的参数形成脉冲响应的估计；对信号应用估计的脉冲响应的求逆以得出直接信号分量和混响信号分量其中至少之一；且重组直接信号分量和混响信号分量以生成多声道信号。

Description

用于提取和改变音频输入信号的混响内容的方法和装置

技术领域

本发明涉及对输入信号的混响和非混响分量的分解和变更，且更具体而言涉及减弱或增强输入信号的分量的可辨性。该方法能特定地用于减弱或增强音频信号中的混响。 

在很多情况下，信号中发现的混响不适于其最终用途，因此我们希望有变更混响的方法。而且我们希望不用直接测量混响被记录的声学空间就能够变更这种混响。 

背景技术

几乎所有的音频信号都由原始干信号(original dry signal)和混响的组合构成。混响源于干信号经过混响系统。例如，考虑在音乐厅表演的歌手。在这种情况下，歌手的声音是干信号，且音乐厅是混响系统。如果我们在音乐厅中的某个位置放置麦克风以记录产生的声音，我们将得到其上叠加了音乐厅的混响特性的干语音信号。即，麦克风捕获了歌手直接发出的声音分量以及由于声音在音乐厅中传播而产生的混响分量的混合。 

一旦原始干信号上叠加了声学空间的混响特性，则极难恢复原始干信号(或直接信号分量)。类似地，极难改变混响分量的特性或强度。难点部分地在于混响依赖于原始干信号这一事实。即，混响是从原始干信号生成的。 

而且，我们通常不存取关于混响系统的任意相关信息。利用音乐厅中的歌手的示例，麦克风不直接记录音乐厅的声学细节。而是，它记录了歌手声音在叠加了音乐厅的声学特性之后的声音。 

在诸如音乐录制之类的某些应用中，十分希望有一定量的混响，因为它能对每个音符进行令人愉悦的扩展并能提供有深度和围绕的感觉。当然，某些声学空间(例如，音乐厅)就是比其他声学空间更令人感到愉悦。然而，人们一般不能进入最令人感到愉悦的声学空间，所以记录的声音的混响分量可能不会像希望的那样好。即，混响不能完全适用于该记录声音。当前，在这种情况下，不能做出什么来变更记录声音的分量。如果记录声音缺少混响 能量，则可以通过人工混响设备处理记录声音来添加更多的混响能量。然而，这些设备产生的混响听上去不自然，且不能补充记录声音中已经存在的混响的音程。相反，如果记录声音具有太多的混响，则当前也不能做什么来减小混响分量的水平。如果记录声音具有正确的混响量，但是不具有正确的特性，则当前不能做什么来变更混响特性。在这些情况其中每一种情况下，若能够修改直接的声音分量以及混响能量的水平和特性以获得合适的混响特性，则是非常有益的。 

在其他应用中，即使适度的混响也是不适当的，因为它抑制了信号的清晰度和可理解性。例如，在诸如通常使用免提电话的电信会议的应用情况中，办公室或会议室的混响可能会具有使语音信号声音“空洞”的不利影响。这通常被称为雨桶效果。在诸如安全、监视和取证之类的其他相关应用中，混响是极不希望有的，因为它可能减弱语音信号的可理解性。然而，在这些情况下，典型地不可能对声学空间的混响特性做任何控制。在语音识别系统中，混响降低了系统正确地识别词语的能力，且因而降低了识别率。如果识别率变得太低，则语音识别系统可能变得不可用。对于有听力障碍的人，混响可能会造成独特的困难，因为不希望的混响效应通常会被他们的听力障碍所增大。对于有听力障碍的人而言，混响对语音可理解性的负面影响通常更为严重。当听力辅助设备放大声学信号以使得声学信号更容易被听到时，它同时放大了直接声音分量和混响分量。因此，放大的信号不帮助克服混响的不利影响。在每一种这样的应用情况中，若能够减小混响分量的水平使得它相对于直接声音分量处于合适的水平将是十分有利的。试图减小音频信号中的混响量一个通常的方法，是使用定向麦克风或麦克风阵列。定向麦克风和麦克风阵列接受从某些方向到达的声音，且拒绝从其他方向到达的声音。因此，如果麦克风被放置得很恰当，则它将接受所需的干信号，同时拒绝某些混响部分。 

定向麦克风和麦克风阵列的成功使用，需要人们知道所需信号所处的位置。如果该位置未知，或它随时间变化，则该方法不能令人满意地工作，因为所需的信号也可能被拒绝。而且，由于麦克风阵列的物理尺寸，所需的硬件资源(例如，麦克风、放大器等)的数量的增加以及导致的成本增加，该方法不适于用在某些应用中。相反，在不知道声学空间的任何知识并且不知道声源的位置的情况下能够用单个非定向麦克风来盲目地将混响分量水平 减小到合适的水平，是极其有利的。 

在电影和电视作品中，我们听到的声音(例如，对话和声效)具有与我们在屏幕上所见的图像相配的混响特性是很重要的。例如，如果图像指示场景发生在小房间中，则声音应具有小房间的混响特性，即使声音可能实际是在很大的摄影棚中记录的。术语“房间音调(room tone)”通常在电影和电视作品中用来描述声学空间的声学特性。一般而言，电影和电视作品中的声音通常是在极其不同的地点记录的。例如，一部分对话可能在拍摄电影时记录，而其他部分对话可能在录音或“配音”室中记录。这里，演员在观看他们表演的视频的同时吟诵他们的台词。这种处理已知为自动对白替换(ADR)，且是十分常用的作法。为了使对话的各个部分听起来自然而真实，必须匹配不同记录声音的房间音调，使得它们听起来就好像它们在同样的声学空间中记录的一样。而且，人们通常希望使记录声音听起来就好像它们在具有特定房间音调的特定声学空间中记录的一样。 

在ADR示例中，记录声音通常是非常干的，因为录音或配音室通常是精心控制的声学空间。即，通常在记录中几乎没有混响。在这种情况下，人们可能希望向记录声音中强加以特定房间的混响特性。如果不能直接获得房间的声学特性，这可能是十分困难的。然而，该房间中记录的其他记录声音是可以获得的。在这种情况下，能够从记录声音中提取声学空间的声学特性将是十分有用的。能够向记录声音中强加以适当的声学空间的混响特性也是很有用的。 

在对话的不同部分在不同的声学空间中记录而在每一个声学空间均具有相当大的混响量的情况下，则任务是以某种方式匹配不同记录声音的混响特性。为了完成这点，必须在应用合适的声学空间的混响特性之前，首先去除进行录音的房屋的混响特性。如上所述，这是很困难的任务，至今不能得到满意的解决。在这种情况下，能够去除记录声音的声学特性且然后应用适当的声学空间的声学特性是十分有用的。 

在一类情形中，音频信号中发现的混响是不恰当的，因为混响限制了人们以某种方式处理信号的能力。例如，在音频数据缩减系统中，目标是压缩信号，使得较少量的数据用于存储或发射信号。这种系统使用编码器来压缩信号，且使用解码器来用于在以后恢复信号。这些音频数据缩减系统可以是“无损耗的”，在这种情况下，没有信息因为压缩处理而丢失，所以能在解 码器处完美地恢复原始信号。其他版本是“有损耗的”，所以在解码器处恢复的信号并不与原始输入信号完全相同。音频数据缩减系统依赖于在音频信号中存在高度冗余。即它们在“可预测”的音频信号上工作得最好。然而，音频信号中的混响降低了音频信号的可预测性。当前没有克服混响效果以改善音频数据缩减系统的性能的方法。非常希望能够在解码器压缩信号之前将信号分解成其直接声音分量和混响分量，且然后在解码了压缩信号之后恢复混响信号。 

混响限制了处理信号的能力的另一示例是音频水印(audiowatermarking)。在音频水印中，目标是在音频信号中隐藏信息。该隐藏的信息可用于诸如歌曲的版权保护之类的事情。音频水印系统通过对音频信号做少量修改来操作。若水印成功，这些修改必须是听不见的。这里，人们将希望在歌曲中的非常特殊的时间点处做出修改。然而，如果直接声音分量和混响分量由于修改而不再彼此匹配，这种修改就可能变得可听见。非常希望能够去除音频信号的混响分量，插入音频水印，然后将混响分量添加回信号。 

在另一类情形中，作为某些处理的结果，信号中发现的混响变得不恰当。例如，通常对信号进行处理以去除背景噪声或变更其动态范围。该处理通常变更记录中的直接声音分量和混响分量之间的关系，使得该关系不再恰当。当前没有在这种处理之后校正混响分量的方法。 

通常不便于或不可能测量声学空间的声学特性。使用我们早先的示例，尽管我们容易获得音乐厅中的歌手的记录声音，但我们很少进入音乐厅中。而且，即使我们进入音乐厅，我们也不可能再现录制时的声学条件(例如，歌手和麦克风的位置，观众的存在等)。因此，我们希望能够从混响系统内做出的记录声音(或实时信号)中提取对该混响系统的描述。最重要的是，我们希望能够提取对混响系统的感知相关方面的描述。至今，没有方法能足以满足这种需要。混响系统的描述可用于分析混响系统，作为用于修改或减弱记录声音中的混响特性的系统的一部分，或者作为用于向记录声音中强加混响特性的系统的一部分。 

最早的音频记录声音(电影、音乐、电视等)是单声道的。即它们仅被记录到一个声道。立体声音频记录声音一般更加使人愉快，因为它们在再现声学空间的混响特性的空间方面做得更好。已经开发出各种处理来将单声道记录声音转换成立体声形式。这些技术被这样的事实所限制，即它们处理直 接声音分量，也处理混响分量。如果能够分别地处理直接声音分量和混响分量，这些技术将得到极大的改善。当前，没有令人满意的方法来将信号分解成直接声音分量和混响分量以使得它们被分别处理。 

多声道环绕声系统变得越来越流行。尽管立体声系统具有两个声道(且因而具有两个扬声器)，但多声道环绕声系统具有多个声道。典型的多声道环绕声系统使用5个声道，且因此使用5个扬声器。当前，可用的多声道音频记录声音的数目是十分有限的。相反，存在很多数目可用的单声道和立体声记录声音。因此十分希望能够利用单声道或立体声音频信号，从其产生多声道音频信号。完成这点的当前方法使用称为“矩阵解码”的方法。这些方法将利用立体声记录声音，并将记录声音的不同部分放置到多声道系统的各个声道中。在音乐记录声音的情况下，某些乐器将听上去位于听众后面。这在某些情形下是不希望产生的结果。例如，当播放管弦乐记录声音时，人们一般不希望某些乐器听上去位于听众后面。而是，人们一般希望乐器听上去位于听众前面，并具有听上去从听众的周围到达的音乐厅混响效果。 

解决该问题的一个方法是向前面的扬声器发送原始立体声信号，同时还通过人造混响设备处理立体声信号。人造混响设备的输出旨在提供对音乐厅混响的模拟，且这种输出将被发送到后面(周围)的扬声器。由于若干原因，该方法并不令人满意。首先，该方法在立体声信号中已经存在的混响之上添加了额外的混响。因此，该方法会使得混响的总量不适于该特定记录。而且，通过人造混响设备添加的混响可能不匹配立体声记录中的混响特性。这将使得所得的多声道信号听起来不自然。更好的方法将是将立体声信号分解成其直接声音分量和其混响分量。 

通过将原始信号分解成直接声音分量和混响分量，人们可以选择通过多声道人造混响设备处理直接声音分量来生成多声道音频信号。该方法将避免添加额外混响的问题，因为信号的混响分量已被去除。该方法还将避免人造混响与原始记录中的混响不匹配的问题。 

可替换的，通过将原始信号被分解成直接和混响分量，人们可以选择通过发送直接分量到前面的扬声器来生成多声道音频信号。这将维持在再现的声场中的乐器的正面布置。原始信号的混响分量将被发送到后扬声器，或者它将被分解成子分量且以适当的方式分布在所有的扬声器上。该方法将具有完全从原始记录声音的分量生成多声道信号的显著优点，因而，生成更自然 的声音结果。当前没有可用方法能将信号分解成直接和混响分量使得以这种方式产生多声道信号。 

一般而言，如果人们具有混响系统中的声音的记录，且人们可以某种方式直接测量该混响系统的声学特性，则，可以从数学上对混响系统求逆(invert)，且完全恢复原始干声音。该处理已知为逆滤波(inverse filtering)。然而，没有精确测量混响系统的提取声学特性，就不能完成逆滤波。而且，所得的逆滤波器专用于一组声学特性。不可能通过利用从不同混响系统测量的声学特性，使用逆滤波器从给定混响系统中的记录声音来恢复原始干信号。例如，为房间中的一个位置得出的逆滤波器对于相同房间中的任意其他位置是不适用的。使用逆滤波器的其他问题在于它们需要进行大量的计算，且它们在所得信号上增加了显著的延迟。在很多实时应用中，这种延迟是不能被接受的。因此，我们希望具有一种方法，在克服逆滤波器在大多数真实世界应用中不实际的限制的同时，获得逆滤波器的益处。当前没有可用的方法足以承担该任务。 

如上所述，在很多情况下，音频信号中发现的混响不适于它的最终应用。因此，需要能够修改音频信号的直接声音分量和/或混响声音分量。而且，我们希望能够修改混响而不用直接测量它被记录的声学空间。这些问题至今还没有被满意地解决。 

发明内容

根据本发明的一个方面，本发明通过提供用于识别和变更音频信号的混响分量的方法和装置来解决上述需求。 

通过在其中记录或捕获信号的混响系统确定信号的混响分量。混响系统的特性完全由其(声源和麦克风之间的)脉冲响应描述。通过计算其傅立叶变换(或某些其他变换)，脉冲响应还可以在频域中观察。傅立叶表达提供了幅度响应和相位响应。本发明依赖于将代表混响系统的脉冲响应分割成块，其中每个块代表脉冲响应的一部分。本发明还依赖于通过每个块的频域表达的幅度响应估计，来估计脉冲响应。因为人耳听觉系统对短时间内的相位相对不敏感，基于幅度响应的表达形成了真实脉冲响应的感知适度估计。 

根据本发明的一个方面，提出了一种方法，用于基于跟踪时间和频率上的信号水平的变化，基于脉冲响应的表达，得出幅度响应的基于块的估计。 该方法从信号直接得出脉冲响应的幅度响应的基于块的估计，而不需要直接测量脉冲响应。该方法依赖于这一事实，即，在任意给定时间点，信号中的能量由当前干信号中的能量加上所有先前信号的混响分量中的能量总和组成。 

本发明使用脉冲响应的幅度响应的基于块的估计来识别和提取与信号的混响分量相关的能量。 

根据本发明的另一方面，信号的混响分量的特性可以通过调节脉冲响应的幅度响应的基于块的估计来变更。 

根据本发明的另一方面，从第一信号得出的源混响系统的混响特性可应用于第二信号。 

本发明的各个方面允许信号的混响分量被变更，使得它更适于其所旨的最终应用。 

所述方法和装置还可以包括感知模型。感知模型的主要目的是减小源于处理的任意人为的能听度。这可以通过确定混响信号的哪些部分被混响信号的其他部分屏蔽来完成。屏蔽是人耳听觉系统中发生的现象，通过它，由于其他信号的存在，使本来能听见的声音变得听不见。通过在处理中包括感知模型，仅混响信号的可听部分被提取，因而减小了原始信号的频率被修改的数量。感知模型还提供了内部参数随时间和频率的交互，以反应人耳的屏蔽特性。因此，源于修改这些频率导致的人为影响得到减小。 

所述方法和装置还可以包括一个或多个源模型。一个源模型的目的是提供原始干声源的声学特性的模型。第二源模型的目的是提供混响系统的特性的模型。通过知道原始干信号和混响系统的声学特性，可以对输入信号的哪些部分源于干信号而哪些部分源于混响做出更好的判断。例如，大多数混响系统(房间)可以被很好地建模为随时间指数衰减的系统。 

附图说明

图1示出了具有声源和接收麦克风的混响室。 

图2示出了具有基于块的分解的表达的脉冲响应的分量。 

图3示出了信号处理器5的示意图。 

图4示出了时域中的基于块的卷积。 

图5示出了频域中的基于块的卷积。

图6示出了信号向干分量和混响分量的频域的基于块的分解。 

图7示出了分解处理器38的频域的基于块的卷积操作。 

图8示出了从立体声输入信号生成多声道输出信号的方法。 

具体实施方式

本发明提供一种改变信号的混响分量的方法。这一般通过首先获得潜在混响系统的脉冲响应的频域表达的感知(perceptually)相关估计来完成。通过使用脉冲响应的这种估计，信号被处理，从而提取信号的混响分量，因而获得干信号的估计和混响信号的估计。如有需要，可以对干信号和混响信号作进一步的处理。 

声学空间的脉冲响应提供了对混响系统的完整描述。使用早先的音乐厅中歌手的例子，混响系统(在这种情况，音乐厅)可以通过歌手和记录麦克风之间的脉冲响应来完整描述。应当意识到，各种声学空间(例如，音乐厅相对于浴室)的被感知的混响条件可能非常不同。这些差异通过各个空间的脉冲响应中的差异来描述。 

通过参考图1，能够更好地理解混响系统的脉冲响应，图1示出了混响室2中的声源s(t)1与记录麦克风3。如果声源由脉冲声音组成，则记录在麦克风上的将是声源与麦克风之间的混响系统的脉冲响应。脉冲响应包括直接声音分量4，它是到达麦克风的第一声音，因为它具有声源与麦克风之间的最短距离。直接声音分量之后，将是一系列反射的声音(反射物)，如图中的虚线所示。反射物的到达时间和幅度决定了混响系统的特性。直接声音分量之后到达的反射物构成了混响分量。因此，混响系统的一个效果是向原始干信号添加混响。即，混响向原始干信号添加了能量。从数学上，这可以表示为m(t)＝s(t)+r(t)，其中r(t)是混响信号分量，源于信号s(t)经过由脉冲响应h(t)描述的混响系统。 

图2给出了脉冲响应的一个示例。第一垂直线代表直接声音4，而剩余的线代表反射物。每条线的高度表示它的幅度，时间轴上的位置表示它的到达时间。随着时间的流逝，反射物的数目增加到不再可能识别单个反射物的程度。最后，反射发展为弥散指数衰减系统。这一般称为脉冲响应的混响拖 尾(reverberant tail)11。 

所谓的早期反射声音12在直接声音分量之后很快到达，且具有与混响拖尾不同的感知效果。这些早期反射声音(early reflections)提供了关于房间大小以及声源与麦克风之间的距离的感知线索。早期反射声音十分重要的原因还在于它们提供了声音的改善的清晰度和可理解性。混响拖尾也提供关于声学空间的感知线索。一般将声学空间的脉冲响应划分成三个概念上的部分-直接声音4、早期反射声音12和混响拖尾11。 

注意声学空间不具有单个脉冲响应是十分重要的。使用图1的示例，我们看出，当声源1位于特定位置处且麦克风3位于给定位置时，存在一种关于房屋的脉冲响应。如果声源和麦克风被移动(即使是少量移动)，则我们会具有不同的脉冲响应。因此，对于任意给定房间，实际上存在无数个可能的脉冲响应，因为实际上存在无限数目的位置1和3的可能的组合。 

通过计算其傅立叶变换(或其他变换)，还可以在频域观察脉冲响应，且所以混响系统可以完全以频域表达H(ω)描述。变量ω表示频率。脉冲响应的傅立叶表达式为我们提供了幅度响应和相位响应。一般而言，幅度响应提供了关于脉冲响应中的不同频率分量的相对水平的信息，而相位信息提供了关于频率分量的时间方面的信息。将声源1和麦克风3从房间中的一个位置移动到附近的位置，并不会对幅度响应具有太多的影响，但它对相位响应具有明显的影响。即，房间中的邻近脉冲响应具有类似的幅度响应，但是将具有非常不同的相位响应。 

长久以来的经验告诉我们，我们对于给定房间内的脉冲响应中的差异并不敏感。例如，当我们在房间周围移动的同时听到某人谈话时，即使在我们移动时脉冲响应连续发生变化，我们也不会听出某人说话的声音中的明显改变。我们听不出明显差异的原因在于，因为耳朵主要对脉冲响应的总特征敏感而对于具体细节不敏感。更具体而言，与脉冲响应的幅度响应中的变化相比，耳朵对于相位响应中的变化更不敏感。一般地，耳朵对短时间段中的相位十分不敏感(D.L.Wang and J.S.Lim，“The unimportance of phasein speech enhancement，”IEEE Trans.Acoust.Speech，Signal Processing， vol.ASSP-30，no.4，pp.679-681，Aug.1982)。如上所述，房间中的各种脉冲响应将具有类似的幅度响应，但是具有十分不同的相位响应。 

本发明通过对输入信号中的混响能量的幅度的估计产生频域估计来操作。将混响能量的幅度的这种估计从输入信号中减去，由此提供对输入信号的幅度的估计。混响输入信号的相位被用于约计原始干信号的相位。如果通过使用整个脉冲响应作为整体来完成该处理，则在处理过的信号中将听得到严重的时域失真。因此，在本发明中，整个脉冲响应的估计被分成短的块，且处理以基于块的方式执行。块的长度被选择得足够短，使得耳朵不能觉察到由于处理过的输出信号的相位中的误差导致的任意时域失真。 

一般地，在本发明中，信号处理器5对输入信号m(t)3进行操作，以将它分解成其不同分量6。这些分量可以包括原始干信号s(t)1的估计

和混响分量r(t)的估计

混响分量的估计还可以进一步分解成代表混响信号的不同部分的估计

......，

的子分量。一般地，信号处理器5还可以修改干信号分量估计和混响信号分量估计中的任意部分或全部。本发明在频域中对m(t)进行操作。通过对时间样本的块应用重叠分析窗口21，输入信号m(t)3被转换成频域表达。时域-频域处理器22响应于输入时间样本产生输入谱。为了获得时域-频域的转换，时域-频域处理器可以执行离散傅立叶变换(DFT)、小波变换或其他变换，或可以被分析滤波器组所代替或实施为分析滤波组。在该实施例中，使用DFT。应当意识到，输入信号m(t)不需要如图1所示从麦克风获得。本发明可以对任意音频信号进行操作，而不管该信号怎样产生。 

脉冲响应估算器24在输入信号M(ω)25的频域表达上操作，以生成脉冲响应H(ω)的频域表达的感知相关估计23。一般地，脉冲响应估算器24对输入信号进行操作以产生H(ω)的基于块的估计。脉冲响应的基于块的估计包括多个块的估计

......16，它们对应于如图2所示的脉冲响应的块h₀(t)，h₁(t)，h₂(t)，......15的频域估计。 

混响调节处理器26可操作以响应于脉冲响应的一个或多个频域块估计16，调节输入信号谱M(ω)的频率分量，以产生包括输入信号谱M(ω)的经 调节的频率分量的一个或多个混响调节频率谱27。一般地，混响调节处理器26得出一个或多个混响调节频率谱27，这些谱27将基于输入信号的某个分量是原始干信号的部分还是混响信号的部分，而不予处理、放大或减弱输入信号的该分量。 

信号调节器(signal modifier)28可操作以修改和混合混响调节频率谱27以及输入信号谱25的频率分量，以产生一个或多个输出频谱Z₁(ω)，Z₂(ω)，......，Z_L(ω)29。 

频域-时域处理器30可操作，以响应于输出频谱产生时间样本的输出帧z₁(t)，z₂(t)，......，z_L(t)32。频域-时域处理器一般执行时域-频域处理器22的反函数。因此，在优选实施例中，每个频域-时域处理器执行反离散傅立叶变换(IDFT)。 

分解处理器33使用脉冲响应H(ω)的频域表达的基于块的估计

23且在输入信号的频域表达M(ω)25上操作，以产生原始干信号的估计

34和一个或多个混响信号分量的估计

......，

35。 

干信号调节器36可操作以调节原始干信号的估计

34的频域分量，以产生原始干信号的经修改的估计

混响信号调节器37可操作以独立地调节混响信号分量的一个或多个估计

......，

的频率分量，以产生混响信号分量的经修改的估计。 

一般地，重组处理器38获取原始干信号的经修改的估计

和混响信号分量的经修改的估计

......，

且产生一个或多个混响调节频谱27。 

第二输入信号s₂(t)40可以被提供给重组处理器，以向第二输入信号中添加混响。通过向时间样本的块应用重叠分析窗口41，输入信号s₂(t)40被转换成频率表达。时域-频域处理器42响应输入时间样本而产生输入谱。添加的混响的特性由脉冲响应23的基于块的估计来确定。 

通过在脉冲响应估算器24中包括一个或多个源模型43，可以改善本发明的性能。源模型可用于说明混响系统的物理特性。例如，混响系统(房间)的响应倾向于随时间指数衰减。

通过脉冲响应估算器24得出的基于块的估计能够被存储44和检索，以用于以后的使用。脉冲响应调节器45可操作以独立地调节脉冲响应的基于块的估计的频率分量，以产生脉冲响应的经修改的基于块的估计。 

通过包括源模型46，可以改善分解处理器33的性能。源模型的一个目标可以是在判定给定频带将怎样衰减或放大时说明干声源的物理特性。通过包括感知模型47，也可以改善分解处理器33的性能。感知模型的一个目标是限制频带被修改的量，使得在提取干信号时，不希望有的混响分量仅被抑制到其被干信号屏蔽的程度。类似地，在提取混响信号时，不希望有的干信号分量仅被抑制到被混响信号屏蔽的程度。实际上，感知模型和源模型的方面可以组合起来。 

通过包括源模型48可以改善重组处理器38的性能。源模型的一个目标可以是当判定给定频带将怎样衰减或放大时计算干声源的物理特性。以通过包括感知模块49也可以改善分解处理器38的性能。感知模块的一个目标是限制频带被修改的量，使得在混响调节谱时，不希望的干和混响分量仅被抑制到它们被所需信号分量呢屏蔽的点。实际上，感知模型和源模型的方面可以组合。 

实际上，源模型46、48和感知模型47、49的方面可以组合且可以在分解处理器33和重组处理器38之间共享。 

本发明的各个部分的操作可通过控制器50来独立地控制。 

优选实施例 

下面描述用于将输入信号分解成其原始干信号分量和混响分量的优选实施例。混响分量被进一步分解成多个子分量。该优选实施例将在很多应用中使用，包括改变语音或音乐信号以获得所需的混响特性、增强语音信号的可理解性，以及从单声道、立体声或多声道输入信号生成额外的音频声道。 

该优选实施例是针对输入信号是单声道的情况描述的。在描述该实施例时，假设输入信号m(t)3由干声音源s(t)1与混响信号分量r(t)组成，其中r(t)是s(t)经过具有脉冲响应h(t)的混响系统的结果。应当理解，输入 信号3可以通过其他方法生成。 

在22，输入信号m(t)被转换成频域表达。在本实施例中，采用具有50％的重叠的根汉宁窗口(root-Hanning window)21的离散傅立叶变换(DFT)的快速实施。本领域技术人员将意识到，可以采用其他频域表达，包括但不限于离散余弦变换或小波变换。备选地，可以采用滤波器组以提供频域表达。还应当理解其他窗口函数可以被采用，且重叠量不限于50％。应当意识到，可以在时域-频域转换中使用时间样本的零值填充(zero-padding)，以减小处理可能导致的任意时间混淆失真。输入信号的频域表达是M(ω)25。 

脉冲响应估算器24在输入信号的频域表达上操作，以产生脉冲响应的频域表达的基于块的估计

23。如图2所示，脉冲响应h(t)被划分成由h₀(t)，h₁(t)，......，h_B(t)15组成的B+1个块，其相应的频域表达为H₀(ω)，H₁(ω)，......，H_B(ω)16。在本优选实施例中，所有的块具有相同的尺寸，每个块的长度为D。脉冲响应估算器产生H₀(ω)，H₁(ω)，......，H_B(ω)的一组感知相关估计(perceptually relevant estimate)。在本实施例中，这些感知相关估计

......，分别基于H₀(ω)，H₁(ω)，......，H_B(ω)的幅度估计。 

本领域技术人员将意识到，若滤波器具有足够的长度，则脉冲响应h(t)可以合理地通过有限脉冲响应(FIR)滤波器来近似。因此，信号m(t)可以通过具有脉冲响应等于h(t)的FIR滤波器处理干信号s(t)来获得。可以使用脉冲响应的基于块的表达15等价地实施这种滤波或卷积操作。基于块的实施在图4中示出。 

通过脉冲响应等于h₀(t)，h₁(t)，......，h_B(t)的B+1个FIR滤波器处理信号s(t)。为了时间对准这些FIR滤波器的输出，信号s(t)被一系列的延迟元件δ(t-D)17来延迟。每个延迟元件提供对D个样本的延迟，这对应于块FIR滤波器的长度。每个延迟元件可以实施为长度D的FIR滤波器，这种滤波器中只有最后的滤波器抽头不等于零且最后的滤波器抽头等于1。基于块的FIR滤波操作可以在数学上描述如下： 

m(t)＝s(t)*h₀(t)+s(t)*δ(t-D)*h₁(t)+...+s(t)*δ(t-BD)*h_B(t)

或等效地： 

$m\left(t\right)=\underset{i=0}{\overset{B}{\mathrm{\Σ}}}s\left(t\right)*\mathrm{\δ}(t-\mathrm{iD})*h_1\left(t\right)$

其中*代表卷积操作。 

如图4所示，该数学描述可以扩展，以明确示出直接信号分量和混响分量，如下： 

m(t)＝s(t)*h₀(t)+r(t) 

$m\left(t\right)=s\left(t\right)*h_0\left(t\right)+\underset{i=1}{\overset{B}{\mathrm{\Σ}}}s\left(t\right)*\mathrm{\δ}(t-\mathrm{iD})*h_1\left(t\right)$

其中 

s(l)*h₀(l) 

包括直接信号分量，且 

$r\left(t\right)=\underset{i=1}{\overset{B}{\mathrm{\Σ}}}s\left(t\right)*\mathrm{\δ}(t-\mathrm{iD})*h_1\left(t\right)$

是混响信号分量7。实际上，因为h₀(t)的长度为D，我们期望混响信号的最初部分的一部分在s(t)*h₀(t)中。如果D选择得足够短，这一般不是问题。如果D足够短，则由于人类听觉系统的掩蔽属性，s(t)*h₀(t)内的混响信号的部分将不被听见。因此，可以说，s(t)*h₀(t)是直接信号分量的感知相关表达，而r(t)是混响信号分量的感知相关表达。 

本领域技术人员将意识到，在时域的卷积等价于频域中的乘积。因此，图4中示出的基于块的FIR滤波处理可以备选地如图5所示在频域执行。图4中的B+1个FIR滤波器h₀(t)，h₁(t)，......，h_B(t)现在被它们的频域等价物H₀(ω)，H₁(ω)，......，H_B(ω)代替。延迟元件现在由Z^-D18表示，其中D代表延迟长度。频域处理因此可以给出为： 

M(ω)＝S(ω)H₀(ω)+S(ω)_z ^-DH₁(ω)+...+S(ω)z^-BDH_B(ω) 

或等价地：

$M\left(\mathrm{\ω}\right)=\underset{i=0}{\overset{B}{\mathrm{\Σ}}}S\left(\mathrm{\ω}\right)z^{-\mathrm{iD}}{H}_1\left(\mathrm{\ω}\right)$

如图5所示，该数学描述可以扩展，以明确示出直接信号分量和混响分量，如下： 

M(ω)＝S(ω)H₀(ω)+R(ω) 

$M\left(\mathrm{\ω}\right)=S\left(\mathrm{\ω}\right)H_0\left(\mathrm{\ω}\right)+\underset{i=1}{\overset{B}{\mathrm{\Σ}}}S\left(\mathrm{\ω}\right)z^{-\mathrm{iD}}{H}_1\left(\mathrm{\ω}\right)$

其中 

S(ω)H₀(ω) 

是包含直接信号分量的频域表达，且 

$R\left(\mathrm{\ω}\right)=\underset{i=1}{\overset{B}{\mathrm{\Σ}}}S\left(\mathrm{\ω}\right)z^{-\mathrm{iD}}{H}_1\left(\mathrm{\ω}\right)$

是混响信号分量19的频域表达。 

本领域技术人员将意识到，FIR滤波器的效果可以用适当的无限脉冲响应(IIR)滤波器来取消。因此，如果精确地知道B+1个FIR滤波器h₀(t)，h₁(t)，......，h_B(t)，则可以使用合适的IIR滤波器结构来从m(t)恢复原始干信号s(t)。如果已知FIR滤波器的频域表达H₀(ω)，H₁(ω)，......，H_B(ω)，也可以恢复原始干信号。本发明利用了这种概念。 

在很多情形中，不可能测量或得出H₀(ω)，H₁(ω)，......，H_B(ω)的精确值，且因而不可能精确地从m(t)恢复s(t)。在本发明中，H₀(ω)，H₁(ω)，......，H_B(ω)的感知相关估计用于得出S(ω)的估计。这些感知相关估计

......，

分别基于H₀(ω)，H₁(ω)，......，H_B(ω)的幅度的估计。 

脉冲响应的频域表达的基于块的估计

23被提供到分解处理器33。分解处理器在输入信号的频域表达M(ω)25上操作，以生成直接信号分量34的估计和混响分量35的估计。在优选实施例中，分解处理器如图6所示那样操作。从图中可以看出，分解处理器使用感知相关滤波器估计

......，

来生成基于块的IIR滤波器结构。IIR滤波器结构使用M(ω)作为其输入，且产生直接信号分量的谱的估计

34和混响信号成分的谱的估计

35。处理可以数学地描述如下： 

$\stackrel{\‾}{S}\left(\mathrm{\ω}\right){\stackrel{\‾}{H}}_0\left(\mathrm{\ω}\right)=M\left(\mathrm{\ω}\right)-(S\left(\mathrm{\ω}\right)z^{-D}{\tilde{H}}_1\left(\mathrm{\ω}\right)+...+S\left(\mathrm{\ω}\right)z^{-\mathrm{BD}}{\tilde{H}}_B\left(\mathrm{\ω}\right))$

$\stackrel{\‾}{S}\left(\mathrm{\ω}\right)=\frac{M\left(\mathrm{\ω}\right)-(S\left(\mathrm{\ω}\right)z^{-D}{\tilde{H}}_1\left(\mathrm{\ω}\right)+...+S\left(\mathrm{\ω}\right)z^{-\mathrm{BD}}{\tilde{H}}_B\left(\mathrm{\ω}\right))}{{\tilde{H}}_0\left(\mathrm{\ω}\right)}$

为更好地理解该操作，考虑对于输入信号M₀(ω)的给定块的处理是有用的。M₀(ω)包括：当前干信号块与H₀(ω)的卷积，加上先前干信号块与H₁(ω)的卷积，以及对先前的B个干信号块做类似操作的结果。我们现在使用下标表示干信号的块，这样S_i(ω)代表干信号分量的先前第i个块的频域表达。倘若如此，分解处理器的操作可以从数学上如下描述： 

${\tilde{S}}_0\left(\mathrm{\ω}\right){\tilde{H}}_0\left(\mathrm{\ω}\right)=M_0\left(\mathrm{\ω}\right)-({\stackrel{\‾}{S}}_1\left(\mathrm{\ω}\right){\stackrel{\‾}{H}}_1\left(\mathrm{\ω}\right)+...+{\tilde{S}}_B\left(\mathrm{\ω}\right){\tilde{H}}_B\left(\mathrm{\ω}\right))$

${\stackrel{\‾}{S}}_0\left(\mathrm{\ω}\right)=\frac{M_0\left(\mathrm{\ω}\right)-({\stackrel{\‾}{S}}_1\left(\mathrm{\ω}\right){\stackrel{\‾}{H}}_1\left(\mathrm{\ω}\right)+...+{\tilde{S}}_B\left(\mathrm{\ω}\right){\tilde{H}}_B\left(\mathrm{\ω}\right))}{{\stackrel{\‾}{H}}_0\left(\mathrm{\ω}\right)}$

其中

是S_i(ω)的真实值的估计。在优选实施例中，

被假设等于1，因而，得出： 

${\tilde{S}}_0\left(\mathrm{\ω}\right)=M_0\left(\mathrm{\ω}\right)-({\stackrel{\‾}{S}}_1\left(\mathrm{\ω}\right){\stackrel{\‾}{H}}_1\left(\mathrm{\ω}\right)+...+{\tilde{S}}_B\left(\mathrm{\ω}\right){\tilde{H}}_B\left(\mathrm{\ω}\right))$

因此，在本发明的优选实施例中，干信号分量34的当前块的估计从干信号的先前块的估计以及混响系统的脉冲响应的基于块的估计获得。应当注意，上面等式的  $({\tilde{S}}_1\left(\mathrm{\ω}\right){\tilde{H}}_1\left(\mathrm{\ω}\right)+...+{\tilde{S}}_B\left(\mathrm{\ω}\right){\tilde{H}}_B\left(\mathrm{\ω}\right))$ 是对混响信号分量35的估计。即， 

${\tilde{R}}_0\left(\mathrm{\ω}\right)={\tilde{S}}_1\left(\mathrm{\ω}\right){\tilde{H}}_1\left(\mathrm{\ω}\right)+...+{\tilde{S}}_B\left(\mathrm{\ω}\right){\tilde{H}}_B\left(\mathrm{\ω}\right)$

在该优选实施例中，全部的混响信号分量被划分成K个混响子分量 

...，如下： 

${\tilde{R}}_{0,k}\left(\mathrm{\ω}\right)=p_{1,k}\left(\mathrm{\ω}\right){\tilde{S}}_1\left(\mathrm{\ω}\right){\tilde{H}}_1\left(\mathrm{\ω}\right)+...+p_{B,k}\left(\mathrm{\ω}\right){\tilde{S}}_B\left(\mathrm{\ω}\right){\tilde{H}}_B\left(\mathrm{\ω}\right)$

其中p_i，k(ω)[i＝0，...，Bandk＝1，..，K]是与频率相关的增益向量，其允许全部混响信号分量被选择性地在时间和频率上进行分割。这使得人们可以选择性地提取由干声音与脉冲响应特定部分卷积得出的混响信号的恰当部分。例如，由于早期反射声音12产生的混响信号分量可独立于混响拖尾11导致的混响信号分量来提取。类似地，早期响应和/或混响拖尾的不同部分可以分别提取。而且，p_i，k(ω)的值可以被选择，以选择性地分离混响信号的不同分量的低频和高频。 

在优选实施例中，基于块的脉冲响应通过B+1个块的频域表达的幅度来估计。因此，上述等式可以修改为： 

${\left|{\tilde{S}}_0\left(\mathrm{\ω}\right)\right|}^2={\left|M_0\left(\mathrm{\ω}\right)\right|}^2-({\left|{\tilde{S}}_1\left(\mathrm{\ω}\right)\right|}^2{\left|{\tilde{H}}_1\left(\mathrm{\ω}\right)\right|}^2+...+{\left|{\tilde{S}}_B\left(\mathrm{\ω}\right)\right|}^2{\left|{\stackrel{\‾}{H}}_B\left(\mathrm{\ω}\right)\right|}^2)$

${\left|{\tilde{R}}_0\left(\mathrm{\ω}\right)\right|}^2={\left|{\stackrel{\‾}{S}}_1\left(\mathrm{\ω}\right)\right|}^2{\left|{\tilde{H}}_1\left(\mathrm{\ω}\right)\right|}^2+...+{\left|{\tilde{S}}_B\left(\mathrm{\ω}\right)\right|}^2{\left|{\tilde{H}}_B\left(\mathrm{\ω}\right)\right|}^2$

${\left|{\tilde{R}}_{0,k}\left(\mathrm{\ω}\right)\right|}^2=p_{1,k}\left(\mathrm{\ω}\right){\left|{\stackrel{\‾}{S}}_1\left(\mathrm{\ω}\right)\right|}^2{\left|{\tilde{H}}_1\left(\mathrm{\ω}\right)\right|}^2+...+p_{B,k}\left(\mathrm{\ω}\right){\left|{\tilde{S}}_B\left(\mathrm{\ω}\right)\right|}^2{\left|{\stackrel{\‾}{H}}_B\left(\mathrm{\ω}\right)\right|}^2$

输入信号M₀(ω)的相位被用作

以及

...，

的相位响应。 

在该优选实施例中，分解处理器通过对输入信号应用不同增益向量操作： 

${\tilde{S}}_0\left(\mathrm{\ω}\right)=G_S\left(\mathrm{\ω}\right)M_0\left(\mathrm{\ω}\right)$

$R_{\mathrm{0,1}}\left(\mathrm{\ω}\right)=G_{R_1}\left(\mathrm{\ω}\right)M_0\left(\mathrm{\ω}\right)$

$R_{\mathrm{0,2}}\left(\mathrm{\ω}\right)=G_{R_2}\left(\mathrm{\ω}\right)M_0\left(\mathrm{\ω}\right)$

$R_{0,K}\left(\mathrm{\ω}\right)=G_{R_K}\left(\mathrm{\ω}\right)M_0\left(\mathrm{\ω}\right)$

用于干信号分量的增益向量通过下式得出： 

$G_S\left(\mathrm{\ω}\right)={\tilde{S}}_0\left(\mathrm{\ω}\right)/M_0\left(\mathrm{\ω}\right)$

$G_S\left(\mathrm{\ω}\right)=\frac{{\left|M_0\left(\mathrm{\ω}\right)\right|}^2-({\left|{\stackrel{\‾}{S}}_1\left(\mathrm{\ω}\right)\right|}^2{\left|{\stackrel{\‾}{H}}_1\left(\mathrm{\ω}\right)\right|}^2+...+{\left|{\tilde{S}}_B\left(\mathrm{\ω}\right)\right|}^2{\left|{\tilde{H}}_B\left(\mathrm{\ω}\right)\right|}^2)}{{\left|M_0\left(\mathrm{\ω}\right)\right|}^2}$

$G_S\left(\mathrm{\&omega;}\right)=\left\{\begin{array}{cc}\mathrm{MinGain}\left(\mathrm{\&omega;}\right);& G_S\left(\mathrm{\&omega;}\right)<\mathrm{MinGain}\left(\mathrm{\&omega;}\right)\\ G_S\left(\mathrm{\&omega;}\right);& \mathrm{otherwise}\end{array}\right.$

频率相关参数MinGain(ω)防止G_S(ω)落到某些期望值以下。 

在该优选实施例中，增益向量是实值向量，因而它仅影响M₀(ω)的幅度。因此，具有和M₀(ω)相同的相位响应。以类似的方式找到用于混响信号分量的增益向量。 

通过采用感知模型47和源模型46进一步改善增益向量G_S(ω)，

的值。感知模型计算人耳听觉系统的屏蔽属性，而源模型计算声源的物理特性。在本实施例中，两个模型被组合且提供在时间和频率上对增益向量G_S(ω)，...，

的平滑。时间上的平滑按以下这样获得： 

$G_{S,\mathrm{\&tau;}}^{\&prime;}\left(\mathrm{\&omega;}\right)=(1-\mathrm{\&gamma;}\left(\mathrm{\&omega;}\right))\&CenterDot;G_{S,\mathrm{\&tau;}-1}^{\&prime;}\left(\mathrm{\&omega;}\right)+\mathrm{\&gamma;}\left(\mathrm{\&omega;}\right)\&CenterDot;G_{S,\mathrm{\&tau;}}\left(\mathrm{\&omega;}\right)$

$G_{R_1,\mathrm{\&tau;}}^{\&prime;}\left(\mathrm{\&omega;}\right)=(1-\mathrm{\&gamma;}\left(\mathrm{\&omega;}\right))\&CenterDot;G_{R_1,\mathrm{\&tau;}-1}^{\&prime;}\left(\mathrm{\&omega;}\right)+\mathrm{\&gamma;}\left(\mathrm{\&omega;}\right)\&CenterDot;G_{R_1,\mathrm{\&tau;}}\left(\mathrm{\&omega;}\right)$

$G_{R_2,\mathrm{\&tau;}}^{\&prime;}\left(\mathrm{\&omega;}\right)=(1-\mathrm{\&gamma;}\left(\mathrm{\&omega;}\right))\&CenterDot;G_{R_2,\mathrm{\&tau;}-1}^{\&prime;}\left(\mathrm{\&omega;}\right)+\mathrm{\&gamma;}\left(\mathrm{\&omega;}\right)\&CenterDot;G_{R_2,\mathrm{\&tau;}}\left(\mathrm{\&omega;}\right)$

               … 

$G_{R_K,\mathrm{\&tau;}}^{\&prime;}\left(\mathrm{\&omega;}\right)=(1-\mathrm{\&gamma;}\left(\mathrm{\&omega;}\right))\&CenterDot;G_{R_K,\mathrm{\&tau;}-1}^{\&prime;}\left(\mathrm{\&omega;}\right)+\mathrm{\&gamma;}\left(\mathrm{\&omega;}\right)\&CenterDot;G_{R_K,\mathrm{\&tau;}}\left(\mathrm{\&omega;}\right)$

其中τ表示处理的当前时间帧。γ(ω)为每个频带确定随时间应用于增益向量G_S(ω)，

...，

的平滑量。应当意识到，γ(ω)的不同值可用于每个增益向量。还应当意识到，γ(ω)的值可以随频率变化。γ(ω)的值还可以随时间变化，且它们依赖于输入信号，或依赖于增益向量的值。 

人耳听觉系统的同步屏蔽属性可以看成是在频率上平滑和扩展能量的一种形式。在本实施例中，同步屏蔽可以如下计算： 

${\mathrm{Masking}}_S\left(\mathrm{\&omega;}\right)=\mathrm{spread}1\left(\mathrm{\&omega;}\right)\&CenterDot;G_{S,\mathrm{\&tau;}}^{\&prime;}\left(\mathrm{\&omega;}\right)+\mathrm{spread}2\left(\mathrm{\&omega;}\right)\&CenterDot;{\mathrm{Masking}}_S(\mathrm{\&omega;}-1)$

${\mathrm{Masking}}_{R_1}\left(\mathrm{\&omega;}\right)=\mathrm{spread}1\left(\mathrm{\&omega;}\right)\&CenterDot;G_{R_1,\mathrm{\&tau;}}^{\&prime;}\left(\mathrm{\&omega;}\right)+\mathrm{spread}2\left(\mathrm{\&omega;}\right)\&CenterDot;{\mathrm{Masking}}_{R_1}(\mathrm{\&omega;}-1)$

${\mathrm{Masking}}_{R_2}\left(\mathrm{\&omega;}\right)=\mathrm{spread}1\left(\mathrm{\&omega;}\right)\&CenterDot;G_{R_2,\mathrm{\&tau;}}^{\&prime;}\left(\mathrm{\&omega;}\right)+\mathrm{spread}2\left(\mathrm{\&omega;}\right)\&CenterDot;{\mathrm{Masking}}_{R_2}(\mathrm{\&omega;}-1)$

                   … 

${\mathrm{Masking}}_{R_K}\left(\mathrm{\&omega;}\right)=\mathrm{spread}1\left(\mathrm{\&omega;}\right)\&CenterDot;G_{R_K,\mathrm{\&tau;}}^{\&prime;}\left(\mathrm{\&omega;}\right)+\mathrm{spread}2\left(\mathrm{\&omega;}\right)\&CenterDot;{\mathrm{Masking}}_{R_K}(\mathrm{\&omega;}-1)$

变量spread1(ω)和spread2(ω)确定了频率上的同步屏蔽量。在本实施例中，spreadl(ω)和spread2(ω)被设计成能考虑到这一事实，即，听觉滤波器的带宽随着频率增加而增加，且因此在较高的频率处施加更大的扩展。 

通过添加估计的屏蔽  $G_{S,\mathrm{\&tau;}}^{\&prime;\&prime;}\left(\mathrm{\&omega;}\right)=G_{S,\mathrm{\&tau;}}^{\&prime;}\left(\mathrm{\&omega;}\right)+\mathrm{\&mu;}\left(\mathrm{\&omega;}\right)\&CenterDot;{\mathrm{Masking}}_S\left(\mathrm{\&omega;}\right)$ 的影响，来改善增益向量。频率相关参数μ(ω)确定屏蔽估计被添加到先前计算的增益向量值的水平： 

$G_{R_1,\mathrm{\&tau;}}^{\&prime;\&prime;}\left(\mathrm{\&omega;}\right)=G_{R_1,\mathrm{\&tau;}}^{\&prime;}\left(\mathrm{\&omega;}\right)+\mathrm{\&mu;}\left(\mathrm{\&omega;}\right)\&CenterDot;{\mathrm{Masking}}_{R_1}\left(\mathrm{\&omega;}\right)$

$G_{R_2,\mathrm{\&tau;}}^{\&prime;\&prime;}\left(\mathrm{\&omega;}\right)=G_{R_2,\mathrm{\&tau;}}^{\&prime;}\left(\mathrm{\&omega;}\right)+\mathrm{\&mu;}\left(\mathrm{\&omega;}\right)\&CenterDot;{\mathrm{Masking}}_{R_2}\left(\mathrm{\&omega;}\right)$

           … 

$G_{R_K,\mathrm{\&tau;}}^{\&prime;\&prime;}\left(\mathrm{\&omega;}\right)=G_{R_K,\mathrm{\&tau;}}^{\&prime;}\left(\mathrm{\&omega;}\right)+\mathrm{\&mu;}\left(\mathrm{\&omega;}\right)\&CenterDot;{\mathrm{Masking}}_{R_K}\left(\mathrm{\&omega;}\right)$

该步骤可能导致增益向量值超过1.0。尽管其他限制也是可行的，在本 实施例中，最大增益值限制为1.0： 

$G_{S,\mathrm{\&tau;}}^{\&prime;\&prime;}\left(\mathrm{\&omega;}\right)=\left\{\begin{array}{cc}1.0;& G_{S,\mathrm{\&tau;}}^{\&prime;\&prime;}\left(\mathrm{\&omega;}\right)>1.0\\ G_{S,\mathrm{\&tau;}}^{\&prime;\&prime;}\left(\mathrm{\&omega;}\right);& \mathrm{otherwise}\end{array}\right.$

对其余的增益向量执行类似的操作。这些最终的增益向量被应用于输入信号M(ω)，以产生干信号分量34和混响信号分量35。如有需要，干信号分量34可以通过干信号调节器36修改。在本实施例中，修改可以包括但不限于水平调节、频率滤波以及动态范围处理。混响信号分量35通过混响信号调节器37来操作，其中在本实施例中，修改可以包括但不限于水平调节、频率滤波以及动态范围处理。 

$\tilde{S}\&prime;\left(\mathrm{\&omega;}\right)=\mathrm{Modify}\left[\stackrel{\&OverBar;}{S}\left(\mathrm{\&omega;}\right)\right]$

$R_1^{\&prime;}\left(\mathrm{\&omega;}\right)=\mathrm{Modify}\left[R_1\left(\mathrm{\&omega;}\right)\right]$

$R_2^{\&prime;}\left(\mathrm{\&omega;}\right)=\mathrm{Modify}\left[R_2\left(\mathrm{\&omega;}\right)\right]$

$R_K^{\&prime;}\left(\mathrm{\&omega;}\right)=\mathrm{Modify}\left[R_K\left(\mathrm{\&omega;}\right)\right]$

重组处理器38组合修改过的干声音估计

以及混响信号子分量的修改过的估计  $R_1^{\&prime;}\left(\mathrm{\&omega;}\right),R_2^{\&prime;}\left(\mathrm{\&omega;}\right),...,R_K^{\&prime;}\left(\mathrm{\&omega;}\right),$ 以产生一个或多个混响调节频谱27。重组处理器执行的另一操作是向信号X(ω)60应用基于块的脉冲响应，以产生如图7所示的输出信号Y(ω)61。基于块的脉冲响应可以包括通过脉冲响应估算器24得出的原始

或修改的形式

62。该处理的输入信号X(ω)可以包括

...，

中的一个或多个，或辅助输入信号S₂(ω)。

的不同形式可用于不同的输入信号。该基于块的卷积处理的输出信号提供了附加的混响调节频谱27。重组处理器38包括源模型和感知模型。在本实施例中，源模型48和感知模型49与分解处理器23的源模型46和感知模型47相组合。

未处理的输入信号M(ω)25和混响调节频谱27被提供到信号调节器28。信号调节器产生最终的L个输出频谱Z₁(ω)，Z₂(ω)，......，Z_L(ω)，它们被转换到时域以获得所需的输出信号z₁(t)，z₂(t)，......，z_L(t)32。在本实施例中，频域-时域转换器30由反向离散傅立叶变换(IDFT)的快速实施以及其后的根汉宁窗口31组成。 

对于将本发明用于生成单声道输出信号(即，L＝1)的应用情况，信号调节器28对混响调节频谱27进行操作以将它们组合起来，从而生成具有修改过的混响特性的输入信号的修改形式。 

对于将本发明用于从单声道输入信号产生额外音频声道的应用情况，信号调节器28的操作包括对混响调节频谱27进行操作以组合它们，从而生成两个或更多的独特的输出频谱Z₁(ω)，Z₂(ω)，......，Z_L(ω)。 

在某些应用中，不需要信号调节器28修改未经处理的信号M(ω)25或经混响调节的频谱27，且所以信号调节器可以简单地使这些信号通过，从而产生最终的输出频谱Z₁(ω)，Z₂(ω)，......，Z_L(ω)。 

优选实施例中的先前的步骤需要混响系统的脉冲响应的合适的基于块的估计。脉冲响应估算器24在输入信号M(ω)25的频域表达上操作，以生成脉冲响应的基于块的估计

......，

两个因素组合起来确定混响输入信号M(ω)25在给定频率处衰减(或增长)速度。第一因素是干声源s(t)1的衰减(或增长)的速度，第二因素是混响系统的衰减速度。尽管在给定频率混响系统(例如音乐厅)的衰减速度在时间上相对恒定，但干声源的衰减速度连续地变化。使用早先的歌手的示例，在给定频率，歌手声音的水平随时间连续地上升和下降。因此，在给定频率，输入信号M(ω)25的最快衰减速度发生在干声源s(t)1停止时，且信号中的衰减完全由于混响系统的衰减。 

如果人们考虑给定频率，则可以看出估计

的最佳机会是干声源s(t)1在该频率停止的时刻。此时刻之后的是信号的混响分量r(t)，且混响系统的衰减可以被观察到。倘若如此，可以通过观察当前块|M₀(ω)|²的幅度与先前块|M_i(ω)|²的幅度的比率且估计该比率的最小值来获得估计

其中Bias_i(ω)是大于1.0的某个值，且ε是某一较小值。频率相关参数Bias_i(ω)防止|C_i(ω)|²在不正确的最小值被捕获，而ε防止|C_i(ω)|²在零值被捕获。上述比率的最小值对应于该频率的信号的最快衰减速度，且因此对应于该频率的

的估计。为所有的块[i＝1，...，B]在每个频率ω执行该处理。 

在本实施例中，源模型如下实施： 

${\left|C_i\left(\mathrm{\&omega;}\right)\right|}^2=\left\{\begin{array}{cc}\mathrm{Max}{\mathrm{Value}}_i\left(\mathrm{\&omega;}\right);& {\left|C_i\left(\mathrm{\&omega;}\right)\right|}^2>\mathrm{MaxValu}{e}_i\left(\mathrm{\&omega;}\right)\\ \left|C_i\left(\mathrm{\&omega;}\right)\right|2;& \mathrm{otherwise}\end{array}i=1,...,B\right.$

参数MaxValue_i(ω)防止|C_i(ω)|²和

超出预期在真实声学空间中不会出现的某一值。MaxValue_i(ω)可以随时间和块变化。时间平滑操作被应用以提供对

的更稳定的估计： 

${\left|{\tilde{H}}_{i,\mathrm{\&tau;}}\left(\mathrm{\&omega;}\right)\right|}^2={\mathrm{\&alpha;}}_i\left(\mathrm{\&omega;}\right){\left|{\tilde{H}}_{i,\mathrm{\&tau;}-1}\left(\mathrm{\&omega;}\right)\right|}^2+(1-{\mathrm{\&alpha;}}_i\left(\mathrm{\&omega;}\right)){\left|C_i\left(\mathrm{\&omega;}\right)\right|}^2$

其中τ表示处理的当前时间帧，α_i(ω)是控制时间平滑量的频率相关参数。α_i(ω)还可以随时间和块变化，且其值可以依赖于输入信号的当前块以及输入信号的先前的块。 

在本实施例中，

在频率上的平滑被实施为源模型的一部分。平滑量通过β_i(ω)的值确定。β_i(ω)可以随频率和块变化。 

${\left|{\tilde{H}}_i^{\&prime;}\left(\mathrm{\&omega;}\right)\right|}^2={\mathrm{\&beta;}}_i\left(\mathrm{\&omega;}\right){\left|{\stackrel{\&OverBar;}{H}}_i\left(\mathrm{\&omega;}\right)\right|}^2+\frac{1-{\mathrm{\&beta;}}_i\left(\mathrm{\&omega;}\right)}{2}({\left|{\tilde{H}}_i(\mathrm{\&omega;}-1)\right|}^2+{\left|{\tilde{H}}_i(\mathrm{\&omega;}+1)\right|}^2)$

采用基于块的脉冲响应的最终估计

来得出用于得出干声音的估计以及混响分量的估计的增益向量。

已经描述了关于输入信号是单声道的情况的优选实施例。应当意识到，本发明可以直接扩展成对立体声和多声道输入信号进行操作。当输入信号具有多于一个的声道时，应当理解本发明可以独立地在每个声道上操作，或者声道上的操作可以相组合，关于给定声道的信息可以用于其他声道的处理。 

　　一阵阵缥缈的声音，像什么人在唱歌，似乎唱得十分认真，那声调却很奇怪……就像是……断了的舌头的唱出来的歌。

　　他睁开了眼睛，看着正对着他床榻的窗子。

脉冲响应的B+1个块15可以重叠，或者它们可以如图2所示没有任何重叠。在块重叠的情况下，窗口函数可用于提供从块到块的平滑过渡。在优选实施例中，块具有50％的重叠。 

在优选实施例中，在处理中使用信号和脉冲响应的频域表达的幅度平方 应当意识到可以使用幅度的其他次幂

对于混响被添加到第二输入信号s₂(t)40的应用情况中，重组处理器可包括如图7所示的基于块的频域FIR滤波器结构。该滤波器由脉冲响应块的幅度的修改的估计

组成。在优选实施例中，重组处理器通过向输入信号应用增益向量完成这点。 

在优选实施例中，分解处理器33和重组处理器38彼此独立地操作。应当意识到，在某些实施例中，两个处理器的各方面可以组合。 

在优选实施例中，分解处理器33和重组处理器38彼此独立地操作。应当意识到，在某些实施例中，两个处理器的各方面可以组合。 

本发明一般可用于基于输入信号M(ω)25生成附加音频声道。即，本发明可用于从具有U个声道的输入信号M(ω)25生成V个输出声道，其中V＞U。其示例包括从单声道信号生成立体声或多声道信号；从立体声输入信号生成多声道信号；以及从多声道输入信号生成额外的声道。一般地，这通过提取信号的混响分量和将信号的混响分量分解为不同的子分量R₁(ω)，R₂(ω)，...，R_K(ω)35，且分布它们到不同的输出声道实现。混响信号的给定子分量可以被分配给多于一个的输出声道。生成的声道还可以包括干信号分量的估计

34和输入信号M(ω)25。 

在优选实施例中，分解处理器33采用了脉冲响应的基于块的估计 对输入信号M(ω)25进行操作，以得出一组合适的感 知混响子分量。重组处理器38对干信号的估计

34和混响子分量35进行操作，以得出一组经混响调节的频谱27。在某些情况下，信号调节器28可以将经混响调节的频谱直接分配到最终的V个输出频谱Z₁(ω)，Z₂(ω)，...，Z_V(ω)29。最终的输出频谱被转换到时域30，且被划分窗口31，以提供由z₁(t)，z₂(t)，...，z_V(t)32组成的多声道音频信号。 

在其他情况下，信号调节器28可以选择性地组合两个或更多的经混响调节的频谱27，以生成V输出频谱。信号调节器还可以在V输出频谱其中的一个或多个中包括未经处理的输入信号M(ω)25。 

作为示例，参考图8考虑从立体声输入信号(U＝2)生成5声道(V＝5)输出信号的方法

输入信号M_Left(ω)70被分解成其直接信号分量和混响信号分量

右声道直接信号分量

被发送到左输出声道72，而左声道混响信号分量

被发送到左环绕输出声道75。类似地，右输入信号M_Right(ω)71被分解，且右声道直接信号分量

被发送到右输出声道73，而右声道混响信号分量被发送到右环绕输出声道74。中间的输出声道74由某种混合

构成，其中g₁、g₂、g₃和g₄确定分量混合在一起的相对水平。应当意识到，该示例仅是虚拟不受限方法之一，通过该方法，本发明可以分解输入信号以生成额外的音频声道。 

本发明的其他实施例： 

1.一种方法，通过使用脉冲响应的频域表达的基于块的估计分解信号，将混响信号分解成直接声音分量和/或一个或多个混响分量。 

1.1、根据概念1所述的方法，其中仅基于所述脉冲响应的频域表达的描述的幅度表达，将所述信号分解成直接声音分量和/或一个或多个混响分量。 

1.2、根据概念1所述的方法，其中使用变换表达，将所述信号分解成直接声音分量和/或一个或多个混响分量。 

1.3、根据概念1所述的方法，其中使用滤波器组表达，将所述信 号分解成直接声音分量和/或一个或多个混响分量。 

1.4、根据概念1所述的方法，其中所述信号被分解成直接声音分量和/或一个或多个混响分量，且仅仅所述直接声音分量被输出。 

1.5、根据概念1所述的方法，其中所述信号被分解成直接声音分量和/或一个或多个混响分量，且仅输出混响分量中的一个或多个。 

2.一种方法，通过首先使用根据概念1所述的方法分解混响信号并在重组所述直接声音分量和/或一个或多个混响分量之前修改它们，来生成输出信号。 

2.1、根据概念2所述的方法，其中所述处理用于减小电话或电信会议装置中的混响。 

2.2、根据概念2所述的方法，其中所述处理用于增强混响语音信号的可理解性。 

2.3、根据概念2所述的方法，其中所述处理用于减小混响，以增大语音识别系统的识别率。 

2.4、根据概念2所述的方法，其中所述处理用于通过减小由于放大的信号导致的混响来减小公共广播系统(public address system)中的声学反馈。 

2.5、根据概念2所述的方法，其中所述处理用于增强听力辅助设备中的混响语音信号的可理解性。 

2.6、根据概念2所述的方法，其中仅所述直接声音分量被提取和修改。 

2.7、根据概念2所述的方法，其中在将所述直接声音分量与一个或多个所述混响分量重组之前，修改所述直接声音分量。 

2.7.1、根据概念2.7所述的方法，其中所述修改包括对所述直接声音分量应用减噪(noise reduction)。 

2.7.2、根据概念2.7所述的方法，其中所述修改包括向所述直接声音分量添加音频水印。 

2.8、根据概念2所述的方法，其中在将所述混响分量与所述直接 声音分量重组之前，修改所述混响分量。 

2.9、根据概念2所述的方法，其中在将所述混响分量中的一个或多个与直接声音分量组合之前，修改这些分量。 

2.10、根据概念2所述的方法，其中在组合所述直接声音和混响分量之前，修改所述直接声音与混响声音的比率。 

2.11、根据概念2所述的方法，其中在与所述直接声音分量重组之前，仅修改某些混响分量。 

3.一种方法，使用脉冲响应的频域表达的基于块的估计，生成由直接声音分量和/或一个或多个混响分量组成的输出信号。 

3.1、根据概念3所述的方法，其中所述输出信号仅基于所述脉冲响应的频域表达的幅度表达生成。 

3.2、根据概念3所述的方法，其中使用所述脉冲响应的变换表达来生成所述输出信号。 

3.3、根据概念3所述的方法，其中使用所述脉冲响应的滤波器组表达来生成所述输出信号。 

3.4、根据概念3所述的方法，其中所述脉冲响应的频域表达被修改，以生成多个混响输出信号。 

3.4.1、根据概念3.4所述的方法，其中所述多个混响输出信号用于从单声道信号生成立体声信号。 

3.4.2、根据概念3.4所述的方法，其中所述多个混响输出信号被用在多声道环绕声音系统中。 

3.4.3、根据概念3.4所述的方法，其中所述多个混响输出信号被用在三维耳机系统中。 

3.5、根据概念3所述的方法，其中通过向第二信号的直接声音分量应用从第一信号得出的脉冲响应的频域表达，来生成所述输出信号。 

3.5.1、根据概念3.5所述的方法，其中使用根据概念1所述的方法来得出所述第二信号的所述直接声音分量。 

4.一种通过以下步骤从混响信号提取混响系统的描述的方法： 

-将基本混响系统的总脉冲响应分解成一系列代表脉冲响应部分的块； 

-通过比较当前帧与先前帧中的信号的频域表达，来提取关于每个块的脉冲响应的频域表达的估计； 

4.1、根据概念4所述的方法，其中所述频域表达的比较基于对所述信号的频率分量的变化率的跟踪。 

4.1.1、根据概念4.1所述的方法，其中最大变化率被使用。 

4.1.1.1、根据概念4.1.1所述的方法，其中用于块i的所述频域表达H_i(ω)基于min{M_o(ω)/M_i(ω)}。 

4.1.2、根据概念4.1所述的方法，其中所述变化率被平滑。 

4.2、根据概念4所述的方法，其中通过物理模型限制关于每个块的脉冲响应的频域表达。 

4.2.1、根据概念4.2所述的方法，其中所述混响系统的物理模型假设给定时间之后的指数衰减。 

4.3、根据概念4所述的方法，其中使用感知模型得出关于每个块的脉冲响应的频域表达。 

4.3.1、根据概念4.3所述的方法，其中所述感知模型计算耳朵的与频率相关的灵敏度。 

4.4、根据概念4所述的方法，其中不必直接测量真实声学空间的脉冲响应，就能捕获所述真实声学空间的感知相关混响特性。 

5.一种方法，通过根据概念1所述的方法分解信号且修改直接声音分量和/或脉冲响应的频域表达的基于块的估计，根据概念3所述的方法生成输出信号。 

5.1、根据概念5所述的方法，其中在生成所述输出信号之前，仅所述直接声音分量被修改。 

5.1.1、根据概念5.1所述的方法，其中所述修改包括对所述直接声学分量进行减噪。 

5.1.2、根据概念5.1所述的方法，其中所述修改包括向所述直接声音分量添加音频水印。 

5.1.3、根据概念5.1所述的方法，其中所述修改包括所述直接声音分量的音频数据缩减编码和解码。 

5.1.3.1、根据概念5.1.3所述的方法，其中所述分解和压缩编码由一个设备执行，且所述压缩解码和输出信号生成由另一设备执行。 

5.1.3.2、根据概念5.1.3所述的方法，其中所述脉冲响应的频域表达的基于块的估计被包括在所述经压缩的音频位流中。 

5.2、根据概念5所述的方法，其中根据概念4所述的方法，得出脉冲响应的频域表达的基于块的估计。 

Claims (36)

1.一种估计混响系统的脉冲响应的方法，包括以下步骤：

将来自混响系统的信号抽样为块的序列，其中该混响系统具有脉冲响应；

对于所述序列的每个块，确定各自的当前样本的幅度与各自的先前样本的幅度的比率；

估计该比率的最小值；

通过使用确定的比率和该最小值形成说明混响系统的估计的脉冲响应。

2.根据权利要求1所述的方法，其中所述抽样步骤是基于时域的。

3.根据权利要求1所述的方法，其中所述抽样步骤是基于频域的。

4.根据权利要求1所述的方法，其中所述抽样步骤提供相等的块。

5.根据权利要求4所述的方法，其中所述块是交迭的。

6.根据权利要求1所述的方法，其中所述抽样步骤使用窗口。

7.根据权利要求1所述的方法，其中所述确定步骤包括求出当前幅度的平方与先前幅度的平方的比率。

8.根据权利要求1所述的方法，其中所述确定步骤包括求出当前幅度的q次幂与先前幅度的q次幂的比率。

9.根据权利要求1所述的方法，其中所述抽样步骤使用滤波器组。

10.根据权利要求1所述的方法，其中所述形成估计的步骤包括平滑步骤。

11.一种分解来自混响系统的信号的方法，包括以下步骤：

将来自混响系统的信号抽样为块的序列，其中该混响系统具有脉冲响应；

对于所述序列的每个块，确定与先前块的幅度相关的幅度；

通过使用确定出的幅度作为用于有限脉冲响应滤波器的参数，形成所述脉冲响应的估计；以及

对所述信号应用估计的脉冲响应的求逆，以得出所述信号的直接信号分量和混响信号分量其中至少之一。

12.根据权利要求11所述的方法，其中所述抽样步骤是基于时域的。

13.根据权利要求11所述的方法，其中所述抽样步骤是基于频域的。

14.根据权利要求11所述的方法，其中所述抽样步骤提供相等的块。

15.根据权利要求14所述的方法，其中所述块是交迭的。

16.根据权利要求11所述的方法，其中所述抽样步骤使用窗口。

17.根据权利要求11所述的方法，其中所述确定步骤包括求出当前幅度的平方与先前幅度的平方的比率。

18.根据权利要求11所述的方法，其中所述确定步骤包括求出当前幅度的q次幂与先前幅度的q次幂的比率。

19.根据权利要求11所述的方法，其中所述抽样步骤使用滤波器组。

20.根据权利要求11所述的方法，其中所述形成估计的步骤包括平滑步骤。

21.根据权利要求11所述的方法，还包括修改直接信号分量和混响信号分量其中至少之一的步骤。

22.根据权利要求21所述的方法，还包括重组所述修改的直接信号分量和混响信号分量、修改的直接信号分量和修改的混响信号分量、以及直接信号分量和修改的混响信号分量其中至少之一的步骤。

23.根据权利要求1所述的方法，还包括使用估计的脉冲响应来产生有限脉冲响应滤波器的步骤和向信号应用有限响应滤波器以产生混响信号分量的频谱的估计的步骤。

24.一种分解来自混响系统的信号的方法，包括以下步骤：

将来自混响系统的信号抽样为块的序列，其中该混响系统具有脉冲响应；

对于所述序列的每个块，确定与先前块的幅度相关的幅度；

通过使用确定出的幅度作为用于有限脉冲响应滤波器的参数，形成所述脉冲响应的估计；

对所述信号应用估计的脉冲响应的求逆，以得出直接信号分量；

修改所述有限响应滤波器和所述直接信号分量其中至少之一；以及

重组从其修改后的混响信号。

25.根据权利要求24所述的方法，其中所述抽样步骤是基于时域的。

26.根据权利要求24所述的方法，其中所述抽样步骤是基于频域的。

27.根据权利要求24所述的方法，其中所述抽样步骤提供相等的块。

28.根据权利要求27所述的方法，其中所述块是交迭的。

29.根据权利要求24所述的方法，其中所述抽样步骤使用窗口。

30.根据权利要求24所述的方法，其中所述确定步骤包括求出当前幅度的平方与先前幅度的平方的比率。

31.根据权利要求24所述的方法，其中所述确定步骤包括求出当前幅度的q次幂与先前幅度的q次幂的比率。

32.根据权利要求24所述的方法，其中所述抽样步骤使用滤波器组。

33.根据权利要求24所述的方法，其中所述形成估计的步骤包括平滑步骤。

34.一种使用来自混响系统的具有较少声道的信号生成多声道信号的方法，包括以下步骤：

将来自混响系统的信号抽样为块的序列，其中该混响系统具有脉冲响应；

对于所述序列的每个块，确定与先前块的幅度相关的幅度；

通过使用确定出的幅度作为用于有限脉冲响应滤波器的参数，形成所述脉冲响应的估计；

对所述信号应用估计的脉冲响应的求逆，以得出所述信号的直接信号分量和混响信号分量其中至少之一；

重组所述直接信号分量和所述混响信号分量，以生成多声道信号。

35.根据权利要求34所述的方法，其中所述具有较少声道的信号是单声道信号，且所述多声道信号是立体声信号。

36.根据权利要求34所述的方法，其中所述具有较少声道的信号是立体声信号，且所述多声道信号是环绕声信号。

Images