CN101507203B - 抖动缓冲器调节 - Google Patents

抖动缓冲器调节 Download PDF

Info

Publication number
CN101507203B
CN101507203B CN2007800310294A CN200780031029A CN101507203B CN 101507203 B CN101507203 B CN 101507203B CN 2007800310294 A CN2007800310294 A CN 2007800310294A CN 200780031029 A CN200780031029 A CN 200780031029A CN 101507203 B CN101507203 B CN 101507203B
Authority
CN
China
Prior art keywords
equipment
time
delay
moment
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800310294A
Other languages
English (en)
Other versions
CN101507203A (zh
Inventor
A·拉卡尼米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101507203A publication Critical patent/CN101507203A/zh
Application granted granted Critical
Publication of CN101507203B publication Critical patent/CN101507203B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/22—Traffic shaping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/28—Flow control; Congestion control in relation to timing considerations
    • H04L47/283—Flow control; Congestion control in relation to timing considerations in response to processing delays, e.g. caused by jitter or round trip time [RTT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9023—Buffering arrangements for implementing a jitter-buffer

Abstract

为了增强自适应抖动缓冲器的性能，在第一设备处通过使用估计延时作为参数来确定抖动缓冲器的期望调节量。所述延时至少包括通话中的至少一个方向上的端到端延时。对于所述通话，语音信号经由分组交换网络而以分组的形式在所述第一设备与第二设备之间发送。然后基于所确定的调节量来对所述抖动缓冲器进行调节。

Description

抖动缓冲器调节
技术领域
本发明涉及抖动缓冲器调节。
背景技术
为了发送话音，语音帧可以在发射机处被编码、经由网络发送、并在接收机处被再次解码，以展现给用户。
在发射机没有活动语音需要被发送的时段期间，语音帧的正常发送可被切断。这被称之为不连续发送(DTX)机制。当不存在将被发送的有用信息时，不连续发送节省了发送资源。在正常通话中，例如，在某一时刻，通常所涉及的人员中仅有一人在说话，这意味着一个方向上的信号平均仅在大约50％的时段期间是包含活动语音的。发射机可以在此时段期间生成一组舒适噪声参数，该参数描绘了展现于发射机处的背景噪声。这些舒适噪声参数可被发送给接收机。相比于语音帧，舒适噪声参数的发送通常以低比特率和/或低发送间隔来进行。接收机然后可以使用所接收的舒适噪声参数来合成人工类噪声信号，该信号的特性接近于展现在发射机处的背景噪声的特性。
在自适应多速率(AMR)语音编解码器和自适应多速率宽带(AMR-WB)语音编解码器中，例如，在活动语音周期期间以20ms的间隔来生成新的语音帧。一旦检测到活动语音周期的结束，则非连续发送机制会将解码器保持在活动状态超过七帧，以形成延迟释放周期(hangover period)。在接收端利用该周期来准备背景噪声估计，该背景噪声估计可被用作在非语音周期期间生成舒适噪声的基础。在所述延迟释放周期之后，发送被切换到舒适噪声状态，在该状态期间，更新的舒适噪声参数通过静寂描述(SID)帧以160ms的间隔被发送。在新会话开始时，发射机被设置为活动状态。这意味着即使音频信号不包含语音，新会话的至少前七个帧也会被编码，并作为语音而被发送。
包括语音帧以及在DTX情况下包括舒适噪声参数的音频信号可从发射机经由例如分组交换网路(例如，因特网)而被发送到接收机。
分组交换通信的特性通常会引入分组发送时间的变化，通常称之为抖动，这在接收机看来即为分组以不稳定的间隔到达。除了分组丢失的情况，网络抖动是主要的障碍，特别是对于通过分组交换网络所提供的通话语音服务。
更具体而言，实时工作的音频接收机的音频重放组件要求恒定的输入，以保持良好的声音质量。甚至很短的中断也应当被排除掉。因此，如果某些包含音频帧的分组在需要对该音频帧进行解码以及进一步的处理之后才到达，则这些分组以及所包含的音频帧会因过晚到达而将被视为丢失。音频解码器将会执行差错掩盖(error concealment)，以补偿丢失帧中所携带的音频信号。尽管如此，显然，大量的差错掩盖也会降低声音质量。
通常情况下，抖动缓冲器因而会被用来掩藏不稳定的分组到达时间，从而向解码器以及后续的音频重放组件提供连续的输入。抖动缓冲器在预定时间量期间在其中存储输入的音频帧。该时间可以例如在接收到分组流的第一分组时进行规定。然而，由于所接收的分组在进一步处理之前会先被存储，因此，抖动缓冲器引入了额外的延时分量。这增大了端到端延时。可以通过例如平均缓冲延时以及延时帧在所接收的所有帧中的最终比例来表征抖动缓冲器。
使用固定重放定时的抖动缓冲器不可避免地是最低端到端延时与最少量的延时帧之间的折中，而且找出最优平衡不是一件容易的事。虽然在某些特定的环境和应用中，预期抖动量可被估计保持在一定限度之内，但通常抖动可以在0到数百毫秒之间变化(即使在同一会话中)。使用固定重放定时，其中根据预期的最差情况而将初始缓冲延时设置成足够大的值以涵盖抖动，这可以使延时帧的数量处于掌握中，但同时存在这样的风险，即引入了太长的端到端延时以至于不能进行自然的通话。因此，在大多数通过分组交换网络工作的音频发送应用中，应用固定的缓冲并非最佳的选择。
可以使用自适应抖动缓冲器管理来动态地控制足够短的延时与足够少量的延时帧之间的平衡。在此种方法中，持续地监视输入的分组流，并且根据所观察的所述输入的分组流的延时状况的变化来调整缓冲延时。在发送延时看起来在增大或者抖动变得更加厉害的情况下，增大缓冲延时以满足网络环境。在相反的情况下，可以减小缓冲延时，从而使端到端的总延时最小化。
发明内容
本发明的出发点在于考虑到对端到端延时的控制是自适应抖动缓冲器管理中的难题之一。在通常情况下，接收机不具有任何有关端到端延时的信息。因此，自适应抖动缓冲器管理通常仅通过尝试着将延时帧的数量保持在期望阈值以下而执行调节。虽然该方法可被用来在大多数发送环境中将语音质量保持在可接受水平，但在某些情况下，所述调节可能会使端到端延时增大到可接受水平之上，从而无法进行自然的通话。
提出了一种方法，该方法包括：在第一设备处通过使用估计延时作为参数来确定抖动缓冲器的期望调节量，所述延时至少包括通话中的至少一个方向上的端到端延时。对于所述通话，通话语音信号经由分组交换网络而以分组形式在第一设备与第二设备之间发送。所述方法还包括基于所确定的调节量来对所述抖动缓冲器进行调节。
此外，还提出一种装置，该装置包括控制组件，该组件被配置成在第一设备处通过使用估计延时作为参数来确定抖动缓冲器的期望调节量，所述延时至少包括通话中的至少一个方向上的端到端延时。对于所述通话，语音信号经由分组交换网络而以分组形式在第一设备与第二设备之间发送。所述设备还包括调节组件，该组件被配置成基于所确定的调节量来对所述抖动缓冲器进行调节。
所述控制组件和调节组件可以以软件和/或硬件来实现。所述装置可以是例如音频接收机、音频收发机等等。所述设备还可以进一步例如以芯片的形式或者以应用更加广泛的设备的形式等等来实现。
此外，还提出一种电子设备，该设备包括上述装置、音频输入组件(例如麦克风)以及音频输出组件(例如扬声器)。
此外，还提出一种系统，该系统包括所述电子设备以及其他电子设备。所述其他电子设备被配置成经由分组交换网络交换用于与第一电子设备进行通话的语音信号。
最后，提出了一种计算机程序产品，其中程序代码被存储在计算机可读介质中。所述程序代码在被处理器执行时实行提出的方法。
所述计算机程序产品可以是，例如独立的存储设备、或者整合到电子设备中的存储器等等。
本发明应被理解为包括独立于计算机程序产品和计算机可读介质的计算机程序代码。
通过在调节抖动缓冲器时考虑至少一个方向上的端到端延时，自适应抖动缓冲的性能可以得到改进。如果除了考虑在计划解码时间之后到达的帧的数量，还考虑例如至少一个方向上的端到端延时，则可以找到这两方面之间的最佳权衡。在计划解码时间之后到达的帧通常会被缓冲器丢弃，因为解码器已经因为他们的迟到而使用差错掩盖替代了他们。从解码器的角度来看，这些帧可被视为弃帧。从而，此种帧的数量被称之为迟到丢失率(late loss rate)。
所考虑的估计延时可以为例如估计的单向端到端延时或者估计的双向端到端延时。所述单向端到端延时可以为例如一个设备的用户开始谈话的时刻与另一个设备的用户开始收听语音的时刻之间的延时。所述双向端到端延时将在下面被称之为响应时间。
在通话情况下，从用户的角度看，用户的交互性可被视为是比单向端到端延时更加重要的方面。采用响应时间来度量交互性，所述响应时间是指用户停止谈话并等待收听到响应所经历的时间，因此，该响应时间除了包括双向的发送和处理延时，还包括用户的反应时间。对于一种实施方式，提出了使用估计响应时间作为用于选择自适应抖动缓冲器的最优调节的特定估计延时。所述估计响应时间可以是例如第一设备的用户所发出的语音片段的结束与该第一设备开始展现第二设备的用户所发出的语音片段之间的时间。
在本发明的一种实施方式中，确定调节量包括确定调节量以使得只要估计延时低于第一阈值，则在计划解码时间之后到达的帧的数量就被保持为低于第一门限。另外，确定调节量以使得当估计延时超过第一阈值时，例如处于第一阈值与第二较高阈值之间时，则在计划解码时间之后到达的帧的数量被保持为低于第二门限。
所述第一阈值、第二阈值、第一门限以及第二门限可以为预定值。然而，可选择的，所述值中的一者或多者可以是可变的。第二门限例如可以作为估计延时的函数来进行计算。通过利用更长的估计延时，可以使用更高的第二门限。这一思想为，当延时变得更高(导致交互性降低)时，可以允许更高的迟到丢失率以避免通过增大缓冲时间来保持低迟到丢失率而进一步地增大延时。
可以使用任何可用的机制来估计延时。所述估计可以基于可用信息或者专用测量。
例如，可以使用基于外部时间参考的方法，例如H·Schulzrinne等人2003年7月针对RFC 3550中的实时发送协议(RTP)/实时控制协议(RTCP)作出的“RTP：a Transport Protocol for Real-TimeApplications”所描述的基于网络时间协议(NTP)的方法。
如果估计响应时间将被用作估计延时，则还可以通过考虑通话的基本结构而粗略地估计响应时间。通话通常被划分成多个通话轮转(conversational turn)，在通话轮转期间，一方在说而另一方在听。可以采用通话的这种结构来估计响应时间。
所述响应时间可被估计为当在第一设备处检测到第一设备的用户从说话切换成收听时的时刻与当在第一设备处检测到第二设备的用户从收听切换成说话时的时刻之间的时间段。
电子设备通常会知道其自身的发送和接收状态，并且该认知可以被用来作为响应时间基础以估计这些行为变化。
当检测到第二设备的用户从收听切换成说话时，所估计的时刻可以例如是，第一设备在已经接收到不包含活动语音的语音信号的至少一个片段之后经由分组交换网络接收包含活动语音的语音信号的第一片段时的时刻。所述第一设备的解码器可以对此提供例如所接收的语音信号的内容的当前类型的指示、存在特定类型的内容的指示、或者内容改变的指示。内容的类型表示第一设备的当前接收状态以及第二设备的当前发送状态。舒适噪声帧的接收表示例如第二设备的用户正在收听，而语音帧的接收表示第二设备的用户正在说话。
所估计的当检测到第一设备的用户从说话切换到收听时的时刻可以为，当第一设备开始生成舒适噪声参数时的时刻。所述第一设备的编码器可以提供相应的指示。
可选择的，如果所述电子设备使用话音活动性检测(VAD)，则将检测到第一设备的用户从说话切换成收听时所估计的时刻可以是，当第一设备的VAD组件将标志设置成某一值，该值表示将经由分组交换网络发送的语音信号的当前片段不包含话音。所述第一设备的VAD组件可以提供对应的指示。如果使用了DTX延迟释放周期，则相比于生成舒适噪声的指示，VAD组件设置的标志可以提供更快且更加准确的、有关语音片段的结束的信息。
例如，在IP语音(VOIP)的情况中，VOIP客户端可以根据话音活动性检测的当前状态以及非连续发送操作的状态来知晓其自身的发送状态。
应该注意的是，除了用于控制自适应抖动缓冲器之外，所提出的粗略地估计响应时间的可选方法还可以用于其他目的。此外，它是另一有用的服务质量度量。
本发明可被用于使用针对语音信号的自适应抖动缓冲器的任何应用。使用AMR或者AMR-WB编解码器的VOIP就是一个例子
可以理解的是，所提出的示例性实施方式还可以以任何合适的组合而被实施。
本发明的其他目标和特征将通过以下结合附图的详细描述而变得显而易见。然而，可以理解的是，所述附图仅是出于示例性的目的，而非用于限定本发明，对本发明的限定应该参考所附权利要求书。应当进一步理解的是，所述附图并非依比例绘制，而是用于在概念上示出在此所描述的结构和步骤。
附图说明
图1是根据本发明实施方式的系统的示意框图；
图2是示出通话结构的图示；
图3是示出图1中用于估计通话中的当前响应时间的系统中的操作的流程图；
图4是示出图1中用于基于当前响应时间来调节抖动缓冲的系统中的操作的流程图；以及
图5是根据本发明另一实施方式的电子设备的示意框图。
具体实施方式
图1是示例性系统的示意框图，所述系统根据本发明的实施方式通过基于估计响应时间而支持自适应抖动缓冲调节。
所述系统包括第一电子设备110、第二电子设备150以及连接所述设备110、150两者的分组交换通信网络160。该分组交换通信网络160可以为或者包括例如因特网。
电子设备110包括音频接收机111、链接到所述音频接收机111的输出端的重放组件118、音频发射机122、链接到所述音频发射机122的输入端的麦克风121、以及链接到所述音频接收机111和音频发射机122这两者的响应时间(Tresp)估计组件130。该Tresp估计组件130还连接到定时器131。在电子设备110内部，设备110到所述分组交换通信网络160(未示出)的接口链接到所述音频接收机111的输入端和所述音频发射机122的输出端。
音频接收机111、音频发射机122、Tresp估计组件130以及定时器131可以被实施为例如单个芯片140或者芯片组。
在所述音频接收机111内部，所述音频接收机111的输入端一方面连接到抖动缓冲器112，且另一方面连接到网络分析器113。抖动缓冲器112经由解码器114和调节组件115而连接到所述音频接收机111的输出端，从而连接到重放组件118。所述网络分析器113的控制信号输出端连接到控制组件116的第一控制输入端，而所述抖动缓冲器112的控制信号输出端连接到所述控制组件116的第二控制输入端。所述控制组件116的控制信号输出端还连接到所述调节组件115的控制输入端。
所述重放组件118可以包括例如扬声器。
在音频接收机122内部，电子设备110的音频发射机122的输入端经由模拟数字转换器(ADC)123而连接到编码器124。该编码器124可以包括例如语音编码器125、话音活动性检测组件(VAD)126以及舒适噪声参数生成器127。
所述Tresp估计组件130被设置成接收来自解码器114和编码器124的输入。所述Tresp估计组件130的输出端连接到所述控制组件116。
电子设备110可被视为代表根据本发明的电子设备的示例性实施方式，而芯片140可被视为代表本发明的设备的示例性实施方式。
可以理解的是，并未绘制出电子设备110在音频接收机111和音频发射机122内外的其他各种组件，而且任何所表示出的链接均可等价成经过了其他未示出的组件的链接。所述电子设备110还包括例如上述的连接到网络160的接口。另外，其可以包括用于发射链路的单独的非连续发送控制组件、信道编码器以及分组器(packetizer)。而且，其可以包括用于接收链路的解分组器(depacketizer)、信道解码器以及数模转换器等等。此外，音频接收机111和音频发射机122还可被实现成一体化的收发机。进一步地，所述Tresp估计组件130和定时器131也可被整合在音频接收机111、音频发射机122或者音频收发机中。
虽然并非强制性的，但电子设备150可以以与电子设备110相同的方式实施。电子设备150应当被配置成使用与电子设备110所采用的编解码器相兼容的编解码器来在非连续发送中接收和发送音频分组。为了示出这些收发功能，电子设备150被示为包括音频收发机(TRX)151。
电子设备110、150中的音频信号的编码和解码可以基于例如AMR编解码器或者AMR-WB编解码器。
电子设备110和电子设备150可被经由分组交换通信网络160而进行的VOIP通话的各用户所使用。
在正在进行VOIP会话期间，麦克风121在电子设备110的环境中寄存音频信号，特别是用户A发出的语音。麦克风121将所寄存的模拟音频信号转发给音频发射机122。在音频发射机122中，所述模拟音频信号被ADC 123转换成数字信号，并提供给编码器124。在编码器124中，VAD组件126检测当前音频信号是否包含活动话音(active voice)。如果检测到活动话音，则将VAD标志位置“1”，而如果没有检测到活动话音，则将VAD标志位置“0”。如果所述VAD标志被置“1”，则语音编码器125将当前音频帧编码成活动语音帧。否则，舒适噪声参数生成器127会生成SID帧。该SID帧包括35比特的舒适噪声参数，该参数描述了发射端在不存在活动语音时的背景噪声。所述活动语音帧和SID帧然后被信道编码、分组、并经由分组交换通信网络160发送到电子设备150。活动语音帧以20ms的间隔发送，而SID帧以160ms的间隔发送。
在电子设备150中，音频收发机151处理所接收的分组，从而能够向用户B展现相应的重新构建的音频信号。而且，以类似于音频发射机122处理寄存在电子设备111环境中的音频信号的方式，所述音频收发机151处理寄存在电子设备150环境中的音频信号，尤其是用户B发出的语音。最终的分组经由分组交换通信网络160而被发送到电子设备110。电子设备110接收所述分组、对它们进行解分组、并对所包含的音频帧进行信道解码。
然后，在音频帧等待被解码和重放时，所述抖动缓冲器112被用来存储所接收的音频帧。所述抖动缓冲器112可以具有以下能力：将所接收的帧排列成正确的解码顺序，并根据请求而依序将排列好的帧(或者关于丢失帧的信息)提供给解码器114。另外，所述抖动缓冲器112将有关其状态的信息提供给控制组件116。所述网络分析器113基于帧接收统计和所接收的帧的定时而计算出描述当前接收特性的参数集，并将该参数集提供给控制组件116。该控制组件116基于所接收的信息来确定对改变缓冲延时的需要，并将对应的时序定标(timing scaling)命令提供给调节组件115。一般而言，最佳平均缓冲延时是指那种使缓冲时间最小化且没有任何帧在他们的计划解码时刻之后到达解码器114的平均缓冲延时。然而，根据本发明，所述控制组件还要考虑接收自Tresp估计组件130的信息，这将在下面进一步描述。
当所述重放组件118请求新数据时，解码器114从缓冲器112获取音频帧。解码器对所获取的音频帧进行解码，并将解码后的帧转发给调节组件115。当接收到编码后的语音帧时，该语音帧被解码以获取解码后的语音帧。当接收到SID帧时，基于所包含的舒适噪声参数来生成舒适噪声，并将该舒适噪声分发到形成解码帧的一系列数字噪声帧。所述调节组件115执行所述控制组件116所命令的定标，即拉长或缩短所接收的解码帧。解码帧以及可能的时间定标帧被提供给重放组件，从而展现给用户A。
图2是示出用户A与用户B之间的通话的结构的图示，所述结构基于这样的假设：当设备110的用户A正在说话时，设备150的用户B正在收听，反之亦然。
当用户A说话时(201)，用户B在某一延时TAtoB之后听到(202)，TAtoB为从用户A到用户B的发送时间。
当用户B注意到用户A已经终止谈话时，用户B将在反应时间Treact之后进行响应。
当用户B说话时(203)，用户A在某一延时TBtoA之后听到(204)，TBtoA为从用户B到用户A的发送时间。
用户A从用户A停止谈话时的时刻到用户A开始听到用户B的语音时的时刻之间所经历的时间段被称为从用户A到用户B并回到用户A的响应时间Tresp。该响时间Tresp可被表示成：
Tresp＝TAtoB+Treact+TBtoA。
应当注意的是，这仅仅是整个响应时间的简化模型。例如，该模型并不能清楚地显示出在所采用的语音处理组件中的缓冲延时、算法以及延时处理，但这些内容都被假定为包含在发送时间TAtoB和TBtoA中。虽然用户A的设备中的缓冲延时是响应时间的重要部分，但该延时部分可以很容易在用户A的设备中获得。除此之外，相关方面就是响应时间的双向特性。还应该注意的是，响应时间并非必须是对称的。由于不同的路由和/或链路行为，响应时间A-B-A可以不同于响应时间B-A-B。此外，对于用户A和用户B，反应时间也很可能是不同的。
从用户的角度看，各自的响应时间Tresp所代表的通话的交互性是一个重要方面。也就是说，各自的响应时间Tresp不应该变得过大。
电子设备110的Tresp估计组件130被用于估计当前响应时间Tresp。
图3是示出了用于确定响应时间Tresp的Tresp估计组件130的操作的流程图。
编码器124被配置成当所接收的音频信号的内容从活动语音改变成背景噪声时，向Tresp估计组件130提供指示。
当舒适噪声参数生成器127在活动语音之后开始生成舒适噪声参数时，编码器124可以发送相应的中断，这表示用户A已经停止谈话。
然而，在某些编解码器中，例如在AMR和AMR-WB编解码器中，非连续发送(DTX)机制使用DTX延迟释放周期。也就是说，当语音突发已经被语音编码器127进行了编码时，它仅在没有活动语音跟随的七个帧之后，将编码从语音模式切换成舒适噪声模式。在此情况下，可以通过监视VAD标志的状态来较早地检测“说话”到“收听”的改变，其中所述VAD标志表示当前帧中的语音活动。
所述解码器114被配置成，当解码器114在仅接收到具有舒适噪声参数的帧之后接收到具有活动语音的第一帧时，向Tresp估计组件130提供指示。此种改变表示用户B已经从“收听”切换成“说话”。
为了确定响应时间Tresp，所述Tresp估计组件130监视是否接收到来自编码器124的中断，这表示开始创建舒适噪声参数(步骤301)。可选择地，所述Tresp估计组件130监视是否VAD组件126所提供的VAD标志是否从“1”变成“0”，这表示语音突发的结束(步骤302)。该可选方式在图3中被以虚线表示。这两种可选方式均适于向Tresp估计组件130通知用户A已从“说话”切换成“收听”。
如果检测到舒适噪声的创建或者语音突发的结束，则所述Tresp估计组件130激活定时器131(步骤303)。
当计数器131从0开始对逝去的时间进行计数时，所述Tresp估计组件130监视是否其接收到来自解码器114的、表示用户B已从“收听”切换成“说话”的指示(步骤304)。
当检测到此切换时，Tresp估计组件130停止定时器131(步骤305)并读取所计数的时间(步骤306)。
所计数的时间作为响应时间Tresp而被提供给控制组件116。
图3中的方块可被等价地视为Tresp估计组件130的子组件。也就是说，方块301或者302以及方块304可被视为检测组件，而方块303、305以及306可被视为定时器访问组件，该组件被配置成执行所指定的功能。
所提出的机制在用户A和B交替式(并非同时)交谈的情况下提供有用的结果。因此，可能需要注意某些情况以避免使所述估计变得错乱，例如对于此种情况：一个用户在另一个用户结束他/她的通话轮转(turn)之前就给出响应。对此，所述解码器114还可被配置成指示其何时开始接收新的语音突发的帧。然后，如果从解码器114最后接收的信息不能表示用户B已经开始说话，则所述Tresp估计组件130可以仅考虑步骤301或者302中的用户A开始收听的指示。
虽然所提出的操作仅能提供对响应时间Tresp的相对粗略的估计，但该响应时间Tresp仍被视为对于自适应抖动缓冲器管理有用的信息。然而，应该注意的是，还可以通过一些其他方式来估计或者测量所述响应时间Tresp，例如基于在上面所引用的文档RFC 3550中所述的方法。
图4是示出控制组件116的操作的流程图，所述控制组件116用于基于响应时间Tresp来调节抖动缓冲。
在控制组件116中，针对响应时间Tresp设置了第一较低预定阈值THR1和第二较高预定阈值THR2。另外，针对所接收的帧的迟到丢失率(LLR)设置了第一较低预定门限LLR1和第二较高预定门限LLR2。如上所述，所述迟到丢失率为在其计划解码时间之后到达的帧的数量。也就是说，所述迟到丢失率可以对应于如下帧的数量：重放组件118向解码器114请求这些帧，但由于他们的迟到，解码器114不能从缓冲器112获取这些帧，从而这些帧视为被解码器114所丢弃，并通常被差错掩盖所替代。
根据ITU-T编码规范G.114，低于200ms的端到端延时不视为降低了通话质量，而高于400ms的端到端延时则被视为会因为降低了交互性而导致不可接受的通话质量。由于此规范，阈值THR1可以被设置成例如400ms，而阈值THR2可被设置成例如800ms。此外，迟到丢失率的门限可被设置成例如LLR1＝0％，而LLR2＝1.5％。
然而，还可以通过控制组件116将第二较高门限LLR2作为所接收的估计响应时间Tresp的函数来计算。也就是说，可将较高的门限LLR2用于更高的估计响应时间Tresp，从而接受更高的丢失率，以实现更好的交互性。
当控制组件116接收到所估计的响应时间Tresp时，控制组件116首先确定响应时间Tresp是否低于阈值THR1(步骤401)
如果响应时间Tresp低于阈值THR1，则所述控制组件116则选择定标值，该定标值适用于将迟到丢失率保持在预定门限LLR1以下(步骤402)。注意，由于响应时间包括缓冲时间，因此定标操作将改变响应时间的值。考虑到这一关联，响应时间估计Tresp可以在开始接收到所产生的谈话时被初始化，并在每次定标操作中被更新。
当估计响应时间Tresp位于阈值THR1之上而处于阈值THR2之下时(步骤403)，所述控制组件116选择定标值，该定标值适用于将迟到丢失率保持在预定门限LLR2以下(步骤405)。
可选择地，当响应时间满足THR1＜Tresp＜THR2时，所述控制组件116可以首先将迟到丢失率的门限LLR2作为估计响应时间Tresp的函数来计算，即LLR2＝f(Tresp)。这一选择在图4中以虚线表示(步骤404)。所述控制组件116然后选择定标值，该定标值适用于将迟到丢失率保持在预定门限LLR2以下(步骤405)。
不允许估计响应时间Tresp增长超过阈值THR2。
步骤402或步骤405中所选择的定标值通过定标命令而被提供给调节组件115。该调节组件115然后可以根据所接收的定标值来继续对所接收的帧进行定标(步骤406)。
图4中的方块可被等价地视为控制组件116的子组件。也就是说，方块402和404可被视为比较器，而方块401、403和405可被视为处理组件，该处理组件被配置成执行指定的功能。
可以理解的是，所提出的操作仅仅是抖动缓冲器管理的一般实施例，所述抖动缓冲器管理使用响应时间来控制调节过程。该方法可以存在多种变化。
图1所示的电子设备110的组件111、122、130和131可被实施成硬件，例如芯片或者芯片组上的电路。整个集合可被实现成为例如集成电路(IC)。可选择地，这些功能还可以部分或者全部实施成计算机程序代码的形式。
图5是表示根据本发明的电子设备的另一示例性实施方式的细节的框图，其中所述功能通过计算机程序代码来实现。
电子设备510包括处理器520，以及连接到该处理器520的音频输入组件530、音频输出组件540、接口550以及存储器560。所述音频输入组件530可以包括例如麦克风。所述音频输出组件540可以包括例如扬声器。所述接口550可以是例如连接到分组交换网络的接口。
所述处理器520被配置成执行可获得的计算机程序代码。
所述存储器560存储各种计算机程序代码。所存储的代码包括计算机程序代码，被设计成用于对音频数据进行编码、用于使用自适应抖动缓冲器来对音频数据进行解码、以及用于在调节抖动缓冲器时确定用作一个输入变量的响应时间Tresp。
当VOIP会话已被建立时，处理器520可以从存储器560获取所述代码，并且处理器520执行用于实现编码和解码操作的所述代码，该操作包括例如参考图3和4描述的那些操作。
可以理解的是，同一处理器520还可以执行用于实现电子设备110的其他功能的计算机程序代码。
虽然已经针对使用估计响应时间Tresp作为调节抖动缓冲的参数的可选方案而描述了图1至5的示例性实施方式，但可以理解的是，类似的方法还可以用于使用单向端到端延时Dend_to_end作为参数的可选方案。在图1中，响应时间估计组件130可以为端到端延时估计组件。例如可以通过使用上述基于NTP的方法来测量或者估计单向延时。可以仅仅通过用估计端到端延时Dend_to_end来替代估计响应时间Tresp来正如针对响应时间所示出的那样使用图4中的处理，这也在图4中作为选择而在括号内指出过。所选择的阈值THR1和THR2也需要被相应地设置。此外，在图5的实施方式中，也已经在括号中指出了使用单向端到端延时Dend_to_end来替代响应时间Tresp的选择。
由图1中的控制组件116、或者由图5的计算机程序代码所表示的功能可被等价地视作用于在第一设备处通过使用估计延时作为参数来确定抖动缓冲器的期望调节量的装置，所述延时至少包括通话中的至少一个方向上的端到端延时；对于所述通话，通话语音信号经由分组交换网络而以分组的形式在第一设备与第二设备之间发送。由图1的调节组件115、或者由图5的计算机程序代码所表示的功能可被等价地视作用于基于所确定的调节量来对抖动缓冲器进行调节的装置。由图1的Tresp估计组件130、或者由图5的计算机程序代码所表示的功能可被等价地视作用于估计延时的装置。
虽然已经示出、描述以及指出了应用于本发明优选实施方式的基本创新特征，但可以理解的是，本领域技术人员在不背离本发明的精神的情况下可以对所描述的设备和方法的形式和细节作出各种省略、替换和改变。例如，很显然的，那些以基本相同的方式实现基本相同的功能以取得相同效果的元素和/或方法步骤的所有组合均在本发明的范围内。此外，应该认识到，结合本发明的任何公开形式或者实施方式而示出和/或描述的结构和/或元素和/或方法步骤均可作为设计选项的普通内容而被整合到所公开或描述或提出的任何其他形式或实施方式中。因此，本发明仅通过所附权利要求书所指出的范围来限定。此外，权利要求书中的功能限定条款意欲包括在此所述的实现所列功能的结构，不仅仅包括结构等价物，而且还包括等价的结构。

Claims (23)

1.一种用于抖动缓冲器调节的方法，所述方法包括：
在第一设备处通过使用估计延时作为参数来确定抖动缓冲器的期望调节量，所述延时至少包括通话中的至少一个方向上的端到端延时，对于所述通话，通话语音信号经由分组交换网络而以分组的形式在所述第一设备与第二设备之间发送；以及
基于所确定的调节量来对所述抖动缓冲器进行调节；
其中确定调节量包括：
确定所述调节量以使得只要所述估计延时低于第一阈值，则在计划解码时间之后到达所述第一设备的帧的数量就被保持为低于第一门限；以及
确定所述调节量以使得当所述估计延时超过所述第一阈值时，在计划解码时间之后到达所述第一设备的帧的数量被保持为低于第二门限。
2.根据权利要求1所述的方法，其中所述估计延时是通话中的估计响应时间，所述估计响应时间是所述第一设备的用户所发出的语音片段的结束与所述第一设备开始展现所述第二设备的用户所发出的语音片段之间的时间。
3.根据权利要求1所述的方法，所述方法还包括作为所述估计延时的函数来确定所述第二门限。
4.根据权利要求1所述的方法，所述方法还包括估计所述延时。
5.根据权利要求2所述的方法，所述方法还包括估计所述响应时间，其中所述响应时间通过考虑通话的基本结构而被估计。
6.根据权利要求2所述的方法，所述方法还包括估计所述响应时间，其中所述响应时间被估计为以下时刻之间的时间段：
在所述第一设备处检测到所述第一设备的用户从说话切换成收听时的时刻；以及
在所述第一设备处检测到所述第二设备的用户从收听切换成说话时的时刻。
7.根据权利要求6所述的方法，其中检测到所述第二设备的用户从收听切换成说话时的时刻是，所述第一设备在已经接收到不包含活动语音的语音信号的至少一个片段之后经由所述分组交换网络接收到包含活动语音的所述语音信号的第一片段时的时刻。
8.根据权利要求6所述的方法，其中当检测到所述第一设备的用户从说话切换到收听时的时刻是，当所述第一设备开始生成舒适噪声参数时的时刻。
9.根据权利要求6所述的方法，其中当检测到所述第一设备的用户从说话切换到收听时的时刻是，当所述第一设备的话音活动检测组件将标志设置成某一值时的时刻，所述值表示将经由所述分组交换网络发送的语音信号的当前片段不包含话音。
10.一种用于抖动缓冲器调节的装置，所述装置包括：
控制组件，所述控制组件被配置成在第一设备处通过使用估计延时作为参数来确定抖动缓冲器的期望调节量，所述延时至少包括通话中的至少一个方向上的端到端延时，对于所述通话，通话语音信号经由分组交换网络而以分组的形式在所述第一设备与第二设备之间发送；以及
抖动缓冲器调节组件，所述抖动缓冲器调节组件被配置成基于所述确定的调节量来对所述抖动缓冲器进行调节；
其中所述控制组件被配置成通过以下步骤来确定调节量：
确定所述调节量以使得只要所述估计延时低于第一阈值，则在计划解码时间之后到达所述第一设备的帧的数量就被保持为低于第一门限；以及
确定所述调节量以使得当所述估计延时超过所述第一阈值时，在计划解码时间之后到达所述第一设备的帧的数量被保持为低于第二门限。
11.根据权利要求10所述的装置，其中所述估计延时是通话中的估计响应时间，所述估计响应时间是所述第一设备的用户所发出的语音片段的结束与所述第一设备开始展现所述第二设备的用户所发出的语音片段之间的时间。
12.根据权利要求10所述的装置，其中所述控制组件被进一步配置成作为所述估计延时的函数来确定所述第二门限。
13.根据权利要求10所述的装置，所述装置还包括估计组件，所述估计组件被配置成估计所述延时。
14.根据权利要求11所述的装置，所述装置还包括响应时间估计组件，所述组件被配置成通过考虑通话的基本结构来估计所述响应时间。
15.根据权利要求11所述的装置，所述装置还包括响应时间估计组件，所述组件被配置成将所述响应时间估计成以下时刻之间的时间段：
在所述第一设备处检测到所述第一设备的用户从说话切换成收听时的时刻；以及
在所述第一设备处检测到所述第二设备的用户从收听切换成说话时的时刻。
16.根据权利要求15所述的装置，其中所述响应时间估计组件被配置成，将检测到所述第二设备的用户从收听切换成说话时的时刻估计成，所述第一设备在已经接收到不包含活动语音的语音信号的至少一个片段之后经由所述分组交换网络接收到包含活动语音的所述语音信号的第一片段时的时刻。
17.根据权利要求16所述的装置，所述装置还包括解码器，所述解码器被配置成向所述响应时间估计组件指示：其在已经接收到不包含活动语音的语音信号的至少一个片段之后接收到包含活动语音的所述语音信号的第一片段的时刻。
18.根据权利要求15所述的装置，其中所述响应时间估计组件被配置成，将检测到所述第一设备的用户从说话切换成收听时的时刻估计成，所述第一设备开始生成舒适噪声参数时的时刻
19.根据权利要求18所述的装置，所述装置还包括编码器，所述编码器被配置成向所述响应时间估计组件指示：其开始生成舒适噪声参数的时刻。
20.根据权利要求15所述的装置，其中所述响应时间估计组件被配置成，将检测到所述第一设备的用户从说话切换到收听时的时刻估计成，所述第一设备的话音活动检测组件将标志设置成某一值时的时刻，所述值表示将经由所述分组交换网络发送的语音信号的当前片段不包含话音。
21.根据权利要求20所述的装置，所述装置还包括所述话音活动性检测组件。
22.一种用于抖动缓冲器调节的电子设备，所述电子设备包括：
音频接收机；以及
音频发射机；
其中所述音频接收机包括根据权利要求10所述的装置。
23.一种用于抖动缓冲器调节的系统，所述系统包括：
根据权利要求22所述的第一电子设备；以及
第二电子设备，所述第二电子设备被配置成经由分组交换网络交换用于与所述第一电子设备进行通话的语音信号。
CN2007800310294A 2006-08-22 2007-08-14 抖动缓冲器调节 Active CN101507203B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/508,562 2006-08-22
US11/508,562 US7680099B2 (en) 2006-08-22 2006-08-22 Jitter buffer adjustment
PCT/IB2007/053225 WO2008023303A2 (en) 2006-08-22 2007-08-14 Jitter buffer adjustment

Publications (2)

Publication Number Publication Date
CN101507203A CN101507203A (zh) 2009-08-12
CN101507203B true CN101507203B (zh) 2013-05-29

Family

ID=38926381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800310294A Active CN101507203B (zh) 2006-08-22 2007-08-14 抖动缓冲器调节

Country Status (7)

Country Link
US (1) US7680099B2 (zh)
EP (2) EP2222038B1 (zh)
CN (1) CN101507203B (zh)
AT (1) ATE528892T1 (zh)
HK (1) HK1130378A1 (zh)
TW (1) TWI439086B (zh)
WO (1) WO2008023303A2 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111720B2 (en) * 2007-01-09 2012-02-07 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus to indicate maximum scheduling delay for jitter buffer implementations
GB0705329D0 (en) 2007-03-20 2007-04-25 Skype Ltd Method of transmitting data in a communication system
US8412209B2 (en) 2007-06-18 2013-04-02 Motorola Mobility Llc Use of the physical uplink control channel in a 3rd generation partnership project communication system
BRPI0821979B1 (pt) * 2008-01-25 2020-10-13 Telefonaktiebolaget Lm Ericsson (Publ) método em um nó de rede compreendendo uma área de armazenamento temporário de oscilação adaptativa para dinamicamente ajustar um retardo de área de armazenamento temporário, e, nó de rede
WO2009128753A1 (en) 2008-04-17 2009-10-22 Telefonaktiebolaget Lm Ericsson (Publ) Coversational interactivity measurement and estimation for real-time media
EP2342884B1 (en) 2008-09-18 2018-12-05 Koninklijke Philips N.V. Method of controlling a system and signal processing system
US7920475B2 (en) * 2008-12-15 2011-04-05 Verizon Patent And Licensing Inc. System and method for adaptive removal of delay jitter effect and low end-to-end delay
US8611337B2 (en) * 2009-03-31 2013-12-17 Adobe Systems Incorporated Adaptive subscriber buffering policy with persistent delay detection for live audio streams
US20100265834A1 (en) * 2009-04-17 2010-10-21 Avaya Inc. Variable latency jitter buffer based upon conversational dynamics
JP5443918B2 (ja) * 2009-09-18 2014-03-19 株式会社ソニー・コンピュータエンタテインメント 端末装置、音声出力方法および情報処理システム
US8089992B2 (en) 2009-09-30 2012-01-03 At&T Intellectual Property I, L.P. Systems and methods to measure the performance of a de-jitter buffer
KR101399604B1 (ko) * 2010-09-30 2014-05-28 한국전자통신연구원 지터버퍼 조정장치, 전자장치 및 그 방법
US20120290810A1 (en) * 2011-04-18 2012-11-15 Jean-Jacques Lecler Memory Access Latency Metering
GB2520866B (en) * 2011-10-25 2016-05-18 Skype Ltd Jitter buffer
US20130163417A1 (en) * 2011-12-27 2013-06-27 Mitel Networks Corporation Application level admission overload control
CN103888381A (zh) 2012-12-20 2014-06-25 杜比实验室特许公司 用于控制抖动缓冲器的装置和方法
US9107159B2 (en) * 2013-06-07 2015-08-11 Apple Inc. Enhancing jitter buffer performance through radio level feedback
US9680905B2 (en) * 2013-12-23 2017-06-13 David Arthur Yost System for intelligible audio conversation over unreliable digital transmission media
US9258421B2 (en) 2014-05-02 2016-02-09 Avaya Inc. Speech analytics: conversation timing and adjustment
US9838544B2 (en) 2014-06-27 2017-12-05 Agora Lab, Inc. Systems and methods for improved quality of a call over network with load leveling and last mile signal indication
US9749205B2 (en) 2014-06-27 2017-08-29 Agora Lab, Inc. Systems and methods for visualizing a call over network
US11343301B2 (en) * 2017-11-30 2022-05-24 Goto Group, Inc. Managing jitter buffer length for improved audio quality
CN110351201B (zh) * 2018-04-04 2021-09-14 华为技术有限公司 一种数据处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512761B1 (en) * 1999-02-02 2003-01-28 3Com Corporation System for adjusting billing for real-time media transmissions based on delay
US6735192B1 (en) * 1999-09-29 2004-05-11 Lucent Technologies Inc. Method and apparatus for dynamically varying a packet delay in a packet network based on a log-normal delay distribution
US6882711B1 (en) * 1999-09-20 2005-04-19 Broadcom Corporation Packet based network exchange with rate synchronization
CN1629965A (zh) * 2003-09-26 2005-06-22 索尼株式会社 信息处理装置
US6985501B2 (en) * 2000-04-07 2006-01-10 Ntt Docomo, Inc. Device and method for reducing delay jitter in data transmission
WO2006044696A1 (en) * 2004-10-13 2006-04-27 Qualcomm Incorporated De-jitter buffer adjustments based on estimated delay

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3784993B2 (ja) 1998-06-26 2006-06-14 株式会社リコー 音響信号の符号化・量子化方法
WO2000042753A1 (en) * 1999-01-14 2000-07-20 Nokia Networks Oy Response time measurement for adaptive playout algorithms
US6452950B1 (en) * 1999-01-14 2002-09-17 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive jitter buffering
US6859460B1 (en) * 1999-10-22 2005-02-22 Cisco Technology, Inc. System and method for providing multimedia jitter buffer adjustment for packet-switched networks
US7289451B2 (en) * 2002-10-25 2007-10-30 Telefonaktiebolaget Lm Ericsson (Publ) Delay trading between communication links
WO2004072764A2 (en) * 2003-02-13 2004-08-26 Nokia Corporation Method for signaling client rate capacity in multimedia streaming
MX2007002483A (es) * 2004-08-30 2007-05-11 Qualcomm Inc Memoria intermedia sin oscilacion adaptiva para voz sobre ip.

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6512761B1 (en) * 1999-02-02 2003-01-28 3Com Corporation System for adjusting billing for real-time media transmissions based on delay
US6882711B1 (en) * 1999-09-20 2005-04-19 Broadcom Corporation Packet based network exchange with rate synchronization
US6735192B1 (en) * 1999-09-29 2004-05-11 Lucent Technologies Inc. Method and apparatus for dynamically varying a packet delay in a packet network based on a log-normal delay distribution
US6985501B2 (en) * 2000-04-07 2006-01-10 Ntt Docomo, Inc. Device and method for reducing delay jitter in data transmission
CN1629965A (zh) * 2003-09-26 2005-06-22 索尼株式会社 信息处理装置
WO2006044696A1 (en) * 2004-10-13 2006-04-27 Qualcomm Incorporated De-jitter buffer adjustments based on estimated delay

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焦良葆等.基于补偿因子自适应的NLMS多媒体播放算法.《南京大学学报(自然科学版)》.2005,(第04期), *

Also Published As

Publication number Publication date
EP2222038A1 (en) 2010-08-25
TW200818786A (en) 2008-04-16
EP2055055B1 (en) 2012-11-21
US7680099B2 (en) 2010-03-16
HK1130378A1 (en) 2009-12-24
ATE528892T1 (de) 2011-10-15
WO2008023303A2 (en) 2008-02-28
TWI439086B (zh) 2014-05-21
WO2008023303A3 (en) 2008-04-24
US20080049795A1 (en) 2008-02-28
CN101507203A (zh) 2009-08-12
EP2055055A2 (en) 2009-05-06
EP2222038B1 (en) 2011-10-12

Similar Documents

Publication Publication Date Title
CN101507203B (zh) 抖动缓冲器调节
JP4426454B2 (ja) 通信リンク間の遅延トレードオフ
US7551603B1 (en) Time-sensitive-packet jitter and latency minimization on a shared data link
KR101590972B1 (ko) 통신 네트워크에서의 전송 스케줄링 방법, 해당 통신 노드 및 컴퓨터 프로그램 생성물
AU2007349607C1 (en) Method of transmitting data in a communication system
WO2008023302A1 (en) Discontinuous transmission of speech signals
US8270391B2 (en) Method and receiver for reliable detection of the status of an RTP packet stream
EP3220603B1 (en) Jitter buffer apparatus and method
US9509618B2 (en) Method of transmitting data in a communication system
Sat et al. Playout scheduling and loss-concealments in VoIP for optimizing conversational voice communication quality
EP2013768A2 (en) Methods and apparatuses for processing audio streams for use with multiple devices
EP2158753B1 (en) Selection of audio signals to be mixed in an audio conference
CN103238349B (zh) 用于无线通信中的信道适配的方法和装置
US20070253557A1 (en) Methods And Apparatuses For Processing Audio Streams For Use With Multiple Devices
Yang et al. Multipoint communications with speech mixing over IP network
US10812401B2 (en) Jitter buffer apparatus and method
Tseng et al. Perceptual codec and interaction aware playout algorithms and quality measurements for VoIP systems
Qiao et al. A new buffer algorithm for speech quality improvement in VoIP systems
Marjamäki Delay characteristics of an IP voice terminal
Hardman et al. Internet/Mbone Audio

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1130378

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1130378

Country of ref document: HK

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160112

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj