CN1951083A - 流传输服务中的改进的质量反馈 - Google Patents

流传输服务中的改进的质量反馈 Download PDF

Info

Publication number
CN1951083A
CN1951083A CNA2005800144295A CN200580014429A CN1951083A CN 1951083 A CN1951083 A CN 1951083A CN A2005800144295 A CNA2005800144295 A CN A2005800144295A CN 200580014429 A CN200580014429 A CN 200580014429A CN 1951083 A CN1951083 A CN 1951083A
Authority
CN
China
Prior art keywords
media stream
frame
quality
quality metric
duration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800144295A
Other languages
English (en)
Other versions
CN1951083B (zh
Inventor
王业奎
伊戈尔·屈尔西奥
埃姆勒·阿克叙
米斯卡·安尼克塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN1951083A publication Critical patent/CN1951083A/zh
Application granted granted Critical
Publication of CN1951083B publication Critical patent/CN1951083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/509—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to media content delivery, e.g. audio, video or TV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/065—Generation of reports related to network devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H04L43/087—Jitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H04L43/106—Active monitoring, e.g. heartbeat, ping or trace-route using time related information in packets, e.g. by adding timestamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6581—Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Abstract

公开了用于流传输服务中的质量反馈的方法，其中将至少一个媒体流流传输到客户机以便重放，该方法包括：根据预定义的一组质量度量中的至少一个质量度量确定质量反馈值，其中该预定义的一组质量度量包含与该至少一个媒体流的重放和该至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化中的至少一个有关的质量度量；以及向服务器报告该质量反馈值。同时说明了用于质量反馈的系统、客户机、服务器、计算机程序、计算机程序产品和协议。

Description

流传输服务中的改进的质量反馈
技术领域
本发明涉及用于流传输服务中的质量反馈的方法、计算机程序、计算机程序产品、系统、客户机、服务器和协议，其中在流传输服务中将至少一个媒体流流传输到客户机以便重放。
背景技术
一方面，流传输指的是在通过数据网络向客户机传输如同语音、音频和视频流的同步媒体流时该客户机上安装的应用程序连续不断地重放那些媒体流的能力。另一方面，流传输还指诸如对话应用的实时低延迟应用。
可以建立在流传输服务之上的应用可以被分类成点播和实况信息传送应用。第一类的示例是音乐和新闻点播应用。无线电和电视节目的实况转播是第二类的示例。实时低延迟应用是例如多媒体(视频)电话或通过IP的语音(VoIP)和任意类型的对话多媒体应用。
今天，通过固定因特网协议(IP)网络的流传输已经是一项主要应用。虽然因特网工程任务组(IETF)和万维网联盟(W3C)已经开发了在固定IP流传输服务中使用的一组协议，但是尚未定义完整的标准化的流传输架构。对于符合第三代伙伴项目(3GPP)开发的标准的第三代(3G)移动通信系统，3G分组交换流传输服务(PSS，3GPP TS 26.233，TS 26.234)填补例如下载应用程序和多媒体内容的3G多媒体短信业务(MMS)与对话和流传输服务之间的空白。
PSS支持移动流传输应用，其中终端的复杂性比对话服务需要的复杂性更低，这是因为不需要媒体输入设备和编码器，并且因为可以使用不太复杂的协议。PSS包括一组基础流传输控制协议、传输协议、媒体编解码器和场景描述协议。
图1示意地描绘了控制内容或媒体服务器与客户机之间的能够流传输的和不能流传输的内容的传送的PSS协议栈1。
在适配层103上，首先把诸如视频、音频和语音的能够流传输的内容101转换成实时传输协议(RTP)102的有效载荷格式。如IETF定义的所述RTP提供通过使用基础用户数据报协议(UDP)104的服务发送实时或流传输数据的方法，而UDP 104使用基础IP协议105的服务。
不能流传输的内容106，例如不是为流传输目的创建的多媒体内容(举例来说，记录在终端设备上的MMS片段)，静止图像、位图和矢量图、文本、定时文本和合成音频是用超文本传输协议(HTTP)107传送的，HTTP 107使用基础传输控制协议(TCP)108和另一个基础IP 105的服务。
对于不能流传输的内容106，HTTP 107的内置的会话建立和控制能力足以传送该内容，在能够流传输的内容101的情况下，必须调用高级会话建立和控制协议，用于例如启动、停止或暂停通过RTP/UDP/IP从内容服务器传送到客户机的流传输视频。此任务是由实时流传输协议(RTSP)109完成的，该RTSP 109或者使用基础TCP 108或者使用基础UDP 104。RTSP至少需要表示描述110，以建立流传输会话。此种表示描述110可以例如是以会话描述协议(SDP)文件的形式。所述SDP文件包含该会话的描述，例如会话名称和作者，要表示的媒体的类型，用于接收所述媒体的信息，例如地址，端口，格式等，以及该媒体的位速率。
如果要在客户端，例如在移动终端上，观看流传输内容，则首先为所述终端的用户提供适合于其终端的特定内容的统一资源标识符(URI)。该URI可以来自WWW服务器、无线应用协议(WAP)服务器，或者借助于该终端的键盘手动输入。该URI指定流传输或RTSP服务器以及那个内容服务器或另一个内容服务器上的内容的地址。现在可以采用多种方式获得对应的SDP文件。可以在用户下载的HTML页面内的链接上提供相应的SDP文件，例如借助于内嵌标签，或者通过将其作为URI键入而直接获得相应的SDP文件。正如图1的协议栈的中列指示的那样，借助于HTTP 107传送该SDP文件，亦即，表示描述110。可选地，正如图1的协议栈的右列指示的那样，通过RTSP 109信令，例如通过使用RTSP 109的DESCRIBE方法，也可以获得。请注意，利用所述RTP 102同样可以传输该表示描述。然而，为了表示的简单性，图1没有包括此种可能性。
随后的会话建立是如下过程，其中该移动终端的浏览器或用户调用流传输客户以对照该内容服务器建立会话。在会话建立信令开始时，期望该终端具有支持基于IP的分组传输的有效的无线承载。
对于客户选择的每个媒体流，通过发送RTSP SETUP消息，完成随后的流传输服务的建立。这会返回各媒体流将要使用的UDP 104和/或TCP 108端口。该客户机向内容服务器发送RTSP PLAY消息，内容服务器开始通过该IP网络发送一个或多个流。
为了给PSS系统中的服务提供商提供用来评价最终用户的流传输体验的方法，在PSS系统中引入了流传输服务质量度量，如在3GPP技术文档(Tdoc)S4-040073：“Draft Rel-6PSS Quality MetricsPermanent Document v.0.11”中所提出的那样，该技术文档指的是2004年2月23日-27日的在西班牙马拉加的3GPP TSG-SA4会议#30。流传输客户机测量并向流传输服务器反馈与实际的流传输应用的质量有关的信息(体验质量，QoE)，其中所述质量是用所述质量度量定义的。所述流传输服务器可以例如是RTSP服务器，而所述质量度量可以例如是通过使用所述RTSP和SDP传送的。
由于该服务对RAN和CN的类型是透明的，所以只有流传输客户机和流传输服务器受PSS质量度量的影响。其一个结果是，该测量可以不依赖来自RTP层以下的协议层(例如，UDP，IP，PDCP，SNDCP，LLC，RLC，MAC，物理层)的信息。
带有质量反馈的PSS系统中的终端负责按照测量定义执行质量测量，把它们合计成流传输客户机质量度量，并且向流传输服务器报告该度量。上述要求并不排除流传输客户机报告原始质量测量的可能性，流传输服务器将原始质量测量处理进质量度量。
流传输服务器负责用信号通知启动流传输客户机的质量度量报告以及收集流传输客户机的质量度量。流传输服务器可以处理所接收的流传输客户机的质量度量，以确立合计的质量度量。举例来说，可以接收原始的丢失分组报告，以确立特定流传输客户机的最小、最大、平均和标准分组丢失率。
以下四个质量度量是由Tdoc S4-040073定义的：
恶化持续时间
恶化持续时间是从第一个恶化的帧到第一个后续好帧或该报告周期结束(更早的一个)的时间段。该度量的单位是用秒表示的，并且可以是小数值。
再缓冲持续时间
该度量仅适用于音频、视频和语音，不适合其它媒体类型。该度量的单位是用秒表示的，并且可以是小数值。再缓冲的定义是起因于客户端的任何偶然事件的重放时间中的任何延迟。
初始缓冲时间
初始缓冲时间是从接收第一个RTP分组到重放开始的时间。该度量的单位是用秒表示的，并且可以是小数值。
连续丢失的内容分组的数目
每一媒体信道上连续丢失的内容分组的数目。
上面的质量度量定义的目的是获得跨越内容类型、终端和无线接入网络(RAN)的类型的一致的测量。
其约束是，使将要发送到流传输服务器的质量度量报告的大小最小，并且使终端的复杂性最低。
通过与图2描绘的反馈报头2一起使用RTST的SET_PARAMETER方法，可以向PSS服务器运送实际的质量度量反馈(参考IETF请求注释(RFC)文档2327)，然而，在某些特殊情况中，使用其它方法运送该信息是更有效率的，例如使用TEARDOWN消息或PAUSE消息。
在图2的反馈报头2中，Stream-url是用于该反馈参数的RTSP会话或媒体控制URL标识符。Parameters定义中的Metrics字段包含该度量/测量(如恶化持续时间等)的名称。Value字段指示结果。同一事件有可能在一个监控周期内出现多次。如果是那样的话，该度量值可以出现多次，这可以向服务器指示事件的数目。可选的Range字段指示报告周期。
图2的反馈报头2中的可选的Timestamp字段指示该事件(或测量)的发生时间或自该会话开始以来计算该度量的时间。
Tdoc S4-040073定义的四个质量度量仅仅考虑了用户体验的多媒体流的重放的质量的粗略特性。例如，如果两个流传输会话的TdocS4-040073定义的四个质量度量都有相同的值，并且如果在所述会话的第一个会话中，音频和视频数据之间存在精确同步，而在所述会话的第二个会话中，音频和视频数据之间的所述同步已丢失，则基于Tdoc S4-040073定义的四个质量度量的报告质量是相同的，而实际体验的重放质量完全不同。此外，Tdoc S4-040073定义的四个质量度量没有区分所述多媒体流中包含的不同的帧类型，因此，在报告质量时，不能区分对体验到的重放质量至关重要的帧类型的丢失与不太重要的帧类型的丢失。
发明内容
考虑到上述问题，除别的以外，本发明的目的是，为流传输服务中的改进的质量反馈提供了一种方法、计算机程序、计算机程序产品、系统、客户机、服务器和协议。
提出了用于流传输服务中的质量反馈的方法，其中将至少一个媒体流流传输到客户机以便重放，所述方法包括：根据预先定义的一组质量度量中的至少一个质量度量确定质量反馈值，其中所述预先定义的一组质量度量包含与所述至少一个媒体流的所述重放和所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化中的至少一个有关的质量度量，以及
向服务器报告所述质量反馈值。
所述至少一个媒体流可以例如是包含视频、音频或语音信息的连续媒体流，该媒体流是从例如内容服务器的服务器连续传输到所述客户机的，并且以同步方式在所述客户机得以在其中建立的终端上重放。可选地，所述至少一个媒体流可以是实时低延迟应用的媒体流，例如多媒体(视频)电话流或VoIP媒体流或对话多媒体应用中的任何类型的媒体流。流传输可以发生在流传输会话中，其中可以将几个媒体流同时流传输到所述客户机。所述流传输可以基于某一协议，如实时传输协议RTP，并且可以用另一个协议进行控制，例如如同实时流传输协议RTSP或会话发起协议SIP的流传输协议，并且可以例如允许启动、停止和/或暂停该流传输。所述RTSP或SIP可以是由所述客户机或所述服务器中的协议实体操作的，并且可以基于会话描述协议SDP。所述服务器可以与所述媒体实际来自的内容服务器位于同一地点甚至与该内容服务器相同，或者可以是不同实例。
根据所述预先定义的一组质量度量中的至少一个质量度量在该客户端确定所述流传输的质量，并且以质量反馈值的方式进行报告，例如借助于该流传输所基于的所述协议或控制该流传输的所述协议。所述质量度量主要定义如何计算所述质量反馈值。所述预先定义的一组质量度量可以是由控制该流传输的所述协议定义的，并且在该会话建立之前，在该会话建立期间，甚至在该会话建立之后，在所述客户机和所述服务器之间协商所述至少一个质量度量。
向所述服务器报告所述质量反馈值，例如借助于该流传输基于的所述协议或借助于控制该流传输的所述协议。如果控制所述流传输的所述协议是RTCP或SIP，最好利用实体，例如诸如呼叫状态控制功能CSCF的网络实体，捕获或探测所述报告的质量反馈值，以便进行质量测量。
根据本发明，为了改进质量反馈，所述预先定义的一组质量度量包含与所述至少一个媒体流的所述重放有关的质量度量，和/或与所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化有关的质量度量。与所述至少一个媒体流的所述重放有关的所述质量度量可以例如与所述重放的实际重放帧率和预定值的偏差，或者与实际重放时间和预定重放时间之间的差值，或者与音频或语音帧的重放和对应的视频帧之间的同步的损失有关。与所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化有关的所述质量度量可以例如与对该重放的体验质量必不可少的视频流的场景剪切帧的恶化有关。
因此，根据本发明，通过引入与重放和/或特定类型的帧的恶化有关的质量度量提供对质量反馈的改进。
根据本发明的优选实施例，与所述至少一个媒体流的所述重放有关的所述质量度量是与所述至少一个媒体流的所述重放的重放帧率和预定义值之间的偏差有关的帧率偏差度量。在重放由一连串的帧组成的所述至少一个媒体流时，用来重放所述帧的帧率可能与希望的帧率或所述重放的最佳帧率不同。因此，报告例如偏差是有益的。所述预定义值可以是服务器和客户机都知道的默认值，或仅由两个中的一个知道的默认值。所述预定义值可以例如是最佳重放帧率。所述帧率偏差度量还可以与所述偏差事件的持续时间有关。
根据本发明的优选实施例，与所述至少一个媒体流的所述重放有关的所述质量度量是抖动持续时间度量，该抖动持续时间度量与当所述至少一个媒体流的所述重放的重放时间和预定重放时间之间的差值大于预定义值时所出现的抖动事件的持续时间有关。所述预定义值可以是服务器和客户机都知道的默认值，或仅由两个中的一个知道的默认值。所述重放时间表示实际重放时间，这可以例如是按正常播放时间(NPT)或客户机的任何其它时间系统如挂钟时间测量的。不同的时间系统可以有不同的起点(具有数值0)和单位。把每个媒体帧和预定重放时间联系起来，可以例如用实时传输协议(RTP)时戳通知该预定重放时间。然而，由于诸如网络延迟的原因，可能不能刚好在预定重放时间重放媒体帧，所以重放时间和预定重放时间不同。
根据本发明的优选实施例，与所述至少一个媒体流的所述重放有关的所述质量度量是同步损失持续时间度量，该同步损失持续时间度量与当值A和值B之间的绝对差值大于预定义值时出现的同步损失的持续时间有关，其中所述值A是所述至少一个媒体流的第一个媒体流的最后播放的帧的重放时间和所述至少一个媒体流的第二个媒体流的最后播放的帧的重放时间之间的差值，而其中所述值B是所述至少一个媒体流的所述第一个媒体流的所述最后播放的帧的预定重放时间和所述至少一个媒体流的所述第二个媒体流的所述最后播放的帧的预定重放时间之间的差值。所述第一个媒体流可以例如是音频或语音流，而所述第二个媒体流可以例如是视频流。如果重放指的是视频和语音/音频流的同步重放，则图像和对应的语音/音频同步的缺少会给用户造成令人烦恼的体验，因此向所述服务器报告是重要的。所述预定义值可以是服务器和客户机都知道的默认值，或仅由两个中的一个知道的默认值。
根据本发明的优选实施例，所述至少一个媒体流中包含的至少两种类型的帧的一种帧是场景剪切帧，并且与所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化有关的所述质量度量是恶化的场景剪切帧数度量，该恶化的场景剪切帧数度量与所述至少一个媒体流中的恶化的场景剪切帧的数目有关。因此，所述其它类型的帧可以例如是在内容上与前一个帧相似的正常内容帧。于是，能够独立地报告对重放质量特别重要的场景剪切帧的恶化。所述场景剪切帧可以例如指示视频流中的场景剪切，与所述场景剪切帧有关的信息可以在该服务器上获得，或者可能在该服务器或该客户机上导出，并且可以带内或带外地将所述信息用信号通知给该客户机。
根据本发明的优选实施例，所述质量度量是连同时戳一起报告的。所述时戳可以例如指示根据所述质量度量描述的事件的发生的绝对或相对时刻。
根据本发明的优选实施例，所述帧率偏差度量是连同时戳一起报告的，并且相对于质量报告周期的起始时间，所述时戳等于所述偏差期间内的第一个播放的帧的播放时间。所述播放时间可以例如用NPT表示。
根据本发明的优选实施例，所述抖动持续时间度量是连同时戳一起报告的，并且相对于质量报告周期的起始时间，所述时戳等于所述抖动事件期间内的第一个播放的帧的播放时间。所述播放时间可以例如用NPT表示。
根据本发明的优选实施例，所述同步损失持续时间度量是连同时戳一起报告的，并且相对于质量报告周期的起始时间，所述时戳等于所述同步损失事件期间内的第一个播放的帧的播放时间。所述播放时间可以例如用NPT表示。
根据本发明的优选实施例，所述播放时间是正常播放时间NPT。所述NPT可以例如是由实时流传输协议RTSP提供的。借助NPT定义所述播放时间可以消除客户机和服务器在解释时戳的时候的模糊性，因此可以提供流传输质量体验的正确分析。
根据本发明的优选实施例，所述预先定义的一组质量度量包含与恶化的持续时间有关的恶化持续时间度量，并且仅在所述持续时间大于预定义值时，才报告根据所述恶化持续时间度量确定的所述质量反馈值。在重放期间，如果仅仅是一个短时间段内的一个帧或几个帧没有得到重放，则最终用户通常感觉不到差别。例如，由于以下原因中的一个原因接收终端可以决定不重放某一帧：由于任何原因，该服务器没有传输非参考帧；非参考帧部分或完全丢失；非参考帧被完整接收，但是不能正确解码；非参考帧被完整接收，但是由于延迟或缺少计算能力，没有进行解码；参考或非参考帧被完整接收并且被正确解码，但是其预定播放时间已过期。不重放一个短时间段内的这些帧并不影响用户体验，因此，报告一个短时间段内的这些帧是对传输带宽的浪费。因此，根据本发明的上述优选实施例，提出了仅在恶化持续时间超过所述预定义值时才进行报告，所述预定义值可以例如是由该服务器或/该客户机设置的默认值，或者是由协议规定的值。
根据本发明的优选实施例，所述至少一个媒体流是基于实时传输协议RTP的。所述RTP可以在所述客户机和内容服务器之间运行，并且可以使用用户数据报协议UDP的服务，而UDP可以使用因特网协议IP的服务。
根据本发明的优选实施例，所述流传输至少部分地由实时流传输协议RTSP控制的。所述RTSP可以是基于会话描述协议SDP提供的表示描述的。所述RTSP可以由所述客户机和所述服务器控制，并且可以例如允许启动、暂停或停止该流传输。
根据本发明的优选实施例，借助于所述RTSP向所述服务器报告所述质量反馈值。所述质量反馈值可以例如包含在RTSP协议数据单元的报头中。
根据本发明的优选实施例，所述流传输服务是3G移动通信系统中的分组交换流传输服务PSS。
此外，提出了其指令可操作以使处理器执行上述方法步骤的计算机程序。所述计算机程序可以例如在所述客户机中的处理器上运行。
此外，提出了一种计算机程序产品，该计算机程序产品包括其指令可操作以使处理器执行上述方法步骤的计算机程序。所述计算机程序产品可以例如存储在诸如ROM或RAM的存储器中，或者存储在诸如存储卡、记忆棒、磁盘、CD或类似介质的可移动的介质上，并且可以加载到位于所述客户机内的处理器的内存中。
此外，提出了用于流传输服务中的质量反馈的系统，包括至少一台服务器，以及
至少一台客户机，其中将至少一个媒体流流传输到所述至少一台客户机以便重放，其中根据预定义的一组质量度量中的至少一个质量度量确定质量反馈值，其中所述预定义的一组质量度量包含与所述至少一个媒体流的所述重放和所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化中的至少一个有关的质量度量，并且其中向所述至少一台服务器报告所述质量反馈值。
此外，提出了流传输服务中的客户机，包括：用于接收流传输到所述客户机的至少一个媒体流以便进行重放的装置；根据预定义的一组质量度量中的至少一个质量度量确定质量反馈值的装置，其中所述预定义的一组质量度量包含与所述至少一个媒体流的所述重放和所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化中的至少一个有关的质量度量；以及用于向服务器报告所述质量反馈值的装置。
此外，提出了流传输服务中的服务器，其中将至少一个媒体流流传输到客户机以便重放，其中根据预定义的一组质量度量中的至少一个质量度量确定质量反馈值，其中所述预定义的一组质量度量包含与所述至少一个媒体流的所述重放和所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化中的至少一个有关的质量度量，所述服务器包括用于接收所述客户机向所述服务器报告的所述质量反馈值的装置。
此外，提出了流传输服务中使用的协议，其中将至少一个媒体流流传输到客户机以便重放，该协议定义与所述至少一个媒体流的所述重放和所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化中的至少一个有关的质量度量。所述协议可以是与会话描述协议SDP结合的RTSP。
通过参照下文描述的实施例说明本发明的这些和其它方面，本发明的这些和其它方面将是显然的。
附图说明
在附图中，
图1表示根据现有技术的分组交换流传输服务(PSS)协议栈的图示；
图2表示根据现有技术的实时流传输协议(RTSP)协商报头的定义；
图3表示本发明的方法的流程图；以及
图4表示根据本发明的系统的图示。
具体实施方式
本发明提出了流传输服务的质量反馈中使用的特殊的质量度量，以便改进质量反馈。下面将更详细地描述所提出的质量度量及其相关联时戳。
帧率偏差
该质量度量仅适用于音频、视频和语音，它可能不适合其它媒体类型。它给出有关重放帧率的信息。当重放帧率与预定义值不一致时，帧率偏差出现。该质量度量可以包含该事件的持续时间和帧率偏差值，亦即，预定义帧率和实际重放帧率之间的差值。持续时间的单位可以用秒表示，并且可以是小数值。偏差值的单位可以用帧/秒表示，并且也可以是小数值。
所述预定义值可以是该服务器和该客户机都知道的默认值，或者它可以是在QoE协商期间由该服务器提供的。如果它将由该服务器提供，则该服务器可以通过检查媒体比特流或通过任何其它的方法来确定该值。
有利地，该值指示在本地重放该媒体流时所计算的平均帧率。
从实现的观点看，可以指定用下面的方法来计算帧率。假设帧率仅在整数秒时改变。从第n-1秒到第n秒的时间段的帧率值等于在该周期期间重放的帧数。时间轴可以表示NPT时间，并且可以以QoE报告周期的起始时间作为开始原点。
与帧率偏差度量相关联的时戳指示该帧率偏差发生的时间。该时戳的值等于在帧率偏差事件期间第一个播放的帧的NPT，相对于QoE报告周期的起始时间。如果在该事件期间没有播放的帧，则该值等于在该事件之前的最后播放的帧的NPT或QoE报告周期的起始时间(更后的一个)，相对于QoE报告周期的起始时间。
抖动持续时间
该质量度量仅适用于音频、视频和语音，不适合任何其它媒体类型。当实际重放时间和预定重放时间之间的绝对差值大于预定义值时，重放抖动发生。该度量的单位可以用秒表示，并且可以是小数值。所述预定义值可以是该服务器和该客户机都知道的默认值，例如100毫秒。
与该抖动持续时间度量相关联的时戳指示重放抖动发生的时间。该时戳的值等于该重放抖动中第一个播放的帧的NPT，相对于QoE报告周期的起始时间。
同步损失持续时间
该质量度量适合于任何一对媒体类型。将值A定义为所述至少一个媒体流的第一个媒体流的最后播放的帧的重放时间和所述至少一个媒体流的第二个媒体流的最后播放的帧的重放时间之间的差值，而将值B定义为所述至少一个媒体流的所述第一个媒体流的所述最后播放的帧的预定重放时间和所述至少一个媒体流的所述第二个媒体流的所述最后播放的帧的预定重放时间之间的差值。
当所述值A和所述值B之间的绝对差值大于预定义值时，同步损失发生。该质量度量的单位可以用秒表示，并且可以是小数值。所述预定义值可以是该服务器和该客户机都知道的默认值，如100毫秒。
与该同步损失持续时间度量相关联的时戳指示该重放同步损失发生的时间。该时戳的值等于该同步损失中第一个播放的帧的NPT，相对于QoE报告周期的起始时间。
恶化场景剪切帧的数目
该质量度量仅适用于视频，不适合其它媒体类型。该度量指在0oE报告周期期间恶化的场景剪切帧的数目。该度量的单位可以用大于等于零的整数表示。如果支持该度量，并且如果对于QoE报告周期没有报告此度量，这指示在该QoE报告周期期间没有恶化的场景剪切帧。
如果该服务器具有指示哪些帧是场景剪切帧的信息，或者如果该服务器实现了导出该信息的方法，例如通过使用场景剪切检测算法，则可以使用该质量度量。假如这样的话，则该服务器或者借助于带内信令或者借助于带外信令使该客户机得到该信息是有利的。如果该客户机实现了导出该信息的方法，例如通过使用场景剪切检测算法，则也可以使用该质量度量。例如，在ITU-T H.264(也叫作ISO/IECMPEG-4部分10)中，通过使用场景信息补充增强信息(SEI)消息，将场景剪切信息带内地运送到客户机。
可以不定义与恶化的场景剪切帧的数目度量相关联的时戳，这是因为测量恶化的场景剪切帧的数目的时间等于该QoE报告周期的结束时间是显然的。
如本发明提出的每个新的质量度量的示例协议语法例如是：
Framerate_Deviation＝″Framerate_Deviation″″＝″″{″SP/(ValuelSP Value2[SP Timestamp])#(″，″Valuel SP Value2 [SPTimestamp])″}″；
Jitter_Duration＝″Jitter_Duration″″＝″{″SP/(Value[SPTimestamp))#(″，″Value[SP Timestamp])″}″；
Syncloss_Duration＝″Syncloss_Duration″″＝″″{″SP/(Value[SPTimestamp])#(″，″Value[SP Timestamp])″}″；
Corrupted_Scene_Cuts＝″Corrupted_Scene_Cuts″″＝″″{″SP/Value″}″；
其中，Valuel字段指示帧率偏差事件的持续时间，而Value2字段指示帧率偏差值。Value字段指示重放抖动的持续时间，同步损失的持续时间，或恶化的场景剪切帧的数目。Timestamp字段的语义如上所述。
在质量反馈中，存在同一事件在一个监控周期期间出现多次的可能性。如果是那样的话，质量反馈值可以出现多次，用于向该服务器指示事件的次数。
为了使客户机能够计算帧率偏差度量，需要向该客户机发送预定义帧率值。假如这样的话，可以以附加参数的方式把该值添加到RSTP报头QoE-报头或SDP属性“QoE-Metrics”中，正如TdocS4-040073规定的那样。例如，预定义帧率值的语法设计的定义可以是：
Pre-defined Frame Rate＝″FR″″＝″1*DIGIT″.″1*DIGIT
因此，RTSP QoE-报头和SDP QoE-Metrics的语法变成：
QoE-Header＝″QoE-Metrics″″：″″off″/1#(stream-url″；″Metrics″；″Sending-rate[″；″Range][″；″FR])CRLF
和
a＝QoE-Metrics：Metrics″；″Sending-rate[″；″Range][″；″FR]CRLF
当在流传输服务中执行质量反馈时，为了更有效地使用传输带宽，本发明提出只有在所述持续时间大于预定值时才报告根据恶化持续时间度量确定的质量反馈值。在重放期间，如果仅仅是一个短时间段内的一个帧或几个帧没有得到重放，则最终用户通常感觉不到差别。例如，由于以下原因中的一个原因接收终端可以决定不重放某一帧：由于任何原因，该服务器没有传输非参考帧；非参考帧部分或完全丢失；非参考帧被完整接收，但是不能正确解码；非参考帧被完整接收，但是由于延迟或缺少计算能力，没有进行解码；参考或非参考帧被完整接收并且被正确解码，但是其预定播放时间已过期。不重放一个短时间段内的这些帧并不影响用户体验，因此，报告一个短时间段内的这些帧是对传输带宽的浪费。因此，根据本发明，提出了仅在恶化持续时间超过所述预定义值时才进行报告，所述预定义值可以例如是由该服务器或/该客户机设置的默认值，或者是由协议预先规定的值。
图3描绘根据本发明的方法的流程图。在第一步骤300中，在流传输客户机和流传输服务器之间建立流传输会话。在步骤301中，在流传输客户机和流传输服务器之间协商包含本发明提出的质量度量的预定义的一组质量度量中的一个或多个质量度量，以便在流传输客户机执行的质量反馈过程中使用。所述会话建立和协商两者都可以基于与SDP结合的RTSP，或基于RTCP或SIP。步骤301也可以和步骤300一起执行。可以把对应的时戳度量和用于流传输会话的至少某些协商的质量度量联系起来。在步骤302中，开始实际的流传输，例如，当向流传输客户机传输媒体流并且在组成所述流传输客户机的终端上对其进行重放时。在所述流传输期间，在步骤303中，检查是否需要质量反馈。其实现方式可以例如是，根据协商的质量度量连续检查需要向流传输服务器报告的事件是否发生。这可以例如是同步损失事件。可选地，可以协商周期的质量报告，例如，某一时间间隔内的恶化场景剪切帧数的周期性的反馈。在所述步骤303中，触发事件驱动的和周期的质量反馈。如果确定需要质量反馈，则在步骤304中，根据每个协商的质量度量确定质量反馈值。如果所述协商的质量度量中的一个或多个质量度量是与时戳度量相关联的，则在步骤305中确定对应的时戳。同样可以在执行步骤304之前执行所述步骤305。接着，在步骤306中，向流传输服务器报告质量反馈值和相应的时戳，例如借助于RTSP、RTCP或SIP。在质量反馈之后，或者如果确定不需要质量反馈，在步骤307中检查是否需要停滞流传输。如果情况不是这样，则再次在步骤303中检查是否需要新的质量反馈。
图4示意性地描绘了根据本发明的系统的功能部件。本实施例示意地表示使用RTSP控制流传输的PSS系统。可以理解，这里同样可以使用SIP，包括略微修改的基础协议栈和用来探测或捕获从客户机601(甲方)发送到服务器600(乙方)的质量反馈和时戳的附加网络实例。图4中的PSS系统包括流传输客户机601和流传输服务器600，其中客户机601和服务器600同时具有能够操作RTSP的至少一个RTSP实体401、RTSP实体400。RTSP实体400、RTSP实体401使用其它协议实体操作的基础协议层的服务，其中仅示出TCP/UDP实体402、403和IP实体404、405。流传输客户机601还与流传输质量监控实例407相连，该流传输质量监控实例407就协商的质量度量和可能的对应时戳度量来监控实际流传输应用的质量，并且把监控的质量反馈值输入到所述RTSP实体401中。所述流传输质量监控可以例如是由其中得以建立所述流传输客户机的终端提供的。如果为所用的质量度量定义了时戳度量，则流传输质量监控407根据所述时戳度量确定时戳，并且经由客户机的RTSP 401，向流传输服务器600中的RTSP对等实体传输所述监控的质量反馈值和所述对应时戳，在流传输服务器600中，将它们输入到质量数据处理实例406中以便进行评估和分析，其目的是，在发现恶化持续时间事件过于频繁时通过增强媒体流的错误恢复力提高流传输应用的质量，或者其目的仅仅是统计质量数据收集或计费或其它目的。
上面借助于优选实施例描述了本发明。请注意，存在对于本领域的熟练技术人员而言显然的可选方式和变更，并且它们的实现并不背离所附权利要求书的范围和实质。特别地，本发明绝不限于3G无线通信系统中的应用。它同样可以部署在带有参数反馈的各种有线和无线数据传输系统中。

Claims (25)

1.用于流传输服务中的质量反馈的方法，其中将至少一个媒体流流传输到客户机以便重放，所述方法包括：
根据预定义的一组质量度量中的至少一个质量度量确定质量反馈值，其中所述预定义的一组质量度量包含与以下两项中的至少一项有关的质量度量：
所述至少一个媒体流的所述重放，以及
所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化，以及
向服务器报告所述质量反馈值。
2.根据权利要求1的方法，其中与所述至少一个媒体流的所述重放有关的所述质量度量是与所述至少一个媒体流的所述重放的重放帧率和预定义值的偏差有关的帧率偏差度量。
3.根据权利要求2的方法，其中所述帧率偏差度量还与所述偏差的持续时间有关。
4.根据权利要求1的方法，其中与所述至少一个媒体流的所述重放有关的所述质量度量是抖动持续时间度量，该抖动持续时间度量与所述至少一个媒体流的所述重放的重放时间和预定重放时间之间的差值大于预定义值时出现的抖动事件的持续时间有关。
5.根据权利要求1的方法，其中与所述至少一个媒体流的所述重放有关的所述质量度量是同步损失持续时间度量，该同步损失持续时间度量与值A和值B之间的绝对差值大于预定值时出现的同步损失事件的持续时间有关，其中所述值A是所述至少一个媒体流的第一个媒体流的最后播放的帧的重放时间和所述至少一个媒体流的第二个媒体流的最后播放的帧的重放时间之间的差值，而其中所述值B是所述至少一个媒体流的所述第一个媒体流的所述最后播放的帧的预定重放时间和所述至少一个媒体流的所述第二个媒体流的所述最后播放的帧的预定重放时间之间的差值。
6.根据权利要求1的方法，其中所述至少一个媒体流中包含的所述至少两种类型的帧的一种帧是场景剪切帧，并且其中与所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化有关的所述质量度量是恶化的场景剪切帧数度量，该场景剪切帧数度量与所述至少一个媒体流中的恶化的场景剪切帧的数目有关。
7.根据权利要求1的方法，其中所述质量度量是连同时戳一起报告的。
8.根据权利要求2的方法，其中所述帧率偏差度量是连同时戳一起报告的，并且相对于质量报告周期的起始时间，其中所述时戳等于所述偏差期间内第一个播放的帧的播放时间。
9.根据权利要求4的方法，其中所述抖动持续时间度量是连同时戳一起报告的，并且相对于质量报告周期的起始时间，其中所述时戳等于所述抖动事件期间内第一个播放的帧的播放时间。
10.根据权利要求5的方法，其中所述同步损失持续时间度量是连同时戳一起报告的，并且相对于质量报告周期的起始时间，其中所述时戳等于所述同步损失事件期间内第一个播放的帧的播放时间。
11.根据权利要求8的方法，其中所述播放时间是正常播放时间NPT。
12.根据权利要求1的方法，其中所述预定义的一组质量度量包含与恶化的持续时间有关的恶化持续时间度量，并且其中仅在所述持续时间大于预定值时，才报告根据所述恶化持续时间度量确定的所述质量反馈值。
13.根据权利要求1的方法，其中所述至少一个媒体流的所述流传输是基于实时传输协议RTP的。
14.根据权利要求1的方法，其中所述流传输是至少部分由实时流传输协议RTSP控制的。
15.根据权利要求14的方法，其中借助于所述RTSP向所述服务器报告所述质量反馈值。
16.根据权利要求1的方法，其中所述流传输服务是3G移动通信系统中的分组交换流传输服务PSS。
17.一种计算机程序，其指令可操作以使处理器执行权利要求1的方法步骤。
18.一种计算机程序产品，该计算机程序产品包括其指令可操作以使处理器执行权利要求1的方法步骤的计算机程序。
19.一种用于流传输服务中的质量反馈的系统，包括：
至少一台服务器；以及
至少一台客户机，
其中将至少一个媒体流流传输到所述至少一台客户机以便重放，其中根据预定义的一组质量度量中的至少一个质量度量确定质量反馈值，其中所述预定义的一组质量度量包含与以下两项中的至少一项有关的质量度量：
所述至少一个媒体流的所述重放，以及
所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化，以及
其中向所述至少一台服务器报告所述质量反馈值。
20.一种流传输服务中的客户机，包括：
用于接收流传输到所述客户机的至少一个媒体流以便进行重放的装置；
根据预定义的一组质量度量中的至少一个质量度量确定质量反馈值的装置，其中所述预定义的一组质量度量包含与以下两项中的至少一项有关的质量度量：
所述至少一个媒体流的所述重放，以及
所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化；以及
用于向服务器报告所述质量反馈值的装置。
21.一种流传输服务中的服务器，其中将至少一个媒体流流传输到客户机以便重放，其中根据预先定义的一组质量度量中的至少一个质量度量确定质量反馈值，其中所述预定义的一组质量度量包含与以下两项中的至少一项有关的质量度量：
所述至少一个媒体流的所述重放，以及
所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化，
所述服务器，包括；
用于接收所述客户机向所述服务器报告的所述质量反馈值的装置。
22.一种使用在流传输服务中的协议，其中将至少一个媒体流流传输到客户机以便重放，该协议定义：
与以下两项中的至少一项有关的质量度量：
所述至少一个媒体流的所述重放，以及
所述至少一个媒体流中包含的至少两种类型的帧的一种帧的恶化。
23.权利要求21的协议，其中所述协议是与会话描述协议SDP结合的RTSP。
24.根据权利要求9的方法，其中所述播放时间是正常播放时间NPT。
25.根据权利要求10的方法，其中所述播放时间是正常播放时间NPT。
CN2005800144295A 2004-05-07 2005-05-03 流传输服务中的改进的质量反馈 Active CN1951083B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/841,228 US8010652B2 (en) 2004-05-07 2004-05-07 Refined quality feedback in streaming services
US10/841,228 2004-05-07
PCT/IB2005/001296 WO2005109821A1 (en) 2004-05-07 2005-05-03 Refined quality feedback in streaming services

Publications (2)

Publication Number Publication Date
CN1951083A true CN1951083A (zh) 2007-04-18
CN1951083B CN1951083B (zh) 2012-07-11

Family

ID=34967332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800144295A Active CN1951083B (zh) 2004-05-07 2005-05-03 流传输服务中的改进的质量反馈

Country Status (8)

Country Link
US (3) US8010652B2 (zh)
EP (1) EP1743467B1 (zh)
JP (1) JP2007536859A (zh)
KR (2) KR100813929B1 (zh)
CN (1) CN1951083B (zh)
AU (1) AU2005241687B2 (zh)
TW (1) TWI309121B (zh)
WO (1) WO2005109821A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124717A (zh) * 2008-07-02 2011-07-13 诺基亚公司 用于体验质量报告的系统和方法
CN102238152A (zh) * 2010-05-06 2011-11-09 华为技术有限公司 控制内容报告行为的方法、装置和系统
CN102439938A (zh) * 2009-02-09 2012-05-02 拜特移动网络公司 用于按照媒体播放器的需要控制实时流的下载速率的方法
CN103354992A (zh) * 2011-02-11 2013-10-16 交互数字专利控股公司 用于在协同会话期间同步移动站媒体流的方法和装置
CN103354992B (zh) * 2011-02-11 2016-11-30 交互数字专利控股公司 用于在协同会话期间同步移动站媒体流的方法和装置
CN106375783A (zh) * 2012-08-03 2017-02-01 英特尔公司 用于在超文本传输协议上的质量知晓自适应流传输的方法
CN106464925A (zh) * 2014-01-29 2017-02-22 皇家Kpn公司 建立事件的流传输呈现
US11265359B2 (en) 2014-10-14 2022-03-01 Koninklijke Kpn N.V. Managing concurrent streaming of media streams

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6930709B1 (en) * 1997-12-04 2005-08-16 Pentax Of America, Inc. Integrated internet/intranet camera
EP1738583A4 (en) * 2004-03-03 2009-08-19 Packetvideo Network Solutions SYSTEM AND METHOD FOR SEARCHING DIGITAL MULTIMEDIA CONTENT IN A NETWORK NODE
KR100640862B1 (ko) * 2004-08-03 2006-11-02 엘지전자 주식회사 순방향 메시지 전송 중 타임아웃의 동적 제어방법
US8144693B1 (en) 2005-09-22 2012-03-27 Verizon Services Organization Inc. Method and system for providing telemetry, verification and/or other access in a SIP-based network
CN101026616B (zh) * 2006-02-18 2013-01-09 华为技术有限公司 基于ip多媒体子系统的交互式媒体会话建立方法
WO2007133697A2 (en) 2006-05-11 2007-11-22 Cfph, Llc Methods and apparatus for electronic file use and management
WO2007140812A1 (en) * 2006-06-02 2007-12-13 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatuses for establishing a session between a client terminal and a media supply system to transport a unicast media stream over an ip network
US8339976B2 (en) * 2006-10-19 2012-12-25 Telefonaktiebolaget Lm Ericsson (Publ) Method of determining video quality
US8959239B2 (en) * 2006-12-29 2015-02-17 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for reporting streaming media quality
KR100810223B1 (ko) * 2007-01-19 2008-03-06 삼성전자주식회사 단말 간 실시간 스트리밍 서비스 제공 시스템 및 방법
US20080228912A1 (en) * 2007-03-16 2008-09-18 Ramakrishna Vedantham Enhanced Quality Reporting for Transmission Sessions
US7987285B2 (en) 2007-07-10 2011-07-26 Bytemobile, Inc. Adaptive bitrate management for streaming media over packet networks
US7991904B2 (en) 2007-07-10 2011-08-02 Bytemobile, Inc. Adaptive bitrate management for streaming media over packet networks
US7996482B1 (en) * 2007-07-31 2011-08-09 Qurio Holdings, Inc. RDMA based real-time video client playback architecture
US20090125636A1 (en) * 2007-11-13 2009-05-14 Qiong Li Payload allocation methods for scalable multimedia servers
US8762476B1 (en) 2007-12-20 2014-06-24 Qurio Holdings, Inc. RDMA to streaming protocol driver
US20090210552A1 (en) * 2008-02-15 2009-08-20 Alcatel Lucent Facilitating access to IPTV content using a portable device while roaming
WO2009104869A1 (en) * 2008-02-20 2009-08-27 Electronics And Telecommunications Research Institute Method and apparatus for svc video and aac audio synchronization using npt
KR100916505B1 (ko) * 2008-02-20 2009-09-08 한국전자통신연구원 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치
US8060904B1 (en) 2008-02-25 2011-11-15 Qurio Holdings, Inc. Dynamic load based ad insertion
KR101324222B1 (ko) * 2008-09-04 2013-11-01 삼성테크윈 주식회사 영상 처리 장치
US9154375B2 (en) * 2009-11-20 2015-10-06 Carrier Iq, Inc. Method for recording user experience or performance of a peripheral device
US8423658B2 (en) * 2010-06-10 2013-04-16 Research In Motion Limited Method and system to release internet protocol (IP) multimedia subsystem (IMS), session initiation protocol (SIP), IP-connectivity access network (IP-CAN) and radio access network (RAN) networking resources when IP television (IPTV) session is paused
EP2448265A1 (en) 2010-10-26 2012-05-02 Google, Inc. Lip synchronization in a video conference
WO2012170920A1 (en) 2011-06-10 2012-12-13 Bytemobile, Inc. On-demand adaptive bitrate management for streaming media over packet networks
US9288251B2 (en) 2011-06-10 2016-03-15 Citrix Systems, Inc. Adaptive bitrate management on progressive download with indexed media files
US9210302B1 (en) 2011-08-10 2015-12-08 Google Inc. System, method and apparatus for multipoint video transmission
US20130195119A1 (en) * 2011-10-14 2013-08-01 Qualcomm Incorporated Feedback channel for wireless display devices
US9769281B2 (en) 2011-12-19 2017-09-19 Google Technology Holdings LLC Method and apparatus for determining a multimedia representation for a multimedia asset delivered to a client device
US8917309B1 (en) 2012-03-08 2014-12-23 Google, Inc. Key frame distribution in video conferencing
US10489389B2 (en) 2012-06-07 2019-11-26 Wormhole Labs, Inc. Experience analytic objects, systems and methods
US8791982B1 (en) 2012-06-27 2014-07-29 Google Inc. Video multicast engine
US9100698B2 (en) * 2012-10-26 2015-08-04 Motorola Solutions, Inc. Systems and methods for sharing bandwidth across multiple video streams
US9348903B2 (en) 2013-02-08 2016-05-24 John Moran Methods, devices and computer readable mediums for a music recognition game
US9774869B2 (en) * 2013-03-25 2017-09-26 Blackberry Limited Resilient signal encoding
WO2015023652A1 (en) * 2013-08-12 2015-02-19 Christopher Alston Technologies for video-based commerce
GB2521078B (en) * 2013-10-24 2016-01-13 Motorola Solutions Inc Systems and methods for sharing bandwidth across multiple video streams
CN103594103B (zh) * 2013-11-15 2017-04-05 腾讯科技(成都)有限公司 音频处理方法及相关装置
US9992500B2 (en) * 2014-03-18 2018-06-05 Intel Corporation Techniques for evaluating compressed motion video quality
KR101507032B1 (ko) * 2014-08-26 2015-04-01 계명대학교 산학협력단 스트리밍 미디어의 실시간 동기화 재생 시스템 및 방법
US9681163B1 (en) * 2015-03-26 2017-06-13 Amazon Technologies, Inc. Identify bad files using QoS data
US9609275B2 (en) 2015-07-08 2017-03-28 Google Inc. Single-stream transmission method for multi-user video conferencing
US11089183B1 (en) * 2019-08-20 2021-08-10 Amazon Technologies, Inc. Multiple device audio-video synchronization
US11928758B2 (en) 2020-03-06 2024-03-12 Christopher Renwick Alston Technologies for augmented-reality
US20230007067A1 (en) * 2021-06-30 2023-01-05 Tencent America LLC Bidirectional presentation datastream

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4101270A1 (de) * 1991-01-17 1992-07-23 Siemens Ag Verfahren zur uebertragung von digitalsignalen
US5493584A (en) * 1993-12-27 1996-02-20 Emeott; Stephen P. Method for determining a channel quality metric in a receiver
US5652749A (en) * 1995-02-03 1997-07-29 International Business Machines Corporation Apparatus and method for segmentation and time synchronization of the transmission of a multiple program multimedia data stream
US5533021A (en) * 1995-02-03 1996-07-02 International Business Machines Corporation Apparatus and method for segmentation and time synchronization of the transmission of multimedia data
JP3967443B2 (ja) 1998-01-22 2007-08-29 富士通株式会社 画像データ送受信システムおよびその送信側装置およびその受信側装置並びにそのプログラムを記憶した記憶媒体
US6259677B1 (en) * 1998-09-30 2001-07-10 Cisco Technology, Inc. Clock synchronization and dynamic jitter management for voice over IP and real-time data
US7606164B2 (en) * 1999-12-14 2009-10-20 Texas Instruments Incorporated Process of increasing source rate on acceptable side of threshold
US6658027B1 (en) * 1999-08-16 2003-12-02 Nortel Networks Limited Jitter buffer management
US7143432B1 (en) * 1999-10-01 2006-11-28 Vidiator Enterprises Inc. System for transforming streaming video data
US7574351B2 (en) * 1999-12-14 2009-08-11 Texas Instruments Incorporated Arranging CELP information of one frame in a second packet
EP1130839B1 (en) * 2000-03-02 2005-06-08 Matsushita Electric Industrial Co., Ltd. Method and apparatus for retransmitting video data frames with priority levels
GB2362533A (en) * 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Encoding a video signal with an indicator of the type of error concealment used
US7286652B1 (en) * 2000-05-31 2007-10-23 3Com Corporation Four channel audio recording in a packet based network
US6973102B2 (en) * 2000-07-31 2005-12-06 Telefonaktiebolaget Lm Ericsson (Publ) Jitter reduction in differentiated services (DiffServ) networks
FI120125B (fi) * 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
US6785353B1 (en) * 2000-09-06 2004-08-31 Telogy Networks, Inc. Synchronization loss detection in a V.34 receiver
US7336613B2 (en) * 2000-10-17 2008-02-26 Avaya Technology Corp. Method and apparatus for the assessment and optimization of network traffic
ES2331111T3 (es) * 2000-11-29 2009-12-22 British Telecommunications Public Limited Company Transmision y recepcion de datos en tiempo real.
US20020080719A1 (en) * 2000-12-22 2002-06-27 Stefan Parkvall Scheduling transmission of data over a transmission channel based on signal quality of a receive channel
US6934318B2 (en) * 2000-12-22 2005-08-23 Qualcomm, Incorporated Method and system for energy based frame rate determination
US6856601B1 (en) * 2001-04-03 2005-02-15 Cisco Technology, Inc. Shared digital signal processing resources for communications devices
US20020161911A1 (en) * 2001-04-19 2002-10-31 Thomas Pinckney Systems and methods for efficient memory allocation for streaming of multimedia files
US7047308B2 (en) * 2001-08-31 2006-05-16 Sharp Laboratories Of America, Inc. System and method for simultaneous media playout
US7185084B2 (en) * 2001-09-05 2007-02-27 Intel Corporation Server-side measurement of client-perceived quality of service
JP2003304523A (ja) * 2002-02-08 2003-10-24 Ntt Docomo Inc 情報配信システム、情報配信方法、情報配信サーバ、コンテンツ配信サーバ及び端末
US7010598B2 (en) * 2002-02-11 2006-03-07 Akamai Technologies, Inc. Method and apparatus for measuring stream availability, quality and performance
US7596373B2 (en) * 2002-03-21 2009-09-29 Mcgregor Christopher M Method and system for quality of service (QoS) monitoring for wireless devices
US6981184B2 (en) * 2002-04-11 2005-12-27 Motorola, Inc. Apparatus and method for processing a corrupted frame
MXPA05000559A (es) * 2002-07-15 2005-04-19 Nokia Corp Metodo para ocultamiento de errores en secuencias de video.
JP3964751B2 (ja) 2002-07-15 2007-08-22 日本電信電話株式会社 ネットワーク品質推定制御方式
US7038710B2 (en) * 2002-07-17 2006-05-02 Koninklijke Philips Electronics, N.V. Method and apparatus for measuring the quality of video data
US20040073690A1 (en) * 2002-09-30 2004-04-15 Neil Hepworth Voice over IP endpoint call admission
BR0315504A (pt) * 2002-10-29 2005-08-23 Ericsson Telefon Ab L M Método para adaptação de dados de multimìdia de múltiplos usuários em um sistema de comunicação, e, parte de rede intermediária adaptada para executar uma adaptação de fluxo de dados de múltiplos usuários em um sistema de comunicação
USRE44782E1 (en) * 2002-11-11 2014-02-25 Supracomm, Inc. Multicast videoconferencing
US7251267B2 (en) * 2002-12-13 2007-07-31 Lucent Technologies Inc. System and method for determining a best round trip delay indicator
US7630612B2 (en) * 2003-02-10 2009-12-08 At&T Intellectual Property, I, L.P. Video stream adaptive frame rate scheme
US7394833B2 (en) * 2003-02-11 2008-07-01 Nokia Corporation Method and apparatus for reducing synchronization delay in packet switched voice terminals using speech decoder modification
EP1453269A1 (en) * 2003-02-25 2004-09-01 Matsushita Electric Industrial Co., Ltd. A method of reporting quality metrics for packet switched streaming
US20040170163A1 (en) * 2003-02-28 2004-09-02 Zarlink Semiconductor V.N. Inc. Data structure providing storage and bandwidth savings for hardware RTCP statistics collection applications
US20050163047A1 (en) * 2003-03-20 2005-07-28 Christopher M. Mcgregor, Gregory M. Mcgregor And Travis M. Mcgregor Method and system for processing quality of service (QOS) performance levels for wireless devices
US20050010462A1 (en) * 2003-07-07 2005-01-13 Mark Dausch Knowledge management system and methods for crude oil refining
DE602004025490D1 (de) * 2003-08-21 2010-03-25 Vidiator Entpr Inc Metriken für die qualität der erfahrung (qoe) für drahtlose kommunikationsnetze
EP1661366B1 (en) * 2003-09-02 2010-02-17 Nokia Corporation Transmission of embedded information relating to a quality of service
WO2005027394A1 (ja) * 2003-09-10 2005-03-24 Fujitsu Limited 伝送パラメータ制御装置
US20050076113A1 (en) * 2003-09-12 2005-04-07 Finisar Corporation Network analysis sample management process
US7158899B2 (en) * 2003-09-25 2007-01-02 Logicvision, Inc. Circuit and method for measuring jitter of high speed signals
US20050089092A1 (en) * 2003-10-22 2005-04-28 Yasuhiro Hashimoto Moving picture encoding apparatus

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124717A (zh) * 2008-07-02 2011-07-13 诺基亚公司 用于体验质量报告的系统和方法
CN102439938A (zh) * 2009-02-09 2012-05-02 拜特移动网络公司 用于按照媒体播放器的需要控制实时流的下载速率的方法
CN102439938B (zh) * 2009-02-09 2015-07-22 茨特里克斯系统公司 用于按照媒体播放器的需要控制实时流的下载速率的方法
CN102238152A (zh) * 2010-05-06 2011-11-09 华为技术有限公司 控制内容报告行为的方法、装置和系统
CN103354992A (zh) * 2011-02-11 2013-10-16 交互数字专利控股公司 用于在协同会话期间同步移动站媒体流的方法和装置
CN103354992B (zh) * 2011-02-11 2016-11-30 交互数字专利控股公司 用于在协同会话期间同步移动站媒体流的方法和装置
CN106375783A (zh) * 2012-08-03 2017-02-01 英特尔公司 用于在超文本传输协议上的质量知晓自适应流传输的方法
CN106375783B (zh) * 2012-08-03 2020-01-17 英特尔公司 用于在超文本传输协议上的质量知晓自适应流传输的方法
CN106464925A (zh) * 2014-01-29 2017-02-22 皇家Kpn公司 建立事件的流传输呈现
US11778258B2 (en) 2014-01-29 2023-10-03 Koninklijke Kpn N.V. Establishing a streaming presentation of an event
US11265359B2 (en) 2014-10-14 2022-03-01 Koninklijke Kpn N.V. Managing concurrent streaming of media streams

Also Published As

Publication number Publication date
KR20070112433A (ko) 2007-11-23
TWI309121B (en) 2009-04-21
KR100906158B1 (ko) 2009-07-03
TW200623774A (en) 2006-07-01
WO2005109821A1 (en) 2005-11-17
KR20060135939A (ko) 2006-12-29
US7743141B2 (en) 2010-06-22
CN1951083B (zh) 2012-07-11
US20100215339A1 (en) 2010-08-26
EP1743467B1 (en) 2019-02-06
AU2005241687B2 (en) 2008-09-04
US8060608B2 (en) 2011-11-15
US20050259947A1 (en) 2005-11-24
US20080189412A1 (en) 2008-08-07
AU2005241687A1 (en) 2005-11-17
JP2007536859A (ja) 2007-12-13
KR100813929B1 (ko) 2008-03-18
US8010652B2 (en) 2011-08-30
EP1743467A1 (en) 2007-01-17

Similar Documents

Publication Publication Date Title
CN1951083A (zh) 流传输服务中的改进的质量反馈
CN1914876B (zh) 定时体验质量的度量
CN1914878B (zh) 分类的媒体体验质量
US20050254508A1 (en) Cooperation between packetized data bit-rate adaptation and data packet re-transmission
WO2017063189A1 (en) Deadline signaling for streaming of media data
WO2016205697A1 (en) Middleware delivery of dash client qoe metrics
CN1833391A (zh) 降低在流式会话期间传输信道差错所造成的影响
CN102986187B (zh) 用于改变进行中流传输会话的配置的方法和设备
JP2005051299A (ja) パケット送信装置、パケット受信装置、パケット送信方法及びパケット受信方法
KR20060038296A (ko) 이동통신 네트워크에서의 멀티플렉싱 장치 및 방법
CN102209078B (zh) 定时体验质量的度量
KR100808981B1 (ko) 사용자 경험 품질 메트릭스의 타이밍
Seyedebrahimi Quality-driven resource utilization methods for video streaming in wireless communication networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160118

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj