CN100380976C - 运动画面数据的代码转换/发送方法和装置和运动画面数据的代码转换/接收方法和装置 - Google Patents

运动画面数据的代码转换/发送方法和装置和运动画面数据的代码转换/接收方法和装置 Download PDF

Info

Publication number
CN100380976C
CN100380976C CNB038147947A CN03814794A CN100380976C CN 100380976 C CN100380976 C CN 100380976C CN B038147947 A CNB038147947 A CN B038147947A CN 03814794 A CN03814794 A CN 03814794A CN 100380976 C CN100380976 C CN 100380976C
Authority
CN
China
Prior art keywords
data
code conversion
motion picture
transmitter
coded data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB038147947A
Other languages
English (en)
Other versions
CN1663282A (zh
Inventor
出井洋明
幡生敦史
小泽一范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN1663282A publication Critical patent/CN1663282A/zh
Application granted granted Critical
Publication of CN100380976C publication Critical patent/CN100380976C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

一种用于对其提供压缩编码数据并且转换和输出数据到发送路径的代码转换/发送装置,具有用于分别输出输入的编码数据和通过再编码输入的编码数据产生的编码数据,或输出包括通过分离地再编码输入的编码数据产生的编码数据的多个编码数据,和将多个编码数据发送到至少一个发送路径的代码转换器/发送机。输入的编码数据的至少一部分和再编码的编码数据的至少一部分被发送到发送路径。

Description

运动画面数据的代码转换/发送方法和装置和运动画面数据的代码转换/接收方法和装置
技术领域
本发明涉及发送代码数据的技术,更具体地讲,涉及一种用于接收编码运动画面数据,将编码运动画面数据转换成能够抵抗发送路径中数据丢失和数据错误的数据,和发送转换的运动画面数据的方法和装置,以及一种用于接收和解码编码运动画面数据的方法和装置。
背景技术
近年来,根据帧间预测高效压缩运动画面数据和发送通过高效压缩产生的编码数据的处理过程被广泛用作有效地发送运动画面数据的处理过程。根据这些处理过程,给通过从按时间排序的帧预测编码图像得到的预测参数和预测的残留图像数据编码,从而减少与时间高度相关的运动图像数据的信息量。通过转换/编码处理和量化处理高效地压缩预测残留图像数据,使得能够在小的发送频带中发送运动图像数据。
这种处理过程的一个例子是,利用诸如MPEG(运动画面专家组)-1,MPEG-2,或MPEG-4之类的压缩编码方案的处理过程。根据这些压缩编码方案,将输入图像帧分割成称为宏块的恒定尺寸的矩形区,根据运动位移补偿在每个矩形区中执行帧间预测,并且通过二维离散余弦变换和量化处理得到的运动向量和预测残留图像数据,以将压缩信号数据转换成可变长度码。
但是,根据惯用运动画面发送处理过程,如果发生甚至不能通过纠错码恢复的、长脉冲形式的发送数据错误或发送数据包丢失,那么,接收方不能自适应地恢复发生错误的帧的图像数据。
接收方可以用于防止这种错误的一个对策是,以掩盖错误的方式,从错误帧的前后时间存在的,并且已经适当地解码的帧的图像数据,和错误帧内错误区域周围存在的图像数据,产生图像数据的错误掩蔽处理过程。但是,即使利用错误掩蔽处理也不能消除解码图像破坏。此外,由于错误掩蔽处理过程依赖于帧间预测,所以,已经发生的图像破坏将被传播到后继帧。
当通过多点传送/广播发布信息时,不能将接收的数据的数据错误信息或数据包丢失信息从接收方发送到发送方。如果通过转到从接收方向发送方发送错误信息,那么反馈信息占据通信路径的频带。
发明内容
本发明的第一目的是提供一种发送图像数据,以便能够以难于察觉的水平在接收方掩蔽由于编码数据的发送错误造成的解码图像的重大破坏的方法和装置。
本发明的第二目的是提供一种使得用户能够设定能够用于图像数据发送的发送频带与图像质量之间的折衷方案的方法和装置。
本发明的第三目的是提供一种防止解码压缩编码数据所需的计算量增加的方法和装置。
本发明的第四目的是提供一种用于发送图像数据,以便能够以难于察觉的水平在接收方掩蔽由于编码数据的发送错误造成的解码图像的重大破坏,而不必从接收方向发送方发送反馈信息的方法和装置。
向根据本发明的代码转换/发送装置提供压缩编码数据,并且转换和输出数据到发送路径,该代码转换/发送装置包括代码转换/发送装置,用于将多个编码数据发送到至少一个发送路径,编码数据包括输入的编码数据和/或再编码输入的编码数据产生的编码数据。代码转换/发送装置将输入的编码数据和再编码的编码数据的至少一部分发送到发送路径。
根据本发明的代码转换/接收装置接收从上述转换/发送装置发送到发送路径的编码数据,代码转换/接收装置包括用于选择接收数据的发送路径的装置,和用于接收来自选择的发送路径的编码数据并根据已经正常接收的编码数据重构编码数据的装置。
根据本发明的系统具有上述代码转换/发送装置和多个上述代码转换/接收装置,并且可以具有代码转换/发送装置接收从发布编码数据的装置发送的编码数据,并且代码转换/接收装置接收编码数据的这样的系统布置。
根据本发明另一方面的一种运动画面数据代码转换/发送装置包括:
(a)第一运动画面代码转换/发送装置,用于对其提供输入的压缩编码数据,并且输出输入的编码数据的至少一个帧;
(b)第二至第N运动画面代码转换/发送装置,用于解码输入的编码数据的至少一部分,编码通过解码得到的数据,和输出如此得到的编码数据的至少一个帧,其中N是整数2或2以上的整数;和
(c)用于将来自第一至第N运动画面代码转换/发送装置的至少一个输出发送到第一至第M发送路径的装置,其中M是整数1或1以上的整数。
根据本发明的又一方面的运动画面数据的代码转换/接收装置,是一个用于接收来自上述代码转换/发送装置的编码数据的接收装置,包括:
(d)选择装置,用于从上述第一至第M发送路径中选择用于接收编码数据的发送路径;和
(e)用于接收来自选择装置选择的发送路径的编码数据,提取接收的没有发送错误和丢失的编码数据,和根据提取的编码数据重构编码数据并且输出重构的编码数据的装置。
根据本发明的再一个方面的运动画面数据的代码转换/发送装置,包括:
(a)第一运动画面代码转换/发送装置,用于对其提供输入的压缩编码数据包数据,和输出输入的编码数据包的至少一部分;
(b)第二至第N运动画面代码转换/发送装置,用于解码输入的编码数据包数据的至少一部分,编码通过解码得到的数据,和输出如此得到的数据包数据的至少一部分,其中N是整数2或2以上的整数;
(c)用于将来自第一至第N运动画面代码转换/发送装置的至少一个输出发送到第一至第M发送路径的装置,其中M是整数1或1以上的整数。
根据本发明的再一个方面的运动画面数据的代码转换/接收装置,是用于接收来自上述代码转换/发送装置的编码数据的接收装置,包括:
(d)选择装置,用于从上述第一至第M发送路径选择一个用于接收编码数据的发送路径;和
(e)用于接收来自选择装置选择的发送路径的编码数据,提取接收的没有发送错误和丢失的编码数据包数据,和根据提取的编码数据包数据重构编码数据包数据,并输出重构的编码数据包数据的装置。
根据本发明的再一方面的运动画面数据的代码转换/发送方法,该方法是通过具有第一至第N运动画面代码转换/发送装置的代码转换/发送装置执行的,其中N是整数2或2以上的整数,方法包括步骤:
(a)使第一运动画面代码转换/发送装置被提供输入的压缩编码数据,和输出该输入的编码数据的至少一个帧;
(b)使第二至第N运动画面代码转换/发送装置解码输入的编码数据的至少一部分,编码通过解码获得的数据,和输出如此得到的编码数据的至少一个帧;和
(c)将来自第一至第N运动画面代码转换/发送装置的至少一个输出发送到第一至第M发送路径,其中M是整数1或1以上的整数。
根据本发明的再一方面的接收方法,包括步骤:
从M个发送路径选择至少一个路径(其中M是整数1或1以上的整数),和接收来自选择的发送路径的编码数据,提取接收的没有发送错误和丢失的编码数据,和根据提取的编码数据重构编码数据,并输出重构的编码数据。
根据本发明的再一方面的计算机程序使得用作运动画面数据的代码转换/发送装置的计算机能够具有如下功能:
(a)第一运动画面代码转换/发送装置,用于向其提供输入的压缩编码数据并且输出输入的编码数据的至少一个帧;
(b)第二至第N运动画面代码转换/发送装置,用于解码输入的编码数据的至少一部分,编码解码得到的数据,和输出如此得到的编码数据的至少一个帧,其中N是整数2或2以上的整数;和
(c)用于将来自第一至第N运动画面代码转换/发送装置的至少一个输出发送到第一至第M发送路径的装置,其中M是整数1或1以上的整数,
从而,计算机执行用于运动画面数据的代码转换/发送处理过程。
根据本发明的再一方面的计算机程序,使得用作运动画面数据的代码转换/接收装置的计算机能够执行运动画面数据的代码转换/发送处理过程,该程序使得计算机能够执行选择M个发送路径中的至少一个发送路径的处理过程,其中M是整数1或1以上的整数,和接收来自选择的发送路径的编码数据、提取接收的没有发送错误和丢失的编码数据、和根据提取的编码数据重构编码数据并输出重构的编码数据的处理过程。
根据本发明,为了防止解码的图像由于压缩编码运动画面数据的发送造成重大的破坏,代码转换/发送装置接收来自用作信息源的运动画面编码装置(服务器装置)的编码数据,将编码数据转换成一种能够防止发送路径上数据丢失和数据错误的形式,和将转换的数据发送到代码转换/接收装置一侧。
根据本发明,代码转换/发送装置具有第一至第N代码转换/发送装置,其中N是整数2或2以上的整数,和那些用于第一至第M发送路径的代码转换/发送装置的发送装置,其中M是整数1或1以上的整数。代码转换/发送装置将运动画面数据压缩成N个编码数据,并且发送编码数据。代码转换/接收装置一侧从,例如,M个发送路径中至少一个发送路径正常接收的编码数据,选择和解码具有最低压缩率的良好图像质量的编码数据。
根据本发明,以恒定或自适应变化的时间差发送第一至第N代码转换/发送装置得到的N个编码数据。例如,就帧或数据包而言,用作客户终端的代码转换/接收装置一侧,以帧或数据包为单位,从,例如,M个发送路径的至少一个发送路径正常接收的编码数据中选择具有最低压缩率的良好图像质量的编码数据。将编码数据从代码转换/接收装置传送到一个解码编码数据的解码装置(解码器)。
根据本发明,第一至第N运动画面代码转换/发送装置的压缩率和/或要发送的编码数据的数量可以根据第一至第M发送路径可以使用的发送频带选择。第二至第N运动画面代码转换/发送装置可以在等于或高于第一运动画面代码转换/发送装置的压缩率编码数据,或可以将压缩率设置到任何值。
根据本发明,为了防止由于多个编码数据的发送造成接收方一侧的计算量增加,代码转换/发送装置产生包括相同帧或相同图像区的编码数据,并且接收方一侧从多个接收的编码数据中选择至少一帧或以数据包为单位的编码数据,并且解码选择的数据。
更具体地讲,在根据本发明的装置中,一种代码转换/发送装置,其中N代表整数2或以上的整数,M代表整数1或更大的数据,该装置包括:
(a)第一运动画面代码转换/发送装置,用于对其提供压缩的编码数据,并且控制利用预定的发送装置发送所有的帧或根据输入的运动画面的性质或预定规则自适应选择的帧;
(b)第二至第N运动画面代码转换/发送装置,用于解码输入的编码数据的至少一部分,以等于或高于第一运动画面代码转换/发送装置的压缩率执行数据的压缩编码,和控制利用预定的发送装置、以恒定或自适应改变的发送时间差、发送得到的编码数据的所有帧或根据输入运动画面的性质或预定的规则自适应选择的帧;和
(c)用于根据第一至第M发送路径可以使用的频带,选择第一至第N运动画面代码转换/发送装置的压缩率和/或要发送的编码数据的数量,并将编码数据发送到第一至第M发送路径的装置。
代码转换/接收装置包括选择装置,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,提取接收的没有发送错误或丢失的编码数据,和从,例如,同一帧中的编码数据中选择并输出具有最低压缩率的良好图像质量的编码运动画面数据。
在根据本发明的第二方面的一种装置中,一种代码转换/发送装置,其中N代表整数2或以上的整数,M代表整数1或以上的整数,该装置包括:
(a)第一运动画面代码转换/发送装置,用于对其提供压缩编码数据包数据,和控制利用预定发送装置发送所有数据包或根据输入的运动画面的性质或预定规则自适应选择的数据包;
(b)第二至第N运动画面代码转换/发送装置,用于解码输入的编码数据包数据的至少一部分,以等于或高于第一运动画面代码转换/发送装置的压缩率执行将数据压缩编码成包括与接收的数据包数据相同的图像区的数据包数据,和控制用预定发送装置、以恒定或自适应改变的发送时间差、发送所有得到的数据包数据或根据输入的运动画面的性质或预定规则自适应选择的数据包数据;和
(c)用于根据第一至第M发送路径可以使用的频带选择第一至第N运动画面代码转换/发送装置的压缩率和要发送的编码数据的数量、和将编码数据发送到第一至第M发送路径的装置。
代码转换/接收装置包括选择装置,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,和,例如,从接收的没有发送错误和丢失的、已经通过编码同一帧的同一区中的图像产生的数据包数据选择和输出具有最低压缩率的良好图像质量的数据包数据。
在根据本发明的第三方面的装置中,一种代码转换/发送装置一侧,其中N代表整数2或以上的整数,M代表整数1或以上的整数,包括:
(a)第一运动画面代码转换/发送装置,用于对其提供压缩编码数据,以等于或高于输入编码数据的压缩率执行解码的运动画面数据的所有帧或根据输入的运动画面的性质或预定的规则自适应选择的帧的压缩编码,和控制利用预定发送装置发送如此得到的编码数据的至少一部分;
(b)第二至第N运动画面代码转换/发送装置,用于以等于或高于第一运动画面代码转换/发送装置的压缩率、编码第一运动画面代码转换/发送装置编码的所有帧或根据输入的运动画面的性质或预定规则自适应选择的帧,再用通过第一运动画面代码转换/发送装置对该帧执行的帧间预测得到的帧间预测参数和预测的微分图像数据的中的至少一个,和控制利用预定的发送装置、以恒定或自适应变化的发送时间差、发送得到的编码数据;和
(c)用于根据第一至第M发送路径可以使用的频带选择第一至第N运动画面代码转换/发送装置的压缩率和/或要发送的编码数据的数量、和将编码数据发送到第一至第M发送路径的装置。
代码转换/接收装置包括选择装置,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,提取接收的没有发送错误或丢失的编码数据,和从,例如,同一帧中的编码数据选择并输出具有最低压缩率的良好图像质量的编码运动画面数据。
在根据本发明的第四方面的装置中,一种代码转换/发送装置,其中N代表整数2或以上的整数,M代表整数1或以上的整数,该装置包括:
(a)第一运动画面代码转换/发送装置,用于解码输入的编码数据包数据的至少一部分,以等于或高于输入的运动画面数据的压缩率对解码的数据执行压缩编码,和控制利用预定发送装置发送如此得到的编码数据包数据的至少一部分;
(b)第二至第N运动画面代码转换/发送装置,用于将通过第一运动画面代码转换/发送装置编码的所有数据包数据或根据输入的运动画的性质或预定规定自适应选择的数据包数据中的每个编码的图像区、以等于或高于第一运动画面代码转换/发送装置的压缩率、编码成包括与数据包数据相同图像区的数据包,再用通过第一运动画面代码转换/发送装置对该图像区执行的帧间预测获得的帧间预测参数和预测微分图像数据中的至少一个,和控制利用预定发送装置、以恒定或自适应变化的发送时间差、发送得到的编码数据包数据;和
(c)用于根据第一至第M发送路径可以使用的频带选择第一至第N运动画面代码转换/发送装置的压缩率和/或要发送的编码数据的数量,和将编码数据发送到第一至第M发送路径的装置。
代码转换/接收装置一侧包括选择装置,用于从M个发送路径中选择至少一个发送路径,接收来自选择的发送路径的N个编码数据、和从,例如,接收的没有发送错误或丢失的数据包数据选择并输出通过编码同一帧的同一区中的图像产生的具有最低压缩率的良好图像质量的数据包数据。
在根据本发明的第五方面的装置中,一种代码转换/发送装置,其中N代表整数2或以上的整数,M代表1或以上的整数,该装置包括:
(a)第一运动画面代码转换/发送装置,用于对其提供压缩编码数据,以等于或高于接收的编码数据的压缩率执行解码运动画面的所有帧或根据输入的运动画面的性质或预定规则自适应选择的帧的压缩编码,和控制利用预定发送装置发送如此得到的编码数据的至少一部分;
(b)第二至第N运动画面代码转换/发送装置,用于以等于或高于第一运动画面代码转换/发送装置的压缩率编码第一运动画面代码转换/发送装置再编码的所有帧或根据输入的运动画面的性质或预定规则自适应地选择的帧,利用一个在第一运动画面代码转换/发送装置对该帧执行的帧间预测中使用的参考帧图像,和控制利用预定的发送装置、以恒定或自适应变化的发送时间差、发送得到的编码数据的至少一部分;和
(c)用于根据第一至第M发送路径可以使用的频带选择第一至第N运动画面代码转换/发送装置的压缩率和/或要发送的编码数据的数量、并将编码数据发送到第一至第M发送路径的装置。
代码转换/接收装置一侧包括选择装置,用于从M个发送路径中选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,提取接收的没有发送错误或丢失的编码数据,和从,例如,同一帧中的编码数据选择并输出具有最低压缩率的良好图像质量的编码运动画面数据。
在根据本发明的第六方面的装置中,一种代码转换/发送装置,其中N代表整数2或以上的整数,M代表整数1或以上的整数,该装置包括:
(a)第一运动画面代码转换/发送装置,用于对其提供压缩编码数据包数据,以等于或高于输入运动画面数据的压缩率执行解码的运动画面数据的压缩编码,和控制利用预定发送装置发送如此得到的编码数据包数据的至少一部分;
(b)第二至第N运动画面代码转换/发送装置,用于以等于或高于第一运动画面代码转换/发送装置的压缩率,将通过第一运动画面代码转换/发送装置编码的所有数据包数据或根据输入的运动画面的性质或预定规则自适应地选择的数据包数据中的每个编码的图像区编码成包括与数据包数据相同的图像区的数据包数据,利用在第一运动画面代码转换/发送装置对该图像区执行帧间预测中使用的参考帧,和控制利用预定发送装置、以恒定或自适应变化的发送时间差,发送得到的数据包数据;和
(c)用于根据第一至第M发送路径可以使用的频带选择第一至第N运动画面代码转换/发送装置的压缩率和/或要发送的编码数据的数量,和将编码数据发送到第一至第M发送路径的装置。
代码转换/接收装置包括选择装置,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据、和从,例如,接收的没有发送错误或丢失的数据包数据选择并输出通过编码同一帧的同一区中的图像产生的、具有最低压缩率的、良好图像质量的数据包数据。
在根据本发明的第七方面的装置中,一种代码转换/发送装置,其中N代表整数2或更大整数,M代表整数1或更大整数,该装置包括:
(a)第一运动画面代码转换/发送装置,用于对其提供编码数据包数据和控制利用预定发送装置发送数据;
(b)第二至第N运动画面代码转换/发送装置,用于复制第一运动画面代码转换/发送装置编码的所有帧的数据包或根据输入的运动画面的性质或预定的规则自适应地选择的数据包数据,和控制利用预定发送装置、以恒定或自适应变化的发送时间差、发送得到的数据包数据的至少一部分;和
(c)用于根据第一至第M发送路径可以使用的频带,选择第一至第N运动画面代码转换/发送装置的要发送的编码数据的数量,和将编码数据发送到第一至第M发送路径的装置。
代码转换/接收装置包括选择装置,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,和从,例如,接收的已经通过编码同一帧的同一区中的图像产生的、没有发送错误和丢失的数据包数据中选择并输出具有最低压缩率的、良好图像质量的数据包数据。
在根据本发明的第八方面的装置中,一种代码转换/发送装置,其中N代表整数2或以上的整数,M代表整数1或以上的整数,该装置包括:
a)第一运动画面代码转换/发送装置,用于对其提供压缩编码数据,解码输入的编码数据的至少一部分,以等于过高于输入的运动画面数据的压缩率进行数据的压缩编码,和控制利用预定的发送装置发送所有的帧或根据输入的运动画面的性质或预定规则自适应选择的帧;
b)第二至第N运动画面代码转换/发送装置,用于解码输入的编码数据的至少一部分,以等于或高于第一运动画面代码转换/发送装置的压缩率压缩数据,和控制利用预定发送装置、以恒定或自适应地变化的发送时间差、发送得到的编码数据的所有帧或根据输入的运动画面的性质或预定规则自适应选择的帧;和
c)用于根据第一至第M发送路径可以使用的频带,选择第一至第N运动画面代码转换/发送装置的压缩率和/或要发送的编码数据的数量,并且将编码数据发送到第一至第M发送路径的装置。
代码转换/接收装置一侧包括选择装置,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,提取接收的没有发送错误或丢失的编码数据,和,例如,从同一帧中的编码数据选择并输出具有最低压缩率的、良好图像质量的编码运动画面数据。
在根据本发明的第九方面的装置中,一种代码转换/发送装置,其中N代表整数2或以上的整数,M代表整数1或以上的整数,该装置包括:
a)第一运动画面代码转换/发送装置,用于对其提供压缩编码数据包数据,解码输入的编码数据包数据的至少一部分,以等于或高于输入的编码数据的压缩率执行数据的压缩编码,和控制利用预定的发送装置发送所有数据包或根据输入的运动画面的性质或预定规则自适应选择的数据包;
b)第二至第N运动画面代码转换/发送装置,用于解码输入的编码数据包数据的至少一部分,以等于或高于第一运动画面代码转换/发送装置的压缩率、执行从数据到包括与接收的数据包数据相同的图像区的数据包数据的压缩编码,和控制用预定发送装置、以恒定或自适应变化的发送时间差、发送获得所有数据包数据或根据输入的运动画面的性质或预定规则自适应选择的数据包数据;和
c)用于根据第一至第M发送路径可以使用的频带,选择第一至第N运动画面代码转换/发送装置的压缩率和/或要发送的编码数据的数量,和将编码数据发送到第一至第M发送路径的装置。
代码转换/接收装置包括选择装置,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,和,例如,从接收的、已经通过编码同一帧的同一区中的图像产生的、没有发送错误或丢失的数据包数据选择并输出具有最低压缩率的、良好图像质量的数据包数据。
根据本发明,代码转换/发送装置可以具有每个都具有第一至第N运动画面代码转换/发送装置的第一至第M代码转换/发送处理器,其中M是整数1或1以上的整数,其中第一至第M代码转换/发送处理器的第一至第N运动画面代码转换/发送装置的编码数据输出可以分别发送到第一至第M发送路径。
作为选择,根据本发明,代码转换/发送装置可以具有每个都具有第一至第N运动画面代码转换/发送装置的第一至第M代码转换/发送处理器,其中M是整数1或1以上的整数,每个第一至第M代码转换/发送处理器具有以时间差多路复用和输出第一至第N运动画面代码转换/发送装置的第一至第N编码数据输出的装置。
根据本发明的一种系统具有运动画面数据编码装置,根据上述任何一个方面的代码转换/发送装置,根据上述任何一个方面的多个代码转换/接收装置,和对应于代码转换/接收装置的多个解码装置(解码器),其中来自编码装置的编码数据输入到代码转换/发送装置,将来自代码转换/发送装置的输出提供给多个代码转换/接收装置,和将来自代码转换/接收装置的编码数据提供给多个解码装置并且解码。
本发明的优点在于,即使使用了倾向于发生高度突发性的发送错误和数据包丢失和低可靠性的发送路径,也能够减少所有原始和复制数据包的多个编码数据都错误地发送,即使当数据包丢失发生时,也能有效地防止产生的解码图像受到破坏。具有这种优点的原因如下:
根据本发明,代码转换/发送装置一侧具有关于第一至第M发送路径的第一至第N运动画面代码转换/发送装置,其中N是整数2或2以上的整数,M是整数1或1以上的整数。第一运动画面代码转换/发送装置以一定的发送速率发送运动画面数据的至少一个帧或数据包,或解码并且随后执行将运动画面数据压缩编码成N个编码数据,和以恒定或自适应变化的时间差发送数据。第二至第N运动画面代码转换/发送装置利用通过第一运动画面代码转换/发送装置编码帧得到的帧间预报参数或预测残留图像数据中的至少一个,或第一代码转换/发送装置中使用的参考帧图像,编码输入的帧。代码转换/接收装置一侧,例如,从M个发送路径中至少一个发送路径正常接收的编码数据中,以帧或数据包为单位,选择并解码具有最低压缩率的、良好图像质量的编码数据。
根据本发明,可以根据发送运动画面数据的第一至第M发送路径可以使用的频带,选择第一至第N运动画面代码转换/发送装置的压缩率和/或要发送的编码数据的数量。因此,可以根据发送路径的条件或运动画面数据的发送者的意图,发送运动画面数据。
根据本发明,第二至第N运动画面代码转换/发送装置以等于或高于第一运动画面代码转换/发送装置的压缩率执行编码,并且可以执行有关第一运动画面代码转换/发送装置编码的帧的或图像区的一部分的编码数据的发送控制。因此,可以防止由于多个编码数据的发送造成的发送速率增加。
此外,根据本发明,代码转换/发送装置一侧产生包括相同帧或相同图像区的编码数据,代码转换/接收装置一侧选择并解码接收的多个编码数据中的一个的帧或数据包。结果,由于为了解码同一帧或同一图像区,接收一侧可以解码两个接收的编码数据中的至少一个数据,所以,减少了接收一侧所需的计算量的增加。
此外,根据本发明,由于代码转换/发送装置可以将编码数据的发送错误造成的解码图像的重大破坏减小到难于察觉的程度,而不用使用来自代码转换/接收装置一侧的反馈信息,所以不会由于反馈信息的发送造成业务量的增加,并且可以简化代码转换/发送装置和代码转换/接收装置的布置。
附图说明
图1是说明根据本发明的第一和第二实施例的代码转换/发送系统的布置的方框图;
图2是说明图1所示系统中的运动画面代码转换/发送装置的布置的方框图;
图3是说明根据本发明的运动画面代码转换/接收装置的布置的一个示例的方框图;
图4是说明根据第一实施例的运动画面代码转换/接收装置执行的编码数据重构序列的流程图;
图5是说明根据本发明的编码运动画面数据数据包发送系统的布置的一个示例的方框图;
图6是说明根据第二实施例的运动画面代码转换/接收装置执行的编码数据重构序列的流程图;
图7是说明根据本发明的第三至第六实施例的代码转换/发送系统的布置的方框图;
图8是说明根据第三和第四实施例的运动画面代码转换/发送装置的布置的方框图;
图9是说明根据第三、第五、和第八实施例的运动画面代码转换/接收装置执行的编码数据重构序列的流程图;
图10是说明根据第四、第六、和第九实施例的运动画面代码转换/接收装置执行的编码数据重构序列的流程图;
图11是说明根据第五和第六实施例的运动画面代码转换/发送装置的布置的方框图;
图12是说明根据本发明的第七实施例的代码转换/发送系统的布置的方框图;
图13是说明图12所示系统中的运动画面代码转换/发送装置的布置的方框图;
图14是说明根据本发明的第八和第九实施例的代码转换/发送系统的布置的方框图;
图15是说明图14所示的系统中的运动画面代码转换/发送装置的布置的方框图;和
图16是说明根据本发明的第十实施例的系统布置的方框图。
具体实施方式
(1)第一实施例:
如图1中所示,根据本发明的第一实施例,代码转换/发送装置100,其中N代表整数2或以上的整数,M代表整数1或以上的整数,具有:
a)第一运动画面代码转换器/发送机102,用于对其提供压缩编码数据,和控制利用预定发送装置发送所有帧或根据输入的运动画面的性质或预定规则自适应选择的帧;
b)第二至第N运动画面代码转换器/发送机104,用于解码输入的编码数据的至少一部分,以等于或高于第一运动画面代码转换器/发送机102的压缩率执行数据的压缩编码,和控制利用与第一运动画面代码转换器/发送机102相同或不同的发送装置、以恒定或自适应变化的时间差、发送获得的编码数据的所有帧或根据输入的运动画面的性质或预定规则自适应选择的帧;和
c)用于根据第一至第M发送路径可以使用的频带,选择第一至第N运动画面代码转换器/发送机的压缩率和/或要发送的编码数据的数量,并且将编码数据发送到第一至第M发送路径的机构。
代码转换/接收装置120包括用于从M个发送路径中选择至少一个发送路径的接收发送路径选择器107,用于接收来自选择的发送路径的N个编码数据、并且提取接收的没有发送错误或丢失的编码数据的编码数据接收机108至111,和用于,例如,从同一帧中的编码数据选择并输出具有最低压缩率的、良好图像质量的编码运动画面数据的编码数据重构器112。代码转换/发送装置100和代码转换/接收装置120的组成部分的处理和功能是由程序实现的,该程序可以由用作代码转换/发送装置和代码转换/接收装置的计算机执行。
以下更详细地说明第一实施例:
(1.A)概述:
图1是显示本发明的第一实施例的布置的图。如图1中所示,第一实施例包括运动画面数据的代码转换/发送装置100,代码转换/接收装置120,和用于发送编码数据的发送路径130。整数N代表代码转换/发送装置100发送的编码数据的数量,并且是2或2以上的整数。整数M代表对其发送N个编码数据的发送路径的数量,并且是1或1以上的整数。代码转换/装置100和代码转换/接收装置120也分别称为运动画面代码转换/发送装置和运动画面代码转换/接收装置。
从编码装置(图1中未示出,例如,见图16中的编码装置40)向代码转换/发送装置100提供运动画面数据,代码转换/发送装置100将输入的运动画面数据编码成N个编码数据,并且将N个编码数据作为第一至第N编码运动画面数据发送到第一至第M(M代表整数1或1以上的整数)发送路径130。如图1中所示,代码转换/发送装置100具有分别对应于第一至第M发送路径130的M个代码转换/发送处理器1至M。代码转换/发送处理器1至M分别将编码数据发送到对应的第一至第M发送路径130。
代码转换/发送处理器1至M各具有第一至第N的N个运动画面代码转换器/发送机102,104至106,并且输出第一至第N编码数据。代码转换/发送处理器2至M在布置上与代码转换/发送处理器1相同,只是通常给它们提供代码转换/发送处理器1已经接收的编码数据。为了简洁起见,图1仅示出了代码转换/发送处理器1的布置。以下说明代码转换/发送处理器1,并且省略了代码转换/发送处理器2至M的说明。
代码转换/发送处理器1中的运动画面数据接收机101接收编码运动画面数据。编码运动画面数据是由代码转换/发送处理器1的运动画面数据接收机101接收的,并且也提供到代码转换/发送处理器2至M。
第一运动画面代码转换器/发送机102将输入的运动画面数据的帧的至少一部分发送到运动画面代码转换/接收装置102。运动画面数据解码器103解码输入的运动画面数据。
第二运动画面代码转换器/发送机104以等于或高于第一编码运动画面数据的压缩率执行运动画面数据解码器103得到的运动画面的压缩编码,并且把编码数据的至少一部分发送到运动画面代码转换/接收装置120。
如果N是3或更大,那么第三至第N运动画面代码转换器/发送机105,106,利用通过第二运动画面代码转换器/发送机104对该帧执行的帧间预测得到的帧间预报参数和预测微分数据中的至少一个、以等于或高于第二运动画面代码转换器/发送机104的压缩率、编码第一运动画面代码转换器/发送机102编码的至少一个帧,并且将得到的编码数据的至少一部分发送到运动画面代码转换/发送装置120。
将来自代码转换/发送处理器1至M的第一至第N编码运动画面数据发送到第一至第M发送路径130。根据第一至第M发送路径130可以使用的频带,可以执行对选择第一至第N运动画面代码转换器/发送机的压缩率和/或要发送的编码数据的数量以及将数据发送到第一至第M发送路径130的控制。不是彼此并行地使用多个代码代码转换/发送处理器1至M,而是可以将一个代码转换/发送处理器1的第一至第N运动画面代码转换器/发送机的输出分布到第一至第M发送路径130。作为选择,可以把代码转换/发送处理器1至M的输出路径从一个切换到另一个,并且可以将第一至第M发送路径的连接从一个切换到另一个。
在运动画面代码转换/接收装置120中,接收发送路径选择器107从代码转换/发送装置已经对其发送了编码数据的M个发送路径中选择至少一个发送路径。代码转换/接收装置120接收来自选择的发送路径的N个编码数据,并且解码和转换编码数据。
如图1中所示,代码转换接收机接收了来自接收发送路径选择器107选择的发送路径的编码数据。代码转换接收机包括第一至第N编码数据接收机108至111,这些编码数据接收机接收代码转换/发送装置的第一至第N运动画面代码转换器/发送机发送的编码数据。
运动画面代码转换/接收装置具有编码数据重构器112,来自代码转换接收机的第一至第N编码数据接收机108至111的输出提供给编码数据重构器112。
编码数据重构器112,例如,从第一至第N编码数据接收机108至111接收的没有发送错误或丢失的最多N个编码数据中,选择并输出具有最低压缩率的良好图像质量的编码运动画面数据。作为选择,编码数据重构器112可以根据不同于压缩率的预定决策标准,从接收的最多N个编码数据中,选择编码数据,例如,最初正常接收的编码数据,从而重构编码运动画面数据。将编码数据重构器112重构的编码数据提供到一个解码装置(未示出),解码装置执行提供的编码数据的解码处理。
(1.B)代码转换/发送装置:
图2示出了根据本发明的第一实施例的运动画面代码转换/发送装置的详细布置。为了简洁起见,假设从这个装置输出的编码数据的数量N是3,并且发送编码数据的发送路径的数量M是2。
在图2中,第一运动画面编码器/发送机200具有第一发送帧/数据包选择器201,和第一错误检测码附加帧/数据包标识号加法器202。第一运动画面编码器/发送机200相当于图1中所示的第一运动画面代码转换器/发送机102。
第一发送帧/数据包选择器201根据图像的特性和发送路径的情况,从输入的运动画面帧中自适应地选择一个要发送到发送路径的帧。例如,第一发送帧/数据包选择器201可以在每个不变的周期选择和输出一个数据包(每次n个数据包)。作为选择,第一发送帧/数据包选择器201参考运动画面帧的数据包中的特性参数,并且自适应地确定选择和编码的要发送的数据包。例如,第一发送帧/数据包选择器201可以指定由于比特误差或数据包丢失而对解码图像的质量影响大的参数,例如,运动向量,作为编码数据包中的特性参数,并且自适应地确定要发送的编码数据包。作为选择,如果编码处理过程是MPEG处理过程,那么第一发送帧/数据包选择器201可以根据图像类型使用一种规则,例如,必须选择I画面的规则,并且可以动态地改变这个选择规则。
第一错误检测码附加帧/数据包标识号加法器202给接收装置加上错误检测码和帧/数据包标识号,以检测从第一发送帧/数据包选择器201输出的编码数据包数据的发送错误和数据包丢失。
如图2中所示,第二运动画面代码转换器/发送机220具有解码器203,帧间预测器204,预测余量计算器205,第二预测错误压缩编码器206,第二编码数据包产生器207,第二错误检测码附加帧/数据包标识号加法器208,预测余量解码器209,参考帧存储器211,和解码图像计算器210。第二运动画面代码转换器/发送机220相当于图1中所示的第二运动画面代码转换器/发送机104,解码器203相当于图1中所示的运动画面数据解码器103。
在图2中,解码器203解码输入的编码运动画面数据的至少一部分。
帧间预测器204对从存储在参考帧存储器211中的至少一个解码图像进行有关输入图像的帧间预测。
预测余量计算器205通过从输入帧图像减去帧间预测器204产生的预测图像计算预测余量。
第二预测余量压缩编码器206根据预定的处理过程执行预测余量计算器205得到的预测余量图像的压缩编码。
第二编码数据包生成器207根据可变长度编码,将帧间预测器204得到的帧间预报参数和第二预测余量压缩编码器206得到的预测残留图像的压缩数据转换成比特流,并且将比特流在预定数据包单元中输出。
第二错误检测码附加帧/数据包标识号加法器208加上错误检测码和帧/数据包标识号,以便接收装置检测从第二编码数据包生成器207输出的编码数据包数据的发送错误和数据包丢失。
预测余量解码器209确定第二错误检测码附加帧/数据包标识号加法器208编码的预测余量的解码数据。
解码图像计算器210通过将帧间预测器204生成的预测图像与预测余量解码器209解码的预测余量相加,确定一个解码图像。
参考帧存储器211存储解码图像,准备编码下一个帧。
在图2中,第三运动画面代码转换器/发送机230具有第三预测余量压缩编码器212,第三编码数据包生成器213,和第三错误检测码附加帧/数据包标识号加法器214。第三运动画面代码转换器/发送机230相当于图1中所示的第三运动画面代码转换器/发送机105。
第三预测余量压缩编码器212以等于或高于第一(第二)预测余量压缩编码器206的压缩率编码预测余量计算器205得到的预测残留图像。
第三编码数据包生成器213根据可变长度编码,将帧间预测器204得到的帧间预报参数和第三预测余量压缩编码器212得到的预测残留图像的压缩数据转换成比特流,并且将比特流在预定数据包单元中输出。
第三错误检测码附加帧/数据包标识号加法器214加上错误检测码和帧/数据包标识号,以便接收装置检测从第三编码数据包生成器213输出的压缩数据包数据的发送错误和数据包丢失。
当上述处理器操作时,通过预定发送装置产生第三编码运动画面数据,并作为数据包发送。
在本实施例中,由于M是2和N是3,根据发送路径可以使用的频带从上述第一至第三编码运动画面数据选择的编码运动画面数据被发送到两个发送路径的每一个。在图1中,提供了两个代码转换/发送处理器1,2,并且代码转换/发送处理器1,2将数据发送到三个发送路径的每一个。
在本实施例中,提供了第一错误检测码附加帧/数据包标识号加法器202,并且将错误检测码和帧/数据包标识号加到从第一发送帧/数据包选择器201输出的第一编码数据。如果这个信息已经加到输入的运动画面数据包数据上,那么可以无需第一错误检测码附加帧/数据包标识号加法器202。作为选择,可以使用任何其它处理过程,只要它们使得代码转换/接收装置能够检测发送的编码数据包数据的发送错误和数据包丢失。例如,如果第一编码数据包发送路径具有检测发送错误的机能,那么第一错误检测码附加帧/数据包标识号加法器202不需要添加纠错码。根据另一个示例,如果从第一发送帧/数据包选择器201输出的编码数据包括能够标识帧和数据包的信息,那么第一错误检测码附加帧/数据包标识号加法器202不需要添加帧/数据包标识号。
同样,尽管提供了第二错误检测码附加帧/数据包标识号加法器208,以便将错误检测码和帧/数据包标识号添加到第二编码数据,但是,也可以使用任何其它处理过程,只要它们使得代码转换/接收装置能够检测发送的编码数据包数据的发送错误和数据包丢失。
同样,尽管提供了第三错误检测码附加帧/数据包标识号加法器214,以便将错误检测码和帧/数据包标识号添加到第三编码数据,但是,也可以使用任何其它处理过程,只要它们使得代码转换/接收装置能够检测发送的编码数据包数据的发送错误和数据包丢失。
根据上述本实施例的又一个特定示例,运动画面代码转换/发送装置连接到互联网通信网,将通过CCD(电荷耦合器件)摄像机捕获和输入的运动画面压缩成,例如,根据MPEG-4视频方案的编码数据,并且输入要通过UDP(用户数据报协议)/IP(互联网协议)发送的数据。
在图2中,帧间预测器204根据运动位移补偿执行帧间预测。第一预测余量压缩编码器206和第三预测余量压缩编码器212根据二维离散余弦变换(2D-DCT)执行压缩处理和量化。第二预测余量压缩编码器212根据利用大于第一余量压缩编码器206的量化参数量化2D-DCT系数的处理,或自适应地消除高阶2D-DCT系数的处理过程,以等于或高于第一编码数据的压缩率,压缩第三编码数据。预测余量解码器209执行逆量化和二维逆离散余弦变换(2D-IDCT)。
第二编码数据包生成器207根据MPEG-4视频方案规定的语法,编码从第一预测余量压缩编码器206输出的量化DCT系数和从帧间预测器204输出的位移向量,等等。同样,第三编码数据包生成器213根据MPEG-4视频方案规定的语法,编码从第三预测余量压缩编码器212输出的量化DCT系数和从帧间预测器204输出的位移向量,等等。第一错误检测码附加帧/数据包标识号加法器202、第二错误检测码附加帧/数据包标识号加法器208、和第三错误检测码附加帧/数据包标识号加法器214生成一个包括错误检测的校验和的UDP数据报,以将它发送到连接到互联网的代码转换/接收装置。
(1.C)代码转换/接收装置:
图3示出了根据本发明第一实施例的运动画面代码转换/接收装置120(见图1)的详细布置。在图3中,运动画面代码转换/接收装置包括发送路径选择器300,第一至第三编码数据接收机320,330,340,和编码数据重构器310。
第一编码数据接收机320包括第一数据包接收缓存器301,第一编码数据提取器302,和第一错误/数据包丢失检测器303。第二和第三编码数据接收机的布置与第一编码数据接收机相同。
在图1中被示为接收发送路径选择器107的接收发送路径选择器300,选择发送路径130(见图1),以便代码转换/接收装置120(见图1)通过它接收运动画面数据。第一数据包接收缓存器301接收从代码转换/发送装置100(见图1)发送的第一编码数据包数据。第一编码数据提取器302从第一数据包接收缓存器301接收的数据包数据提取编码运动画面数据。第一错误/数据包丢失检测器303检测在第一编码数据包数据发送时产生的比特误差和/或数据包丢失。
在第二编码数据接收机330中,第二数据包接收缓存器304接收从代码转换/发送装置100(见图1)输出的第二编码数据包数据。第二编码数据提取器305从第二数据包接收缓存器304接收的数据包数据提取编码运动画面数据。第二错误/数据包丢失检测器306检测在第二编码数据包数据发送时产生的比特错误和/或数据包丢失。
在第三编码数据接收机340中,第三数据包接收缓存器307接收从代码转换/发送装置100(见图1)发送的第三编码数据包数据。第三编码数据提取器308从第三数据包接收缓存器307接收的数据包数据提取编码运动画面数据。第三错误/数据包丢失检测器309检测在第三编码数据包数据发送时产生的比特错误和/或数据包丢失。
编码数据重构器310,根据来自第一至第三错误/数据包丢失检测器303、306、309的比特错误和/或数据包丢失的检测结果,将代码转换/发送装置发送的两个编码数据重构成一个编码数据。
以下参考图4中所示的流程图,说明本实施例中编码数据重构器310提供的编码数据重构过程。图4中所示的过程的序列代表重构第n帧的编码数据的序列,其中n代表整数。
在步骤S401,控制等待直到一个时间,这个时间是第n帧的所有编码数据到达第一数据包接收缓存器301和第二数据包接收缓存器304的时间与预定的允许最大延迟时间的和。然后,控制前进到步骤S402。
在步骤S402,根据来自第一错误/数据包丢失检测器303的比特错误和/或数据包丢失的检测结果,确定存储在第一数据包接收缓存器301中的第n帧数据是否包含数据包丢失和/或比特错误。
如果第n数据包的所有编码数据都接收在第一数据包接收缓存器301中,并且在数据中没有检测到错误,那么,控制转移到步骤S403。否则,控制前进到步骤S404。
如果控制转移到步骤S403,那么第n帧的编码数据从第一编码数据提取器302输出,并且编码数据重构序列结束。
如果控制从步骤S402中的决策前进到步骤S404,那么根据来自第二错误/数据包丢失检测器306的比特错误和/数据包丢失的检测结果,确定存储在第二数据包接收缓存器304中的第n帧数据是否包含数据包丢失和/比特错误。如果第n数据包的所有编码数据都接收在第二数据包接收缓存器304中,并且数据中没有检测到错误,那么控制转移到步骤S405。否则,控制前进到步骤S406。
如果控制前进到步骤S406,那么根据来自第三错误/数据包丢失检测器307的比特错误和/数据包丢失的检测结果,确定存储在第三数据包接收缓存器307中的第n帧数据是否包含数据包丢失和/或比特错误。如果第n数据包的所有编码数据都接收在第三数据包接收缓存器307中,并且在数据中没有检测到错误,那么控制转移到步骤S407。否则,控制前进到步骤S403。
在步骤S407,将来自第三编码数据提取器308的第n帧的编码数据作为要解码的编码数据输出,并且编码数据重构序列结束。
在本实施例中,在第一错误/数据包丢失检测器303中检测第一编码数据的发送错误和/或错误数据包丢失的处理过程可以是任何处理过程。例如,处理过程可以根据基于本实施例的代码转换/发送装置添加的错误检测码和帧/数据包号检测发送错误和/或错误数据包丢失。作为选择,如果编码数据的发送路径具有错误检测功能,那么处理过程可以利用检测结果。如果说明编码帧的数据包含在编码数据中,那么处理过程可以利用包含在编码帧中的信息。
同样,第二错误/数据包丢失检测器306中检测第二编码数据的发送错误和/或错误数据包丢失的处理过程可以是任何处理过程。在第三错误/数据包丢失检测器309中检测第三编码数据的发送错误和/或错误数据包丢失的处理过程也可以任何处理过程。
在编码数据重构器310执行的编码数据重构序列的步骤S401中,等待第n帧编码数据接收的处理过程可以是任何处理过程,只要它能够检测数据包丢失同时将数据包发送延迟保持在预定范围内。
如果在编码数据重构器310执行的编码数据重构序列的步骤S406中,在第三接收缓存器接收的编码数据中检测到发送错误或数据包丢失,即,如果在第一至第三编码数据中都发生发送错误或数据包丢失,那么编码数据重构器310可以执行任何其它处理过程。
在本实施例中,控制前进到步骤S403,在步骤S403中将第一编码数据作为要解码的编码数据输出。但是,可以执行任何其它处理过程,例如,停止输出第n帧和使用以前输出的第(n-1)帧的图像数据作为第n帧的输出的处理过程。
在本实施例的特定示例中,代码转换/接收装置连接到互联网通信网,接收从在另一地点连接到互联网通信网的代码转换/发送装置、根据UDP/IP协议、发送的数据包数据,转换包括在接收的UDP数据报中的编码运动画面数据,和将转换的数据输出到解码装置。编码运动画面数据基于MPEG-4视频方案。第一错误/数据包丢失检测器303、第二错误/数据包丢失检测器306、和第三错误/数据包丢失检测器309通过计算包括在UDP数据报中的校验和,检测发送错误。
(1.D)编码数据包数据的发送模式:
根据本发明,可以根据任何处理过程将第一或第二编码数据包数据从代码转换/发送装置100(见图1)发送到代码转换/接收装置120(见图1)。但是,为了加强本发明的优点,优选使用减少通过编码同一帧图像产生的、第一编码数据包数据中发生的比特错误和数据包丢失与第二编码数据包数据中发生的比特错误和数据包丢失之间的相关性的处理过程。
图5示出了这样一个发送编码数据包数据的优选处理过程的示例。在图5中,代码转换/发送装置501是参考图2说明的代码转换/发送装置。延迟加法器502和503将恒定的或自适应变化的延迟时间加到从代码转换/发送装置501输出的第二和第三编码数据包数据,并且输出产生的数据。
多路复用器504多路复用从示为图1中的代码转换/发送装置100的代码转换/发送装置501输出的第一编码数据、从延迟加法器502输出的第二编码数据、和从延迟加法器503输出的第三编码数据,并且将多路复用的数据发送到发送路径505。
发送路径505将多路复用器504多路复用的数据从发送装置发送到接收装置。延迟加法器506、507和多路复用器508执行将类似数据发送到第二发送路径509的处理过程。
发送路径选择器510选择发送路径505和发送路径509中的至少一个。分离器511接收来自发送路径选择器510的数据,并将数据分离成第一编码数据和第二编码数据。运动画面接收/解码装置512包括参考图3说明的运动画面代码转换/接收装置。
延迟加法器502,503添加到第二和第三编码数据的延迟是通过发送路径505中发生的比特错误和数据包丢失的最大突发时间确定的。即使在发送路径505中发生一个突发错误,错误影响通过编码同一帧产生的第一至第三编码数据中的任何一个可能也很小,这使得能够减少由于编码帧数据的丢失造成的重大图像质量下降的发生率。延迟是根据接收装置中的缓存器的大小和发送路径的传输率(比特率)在延迟加法器中设定的。
同样,延迟加法器506,507添加到第二和第三编码数据的延迟是通过发送路径509中发生的比特错误和数据包丢失的最大突发时间确定的。即使在发送路径中发生了突发错误,错误影响通过编码同一帧产生的第一至第三编码数据中的任何一个可能也很小,这使得能够减少由于编码帧数据的丢失造成的重大图像质量下降的发生率。延迟加法器,或延迟加法器和多路复用器可以提供在代码转换/发送装置501中。
(1.E)优点:
根据第一实施例,运动画面代码转换/发送装置100将同一运动画面数据转换成三个编码数据,并且以恒定或自适应变化的时间差将编码数据发送到发送路径130。
第一代码转换器/发送机102根据运动画面的性质或预定规则自适应地选择和输出输入的运动画面数据的帧。第二代码转换器/发送机104解码输入的运动画面数据的至少一部分,以等于或高于输入的数据的压缩率编码数据,和发送编码数据。第三代码转换器/发送机105,利用通过第二代码转换器/发送机104编码该帧得到的帧间预报参数和预测残留图像数据中的至少一个,编码第二代码转换器/发送机104编码的帧。
代码转换/接收装置120一侧接收来自M个发送路径中至少一个发送路径的数据,和从正常接收到的编码数据选择具有最低压缩率的、两个图像质量的编码数据,并以帧为单位输出。
结果是,即使使用了可能回发生高度突发性的频繁发送错误和数据包丢失的低可靠性的发送路径,也能防止数据发送之后产生的解码图像显著破坏。
通过提高第二和第三编码数据的压缩率,可以减少由于这些编码数据的发送造成的发送频带的增加。此外,可以根据能够使用的频带,将第一至第三编码数据发送到多个具有不同频带的发送路径,和减小发送路径中造成影响的错误。此外,由于运动画面代码转换/接收装置选择了接收的三个编码数据中的至少一个,并输出到运动画面解码装置,所以,与普通运动画面解码装置相比,运动画面解码装置所需的计算量并没有增加多少。
在本实施例中,代码转换/发送装置和代码转换/接收装置是相互组合使用的。但是,如果彼此独立地使用它们也没有问题。第一至第N代码转换数据可以使它们的数据包在它们的序列中根据交叉处理混合和多路复用。交叉处理可以平均诸如电路之类的发送路径中存在的时间变化影响。
(2)第二实施例:
根据本发明的第二实施例,代码转换/发送装置,其中N代表整数2或以上的整数,M代表整数1或以上的整数,具有:
(a)第一运动画面代码转换器/发送机,用于对其提供压缩编码数据包数据,和控制利用预定发送装置、发送所有数据包或根据输入的运动画面的性质或预定规则自适应选择的数据包;
(b)第二至第N运动画面代码转换器/发送机,用于解码输入的编码数据包数据的至少一部分,以等于或高于第一运动画面代码转换器/发送机的压缩率、执行数据到数据包数据的压缩编码,和控制利用预定发送装置、以恒定或自适应变化的发送时间差发送得到的所有数据包数据或根据输入的运动画面的性质或预定规则自适应选择的数据包数据;和
用于根据第一至第M发送路径可以使用的频带、选择第一至第N运动画面代码转换器/发送机的压缩率和/或要发送的编码数据的数量,和将编码数据发送到第一至第M发送路径的机构。
代码转换/发送装置一侧包括接收发送路径选择器,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,和,例如,从接收的已经通过编码同一帧中的同一区中的一个图像产生的、没有发送错误或丢失的数据包数据,选择并输出具有最低压缩率的两个图像质量的数据包数据。
代码转换/发送装置和代码转换/接收装置的组成部分的处理和功能是通过可以由用作代码转换/发送装置和代码转换/接收装置的计算机执行的程序实现的。
以下更详细地说明第二实施例:
(2.A)概述:
根据本实施例的系统的布置和操作基本上与第一实施例的相同。如图1中所示,布置包括代码转换/发送装置100,代码转换/接收装置120,和发送编码数据的发送路径130。整数N代码代码转换/发送装置发送编码数据的数量,并且是2或以上的整数。整数M代码对其发送N个编码数据的发送路径的数量,并且是1或以上的整数。
运动画面代码转换/发送装置100具有基本上与第一实施例相同的布置,但是装置的各种组成部分的操作稍有不同。以下仅说明本发明的操作与第一实施例的操作之间的不同之处。
第一运动画面编码器/发送机(第一运动画面代码转换器/发送机)编码的输入帧图像的编码数据包括至少一个数据包数据,每个数据包数据包括有关包括在输入帧图像中的一个图像区的编码帧间预报参数和编码压缩微分图像数据。第一运动画面编码器/发送机102将输入的运动画面的数据包的至少一部分发送到运动画面代码转换/接收装置。
第二运动画面转换器/发送机(第二运动画面代码转换器/发送机)104解码输入的运动画面数据的至少一部分,以等于或高于第一编码运动画面数据的压缩率、执行得到的图像的预定压缩编码处理,和将编码数据的至少一部分发送到运动画面代码转换/接收装置。
第三至第N运动画面编码器/发送机(第三至第N运动画面代码转换器/发送机)105,以等于或高于第二运动画面编码器/发送机的压缩率、编码第二运动画面代码转换器/发送机编码的所有数据包或包括在数据包中的图像,利用通过第二运动画面编码器/发送机对该图像区执行的帧间预测得到的帧间预报参数和预测微分图像数据中的至少一个,和将得到的编码数据的至少一部分发送到运动画面代码转换/接收装置。其它操作基本上与第一实施例相同。
运动画面代码转换/接收装置具有基本上与第一实施例相同的布置,但是装置的各种组成部分的操作稍有不同。以下仅说明本实施例的操作与第一实施例的操作之间的不同之处。
与第一实施例一样,编码数据重构器112,例如,从第一至第N编码数据接收机接收的没有发送错误或丢失并且包括同一帧的同一区中的压缩数据的最大N个编码数据中,选择具有最低压缩率的良好图像质量的数据包。编码数据重构器112对代码转换/发送装置发送的每个数据包数据进行选择。其它操作细节与第一实施例的基本相同。
(2.B)代码转换/发送装置:
根据本实施例的运动画面代码转换/发送装置的布置和操作与根据图2中所示的第一实施例的运动画面代码转换/发送装置的基本相同。但是,图2中所示的第一编码数据包选择器201、第二编码数据包生成器207、第三编码数据包生成器213、第一错误检测码附加帧/数据包标识号加法器202、第二错误检测码附加帧/数据包标识号加法器208、和第三错误检测码附加帧/数据包标识号加法器214的操作与第一实施例的不同。以下说明不同之处,并省略了相同部分的说明。
在根据本实施例的运动画面代码转换/发送装置中,第一编码数据包生成器201、第二编码数据包生成器207、和第三编码数据包生成器213产生编码数据包数据,使得包括在第一编码数据包选择器201选择的编码数据包数据中的图像区、包括在第二编码数据包生成器207产生的编码数据包数据中的图像区、和包括在第三编码数据包生成器213产生的编码数据包数据中的图像彼此相同。
第一错误检测码附加帧/数据包号加法器202、第二错误检测码附加帧/数据包号加法器207、和第三错误检测码附加帧/数据包号加法器213操作,以把相同的数据包标识号添加到对应于同一帧中的同一图像区的编码数据包数据。如果第一至第三编码数据包生成器产生的数据包数据包括指定包括在数据包数据中的一个图像区的位置的信息,那么可以不添加帧/数据包号。
本实施例的一个特殊例子使用了MPEG-4视频方案压缩运动画面。根据这个方案,将输入的图像帧分割成恒定大小的、称为“宏块”的矩形区,并且压缩,将以宏块为单位压缩的图像信息编码成被称为视频数据包的每个数据包的比特流。视频数据包包括同一帧中的希望数量的宏块的压缩数据,和可以解码通过本处理过程编码的每个视频数据包的比特流数据。第一编码数据包选择器201、第一编码数据包生成器207、和第三编码数据包生成器213输出每个视频数据包的编码数据。第二编码数据包生成器207编码的视频数据包和第三编码数据包生成器213编码视频数据包是如此生成的,使得它们包括与第一编码数据包选择器201选择的视频数据包同一区中的宏块。
(2.C)代码转换/接收装置:
根据本实施例的运动画面代码转换/接收装置的布置和操作基本上与图3中所示的第一实施例的运动画面代码转换/接收装置的相同,不同之处仅在于与图3中所示的编码数据重构器310的操作不同。以下说明不同之处,并省略了相同部分的说明。
以下参考图6中所示的流程图说明根据本实施例的编码数据重构器310执行的编码数据重构序列。图6中所示的过程的序列代表了重构第n帧的编码数据的序列,其中n代表整数。
在步骤S601,控制等待直到一个时间,这个时间是第n帧的所有编码数据到达第一数据包接收缓存器301、第二数据包接收缓存器304、和第三数据包接收缓存器307的时间与一个预定容许最大延迟时间的和。然后,控制前进到步骤S602。
在步骤S602,存储第n帧的数据包号的最小值作为变量a,用于存储一个数据包号,和存储第n帧的数据包号的最大值,作为变量b。
在步骤S603,将变量a的值设定到变量i,用于存储一个数据包号。然后,从步骤S604开始,重复序列。
在步骤S604,根据来自第一错误/数据包丢失检测器303的错误和/或数据包丢失的检测结果,确定第n帧的第i数据包是否存在在第一信息好接收缓存器301中,或是否有比错误。如果第n帧的第i数据包接收在第一数据包接收缓存器301中,并且在数据中没有检测到错误,那么控制前进到步骤S608。否则控制前进到步骤S605。
如果控制前进到步骤S608,那么输出从第一编码数据提取器302输出的第n帧的编码数据,作为要解码的编码数据,并且控制前进到步骤S610。
如果控制前进到步骤S605,那么根据来自第二错误/数据包丢失检测器306的错误和/或数据包丢失的检测结果,确定第二数据包接收缓存器304中是否存在第n帧的第i数据包,或是否存在比特错误。如果第n帧的第i数据包接收在第二数据包接收缓存器304中,并且没有检测到数据中的错误,那么控制前进到步骤S607。否则,控制前进到步骤S606。
在步骤S607,输出从第二编码数据提取器305输出的第n帧的编码数据,作为要解码的编码数据,并且控制前进到步骤S610。
如果控制前进到步骤S606,那么根据来自第三错误/数据包丢失检测器309的错误和/或数据包丢失的检测结果,确定第n帧的第i数据包是否存在在第三数据包接收缓存器307中,或是否存在比特错误。如果第n帧的第i数据包接收在第三数据包接收缓存器307中,并且没有检测到数据中的错误,那么控制前进到步骤S609。否则,控制前进到步骤S610。
在步骤S610,将变量i递增1。在步骤S610之后的步骤S611,确定变量i是否超过变量b的值。如果变量i没有超过变量b的值,那么从步骤S604重复处理。如果变量i超过变量b的值,那么结束重复进行的序列,使重构第n帧编码数据的序列结束。
编码数据重构器310执行的编码数据重构序列中的步骤S601中的等待第n帧编码数据的处理过程,可以是任何处理过程,只要它能够检测数据包丢失,同时将数据包发送延迟保持在一个预定范围内。
(2.D)优点:
根据第二实施例,运动画面代码转换/发送装置将同一运动画面数据转换成三个编码数据,并且以恒定的或自适应变化的时间差发送编码数据。第二和第三运动画面代码转换器/发送机编码包括在第一运动画面代码转换器/发送机转换的数据包中的图像区。利用通过第一运动画面代码转换器/发送机编码获得的帧间预报参数和预测残留图像数据中的至少一个,第三编码器/发送机编码包括在第二编码器/发送机转换的数据包中的图像区。
代码转换/接收装置一侧从正常接收的编码数据,选择和解码具有最低压缩率的良好图像质量的编码数据的数据包。
结果是,即使使用了可能会发生高度突发性的频繁的发送错误和数据包丢失和低可靠性的发送路径,也能减少三个编码数据全都错误地发送的可能性,防止了数据发送之后产生的解码图像发生重大恶化。
通过提高第二和第三编码数据的压缩率,可以减少由于发送三个编码数据造成的发送频带的增加。
此外,根据可以使用的频带,可以将第一至第三编码数据发送到多个具有不同频带的发送路径,并且可以减少发送路径中的错误影响。
此外,由于运动画面代码转换/接收装置选择了接收的三个编码数据中的至少一个,并且输出到运动画面解码装置,所以,与普通运动画面解码装置相比,运动面解码装置所需的计算量不会增加多少。
在本实施例中,代码转换/发送装置和代码转换/接收装置彼此组合地使用。但是,如果相互独立地使用它们,也没有问题。
(3)第三实施例:
根据本发明的第三实施例,代码转换/发送装置,其中N代表整数2或以上的整数,M代表整数1或以上的整数,具有:
(a)第一运动画面代码转换器/发送机,用于对其提供压缩编码数据,以等于或高于输入的编码数据的压缩率、执行解码的运动画面数据的所有帧或根据输入运动画面的性质或预定规则自适应选择的帧的压缩编码,和控制利用一个预定发送装置发送如此得到的编码数据的至少一部分;
(b)第二至第N运动画面转换器/发送机,用于以等于或高于第一运动画面代码转换器/发送机的压缩率、编码第一运动画面代码转换器/发送机编码的所有帧或根据输入的运动画面的性质或规定规则自适应选择的帧,再用通过第一运动画面代码转换器/发送机对该帧执行帧间预测获得的帧间预报参数和预测微分图像数据中的至少一个,和通过与第一运动画面代码转换器/发送机使用的相同或不同的发送路径、以恒定或自适应变化的发送时间差,发送得到的编码数据;和
(c)用于根据第一至第M发送路径可以使用的频带,选择第一至第N运动画面代码转换/发送装置的压缩率和/或要发送的编码数据的数量,和将编码数据发送到第一至第M发送路径的机构。
代码转换/接收装置包括选择器,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,提取接收的没有发送错误或丢失的编码数据,和,例如,从同一帧中的编码数据选择并输出具有最低压缩率的、良好图像质量的编码运动画面图像数据。
代码转换/发送装置和代码转换/接收装置的组成部分的处理和功能是通过一个可以由用作代码转换/发送装置和代码转换/接收装置的计算机执行的程序实现的。
以下更详细地说明第三实施例:
(3.A)概述:
图7是显示本发明的第三实施例的系统布置的图。如图7中所示,第三实施例包括用于运动画面数据的代码转换/发送装置700,代码转换/接收装置720,和用于发送编码数据的发送路径730。整数N代表代码转换/发送装置发送的编码数据的数量,并且是2或以上的整数。整数M代表对其发送N个编码数据的发送路径730的数量,并且是1或以上的整数。
运动画面代码转换/发送装置700解码输入的编码运动画面数据的至少一部分,以等于或高于输入图像的压缩率执行得到的图像的压缩编码处理,和将代码转换数据发送到运动画面代码转换/接收装置720。运动画面代码转换/发送700将输入的运动画面数据编码成N个编码数据,并且将编码数据作为第一至第N编码运动画面数据发送到第一至第M发送路径730。
如图7中所示,装置具有第一至第N运动画面编码器/发送机(第一至第N运动画面代码转换器/发送机)703至705。
运动画面数据接收机701接收运动画面数据。运动画面解码器702解码输入的编码运动画面数据的至少一部分。
第一运动画面编码器/发送机(第一运动画面代码转换器/发送机)703执行输入到代码转换/发送装置(代码转换器/发送机)的帧的预定压缩编码处理,并且控制将得到的编码数据的至少一部分发送到运动画面代码转换/接收装置。第二至第N运动画面编码器/发送机(第二至第N运动画面代码转换器/发送机)704,705利用通过第一运动画面编码器/发送机对帧执行的帧间预测得到的帧间预报参数和预测微分图像数据中的至少一个、以等于或高于第一运动画面编码器/发送机703的压缩率、编码第一运动画面编码器/发送机703编码的至少一个帧,并且经过发送路径730将得到的编码数据的至少一部分发送到运动画面代码转换/接收装置720。在第一至第N编码运动画面数据中,将根据发送路径可以使用的频带选择的编码运动画面数据发送到第一至第M发送路径。
在运动画面代码转换/发送装置中720,接收发送路径选择器706从运动画面代码转换/发送装置已经对其发送了编码数据的M个发送路径中,选择至少一个发送路径。运动画面代码转换/接收装置720接收来自选择的发送路径的N个编码数据,并且解码编码数据。
如图7中所示,运动画面代码转换/接收装置720包括用于接收代码转换/发送装置700的第一至第N运动画面代码转换器/发送机703至705发送到发送路径730的编码数据的第一至第N编码数据接收机707至709,和编码数据重构器710。例如,编码数据重构器710从编码数据接收机707至709接收的没有发送错误或丢失的最大N个编码数据,选择并输出具有最低压缩率的良好图像质量的数据。
(3.B)代码转换/发送装置:
图8示出了根据第三实施例的运动画面代码转换/发送装置的详细布置。为了简洁起见,在图8中假设从本装置输出的编码数据的数量N是3,用于发送编码数据的发送路径的数量M是2。
在图8中,解码器801解码输入的编码运动画面数据的至少一部分。帧间预测器802从存储在参考帧存储器809中的至少一个解码图像,对解码器801输出的一个图像进行帧间预测。预测余量计算器803通过从输入的帧图像减去帧间预测器802产生的预测图像,计算出预测余量。第一预测余量压缩编码器804根据预定的处理过程执行预测余量计算器803得到的预测残留图像的压缩编码。第一编码数据包生成器805根据可变长度编码,将帧间预测器802得到的帧间预测参数和第一预测余量压缩编码器804得到的预测残留图像的压缩数据转换成比特流,并且以预定数据包为单位输出比特流。第一错误检测码附加帧/数据包标识号加法器806加上检测码和帧/数据包标识号,以便接收装置检测从第一编码数据包生成器805输出的编码数据包数据的发送错误和数据包丢失。预测余量解码器807确定第一错误检测码附加帧/数据包标识号加法器806编码的预测余量的解码数据。解码图像计算器808通过帧间预测器802产生的预测图像与预测余量解码器807解码的预测余量的和,确定解码图像。参考帧存储器809存储解码图像,以准备用于编码下一个帧。
在图8中,第二预测余量压缩编码器810以等于或高于第一预测余量压缩编码器的压缩率,编码预测余量计算器803得到的预测残留图像。第二编码数据包生成器811根据可变长度编码,将帧间预测器802得到的帧间预报参数和第二预测余量压缩编码器810得到的预测残留图像转换成比特流,并且以预定数据包为单位输出比特流。第二错误码附加帧/数据包标识号加法器812加上错误检测码和帧/数据包标识号,以便接收装置检测从第二编码数据包生成器811输出的压缩数据包数据的发送错误和数据包丢失。以这种方式,通过预定发送机构,作为数据包产生和发送第二编码运动画面数据。
在本实施例中,由于M是2和N是2,所以从上述第一和第二编码运动画面数据、根据发送路径可以使用的频带选择的编码运动画面数据被发送到两个发送路径中的每一个。
在本实施例中,提供了第一错误检测码附加帧/数据包标识号加法器806,并且第一错误检测码附加帧/数据包标识号加法器806将错误检测码和帧/数据包标识号加到从第一编码数据包生成器805输出的第一编码数据。但是,可以使用任何其它处理过程,只要它们使得代码转换/接收装置能够检测发送的数据包数据的发送错误和数据包丢失。例如,如果第一编码数据包发送路径具有检测发送错误的机构,那么第一误检测码附加帧/数据包标识号加法器806不需要加纠错码。根据另一个例子,如果从第一编码数据包生成器805输出的编码数据包括能够标识帧和数据包的信息,那么错误检测码附加帧/数据包标识号加法器806不需要加一个帧/数据包标识号。
同样,尽管提供了第二错误检测码附加帧/数据包标识号加法器812,以将错误检测码和帧/数据包标识号加到第二编码数据,但是,也可以使用任何其它处理过程,只要它们使得代码转换/接收装置能够检测发送的编码数据包数据的发送错误和数据包丢失。
上述本实施例的一个优选特殊示例与上述第一实施例的优选特殊示例相同。
(3.C)代码转换/接收装置:
根据本发明的第三实施例的运动画面代码转换/接收装置的布置与图3中所示的相同。但是,尽管图3中的发送路径的数量M是3,但是,在本实施例中是2,因此在本实施例中没有第三编码器/接收机。由于M是2,所以编码数据重构器310具有不同的操作序列。
以下参考图9的流程图,说明根据本实施例的编码数据重构器310的操作序列。图9中所示的过程的序列代表重构第n帧的编码数据的序列,其中n是一个整数。
在步骤S901,控制等待直到一个时间,这个时间是第n帧的所有编码数据到达第一数据包接收缓存器301和第二数据包接收缓存器304的时间与预定允许最大延迟时间的和。然后,控制前进到步骤S902。
在步骤S902,根据来自第一错误/数据包丢失检测器303的比特错误和/或数据包丢失的检测结果,确定第n帧数据是否存在在第一数据包接收缓存器301中,和是否存在比特错误。如果第n数据包的所有编码数据都接收在第一数据包接收缓存器301中并且数据中没有检测到错误,那么控制前进到步骤S903。否则,控制前进到步骤S904。
如果控制前进到步骤S903,那么将从第一编码数据提取器302供给的第n帧的的编码数据作为要解码的编码数据传送到可变长度解码器(未示出,但是,例如,包括在图16中所示的解码装置中),并且结束编码数据重构序列。
如果控制前进到步骤S904,那么根据来自第二错误/数据包丢失检测器306的比特错误和/或数据包丢失的检测结果,确定第n帧数据是否存在在第二数据包接收缓存器304中,和是否存在比特错误。如果第n数据包的所有编码数据都接收在第二数据包接收缓存器304中,并且数据中没有检测到错误,那么控制前进到步骤S905。否则,控制前进到步骤S903。
在步骤S905,将来自第二编码数据提取器305的第n帧的编码数据作为要解码的编码数据传送到可变长度解码器(未示出,但是,例如,包括在图16所示的解码装置中),并且编码数据重构序列结束。
本实施例的其它部分的操作和优选特殊示例与第一实施例的相同。
(3.D)优点:
根据第三实施例,运动画面代码转换/发送装置解码输入的运动画面数据的至少一部分,将同一运动画面数据编码成两个编码数据,和以恒定或自适应变化的时间差发送编码数据。第二运动画面代码转换器/发送机,利用通过用第一运动画面代码转换器/发送机编码帧得到的帧间预报参数和预测残留图像数据中的至少一个,编码第一运动画面代码转换器/发送机编码的帧。
代码转换/接收装置一侧,从正常接收的编码数据,以数据包为单位,选择并输出具有最低压缩率的良好图像质量的编码数据。
结果是,即使使用了可能会发生高度突发性的频繁发送错误和数据包丢失和可靠性低的发送路径,也能降低两个编码数据都错误地发送的可能性,防止了数据发送之后解码图像被严重损坏。
通过提高第二编码数据的压缩率,可以减少由于第二编码数据的发送造成的发送频带的增加。
此外,根据发送路径的情况和运动画面发送者或运动画面接收者的意图,可以将第一和第二编码数据发送到多个具有不同频带的发送路径,并且可以降低发送路径中错误的影响。
此外,由于通过运动画面代码转换/接收装置选择了接收的两个编码数据中的至少一个,并且通过运动画面代码转换/接收装置输出到运动画面解码装置,所以,与普通运动画面解码装置相比,运动画面解码装置所需的计算量不会有大的增加。
在本实施例中,代码转换/发送装置和代码转换/接收装置是彼此组合使用的。但是,如果相互独立地使用它们,也没有问题。可以用交叉的方式发送第一至第N代码转换数据,而不是以间隔时段的方式发送。
(4)第四实施例:
根据本发明的第四实施例,代码转换/发送装置,其中N代表整数2或以上的整数,M代表整数1或以上的整数,具有:
(a)第一运动画面代码转换器/发送机,用于解码输入的编码数据包的至少一部分,以等于或高于输入的运动画面数据的压缩率执行数据的压缩编码,和控制用预定发送装置发送如此得到的编码数据包的至少一部分;
(b)第二至第N运动画面代码转换器/发送机,用于将由第一运动画面代码转换器/发送机编码的所有数据包数据或根据输入的运动画面的性质或预定规则自适应选择的数据包数据的每个数据包数据编码的图像区、以等于或高于第一运动画面代码转换器/发送机的压缩率、编码成一个数据包数据,再用通过用第一运动画面代码转换器/发送机对该图像区进行的帧间预测得到的帧间预报参数和预测微分图像数据中的至少一个,和控制用与第一运动画面转换器/发送机使用的发送装置相同或不同的发送装置、以恒定或自适应地变化的发送时间差、发送得到的编码数据包数据;和
(c)用于根据第一至第M发送路径可以使用的频带,选择第一至第N运动画面代码转换器/发送机的压缩率和/或要发送的编码数据的数量,并且将编码数据发送到第一至第M发送路径的装置。
接收一侧中的装置包括选择器,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,从,例如,通过编码同一帧的同一区中的图像产生的编码数据包数据,选择并输出具有最低压缩率的良好图像质量的编码数据包数据的。
代码转换/发送装置和代码转换/接收装置的组成部分的处理和功能是通过可以由用作代码转换/发送装置和代码转换/接收装置的计算机执行的程序实现的。
以下更详细地说明第四实施例:
(4.A)概述:
本实施例的布置和操作基本上与第三实施例的相同。如图7中所示,本实施例包括代码转换/发送装置,代码转换/接收装置,和发送编码数据的发送路径。整数N代表代码转换/发送装置发送的编码数据的数量,并且是2或以上的整数。整数M代表对其发送N个编码数据的发送路径的数量,并且是1或以上的整数。
代码转换/发送装置具有基本上与第三实施例相同的布置,但是装置的各种组成部分的操作稍有不同。以下仅说明不同之处,省略了相同部分的说明。
运动画面代码转换/发送处理器解码输入的编码运动画面数据的至少一部分,以等于或高于输入的运动画面数据的压缩率、执行得到的图像的压缩编码处理,和将编码数据发送到运动画面代码转换/接收装置。运动画面代码转换/发送处理器编码的输入帧图像的编码数据包括至少一个数据包数据,每个数据包数据包括有关包括在输入帧图像中的图像区的编码帧间预报参数和编码压缩微分图像数据。第二至第N运动画面编码器/发送机,利用通过第一运动画面编码器/发送机对该图像区执行帧间预测得到的帧间预报参数和预测微分图像数据中的至少一个、以等于或高于第一运动画面编码器/发送机的压缩率、编码包括在第一运动画面编码器/发送机编码的至少一个数据包中的图像区,并且将得到的编码数据包数据发送到运动画面代码转换/接收装置。其它操作细节与第三实施例基本相同。
运动画面代码转换/接收装置具有与第三实施例基本相同的布置,但是装置的各种组成部分的操作稍有不同。以下仅说明不同之处,省略了相同部分的说明。
根据本实施例,如图7中所示,如同第三实施例一样,编码数据重构器710,例如,从第一至第N编码数据接收机接收的没有发送错误或丢失的最大N个编码数据包数据,选择具有最低压缩率的良好图像质量的至少一个数据包数据,作为要解码的编码数据。编码数据重构器710以代码转换/发送装置输出的数据包数据为单位,执行选择。其它操作细节基本上与第三实施例的相同。
(4.B)代码转换/发送装置:
根据本实施例的运动画面代码转换/发送装置的布置和操作与根据图8中所示的第三实施例的运动画面代码转换/发送装置基本相同。但是,第一编码数据包生成器805,第二编码数据包生成器811,第一错误检测码附加帧/数据包号加法器806,和第二错误检测码附加帧/数据包号加法812的操作与第三实施例的不同。
在根据本实施例的运动画面数据代码转换/发送装置中,第一编码数据包生成器805和第二编码数据包生成器811如此产生编码数据包数据,使得包括在第一编码数据包生成器805产生的编码数据包数据中的图像区与包括在第二编码数据包生成器811产生的编码数据包数据中的图像区彼此相同。
第一错误检测码附加帧/数据包号加法器806和第二错误检测码附加帧/数据包号加法器812操作,以将同一数据包标识号加到对应于同一帧中的同一图像区的编码数据包数据。如果第一和第二编码数据包生成器产生的数据包数据包括指定包括在数据包数据中的图像区的位置的帧号和信息,那么可以不加帧/数据包标识号。
其它没有说明的处理器的操作与第三实施例的相同。上述本实施例的一个优选特殊例子与上述第二实施例的相同。
(4.C)代码转换/接收装置:
根据本实施例的运动画面代码转换/接收装置的布置和操作与根据图3所示的第二实施例的运动画面代码转换/接收装置的基本相同。但是,尽管发送路径的数量M在图3中是3,但是,在本实施例中是2,因此,本实施例中没有第三编码器/接收机。由于M是2,所以编码数据重构器310具有不同的操作序列。
以下参考图10中所示的流程图,说明根据本实施例的编码数据重构器310的操作序列。图10中所示过程的序列代表用于重构第n帧的编码数据的序列,其中n代表一个整数。
在步骤S1001,控制等待直到一个时间,这个时间是第n帧的所有编码数据到达第一数据包接收缓存器301和第二数据包接收缓存器304的时间与预定允许最大延迟时间的和。然后,控制前进到步骤S1002。
在步骤S1002,将第n帧的数据包号的最小值作为用于存储数据包号的变量a存储,并且将第n帧的数据包号的最大值作为一个变量b存储。
在步骤S1003,将变量a的值输入到编码i,以存储数据包号。然后,重复从步骤S1004开始的序列。
在步骤S1004,根据来自第一错误/数据包丢失检测器303的错误和/或数据包丢失的检测结果,确定第n帧的第i数据包是否存在在第一数据包接收缓存器301中,或是否存在比特错误。如果第n帧的第i数据包接收在第一数据包接收缓存器301中并且在数据中没有检测到错误,那么控制前进到步骤S1005。否则,控制前进到步骤S1006。
如果控制前进到步骤S1005,将从第一编码数据提取器302输出的第n帧的编码数据作为要解码的编码数据传送到可变长度解码器308。然后,控制前进到步骤S1008。
如果控制前进到步骤S1006,那么根据来自第二错误/数据包丢失检测器306的错误和/数据包丢失的检测结果,确定第n帧的第i数据包是否存在在第二数据包接收缓存器304中或是否有比特错误。如果第n帧的第i数据包接收在第二数据包接收缓存器304中并且没有在数据中检测到错误,那么控制前进到步骤S1007。否则,控制前进到步骤S1008。
在步骤S1007,将从第二编码数据提取器305输出的第n帧的编码数据作为要解码的编码数据传送到可变长度解码器308。然后,控制前进到步骤S1008。
在步骤S1008,将变量i递增1。在步骤S1008之后的步骤S1009,确定变量i是否超过变量b的值。如果变量i没有超过变量b的值,那么从步骤S1004重复进行处理。如果变量i超过变量b的值,那么重复序列完成,重构第n帧编码数据的序列结束。
本实施例的其它部分的操作和优选特殊例子与第三实施例的相同。
(4.D)优点:
根据本发明的第四实施例,运动画面代码转换/发送装置解码输入的运动画面数据的至少一部分,将同一运动画面数据编码成两个编码数据,并且以恒定或自适应变化的时间差发送编码数据。
第二运动画面代码转换器/发送机,利用通过第一运动画面代码转换器/发送机编码帧得到的帧间预报参数和预测残留图像数据中的至少一个,编码一个包括在第一运动画面代码转换器/发送机编码的数据包中的图像区。
代码转换/接收装置一侧从正常接收的编码数据,以数据包为单位,选择并输出具有最低压缩率的良好图像质量的编码数据。
结果是,即使使用了可能会发生高度突发性的频繁发送错误和数据包丢失的和可靠性低的发送路径,也能减小两个编码数据都错误地发送的可能性,防止了数据发送之后产生的解码图像严重恶化。
通过提高第二编码数据的压缩率,可以减少由于第二编码数据的发送造成的发送频带的增加。
此外,可以根据发送路径的情况和运动画面发送者或运动画面接收者的意图,将第一和第二编码数据发送到具有不同频带的多个发送路径。
此外,由于通过运动画面代码转换/接收装置选择了接收的两个编码数据中的至少一个,并且通过运动画面代码转换/发送装置输出到运动画面解码装置,所以,与普通运动画面解码装置相比,运动画面解码装置所需的计算量不会有很大的增加。
在本实施例中,代码转换/发送装置和代码转换/接收装置是相互组合使用的。但是,如果彼此独立地使用它们,也没有问题。可以用交叉方式,而不是以间隔时段方式,发送第一至第N代码转换数据。
(5)第五实施例:
根据本发明的第五实施例,代码转换/发送装置一侧,其中N代表整数2或以上的整数,M代表整数1或以上的整数具有:
(a)第一运动画面代码转换器/发送机,用于对其提供压缩编码数据,以等于或高于输入编码数据的压缩率、执行解码运动画面数据的所有帧或根据输入运动画面的性质或预定规则自适应选择的帧的压缩编码,和控制利用预定发送装置发送如此得到的编码数据的至少一部分;
(b)第二至第N运动画面代码转换器/发送机,以等于或高于第一运动画面代码转换器/发送机的压缩率、编码第一运动画面代码转换器/发送机再编码的所有帧、或根据输入运动画面的性质或预定规则自适应选择的帧,利用在第一运动画面编码转换器/发送机对该帧执行帧间预测中使用的一个参考帧图像,和控制使用与第一运动画面代码转换器/发送机使用的相同或不同发送装置、以恒定或自适应变化的发送时间差、发送得到的编码数据的至少一部分;和
(c)用于根据第一至第M发送路径可以使用的频带、选择第一至第N运动画面代码转/发送机的压缩率、和/或要发送的编码数据的数量,并且将编码数据发送到第一至第M发送路径的机构。
代码转换/接收装置一侧包括选择器,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,提取接收的没有发送错误或丢失的编码数据,和,例如,从同一帧中的编码数据选择并输出具有最低压缩率的良好图像质量的编码运动画面数据。
代码转换/发送装置和代码转换/接收装置的组成部分的处理和功能是通过可以由用作代码转换/发送装置和代码转换/接收装置的计算机执行的程序实现的。
以下更详细地说明第五实施例:
(5.A)概述:
根据本实施例的系统的布置和操作与第三实施例的基本相同。如图7中所示,本实施例包括用于运动画面数据的代码转换/发送装置,代码转换/接收装置,和发送编码数据的发送路径。整数N代表代码转换/发送装置发送的编码数据的数量,并且是2或以上的整数。整数M代表对其发送N个编码数据的发送路径的数量,并且是1或以上的整数。
代码转换/发送装置具有基本上与第三实施例相同的布置,但是装置的各种组成部分的操作稍有不同。以下仅说明不同之处,省略了相同部分的说明。
第二至第N运动画面编码器/发送机解码输入的编码运动画面数据的至少一部分,以等于或高于输入的运动画面数据的压缩率执行得到的图像的预定压缩编码处理,和将代码转换数据的至少一部分发送到运动画面代码转换/接收装置。在第二至第N运动画面编码器/发送机中,利用在第一运动画面编码器/发送机对帧执行帧间预测中使用的参考图像编码输入的帧图像。作为选择,可以对与第一运动画面编码器/发送机不同的控制下执行的帧间预测得到的、与第一运动画面编码器/发送机中不同的帧间预报和预测微分图像数据进行编码。其它操作细节实际上与第三实施例基本相同。
(5.B)代码转换/发送装置:
图11示出了根据第五实施例的运动画面代码转换/发送装置的详细布置。为了简洁,假设从装置输出的编码数据的数量N是2。在图11中,参考号1101至1109代表根据本实施例的运动画面代码转换/发送装置的第一运动画面编码器/发送机的处理器。这些处理器以图8中所示的第一运动画面代码转换器/发送机的处理器相同的方式操作。在图11中,帧间预测器1110、预测余量计算器1111、第二预测余量压缩编码器1112、和第二编码数据包生成器1113、1114用作根据本实施例的运动画面转换/发送装置的第二运动画面编码器/发送机的处理器。但是,这些处理器的操作与根据第一实施例的运动画面编码器/发送机的不同。
帧间预测器1110从存储在参考帧存储器1109中的至少一个解码图像,执行对从解码器1101输入的输入图像的帧间预测。预测余量计算器1111通过从输入的帧图像减去帧间预测器1110产生的预测图像而计算预测余量。第二预测余量压缩编码器1112以等于或高于第一预测余量压缩编码器1104的压缩率编码预测余量计算器1111得到的预测残留图像。根据可变长度编码,第二编码数据包生成器1113将帧间预测器1110得到的帧间预报参数和第二预测余量压缩编码器1112得到的预测残留图像的压缩数据转换成比特流,并且以预测数据包为单位输出比特流。第二错误检测码附加帧/数据包标识号加法器1114加上错误检测码和帧/数据包标识号,以便接收装置检测从第二编码数据包生成器1113输出的压缩数据包数据的发送错误和数据包丢失。上述处理器操作以产生第二编码运动画面数据,并且通过预定发送装置以数据包为单位输出之。
(5.C)优点:
根据本发明的第五实施例,运动画面代码转换/发送装置解码输入的运动画面数据的至少一部分,将同一运动画面数据编码成两个编码数据,和以恒定或自适应变化的时间差发送编码数据。
第二运动画面代码转换器/发送机利用通过第一运动画面代码转换器/发送机编码帧中使用的参考帧图像,编码第一运动画面代码转换器/发送机编码的帧。
代码转换/接收装置一侧从正常接收的编码数据,以帧为单位,选择并输出具有最低压缩率的良好图像质量的编码数据。
结果是,即使使用了可能会发生高度突发性的频繁发送错误和数据包丢失的、低可靠性的发送路径,也能减小两个编码数据都错误地发送的可能性,防止了数据发送之后产生的解码图像严重恶化。
通过提高第二编码数据的压缩率,可以减少由于第二编码数据的发送造成的发送频带的增加。
此外,可以根据发送路径的情况和运动画面发送者与运动画面接收者的意图,将第一和第二编码数据发送到多个具有不同频带的发送路径,并且减小发送路径中错误的影响。
此外,由于运动画面代码转换/接收装置选择了接收的两个编码数据的至少一个,并且通过运动画面代码转换/接收装置输出到运动画面解码装置,所以,与普通运动画面解码装置相比,运动画面解码装置所需的计算量不会有很大的增加。
在本实施例中,代码转换/发送装置和代码转换/接收装置是相互组合使用的。但是,彼此独立地使用它们也没有问题。可以用交叉的方式,而不是用间隔时段隔的方式,发送第一至第N代码转换数据。
(6)第六实施例:
根据本发明的第六实施例,代码转换/发送装置一侧,其中N代表整数2或以上的整数,M代表整数1或以上的整数,具有:
(a)第一运动画面代码转器/发送机,用于对其提供压缩编码数据包数据,以等于或高于输入的运动画面数据的压缩率执行解码运动画面数据的压缩编码,和控制用预定发送装置发送如此得到的编码数据包数据的至少一部分;
(b)第二至第N运动画面代码转换器/发送机,用于以等于或高于第一运动画面代码转换器/发送机的压缩率、将通过第一运动画面代码转换器/发送机编码的所有数据包数据的每一个或根据输入的运动画面的性质或预定规则自适应选择的数据包数据编码的图像区编码成数据包数据,利用第一运动画面代码转换器/发送机对图像区执行的帧间预测中使用的参考帧图像,和控制用预定发送装置、以恒定或自适应变化的时间差、发送得到的编码数据的至少一部分;和
(c)用于根据第一至第M发送路径可以使用的频带,选择第一至第N运动画面代码转换器/发送机的压缩率、和/或要发送的编码数据的数量,并且将编码数据发送到第一至第M发送路径的机构。
代码转换/接收装置一侧包括选择器,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,和,例如,从通过编码同一帧中的同一图像区中的图像产生的编码数据包数据选择并输出具有最低压缩率的良好图像质量的编码数据包数据。
代码转换/发送装置和代码转换/接收装置的组成部分的处理和功能是通过可以由用作代码转换/发送装置和代码转换/接收装置的计算机执行的程序实现的。
以下更详细地说明第六实施例:
(6.A)概述:
根据本实施例的系统布置与第五实施例的基本相同。如图7中所示,本实施例包括一个用于运动画面数据的代码转换/发送装置,代码转换/接收装置,和用于发送编码数据的发送路径。整数N代表代码转换/发送装置发送的编码数据的数量,并且是2或以上的整数。整数M代表对其发送N个编码数据的发送路径的数量,并且是1或以上的整数。
运动画面代码转换/发送装置具有基本上与第五实施例相同的布置,但是,装置的各种组成部分的操作稍有不同。以下仅说明不同之处。
第一运动画面编码器/发送机解码输入的编码运动画面数据的至少一部分,并且以等于或高于输入移动画面数据的压缩率编码得到的图像。第一运动画面编码器/发送机编码的输入帧图像的编码数据包括至少一个数据包数据,每个数据包数据包括有关包括在输入帧图像中的图像区的编码帧预报参数和编码压缩微分图像数据。第二至第N运动画面编码器/发送机利用在第一运动画面编码器/发送机对图像区执行的帧间预测中使用的参考帧图像、以等于或高于第一运动画面编码器/发送机的压缩率、编码包括在第一运动画面编码器/发送机编码的至少一个数据包中的图像区,和将如此得到的编码数据包数据的至少一部分发送到运动画面代码转换/接收装置。其它操作细节与第五实施例的基本相同。
根据本发明的第六实施例的代码转换/接收装置的布置和操作与第四实施例的相同,而与第五实施例的不同。
(6.B)代码转换/发送装置:
除了只有第一编码数据包生成器1105、第二编码数据包生成器1113、第一错误检测码附加帧/数据包号加法器1106、和第二错误检测码附加帧/数据包号加法器1114的操作不同之外,根据本实施例的代码转换/发送装置的布置和操作基本上与根据图9中所示的第五实施例的代码转换/发送装置的相同。以下说明与第五实施例的不同之处。
在根据本实施例的运动画面数据代码转换/发送装置中,第一编码数据包生成器1105和第二编码数据包生成器1113如此产生编码数据包数据,使得包括在第一编码数据包生成器1105产生的编码数据包数据中的图像区与包括在第二编码数据包生成器1113产生的编码数据包数据中的图像区彼此相同。
第一错误检测码附加帧/数据包号加法器1106和第二错误检测码附加帧/数据包号加法器1114操作,以把相同的数据包标识号加到对应于同一帧中的同一图像的编码数据包数据。如果第一和第二编码数据包生成器产生的数据包数据包括指定包括在数据包数据中的图像区的位置的帧号和信息,那么不加帧/数据包标识号。
(6.C)优点:
根据上述第六实施例,运动画面代码转换/发送装置解码输入的运动画面数据的至少一部分,将同一运动画面数据编码成两个编码数据,和以恒定或自适应变化的时间差发送编码数据。
第二运动画面代码转换器/发送机利用在用第一运动画面代码转换器/发送机编码帧中使用的参考帧图像,编码包括在第一运动画面代码转换器/发送机编码的数据包中的图像区。代码转换/接收装置一侧以数据包为单位,从已经正常接收的编码数据,选择并输出具有最低压缩率的良好图像质量的编码数据。
结果是,即使使用了可能会发生高度突发性的频繁发送错误和数据包丢失并且可靠性低的发送路径,也能减少两个编码数据都错误地发送的可能性,防止了数据发送之后产生的解码图像严重恶化。
通过提高第二编码数据的压缩率,可以减小由于第二编码数据的发送造成的频带增加。此外,根据发送路径的情况和运动画面发送者或运动画面接收者的意图,可以将第一和第二编码数据发送到多个具有不同频带的发送路径,并且可以减小发送路径中错误的影响。
此外,由于运动画面代码转换/接收装置选择了接收的两个编码数据中的至少一个,并且通过运动画面代码转换/接收装置输出到运动画面解码装置,所以,与普通运动画面解码装置相比,运动画面解码装置所需的计算量不会有多大的增加。
在本实施例中,代码转换/发送装置和代码转换/接收装置是相互组合使用的。但是,如果彼此独立地使用它们,也没有问题。可以用交叉方式,而不是间隔时段的方式,发送第一至第N代码转换数据。
(7)第七实施例:
根据本发明的第七实施例,代码转换/发送装置,其中N代表整数2或以上的整数,M代表整数1或以上的整数,具有:
(a)第一运动画面代码转换器/发送机,用于对其提供编码数据包数据和控制用预定发送装置发送数据的;
(b)第二至第N运动画面代码转换器/发送机,用于复制第一运动画面代码转换器/发送机编码的所有数据包数据或根据输入的运动画面的性质或预定规则自适应地选择的数据包数据的数据包,和控制用与第一运动画面代码转换器/发送机使用的发送装置相同或不同的发送装置、以恒定或自适应变化的发送时间差发送得到的数据包数据的至少一部分;和
(c)用于根据第一至第M发送路径可以使用的频带、选择第一至第N运动画面代码转换器/发送机要发送的编码数据的数量,和将编码数据发送到第一至第M发送路径的机构。
代码转换/接收装置一侧包括选择器,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,和从通过编码同一帧中的同一区中的图像产生的编码数据包,选择并输出接收的没有发送错误或丢失的编码数据包数据,例如,首先正常记录的编码数据包数据。
代码转换/发送装置和代码转换/接收装置的组成部分的处理和功能是通过一个可以由用作代码转换/发送装置和代码转换/接收装置的计算机执行的程序实现的。
以下更详细地说明第七实施例:
(7.A)概述:
图12示出了根据本发明的第七实施例的系统的布置。如图12中所示,根据第七实施例的系统包括用于运动画面数据的代码转换/发送装置1200,代码转换/接收装置1220,和发送编码数据的发送路径1230。整数N代表代码转换/发送装置发送的编码数据的数量,并且是2或以上的整数。整数M代表对其发送N个编码数据的发送路径1230的数量,并且是1或以上的整数。
向代码转换/发送装置1200提供运动画面数据包数据,代码转换/发送装置1200选择运动画面数据包数据的至少一部分,和将选择的数据发送到第一至第M发送路径1230。
如图12中所示,装置1200具有用于将编码运动画面数据包数据发送到第一至第M发送路径的第一至第N运动画面代码转换器/发送机1202至1205。运动画面数据接收机1201接收运动画面数据包数据。第一运动画面代码转换器/发送机1202将输入的运动画面数据包数据的至少一个数据包发送到代码转换/接收装置1220。运动画面数据复制器1203复制接收的数据包,并且将复制的数据包输出到第二至第N运动画面代码转换器/发送机1204,1205。第二至第N运动画面代码转换器/发送机1204,1205将至少一个复制的数据包发送到代码转换/接收装置1220。在第一至第N编码运动画面数据中,将根据发送路径可以使用的频带选择的编码数据发送到第一至第M发送路径1230。
在运动画面代码转换/接收装置1220中,接收发送路径选择器1206从代码转换/发送装置对其发送了编码数据的M个发送路径中选择至少一个发送路径。运动画面代码转换/接收装置1220接收来自选择的发送路径的N个编码数据,并且解码和转换接收的数据。
如图12中所示,运动画面代码转换/接收装置1220包括用于接收代码转换/发送装置1200的第一至第N运动画面代码转换器/发送机1202至1205发送的编码数据的第一至第N编码数据接收机1207至1209,和编码数据重构器1210。
编码数据重构器1210从编码数据接收机1207至1209接收的没有发送错误和丢失的最大N个编码数据中选择和输出数据。由于最大N个编码数据具有相同的压缩率,所以编码重构器1210选择和输出,例如,首先正常接收的编码数据。
(7.B)代码转换/发送装置:
图13示出了根据第七实施例的移动画面代码转换/发送装置1200(见图7)的详细布置。为了简洁,假设从运动画面代码转换/发送装置输出的编码数据的数量N是3,并且用于发送编码数据的发送路径的数量M是2。
在图13中,第一运动画面代码转换器/发送机1300的第一发送数据包选择器1301根据图像的性质和发送路径的情况从输入的运动画面数据包数据中自适应地选择要发送的数据包。例如,第一发送数据包选择器1301可以在每个恒定周期(每n个数据包一次)选择和发送数据包。作为选择,第一发送数据包选择器1301参考运动画面帧的数据包中的特性参数,并且自适应地确定要发送的选择的和编码的数据包。例如,第一发送数据包选择器1301可以参考由于比特或数据包丢失严重影响解码图像质量的参数,例如,运动向量,作为编码数据包中的特性参数,并且自适应地确定要发送的编码数据包。作为选择,如果编码处理过程是MPEG方案,那么第一发送数据包选择器1301可以根据,例如,需要选择I画面的(可以动态改变的)规则,选择数据包。
第一错误检测码附加帧/数据包标识号加法器1302添加错误检测码和帧/数据包标识号,以便接收装置检测输出的编码数据包的发送错误和数据包丢失。
在图13中,第二运动画面代码转换器/发送机1310的数据包复制器1303复制输入的编码运动画面数据包数据。
第二发送数据包选择器1303根据图像的性质和发送路径的情况,从第一运动画面代码转换器/发送机中的、自适应发送的数据包选择相同号码或不同号码的数据包。如果要选择不同号码的数据包,那么第二发送数据包选择器1304可以根据诸如运动向量及其阈值之类的特性参数的关系(规则)选择它们。作为选择,如果编码处理过程是MPEG方案,那么第二发送数据包选择器1304可以根据,例如,必须选择I图像的规则,选择数据包。
第二错误检测码附加帧/数据包标识号加法器1305添加错误检测码和帧/数据包标识号,以便接收装置检测选择器1304输出的编码数据包数据的发送错误和数据包丢失。
在本实施例中,由于M是2和N是3,所以可以将根据发送路径可以使用的频带从上述第一和第二编码运动画面数据选择的编码运动画面数据发送到两个发送路径中的每一个。
不是上述处理器的其它处理器的操作与第四实施例的相同。
本实施例的一个优选特殊例子与第二实施例的相同。运动画面代码转换/接收装置的布置和操作与第四实施例的相同。
(7.C)优点:
根据上述第七实施例,运动画面代码转换/发送装置将同一运动画面数据包数据转换成两个编码数据,并且以恒定或自适应变化的时间差发送编码数据。
第一运动画面代码转换器/发送机根据运动画面的性质或预定规则自适应地选择输入的运动画面数据包数据,并且输出选择的运动画面数据包数据。第二运动画面代码转换器/发送机复制输入的运动画面数据包数据,并且选择和发送复制的运动画面数据包数据的至少一部分。
代码转换/接收装置一侧以数据包为单位,从正常接收的编码数据包数据中选择没有错误和丢失的数据,并且从,例如,两个发送路径接收的数据中选择首先到达的数据,和输出选择的数据。
结果是,即使使用了可能会产生高度突发性的频繁发送错误和数据包丢失的、可靠性低的发送路径,也可以减小两个编码数据都错误地发送的可能性,防止了数据发送之后产生的解码图像严重损坏。
通过减少选择的第二编码数据包数据的数量,可以减少由于第二编码数据的发送而造成的发送频带的增加。
此外,可以根据发送路径的情况和运动画面发送者或运动画面接收者的意图,将第一和第二编码数据发送到多个具有不同频带的发送路径,并且可以降低发送路径中错误的影响。
此外,由于运动画面代码转换/接收装置选择了接收的两个编码数据中的至少一个,并且通过运动画面代码转换/接收装置输出到运动画面解码装置,所以,与普通运动画面解码装置相比,运动画面解码装置所需的计算量不会有多大的增加。
在本实施例中,代码转换/发送装置和代码转换/接收装置是相互组合使用的。但是,如果彼此独立地使用它们,也没有问题。可以用交叉的方式,而不是用间隔时段的方式,发送第一至第N代码转换数据。
(8)第八实施例:
根据本发明的第八实施例,代码转换/发送装置一侧,其中N代表整数2或以上的整数,M代表整数1或以上的整数,具有:
(a)第一运动画面代码转换器/发送机,用于对其提供压缩编码数据包数据,解码输入的编码数据的至少一部分,以等于或高于输入运动画面数据的压缩率执行数据的压缩编码,和控制利用预定发送装置发送所有帧或根据输入运动画面的性质或预定规则自适应选择的帧;
(b)第二至第N运动画面代码转换器/发送机,用于解码输入编码数据的至少一部分,以等于或高于第一运动画面代码转换器/发送机的压缩率执行数据的压缩编码,和控制利用与第一运动画面代码转换器/发送机使用的相同或不同发送装置、以恒定或自适应变化的发送时间差、发送得到的编码数据的所有帧或根据输入运动画面的性质或预定规则自适应选择的帧;
(c)用于根据第一至第M发送路径可以使用的频带选择第一至第N运动画面代码转换器/发送机的压缩率和/或要发送的编码数据的数量,和把编码数据发送到第一至第M发送路径的机构。
代码转换/接收装置一侧包括选择器,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,提取接收的没有发送错误或丢失的编码数据,和,例如,从同时帧中的编码数据选择并输出具有最低压缩率的良好图像质量的编码运动画面数据。
代码转换/发送装置和代码转换/接收装置的组成部分的处理和功能是通过可以由用作代码转换/发送装置和代码转换/接收装置的计算机执行的程序实现的。
以下更详细地说明第八实施例:
(8.A)概述:
图14示出了根据本发明第八实施例的系统的布置。如图14中所示,系统包括运动画面数据的代码转换/发送装置1400,代码转换/接收装置1420,和发送编码数据的发送路径1430。整数N代表代码转换/发送装置发送的编码数据的数量,并且是2或以上的整数。整数M代表对其发送N个编码数据的发送路径的数量,并且是1或以上的整数。
代码转换/发送装置1400解码输入的编码运动画面数据的至少一部分,以等于或高于输入数据的压缩率执行得到的图像的压缩编码处理,和把代码转换数据的至少一部分发送到运动画面代码转换/接收装置。代码转换/发送装置1400将输入运动画面数据编码成N个编码数据,并将编码数据作为第一至第N编码运动画面数据发送到第一至第N,N个运动画面代码转换器/发送机1403至1405。
运动画面数据接收机1401接收运动画面数据。运动画面解码器1402解码输入的编码运动画面数据的至少一部分。第一运动画面代码转换器/发送机1403根据预定的压缩处理过程执行输入到代码转换/发送装置的帧的预定压缩编码处理,和把如此得到的编码数据的至少一部分发送到代码转换/接收装置1420。第二至第N运动画面代码转换器/发送机1403至1405以等于或高于第一运动画面代码转/发送机1403的压缩率编码输入的帧,并且把如此得到的编码数据的至少一部分发送到代码转换/接收装置1420。将第一至第N编码运动画面数据中根据发送路径可以使用的频带选择的编码数据发送到第一至第M发送路径1430。
在运动画面代码转换/接收装置1430中,接收发送路径选择器1406从运动画面代码转换/发送装置已经对其发送了编码数据的M个发送路径中选择至少一个发送路径。运动画面代码转换/接收装置1420接收来自选择的发送路径的N个编码数据,并解码和转换接收的数据。
如图14中所示,运动画面代码转换/接收装置1430包括用于接收代码转换/发送装置1400的第一至第N运动画面代码转换器/发送机1403至1405发送的编码数据的第一至第N,N个编码数据接收机1407至1409,和编码数据重构器1410。
编码数据重构器1410,例如,从编码数据接收机1407至1409已经接收到的没有发送错误和丢失的最大N个编码数据中选择并输出具有最低压缩率的良好图像质量的数据。
(8.B)代码转换/发送装置:
图15示出了根据本发明的第八实施例的运动画面代码转换/发送装置1400的详细布置。为了简洁,假设从运动画面代码转换/发送装置输出的编码数据的数量N是2,和用于发送编码数据的发送路径的数量M是2。
如图15中所示,解码器1501解码输入的运动画面数据的至少一部分。第一运动画面代码转换器/发送机1500的、在图14中示为第一运动画面代码转换器/发送机1403的、第一发送帧/数据包生成器1502以等于或高于输入数据的压缩率编码解码的运动画面数据,并把编码数据输出到第一错误检测码附加帧/数据包标识号加法器1503。第一错误检测码附加帧/数据包标识号加法器1503加上错误检测码和帧/数据包标识号,以便接收装置能够检测第一发送帧/数据包生成器1502输出的编码数据包数据的发送错误和数据包丢失。以这种方式,得到第一编码运动画面数据,并且通过预定发送装置发送。同样,如图15中所示,第二运动画面代码转换器/发送机1510的、在图14中示为第一运动画面代码转换器/发送机1404的、第二发送帧/数据包生成器1504,以等于或高于第一运动画面代码转换器/发送机1500的压缩率编码数据,并且将编码数据输出到第二错误检测码附加帧/数据包标识号加法器1505。第二错误检测码附加帧/数据包标识号加法器1505添加错误检测码和帧/数据包标识号,以便接收装置能够检测第二发送帧/数据包生成器1504输出的编码数据包数据的发送错误和数据包丢失。以这种方式,得到第二编码运动画面数据,并通过预定发送装置输出。
在本实施例中,由于M是2和N是2,所以将上述第一和第二编码运动画面代码转换/发送数据发送到两个发送路径的每一个。
不是上述处理器的其它处理器的操作与第三实施例的相同。
本实施例的一个优选特殊示例与第一实施例的相同。运动画面代码转换/接收装置的布置和操作与第三实施例的相同。
(8.C)优点:
根据本实施例,运动画面代码转换/发送装置解码输入的运动画面数据的至少一部分,将同一运动画面数据编码成两个编码数据,和以恒定或自适应变化的时间差发送编码数据。
代码转换/接收装置一侧以帧为单位,从已经正常接收的编码数据中选择和输出具有最低压缩率的良好图像质量的编码数据。
结果是,即使使用了可能会发生高度突发性的频繁发送错误和数据包丢失的、可靠性低的发送路径,也能减小两个编码数据都错误地发送的可能性,防止了数据发送之后产生的解码图像严重损坏。
通过提高第二编码数据的压缩率,可以减少由于第二编码数据的发送造成的发送频带的增加。
此外,可以根据发送路径的情况和运动画面发送者或运动画面接收者的意图,将第一和第二编码数据发送到多个具有不同频带的发送路径,和可以减小发送路径中错误的影响。
此外,由于通过运动画面代码转换/接收装置选择了的两个编码数据中的至少一个,并且通过运动画面代码转换/接收装置输出到运动画面解码装置,所以与普通运动画面解码装置相比,运动画面解码装置所需的计算量不会有大的增加。
在本实施例中,代码转换/发送装置和代码转换/接收装置是相互组合使用的。但是,如果彼此独立地使用它们,也没有问题。可以用交叉的方式,而不是用间隔时段的方式,发送第一至第N代码转换数据。
(9)第九实施例:
根据本发明的第九实施例,代码转换/发送装置一侧,其中N代表整数2或以上的整数,M代表整数1或以上的整数,具有:
(a)第一运动画面代码转换器/发送机,用于对其提供压缩编码数据包数据,解码输入的编码数据包数据的至少一部分,以等于或高于输入的编码数据的压缩率执行数据的至少一部分的压缩编码,和控制利用预定发送装置发送所有数据包或根据输入的运动画面的性质或预定规则自适应选择的数据包;
(b)第二至第N运动画面代码转换器/发送机,用于解码输入的编码数据包数据的至少一部分,以等于或高于第一运动画面转换器/发送机的压缩率执行将数据压缩编码成数据包数据,和控制利用预定发送装置、以恒定或自适应变化的发送时间差、发送获得的所有数据包数据或根据输入的运动画面的性质或预定规则自适应选择的数据包数据;
(c)用于根据第一至第M发送路径可以使用的频带选择第一至第N运动画面代码转换器/发送机的压缩率和/或要发送的编码数据的数量,和将编码数据发送到第一至第M发送路径的机构。
代码转换/接收装置一侧包括选择器,用于从M个发送路径选择至少一个发送路径,接收来自选择的发送路径的N个编码数据,和,例如,从接收的、通过编码同一帧的同一区中的图像产生的、没有发送错误或丢失的数据包数据选择并输出具有最低压缩率的良好图像质量的编码数据包数据的。
代码转换/发送装置和代码转换/接收装置的组成部分的处理和功能是通过可以由用作代码转换/发送装置和代码转换/接收装置的计算机执行的程序实现的。
以下更详细地说明第九实施例:
(9.A)概述:
根据本实施例的布置和操作实质上与根据第八实施例的相同。如图14中所示,该系统包括运动画面代码转换/发送装置,代码转换/接收装置,发和送编码数据的发送路径。整数N代表代码转换/发送装置发送的编码数据的数量,并且是2或以上的整数。整数M代表对其发送了N个编码数据的发送路径的数量,并且是1或以上的整数。
运动画面代码转换/发送装置具有实质上与第八实施例的相同的布置,但是,装置的各种组成部分的操作稍有不同。以下仅说明与第八实施例的不同之处。
运动画面代码转换/发送处理器解码输入的编码运动画面数据的至少一部分,以等于或高于输入的图像数据的压缩率执行得到的图像的预定压缩编码处理,和将代码转换数据发送到运动画面代码转换/接收装置。运动画面代码转换/发送处理器编码的输入帧图像的编码数据包括一个或多个数据包数据,每个数据包数据包括有关包括在输入帧图像中的图像区的编码帧间预报参数和编码压缩微分图像数据。第二至第N运动画面编码器/发送机以等于或高于第一运动画面编码器/发送机的压缩率编码包括在第一运动画面编码器/发送机编码的至少一个数据包中的图像区,和把得到的编码数据包数据发送到运动画面代码转换/接收装置。
运动画面代码转换/接收装置具有一种实质上与第八实施例的布置相同的布置,但是装置的各种组成部分的操作稍有不同。以下仅说明与第八实施例的不同之处。
如同第八实施例的情况,编码数据重构器1410从第一至第N编码数据接收机接收的没有发送错误或丢失的,并且包括同一帧的同一区中的压缩数据的最大N个编码数据包数据,选择具有最低压缩率的良好图像质量的数据包作为要解码的编码数据。编码数据重构器1410对代码转换/发送装置发送的每个数据包数据执行选择。
(9.B)代码转换/发送装置:
除了第一编码数据包生成器1502、第二编码数据包生成器1504、第一错误检测码附加帧/数据包号加法器1503、和第二错误检测码附加帧/数据包号加法器1505的操作不同之外,根据本实施例的运动画面代码转换/发送装置的布置和操作实质上与根据图15中所示的第八实施例的运动画面代码转换/发送装置的相同。以下仅说明不同之处。
在根据本实施例的运动画面数据代码转换/发送装置中,第一编码数据包生成器1502和第二编码数据包生成器1504产生编码数据包数据,使得包括在第一编码数据包生成器1502产生的编码数据包数据中的图像区和包括在第二编码数据包生成器1504产生的编码数据包数据中的图像区彼此相同。上面说明的本实施例的一个优选特殊例子与上述第二实施例的相同。运动画面代码转换/接收装置的布置和操作与第四实施例的相同。
(9.C)优点:
根据第九实施例,运动画面代码转换/发送装置解码输入的运动画面数据的至少一部分,将同一运动画面数据编码成两个编码数据,和以恒定或自适应变化的时间差发送编码数据。
第二运动画面代码转换器/发送机编码包括在第一运动画面代码转换器/发送机编码的数据包中的图像信息。代码转换/发送装置一侧以数据包为单位,从正常接收的编码数据选择并输出具有最低压缩率的良好图像质量的编码数据。
结果是,即使使用了可能会发生高度突发性的频繁发送错误和数据包丢失的、可靠性低的发送路径,也能减小两个编码数据都错误地发送的可能性,防止了数据发送之后产生的解码图像严重损坏。
通过提高第二编码数据的压缩率,可以减少由于第二编码数据的发送造成的发送频带的增加。
此外,可以根据发送路径的情况和运动画面发送者或运动画面接收者的意图,将第一和第二编码数据发送到多个具有不同频带的发送路径,和可以减小发送路径中错误的影响。
此外,由于通过运动画面代码转换/接收装置选择了的两个编码数据中的至少一个,并且通过运动画面代码转换/接收装置输出到运动画面解码装置,所以与普通运动画面解码装置相比,运动画面解码装置所需的计算量不会有大的增加。
在本实施例中,代码转换/发送装置和代码转换/接收装置是相互组合使用的。但是,如果彼此独立地使用它们,也没有问题。可以用交叉的方式,而不是用间隔时段的方式,发送第一至第N代码转换数据。可以根据一种交叉处理方法将第一至第N代码转换数据在它们的序列中混合,从而能够在第n编码数据之后发送第m编码数据(m<n)。可以通过多路复用器多路复用第一至第N代码转换数据然后发送,或可以互相并行地发送。
根据上面每个实施例的一种改进,可以在运动画面代码转换/发送装置中提供用于延迟来自第二至第N运动画面代码转换器/发送机的第二至第N运动画面数据的图5中所示的延迟加法器502,503或延迟加法器506,507,以及用于多路复用从第一运动画面代码转换器/发送机输出的第一编码运动画面数据和加入的延迟的第二至第N编码运动画面数据的图5中所示的多路复用器504,508。作为选择,可以不提供延迟加法器,而是在运动画面代码转换/发送装置中提供多路复用器504,508的布置,以交叉、多路复用、和输出来自运动画面代码转换/发送装置的第一至第N运动画面代码转换器/发送机的第一至第N编码运动画面数据。M个发送路径130(见图1)中的每个可以包括相同的或不同的通信媒介,例如,无线或有线媒介。
(10)第十实施例:
以下说明本发明的另一个实施例。图16示出了本发明的第十实施例的系统布置。如图16中所示,系统包括用于输出编码数据的编码装置40,用于运动画面数据的代码转换/发送装置10,用于运动画面数据的多个(K个)代码转换/接收装置201至20K,和连接到代码转换/接收装置201至20K的多个(K个)解码装置301至30K。每个装置40用作分布编码数据的信息源,并且包括已知的服务器装置。代码转换/发送装置10包括上述按照第一至第十实施例说明过的、根据本发明的任何代码转换/发送装置,例如,图1中所示的代码转换/发送装置100。
用于运动画面数据的多个代码转换/接收装置20中的每一个包括按照第一至第十实施例说明过的、根据本发明的任何代码转换/接收装置,例如,图1中所示的代码转换/接收装置120。解码装置30是用于解码和显示来自代码转换/接收装置20的编码数据的装置(解码器),并且包括现有的产品。
在图16所示的实施例中,将用于在代码转换/发送装置10和代码转换/接收装置201至20K之间传送信息的发送路径130分配给每个代码转换接收装置。即,对于图1所示实施例中的M个发送路径130,M是1,并且提供了多个图1所示的代码转换/接收装置120。代码转换/发送装置10具有N个运动画面代码转换器/发送机(未示出),并且用上述每个实施例的相同方式输出N个编码数据。
在本发明的一个特殊例子中,代码转换/发送装置10连接到一个互联网通信网(未示出),并且编码装置40将根据,例如,UDP/IP协议发送的编码数据输入到代码转换/发送装置10。代码转换/发送装置10的未示出的运动画面代码转换器/发送机根据RTP(实时传输协议)执行处理操作。代码转换/接收装置20起到,例如,连接到互联网通信网的客户终端的作用。
如果在本实施例中的发送路径是无线的,那么经过UDP/IP协议和一个物理层供给从代码转换/发送装置10输出的代码转换数据,并且经过移动数据包通信系统网中的基站,发送到路由器或网关,等等,最后发送到作为目的地的代码转换/接收装置20。在代码转换/接收装置20中,已经通过编码装置40与解码装置30之间的代码转换/发送装置10转换了代码的数据被重构成对应于编码装置40中的原始编码数据的编码数据。根据一种对应于编码装置40执行的编码处理过程的处理过程,解码装置30解码编码数据,并且将运动画面显示在未示出的显示装置上。可以将连接到代码转换/接收装置20的解码装置(解码器)30作为与代码转换/接收装置20集成的终端提供,或提供在为了与用作代码转换/接收装置20的终端通信而连接的终端(个人计算机)中。
在本实施例中,布置代码转换/接收装置20,以将控制信号(请求信号)输出到代码转换/发送装置10。响应控制信号,代码转换/发送装置10将编码数据发送到代码转换/接收装置10。图16示出了控制信号与从代码转换/发送装置10输出的编码数据不同。
使用从代码转换/接收装置20一侧发送到代码转换/发送装置10的控制信号,可以向代码转换/发送装置10指出代码转换/接收装置20的系统信息,例如,IP地址、装置信息、有关与解码装置30兼容的编码方案(例如,ITU推荐的H.261或H263,或ISO/IEC推荐的MPEG视频),等等,从而使得代码转换/发送装置10能够响应请求信号执行匹配代码转换/接收装置20和解码装置30的编码和转换处理。本发明也可以应用到发送路径是有线通信路径的场合。
在图16所示的布置中,可以通过延迟加法器以时段隔离从代码转换/发送装置10分别输出到发送路径13的多个(N个)编码数据,并且通过多路复用器多路复用,如图5中所示。作为选择,可以通过多路复用器交织N个编码数据,以便在它们的序列中混合,并且作为多路复用的输出以时间差发送到发送路径。图5中所示的延迟加法器和多路复用器可以提供在代码转换/发送装置10中。在这种情况下,代码转换/发送装置20具有图5中所示的分割器511。将从接收发送路径选择器选择的发送路径接收的多路复用的发送数据包分割成对应编码数据的数据包,从数据包提取编码数据和重构。根据这个例子,代码转换/发送装置10接收来自作为信息源的编码装置40的编码数据,并且代码转换/发送装置10将数据转换成一种抵抗发送路径13上数据丢失和数据错误的形式,和将数据发送到代码转换/接收装置20一侧。因此,可以用适合于通过发送路径13发送的方式,发送编码数据。解码装置30执行对应于编码装置40执行的编码处理过程的解码处理过程。
尽管结合上述实施例说明了本发明,但是,本发明不限于上述实施例的布置,而是可以通过熟悉本领域的人员进行各种改进和改变,而不脱离专利的权利要求中指出的发明的范围。

Claims (63)

1.一种运动画面数据的代码转换/发送装置,包括:
第一至第M代码转换/发送处理器,其中M是1或1以上的整数,每个代码转换/发送处理器包括:
(a)第一运动画面代码转换器/发送机,用于向其提供输入的压缩编码数据和输出输入的编码数据的至少一个帧;
(b)运动画面数据解码器,用于解码输入的编码数据的至少一部分;以及
(c)第二至第N运动画面代码转换器/发送机,其中N是整数2或2以上的整数,所述第二运动画面代码转换器/发送机以等于或高于所述第一运动画面代码转换器/发送机的压缩率对所述运动画面数据解码器获得的数据进行压缩编码,并输出得到的编码数据的至少一个帧,并且在N为3或3以上的整数的情况下,所述第三至第N运动画面代码转换器/发送机利用通过第二运动画面代码转换器/发送机对该帧执行帧间预测得到的帧间预报参数和预测微分数据中的至少一个,以等于或高于第二运动画面代码转换器/发送机的压缩率,对所述第一运动画面代码转换器/发送机编码的至少一个帧进行压缩编码,并输出得到的编码数据的至少一个帧;
其中,所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
2.一种运动画面数据的代码转换/发送装置,包括:
第一至第M代码转换/发送处理器,其中M是1或1以上的整数,每个代码转换/发送处理器包括:
(a)第一运动画面代码转换器/发送机,用于对其提供输入的压缩编码数据包数据,和输出输入的编码数据包的至少一部分;
(b)运动画面数据解码器,用于解码输入的编码数据包数据的至少一部分;以及
(c)第二至第N运动画面代码转换器/发送机,其中N是整数2或2以上的整数,所述第二运动画面代码转换器/发送机以等于或高于所述第一运动画面代码转换器/发送机的压缩率对所述运动画面数据解码器获得的数据进行压缩编码,并输出得到的编码数据的至少一部分,并且在N为3或3以上的整数的情况下,所述第三至第N运动画面代码转换器/发送机利用通过第二运动画面代码转换器/发送机对图像区执行帧间预测得到的帧间预报参数和预测微分数据中的至少一个,以等于或高于第二运动画面代码转换器/发送机的压缩率,对所述第二运动画面代码转换器/发送机编码的数据包数据进行压缩编码,并输出得到的编码数据的至少一部分;
其中,所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
3.一种运动画面数据的代码转换/发送装置,包括:
第一至第M代码转换/发送处理器,其中M是1或1以上的整数,每个代码转换/发送处理器包括:
(a)运动画面数据解码器,用于解码输入的编码数据的至少一部分;
(b)第一运动画面代码转换器/发送机,编码通过运动画面数据解码器解码输入的编码数据产生的运动画面数据的至少一个帧,和输出如此得到的编码数据的至少一部分;以及
(c)第二至第N运动画面代码转换器/发送机,用于再编码所述第一运动画面代码转换器/发送机编码的至少一个帧,利用通过所述第一运动画面代码转换器/发送机对所述帧执行帧间预测得到的帧间预报参数和预测微分数据中的至少一个,和将如此得到的编码数据输出,其中N是整数2或2以上的整数;
其中,所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
4.一种运动画面数据的代码转换/发送装置,包括:
第一至第M代码转换/发送处理器,其中M是1或1以上的整数,每个代码转换/发送处理器包括:
(a)运动画面数据解码器,用于解码输入的编码数据包数据的至少一部分;
(b)第一运动画面代码转换器/发送机,再编码通过运动画面数据解码器解码得到的数据,和输出如此得到的编码数据包数据的至少一部分;以及
(c)第二至第N运动画面代码转换/发送装置,用于编码通过所述第一运动画面代码转换器/发送机编码的数据包数据的至少一部分中的每个所述数据包数据编码的图像区,利用通过所述第一运动画面代码转换器/发送机对所述图像区执行的帧间预测得到的帧间预报参数和预测微分数据中的至少一个,和输出如此得到的编码数据包数据的至少一部分,其中N是整数2或2以上的整数;
其中,所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
5.一种运动画面数据的代码转换/发送装置,包括:
第一至第M代码转换/发送处理器,其中M是1或1以上的整数,每个代码转换/发送处理器包括:
(a)运动画面数据解码器,用于解码输入的编码数据包数据;
(b)第一运动画面代码转换器/发送机,编码通过运动画面数据解码器解码得到的数据的至少一个帧,和输出如此得到的编码数据的至少一部分的;以及
(c)第二至第N运动画面代码转换器/发送机,用于编码通过所述第一运动画面代码转换器/发送机编码的至少一个帧,利用在所述第一运动画面代码转换器/发送机对所述帧执行的帧间预测中使用的参考帧图像,和输出如此得到的编码数据的至少一部分,其中N是整数2或2以上的整数;
其中,所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
6.一种运动画面数据的代码转换/发送装置,包括:
第一至第M代码转换/发送处理器,其中M是1或1以上的整数,每个代码转换/发送处理器包括:
(a)运动画面数据解码器,用于解码输入的编码数据包数据;
(b)第一运动画面代码转换器/发送机,编码通过运动画面数据解码器解码得到的数据的至少一部分,和输出如此得到的编码数据包数据的至少一部分;以及
(c)第二至第N运动画面代码转换器/发送机,用于编码通过所述第一运动画面代码转换器/发送机编码的数据包数据的至少一部分中的每个所述数据包数据编码的图像区,利用一个在所述第一运动画面代码转换器/发送机对所述图像区执行帧间预测中使用的参考帧图像,和输出如此得到的数据包数据的至少一部分,其中N是整数2或2以上的整数;
其中,所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
7.一种运动画面数据的代码转换/发送装置,包括:
第一至第M代码转换/发送处理器,其中M是1或1以上的整数,每个代码转换/发送处理器包括:
(a)第一运动画面代码转换器/发送机,用于对其提供输入的压缩编码数据包数据,和输出至少一个输入的数据包;
(b)运动画面数据复制器,用于复制所述第一运动画面代码转换/发送装置输入的数据包数据的至少一个数据包;以及
(c)第二至第N运动画面代码转换器/发送机,以时间差输出运动画面数据复制器复制得到的数据包数据的至少一部分,其中N是整数2或2以上的整数;
其中,所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
8.一种运动画面数据的代码转换/发送装置,包括:
第一至第M代码转换/发送处理器,其中M是1或1以上的整数,每个代码转换/发送处理器包括:
(a)运动画面数据解码器,用于解码输入的编码数据的至少一部分;
(b)第一运动画面代码转换器/发送机,输出通过编码运动画面数据解码器解码得到的数据产生的至少一个帧;以及
(c)第二至第N运动画面代码转换器/发送机,用于编码运动画面数据解码器产生的数据,和输出如此得到的编码数据的至少一个帧,其中N是整数2或2以上的整数;
其中,所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
9.一种运动画面数据的代码转换/发送装置,包括:
第一至第M代码转换/发送处理器,其中M是1或1以上的整数,每个代码转换/发送处理器包括:
(a)运动画面数据解码器,用于解码输入的编码数据包数据的至少一部分;
(b)第一运动画面代码转换器/发送机,输出通过编码运动画面数据解码器解码得到的数据产生的至少一个数据包;以及
(c)第二至第N运动画面代码转换器/发送机,编码通过运动画面数据解码器解码得到的数据,和输出如此得到的数据包数据的至少一部分,其中N是整数2或2以上的整数;
其中,所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
10.根据权利要求1,3,5和8中的任何一项所述的代码转换/发送装置,其中所述第一至第N运动画面代码转换器/发送机中的至少一个,根据运动画面的性质或预定规则,选择至少一个帧。
11.根据权利要求2,4,6,7和9中的任何一项所述的代码转换/发送装置,其中所述第一至第N运动画面代码转换器/发送机中的至少一个,根据运动画面的性质或预定规则,选择至少一个数据包。
12.根据权利要求3至6,8和9中的任何一项所述的代码转换/发送装置,其中,当所述第一运动画面代码转换器/发送机编码通过解码得到的数据时,所述第一运动画面代码转换器/发送机以等于或高于所述输入的编码数据的压缩率压缩数据。
13.根据权利要求1或2所述的代码转换/发送装置,其中,当所述第二至第N运动画面代码转换器/发送机编码通过解码得到的数据时,所述第二至第N运动画面代码转换器/发送机以等于或高于所述输入的编码数据的压缩率压缩数据。
14.根据权利要求3至6,8和9中的任何一项所述的代码转换/发送装置,其中,当所述第二至第N运动画面代码转换器/发送机编码通过解码得到的数据时,所述第二至第N运动画面代码转换器/发送机以等于或高于所述第一运动画面代码转换器/发送机的压缩率压缩数据。
15.根据权利要求1至9中任何一个所述的代码转换/发送装置,包括用于控制所述第二至第N运动画面代码转换器/发送机的输出,和所述第一运动画面代码转换器/发送机的输出,以便以时间差输出,或输出到所述第一至第N运动画面代码转换器/发送机中的每一个的装置。
16.根据权利要求15所述的代码转换/发送装置,其中用于所述第一至第N运动画面代码转换器/发送机的输出的时间差是根据发送路径的状态和/或预定规则建立的。
17.根据权利要求1至9中的任何一项所述的代码转换/发送装置,包括用于根据所述第一至第M发送路径可以使用的频带、选择第一至第N运动画面代码转换器/发送机的压缩率和/或要发送的编码数据的数量,和将数据发送到所述第一至第M发送路径的装置。
18.根据权利要求1至9中的任何一项所述的代码转换/发送装置,
其中所述第一至第M代码转换/发送处理器的输出被分别发送到所述第一至第M发送路径。
19.根据权利要求1至9中任何一个所述的代码转换/发送装置,包括:
用于以时间差多路复用和输出所述第一至第M代码转换/发送处理器的所述第一至第N运动画面代码转换器/发送机的第一至第N编码数据输出的装置;
其中所述第一至第M代码转换/发送处理器的多路复用的输出被分别发送到所述第一至第M发送路径。
20.根据权利要求19所述的代码转换/发送装置,其中为了多路复用所述第一至第N运动画面代码转换器/发送机的输出而设定的时间差是根据发送路径的状态和/或预定规则设定的。
21.根据权利要求1,3,5和8中的任何一项所述的代码转换/发送装置,其中,
所述运动画面数据解码器由所述第一至第N运动画面代码转换器/发送机的多个运动画面代码转换器/发送机共享;
其中在给编码数据进行编码时,所述多个运动画面代码转换器/发送机编码从所述运动画面数据解码器输出的解码数据。
22.根据权利要求2,4,6和9中的任何一项所述的代码转换/发送装置,其中,
所述运动画面数据解码器由所述第一至第N运动画面代码转换器/发送机的多个运动画面代码转换器/发送机共享;
其中在给数据包数据编码时,所述多个运动画面代码转换器/发送机中的每个编码从所述运动画面数据解码器输出的数据包数据。
23.一种运动画面数据的代码转换/接收装置,包括:
选择装置,用于从第一至第M发送路径选择用于接收编码数据的发送路径,其中M是整数1或1以上的整数;
用于接收来自所述选择装置选择的发送路径的编码数据,提取接收的没有发送错误和丢失的编码数据的装置;和
根据提取的编码数据重构编码数据并输出重构的编码数据的装置。
24.根据权利要求23所述的代码转换/接收装置,包括用于根据压缩率和/或图像质量,选择从所述选择的发送路径接收的同一帧中的编码数据的装置。
25.一种运动画面数据的代码转换/接收装置,包括:
选择装置,用于从第一至第M发送路径选择用于接收编码数据的发送路径,其中M是整数1或1以上的整数;和
用于接收来自所述选择装置选择的发送路径的编码数据,提取接收的没有发送错误和丢失的编码数据包数据的装置;和
根据提取的编码数据包数据重构编码数据包数据并输出重构的编码数据包数据的装置。
26.根据权利要求25所述的代码转换/接收装置,包括用于根据压缩率和/或图像质量,选择通过编码从所述选择的发送路径接收的同一帧的同一区中的图像产生的数据包数据的装置。
27.一种运动画面数据的代码转换/发送系统,包括根据权利要求1,3,5和8中的任何一项所述的代码转换/发送装置,和根据权利要求23或24所述的代码转换/接收装置。
28.根据权利要求27所述的代码转换/发送系统,包括用于控制延迟,多路复用数据,和输出多路复用的数据,以便能够以时间差发送所述运动画面数据的代码转换/发送装置的所述第一至第N运动画面代码转换器/发送机的输出的装置,其中多路复用的数据被发送到发送路径。
29.一种运动画面数据的代码转换/发送系统,包括一个根据权利要求2,4,6,7和9中的任何一项所述的代码转换/发送装置,和根据权利要求25或26所述的代码转换/接收装置。
30.根据权利要求29所述的代码转换/发送系统,包括用于控制延迟,多路复用数据,和输出多路复用的数据,以便能够以时间差发送所述运动画面数据的代码转换/发送装置的所述第一至第N运动画面代码转换器/发送机的输出的装置,其中多路复用的数据被发送到发送路径。
31.根据权利要求28或30所述的代码转换/发送系统,其中所述运动画面数据的代码转换/发送装置的所述第一至第N运动画面代码转换器/发送机的输出的所述时间差,是根据发送路径的状态和/或预定规则建立的。
32.一种运动画面数据的代码转换/发送系统,包括:
用于输出编码数据的编码装置;
根据权利要求1,3,5和8中的任何一项所述的代码转换/发送装置;
多个根据权利要求23或24所述的代码转换/接收装置;和
多个解码装置;
其中将来自所述编码装置的编码数据输入到所述运动画面数据的代码转换/发送装置;
将来自所述运动画面数据的代码转换/发送装置的输出提供给所述多个运动画面数据的代码转换/接收装置;和
将来自所述多个运动画面的代码转换/接收装置的编码数据提供给所述多个解码装置,并且解码。
33.根据权利要求32所述的代码转换/发送系统,其中所述运动画面数据的代码转换/发送装置,响应分别来自所述多个运动画面数据的代码转换/接收装置的控制信号,将编码数据发送到所述多个运动画面数据的代码转换/接收装置。
34.一种运动画面数据的代码转换/发送系统,包括:
用于输出编码数据的编码装置;
根据权利要求2,4,6,7和9中的任何一项所述的代码转换/发送装置;
多个根据权利要求25或26所述的代码转换/接收装置;和
多个解码装置;
其中将来自所述编码装置的编码数据输入到所述运动画面数据的代码转换/发送装置;
将来自所述运动画面数据的代码转换/发送装置的输出,提供给所述多个运动画面数据的代码转换/接收装置;和
将来自所述多个运动画面数据的代码转换/接收装置的编码数据提供给所述多个解码装置,并且解码。
35.根据权利要求34所述的代码转换/发送系统,其中所述运动画面数据的代码转换/发送装置,响应分别来自所述多个运动画面数据的代码转换/接收装置的控制信号,将编码数据发送到所述多个运动画面数据的代码转换/接收装置。
36.一种运动画面数据的代码转换/发送方法,该方法是由具有第一至第M代码转换/发送处理器的代码转换/发送装置执行的,其中M是1或1以上的整数,每个代码转换/发送处理器包括第一至第N运动画面代码转换器/发送机,N是整数2或2以上的整数,该方法包括步骤:
(a)使输入的压缩编码数据提供给所述第一运动画面代码转换器/发送机并且输出输入的编码数据的至少一个帧;
(b)解码输入的编码数据的至少一部分;
(c)使所述第二运动画面代码转换器/发送机以等于或高于所述第一运动画面代码转换器/发送机的压缩率对所述运动画面数据解码器获得的数据进行压缩编码,并输出得到的编码数据的至少一个帧,并且在N为3或3以上的整数的情况下,所述第三至第N运动画面代码转换器/发送机利用通过第二运动画面代码转换器/发送机对该帧执行帧间预测得到的帧间预报参数和预测微分数据中的至少一个,以等于或高于第二运动画面代码转换器/发送机的压缩率,对所述第一运动画面代码转换器/发送机编码的至少一个帧进行压缩编码,并输出得到的编码数据的至少一个帧;和
(d)将所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
37.一种运动画面数据的代码转换/发送方法,该方法是由具有第一至第M代码转换/发送处理器的代码转换/发送装置执行的,其中M是1或1以上的整数,每个代码转换/发送处理器包括第一至第N运动画面代码转换器/发送机,N是整数2或2以上的整数,该方法包括步骤:
(a)使输入的压缩编码数据包数据提供给所述第一运动画面代码转换器/发送机并且输出输入的数据包的至少一部分;
(b)解码输入的编码数据包数据的至少一部分;
(c)使所述第二运动画面代码转换器/发送机以等于或高于所述第一运动画面代码转换器/发送机的压缩率对所述运动画面数据解码器获得的数据进行压缩编码,并输出得到的编码数据的至少一部分,并且在N为3或3以上的整数的情况下,所述第三至第N运动画面代码转换器/发送机利用通过第二运动画面代码转换器/发送机对图像区执行帧间预测得到的帧间预报参数和预测微分数据中的至少一个,以等于或高于第二运动画面代码转换器/发送机的压缩率,对所述第二运动画面代码转换器/发送机编码的数据包数据进行压缩编码,并输出得到的编码数据的至少一部分;和
(d)将所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
38.一种运动画面数据的代码转换/发送方法,该方法是由具有第一至第M代码转换/发送处理器的代码转换/发送装置执行的,其中M是1或1以上的整数,每个代码转换/发送处理器包括第一至第N运动画面代码转换器/发送机,N是整数2或2以上的整数,该方法包括步骤:
(a)解码输入的编码数据的至少一部分;
(b)使所述第一运动画面代码转换器/发送机编码通过解码产生的运动画面数据的至少一个帧,和输出如此得到的编码数据的至少一部分;
(c)使所述第二至第N运动画面代码转换器/发送机再编码所述第一运动画面代码转换器/发送机编码的至少一个帧,利用通过所述第一运动画面代码转换器/发送机对所述帧执行帧间预测得到的帧间预报参数和预测微分数据中的至少一个,并且输出如此得到的编码数据的至少一部分;和
(d)将所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
39.一种运动画面数据的代码转换/发送方法,该方法是由具有第一至第M代码转换/发送处理器的代码转换/发送装置执行的,其中M是1或1以上的整数,每个代码转换/发送处理器包括第一至第N运动画面代码转换器/发送机,N是整数2或2以上的整数,该方法包括步骤:
(a)解码输入的编码数据包数据的至少一部分;
(b)使所述第一运动画面代码转换器/发送机再编码通过解码得到的数据,和输出如此得到的编码数据的至少一部分;
(c)使所述第二至第N运动画面代码转换器/发送机编码通过所述第一运动画面代码转换器/发送机编码的数据包数据的至少一部分中的每个所述数据包数据编码的图像区,利用通过所述第一运动画面代码转换器/发送机对所述图像区执行的帧间预测得到的帧间预报参数和预报微分数据中的至少一个,和输出如此得到的编码数据包数据的至少一部分;和
(d)将所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
40.一种运动画面数据的代码转换/发送方法,该方法是由具有第一至第M代码转换/发送处理器的代码转换/发送装置执行的,其中M是1或1以上的整数,每个代码转换/发送处理器包括第一至第N运动画面代码转换器/发送机,N是整数2或2以上的整数,该方法包括步骤:
(a)解码输入的编码数据包数据;
(b)使所述第一运动画面代码转换器/发送机编码通过解码得到的数据的至少一个帧,和输出如此得到的编码数据的至少一部分;
(c)使所述第二至第N运动画面代码转换器/发送机编码通过所述第一运动画面代码转换器/发送机编码的至少一个帧,利用在所述第一运动画面代码转换器/发送机对所述帧执行帧间预测中使用的参考帧图像,和输出如此得到的编码数据的至少一部分;和
(d)将所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
41.一种运动画面数据的代码转换/发送方法,该方法是由具有第一至第M代码转换/发送处理器的代码转换/发送装置执行的,其中M是1或1以上的整数,每个代码转换/发送处理器包括第一至第N运动画面代码转换器/发送机,N是整数2或2以上的整数,方法包括步骤:
(a)解码输入的编码数据包数据;
(b)使所述第一运动画面代码转换器/发送机编码通过解码得到的数据,和输出如此得到的编码数据包数据的至少一部分;
(c)使所述第二至第N运动画面代码转换器/发送机编码通过所述第一运动画面代码转换器/发送机编码的数据包数据的至少一部分中的每个所述数据包数据编码的至少一部分数据包数据中的所述数据包数据编码的图像区,利用在所述第一运动画面代码转换器/发送机对所述图像区执行的帧间预测中使用的参考帧图像,和输出如此得到的数据包数据的至少一部分;和
(d)将所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
42.一种运动画面数据的代码转换/发送方法,该方法是由具有第一至第M代码转换/发送处理器的代码转换/发送装置执行的,其中M是1或1以上的整数,每个代码转换/发送处理器包括第一至第N运动画面代码转换器/发送机,N是整数2或2以上的整数,方法包括步骤:
(a)使输入的压缩编码数据包数据提供给所述第一运动画面代码转换器/发送机并输出输入的数据包的至少一部分;
(b)复制所述第一运动画面代码转换/发送装置输入的数据包数据的至少一个数据包;
(c)使第二至第N运动画面代码转换器/发送机以时间差输出通过复制得到的数据包数据的至少一部分;和
(d)将所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
43.一种运动画面数据的代码转换/发送方法,该方法是由具有第一至第M代码转换/发送处理器的代码转换/发送装置执行的,其中M是1或1以上的整数,每个代码转换/发送处理器包括第一至第N运动画面代码转换器/发送机,N是整数2或2以上的整数,该方法包括步骤:
(a)解码输入的编码数据的至少一部分;
(b)使所述第一运动画面代码转换器/发送机输出通过编码解码得到的数据产生的至少一个帧;
(c)使所述第二至第N运动画面代码转换器/发送机编码解码得到的数据,和输出如此得到的编码数据的至少一个帧;和
(d)将所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
44.一种运动画面数据的代码转换/发送方法,该方法是由具有第一至第M代码转换/发送处理器的代码转换/发送装置执行的,其中M是1或1以上的整数,每个代码转换/发送处理器包括第一至第N运动画面代码转换器/发送机,N是整数2或2以上的整数,该方法包括步骤:
(a)解码输入的编码数据包数据的至少一部分;
(b)使所述第一运动画面代码转换器/发送机输出通过编码解码得到的数据产生的至少一个数据包;
(c)使所述第二至第N运动画面代码转换器/发送机编码通过解码产生的数据,和输出如此得到的数据包数据的至少一部分;和
(d)将所述第一至第M代码转换/发送处理器的输出选择性发送到第一至第M发送路径。
45.根据权利要求36,38,40和43中的任何一项所述的代码转换/发送方法,其中根据运动画面的性质或预定规则选择至少一个帧。
46.根据权利要求37,39,41,42和44中的任何一项所述的代码转换/发送方法,其中根据运动画面的性质或预定规则选择至少一个数据包。
47.根据权利要求38至44中的任何一项所述的代码转换/发送方法,其中在所述步骤(a),当所述第一运动画面代码转换器/发送机编码解码得到的数据时,所述第一运动画面代码转换器/发送机以等于或高于所述输入的编码数据的压缩率的压缩率压缩数据。
48.根据权利要求36或37所述的代码转换/发送方法,其中在所述步骤(c),当所述第二至第N运动画面代码转换器/发送机编码解码得到的数据时,所述第二至第N运动画面代码转换器/发送机以等于或高于所述输入的编码数据的压缩率的压缩率压缩数据。
49.根据权利要求38至42中的任何一项所述的代码转换/发送方法,其中在所述步骤(c),当所述第二至第N运动画面代码转换器/发送机编码解码得到的数据时,所述第二至第N运动画面代码转换器/发送机以等于或高于所述第二至第N运动画面代码转换器/发送机的压缩率的压缩率压缩数据。
50.根据权利要求33、35至42中的任何一项所述的代码转换/发送方法,其中在所述步骤(c)中的所述第二至第N运动画面代码转换器/发送机的输出和在所述步骤(a)中的输出,是以时间差输出的,和/或所述步骤(c)中的相应输出是以时间差输出的。
51.根据权利要求50所述的代码转换/发送方法,其中用于所述第一至第N运动画面代码转换器/发送机的输出的时间差是根据发送路径的状态和/或预定规则建立的。
52.根据权利要求33、35至42中的任何一项所述的代码转换/发送方法,其中所述第一至第N运动画面代码转换器/发送机的压缩率和/或要发送的编码数据的数量是根据所述第一至第M发送路径可以使用的频带选择的,并且将数据发送到所述第一至第M发送路径。
53.根据权利要求36至41,43和44中的任何一项所述的代码转换/发送方法,其中将通过在共用运动画面解码装置中解码得到的数据,提供给所述第一至第N运动画面代码转换器/发送机中的、用于编码解码运动画面数据产生的数据的、多个运动画面代码转换器/发送机。
54.一种运动画面数据的代码转换/接收方法,包括步骤:
从M个发送路径中选择至少一个发送路径,其中M是整数1或1以上的整数;和
接收来自选择的发送路径的编码数据,提取接收的没有发送错误和丢失的编码数据,和根据提取的编码数据重构编码数据并输出重构的编码数据。
55.根据权利要求54所述的代码转换/接收方法,其中如果接收到同一帧中的多个编码数据,那么根据压缩率和/或图像质量选择一个编码数据。
56.一种运动画面数据的代码转换/接收方法,包括步骤:
从M个发送路径中选择至少一个发送路径,其中M是整数1或1以上的整数;和
接收来自选择的发送路径的编码数据,提取接收的编码发送错误和丢失的编码数据包数据,和根据提取的编码数据包数据重构编码数据包数据并输出重构的编码数据包数据。
57.根据权利要求56所述的代码转换/接收方法,其中如果接收到通过编码同一帧的同一区中的图像产生的多个数据包数据,那么根据压缩率和/或图像质量选择一个数据包数据。
58.一种运动画面数据的代码发送方法,包括根据权利要求54或55的代码转换/接收方法,接收根据权利要求36,38,40和43中的任何一项所述的代码转换/发送方法发送的编码数据的步骤。
59.一种运动画面数据的代码发送方法,包括根据权利要求55或57的代码转换/接收方法,接收根据权利要求37,39,41,42和44中的任何一项所述的代码转换/发送方法发送的编码数据的步骤。
60.一种用于对其提供编码数据和把编码数据输出到发送路径的代码转换/发送设备,包括:
多个代码转换/发送装置,用于分别输出输入的编码数据和通过再编码输入的编码数据产生的编码数据,或输出多个包括通过再编码输入的编码数据产生的编码数据的编码数据;
其中所述多个代码转换/发送装置输出所述输入的编码数据和/或所述再编码的编码数据的至少一部分,和把所述多个编码数据发送到一个发送路径或多个发送路径。
61.根据权利要求60所述的代码转换/发送设备,其中所述多个代码转换/发送装置中的一个,以等于或高于其它代码转换/发送装置的压缩编码中的压缩率,编码数据。
62.一种用于接收从根据权利要求60或61所述的代码转换/发送装置发送到发送路径的编码数据的代码转换/接收装置,包括:
用于从所述发送路径或所述多个发送路径中,选择用于接收数据的发送路径的装置;和
用于接收来自所述选择的发送路径的编码数据,和根据正常接收的编码数据重构编码数据的装置。
63.一种代码发送系统包括:
根据权利要求60或61的代码转换/发送设备;和
至少一个根据权利要求62的代码转换/接收装置;
其中所述代码转换/发送设备接收从分布编码数据的装置发送的编码数据,和输出通过接收的编码数据的代码转换产生的编码数据;
所述代码转换/接收装置接收从所述代码转换/发送设备输出的编码数据。
CNB038147947A 2002-04-26 2003-04-28 运动画面数据的代码转换/发送方法和装置和运动画面数据的代码转换/接收方法和装置 Expired - Fee Related CN100380976C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP126674/2002 2002-04-26
JP2002126674 2002-04-26

Publications (2)

Publication Number Publication Date
CN1663282A CN1663282A (zh) 2005-08-31
CN100380976C true CN100380976C (zh) 2008-04-09

Family

ID=29267609

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038147947A Expired - Fee Related CN100380976C (zh) 2002-04-26 2003-04-28 运动画面数据的代码转换/发送方法和装置和运动画面数据的代码转换/接收方法和装置

Country Status (8)

Country Link
US (2) US7957465B2 (zh)
EP (1) EP1501310A4 (zh)
JP (2) JP4803343B2 (zh)
KR (1) KR100752287B1 (zh)
CN (1) CN100380976C (zh)
CA (1) CA2483516C (zh)
HK (1) HK1075779A1 (zh)
WO (1) WO2003092296A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100798162B1 (ko) * 2003-04-10 2008-01-28 닛본 덴끼 가부시끼가이샤 동화상 압축 부호화 방식 변환 장치 및 동화상 통신 시스템
WO2005074182A1 (ja) * 2004-01-28 2005-08-11 Nec Corporation コンテンツの配信方法、エンコード方法及び受信再生方法と装置並びにプログラム
JP4475235B2 (ja) * 2004-01-28 2010-06-09 日本電気株式会社 コンテンツの符号化、配信及び受信方法と装置とシステムならびにプログラム
US7653869B2 (en) * 2005-02-18 2010-01-26 Sony Corporation System and method for error correction in high definition TV signal
JP4761078B2 (ja) * 2005-08-29 2011-08-31 日本電気株式会社 マルチキャストノード装置とマルチキャスト転送方法ならびにプログラム
JP4577574B2 (ja) * 2006-02-07 2010-11-10 日本電気株式会社 データ送信装置及びデータ受信装置並びにデータ送信方法及びデータ受信方法
US8031701B2 (en) 2006-09-11 2011-10-04 Cisco Technology, Inc. Retransmission-based stream repair and stream join
US8873932B2 (en) 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8155207B2 (en) 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US8769591B2 (en) 2007-02-12 2014-07-01 Cisco Technology, Inc. Fast channel change on a bandwidth constrained network
JP4777274B2 (ja) * 2007-02-19 2011-09-21 キヤノン株式会社 映像再生装置及びその制御方法
JP4765980B2 (ja) * 2007-03-30 2011-09-07 株式会社日立製作所 通信ネットワークシステム
US20080253369A1 (en) 2007-04-16 2008-10-16 Cisco Technology, Inc. Monitoring and correcting upstream packet loss
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) * 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US7995578B2 (en) * 2007-12-14 2011-08-09 Electronics And Telecommunications Research Institute Repetition apparatus and method for repeatedly transmitting and receiving data packet using different puncturing patterns
US8780123B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Interrupt handling techniques in the rasterizer of a GPU
US9064333B2 (en) 2007-12-17 2015-06-23 Nvidia Corporation Interrupt handling techniques in the rasterizer of a GPU
US8787153B2 (en) 2008-02-10 2014-07-22 Cisco Technology, Inc. Forward error correction based data recovery with path diversity
US8332884B2 (en) * 2008-02-20 2012-12-11 Rovi Solutions Corporation Apparatus for and a method of providing content data
US8681861B2 (en) * 2008-05-01 2014-03-25 Nvidia Corporation Multistandard hardware video encoder
US8923385B2 (en) 2008-05-01 2014-12-30 Nvidia Corporation Rewind-enabled hardware encoder
US8886022B2 (en) 2008-06-12 2014-11-11 Cisco Technology, Inc. Picture interdependencies signals in context of MMCO to assist stream manipulation
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8964851B2 (en) * 2009-06-09 2015-02-24 Sony Corporation Dual-mode compression of images and videos for reliable real-time transmission
US8457425B2 (en) * 2009-06-09 2013-06-04 Sony Corporation Embedded graphics coding for images with sparse histograms
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US8582654B1 (en) * 2009-09-30 2013-11-12 Hewlett-Packard Development Company, L.P. Generating a deblocked version of video frames using motion estimation
GB0921831D0 (en) 2009-12-14 2010-01-27 British Telecomm Graphical data delivery
GB201000738D0 (en) * 2010-01-18 2010-03-03 British Telecomm Graphical data processing
US9621930B2 (en) * 2010-05-07 2017-04-11 Deutsche Telekom Ag Distributed transcoding of video frames for transmission in a communication network
JP2013143747A (ja) * 2012-01-12 2013-07-22 Fuji Xerox Co Ltd 画像転送装置及びプログラム
US9141297B2 (en) 2012-06-25 2015-09-22 Cleversafe, Inc. Verifying encoded data slice integrity in a dispersed storage network
US11093327B1 (en) 2012-06-25 2021-08-17 Pure Storage, Inc. Failure abatement approach for failed storage units common to multiple vaults
US9967583B2 (en) 2012-07-10 2018-05-08 Qualcomm Incorporated Coding timing information for video coding
JP6439414B2 (ja) * 2014-12-01 2018-12-19 富士通株式会社 通信装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0748711B2 (ja) * 1987-02-20 1995-05-24 日本電信電話株式会社 信号伝送方式
JPH10224746A (ja) * 1997-02-05 1998-08-21 Kokusai Electric Co Ltd 画像伝送システム
JPH11164262A (ja) * 1997-09-26 1999-06-18 Fuurie Kk 映像データの伝送方法
JPH11225161A (ja) * 1998-02-05 1999-08-17 Matsushita Electric Ind Co Ltd データ処理方法およびデータ処理装置
JP2008017786A (ja) * 2006-07-14 2008-01-31 Kenjiro Anai イカ角投入器

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2179973C (en) * 1995-06-30 2002-03-05 Takayuki Nagashima Image transmission apparatus, image transmission system, and communication apparatus
US6014694A (en) * 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6181711B1 (en) * 1997-06-26 2001-01-30 Cisco Systems, Inc. System and method for transporting a compressed video and data bit stream over a communication channel
JP4148371B2 (ja) * 1997-12-09 2008-09-10 松下電器産業株式会社 受信装置
JPH11331305A (ja) * 1998-05-08 1999-11-30 Sony Corp 送信装置および送信方法、受信装置および受信方法、並びに提供媒体
JP3974712B2 (ja) * 1998-08-31 2007-09-12 富士通株式会社 ディジタル放送用送信・受信再生方法及びディジタル放送用送信・受信再生システム並びにディジタル放送用送信装置及びディジタル放送用受信再生装置
US7016337B1 (en) * 1999-03-02 2006-03-21 Cisco Technology, Inc. System and method for multiple channel statistical re-multiplexing
JP2001007786A (ja) * 1999-06-21 2001-01-12 Matsushita Electric Ind Co Ltd データ通信方法およびシステム
US6795506B1 (en) * 1999-10-05 2004-09-21 Cisco Technology, Inc. Methods and apparatus for efficient scheduling and multiplexing
JP3874153B2 (ja) * 1999-12-06 2007-01-31 ソニー株式会社 再符号化装置および再符号化方法、符号化装置および符号化方法、復号装置および復号方法、並びに、記録媒体
US6493386B1 (en) * 2000-02-02 2002-12-10 Mitsubishi Electric Research Laboratories, Inc. Object based bitstream transcoder
JP2001333094A (ja) * 2000-05-22 2001-11-30 Sony Corp 通信装置および通信方法
US6904094B1 (en) * 2000-09-20 2005-06-07 General Instrument Corporation Processing mode selection for channels in a video multi-processor system
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
GB2377573B (en) * 2001-07-11 2004-03-31 Motorola Inc Video transmission system, video tranmission unit and methods of encoding/decoding video data
US7088398B1 (en) * 2001-12-24 2006-08-08 Silicon Image, Inc. Method and apparatus for regenerating a clock for auxiliary data transmitted over a serial link with video data
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
JP4016709B2 (ja) * 2002-04-26 2007-12-05 日本電気株式会社 オーディオデータの符号変換伝送方法と符号変換受信方法及び装置とシステムならびにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0748711B2 (ja) * 1987-02-20 1995-05-24 日本電信電話株式会社 信号伝送方式
JPH10224746A (ja) * 1997-02-05 1998-08-21 Kokusai Electric Co Ltd 画像伝送システム
JPH11164262A (ja) * 1997-09-26 1999-06-18 Fuurie Kk 映像データの伝送方法
JPH11225161A (ja) * 1998-02-05 1999-08-17 Matsushita Electric Ind Co Ltd データ処理方法およびデータ処理装置
JP2008017786A (ja) * 2006-07-14 2008-01-31 Kenjiro Anai イカ角投入器

Also Published As

Publication number Publication date
EP1501310A1 (en) 2005-01-26
WO2003092296A1 (en) 2003-11-06
JP2009189058A (ja) 2009-08-20
KR20040106388A (ko) 2004-12-17
JP5463733B2 (ja) 2014-04-09
HK1075779A1 (en) 2005-12-23
US7957465B2 (en) 2011-06-07
CN1663282A (zh) 2005-08-31
JPWO2003092296A1 (ja) 2005-09-08
US20110194604A1 (en) 2011-08-11
CA2483516C (en) 2010-02-09
CA2483516A1 (en) 2003-11-06
KR100752287B1 (ko) 2007-08-29
JP4803343B2 (ja) 2011-10-26
US20050226325A1 (en) 2005-10-13
EP1501310A4 (en) 2012-07-11

Similar Documents

Publication Publication Date Title
CN100380976C (zh) 运动画面数据的代码转换/发送方法和装置和运动画面数据的代码转换/接收方法和装置
CN101622879B (zh) 以rtp净荷格式传输sei消息
RU2487473C2 (ru) Переключение между режимами кодирования коэффициентов дискретного косинусного преобразования
CN1856111B (zh) 视频信号编解码方法、编解码器及其相关的设备
CN101729898B (zh) 视频编码、解码方法与视频编码、解码装置
JP4016709B2 (ja) オーディオデータの符号変換伝送方法と符号変換受信方法及び装置とシステムならびにプログラム
CN101617538A (zh) 用于视频编码中扩展空间可分级性的改进层间预测
CN102656885A (zh) 合并编码比特流
CN100508622C (zh) 使用前向纠错码的视频无漂移分数多描述信道编码的系统和方法
WO2003092208A1 (en) Encoded packet transmission/reception method, device thereof, and program
CN105393481A (zh) 信息处理装置、信息处理方法和程序
JP4604851B2 (ja) 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム
KR20050031460A (ko) 하이브리드 예측 코드를 사용하는 다중 표현 움직임보상을 수행하는 방법 및 장치
US10750185B2 (en) High speed scalable video coding device and method using multi-track video
WO2002019709A1 (en) Dual priority video transmission for mobile applications
KR100713363B1 (ko) 이동통신 시스템에서 엠펙 전송 장치 및 방법
Artigas et al. Analysis of the coset statistics in a Distributed Video Coding Scheme
WO2001015458A2 (en) Dual priority video transmission for mobile applications
Conci et al. Real-time multiple description intra-coding by sorting and interpolation of coefficients

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1075779

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1075779

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080409

Termination date: 20150428

EXPY Termination of patent right or utility model