DE69822060T2 - Aufwärtsabtasterfilter und halbbildelementgenerator für abwärtsumsetzungssystem für hochauflösungsfernsehen - Google Patents

Aufwärtsabtasterfilter und halbbildelementgenerator für abwärtsumsetzungssystem für hochauflösungsfernsehen Download PDF

Info

Publication number
DE69822060T2
DE69822060T2 DE69822060T DE69822060T DE69822060T2 DE 69822060 T2 DE69822060 T2 DE 69822060T2 DE 69822060 T DE69822060 T DE 69822060T DE 69822060 T DE69822060 T DE 69822060T DE 69822060 T2 DE69822060 T2 DE 69822060T2
Authority
DE
Germany
Prior art keywords
filter
image
pixel
coefficient
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69822060T
Other languages
English (en)
Other versions
DE69822060D1 (de
Inventor
Michael Iaquinto
Hee-Yong Kim
Robert Edwin MEYER
Ren Egawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=21911409&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=DE69822060(T2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of DE69822060D1 publication Critical patent/DE69822060D1/de
Application granted granted Critical
Publication of DE69822060T2 publication Critical patent/DE69822060T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4023—Decimation- or insertion-based scaling, e.g. pixel or line decimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Description

  • GEBIET DER ERFINDUNG
  • Diese Erfindung betrifft einen Decodierer zum Empfangen, Decodieren und Umsetzen von im Frequenzbereich codierten Signalen, z. B. gemäß MPEG-2 codierte Videosignale, in Standard-Ausgabe-Videosignale und insbesondere einen Abtastratenerhöhungs- und Halbpixel-Generator eines Decodierers, der ein codiertes Videosignal mit hoher Auflösung in ein decodiertes Ausgabe-Videosignal mit geringerer Auflösung umsetzt.
  • HINTERGRUND DER ERFINDUNG
  • In den USA definiert ein Standard, der Standard "Advanced Television System Committee" (ATSC-Standard) die digitale Codierung von High Definition Television-Signalen (HDTV-Signale). Ein Teil dieses Standards ist im Wesentlichen gleich dem MPEG-2-Standard, der von der Moving Pictures Experts Group (MPEG, Expertengruppe für bewegte Bilder) der, Internationalen Normungsgemeinschaft (ISO) vorgeschlagen wurde. Der Standard ist in einer Veröffentlichung des Internationalen Standards (IS) mit dem Titel "Information Technology – Generic Coding of Moving Pictures and Associated Audio, Recommendation H.626", ISO/IEC 13818-2, IS, 11/94 beschrieben, die von der ISO bereitgestellt werden kann.
  • Der MPEG-2-Standard enthält tatsächlich mehrere unterschiedliche Standards. In MPEG-2 sind mehrere unterschiedliche Profile definiert, wovon jedes einem unterschiedlichen Grad der Komplexität des codierten Bilds entspricht. Für jedes Profil sind unterschiedliche Ebenen definiert, wobei jede Ebene einer anderen Bildauflösung entspricht. Einer der MPEG-2-Standards, der als Hauptprofil, Hauptebene bekannt ist, ist vorgesehen, um Videosignale zu codieren, die vorhandenen Fernsehstandards (d. h. NTSC und PAL) entsprechen. Ein weiterer Standard, der als Hauptprofil, höhere Ebene bekannt ist, ist vorgesehen, um Bilder des High Definition Television (hochauflösendes Fernsehen) zu codieren. Bilder, die gemäß dem Standard Hauptprofil, höhere Ebene codiert sind, können pro Bildrahmen 1152 aktive Zeilen und pro Zeile 1920 Pixel aufweisen.
  • Der Standard Hauptprofil, Hauptebene definiert andererseits eine maximale Bildgröße von 720 Pixeln pro Zeile und 567 Zeilen pro Rahmen. Bei einer Rahmenrate von 30 Rahmen pro Sekunde besitzen Signale, die gemäß diesem Standard codiert sind, eine Datenrate von 720 × 567 × 30 oder 12247200 Pixeln pro Sekunde. Bilder, die gemäß dem Standard Hauptprofil, höhere Ebene codiert sind, besitzen dagegen eine Datenrate von 1152 × 1920 × 30 oder 66355200 Pixeln pro Sekunde. Diese Datenrate ist mehr als das Fünffache der Datenrate von Bilddaten, die gemäß dem Standard Hauptprofil, Hauptebene codiert sind. Der Standard zur HDTV-Codierung in den USA ist eine Untermenge dieses Standards und besitzt 1080 Zeilen pro Rahmen, 1920 Pixel pro Zeile und eine maximale Rahmenrate für diese Rahmengröße von 30 Rahmen pro Sekunde. Die maximale Datenrate für diesen Standard ist trotzdem noch viel größer als die maximale Datenrate für den Standard Hauptprofil, Hauptebene.
  • Der MPEG-2-Standard definiert eine komplexe Syntax, die eine Mischung von Daten- und Steuerinformationen enthält. Ein Teil dieser Steuerinformationen wird verwendet, damit Signale mit mehreren unterschiedlichen Formaten durch den Standard abgedeckt werden können. Diese Formate definieren Bilder mit unterschiedlichen Anzahlen von Bildelementen (Pixeln) pro Zeile, unterschiedlichen Anzahlen von Zeilen pro Rahmen oder Feld und unterschiedlichen Anzahlen von Rahmen oder Feldern pro Sekunde. Außerdem definiert die grundlegende Syntax des MPEG-2-Hauptprofils den komprimierten MPEG-2-Bitstrom, der eine Folge von Bildern in fünf Ebenen repräsentiert, und zwar die Sequenz-Ebene, die Ebene der Gruppe von Bildern, die Bild-Ebene, die Schicht-Ebene und die Makroblock-Ebene. Jede dieser Ebenen wird mit Steuerinformationen eingeleitet. Schließlich werden weitere Steuerinformationen, die als Nebeninformationen bekannt sind (z. B. Rahmentyp, Makroblock-Muster, Bildbewegungsvektoren, Zick-Zack-Muster von Koeffizienten und Dequantisierungsinformationen) über den gesamten codierten Bitstrom verschachtelt.
  • Die Formatumsetzung von codierten Bildern mit hoher Auflösung des Standards Hauptprofil, höhere Ebene zu Bildern mit geringerer Auflösung des Standards Hauptprofil, höhere Ebene; zu Bildern des Standards Hauptprofil, Hauptebene oder zu anderen Bildformaten mit geringerer Auflösung hat eine erhöhte Bedeutung erlangt für a) die Schaffung eines einzelnen Decodierers zur Verwendung bei mehreren vorhandenen Videoformaten; b) die Schaffung einer Schnittstelle zwischen höheren Signalen des Hauptprofils und Personalcomputer-Monitoren oder vorhandenen Fernsehempfängern von Verbrauchern und c) die Verringerung der Implementierungskosten für HDTV. Eine Umsetzung ermöglicht z. B. die Erset zung von teuren hochauflösenden Monitoren, die bei Bildern verwendet werden, die nach dem Standard Hauptprofil, höhere Ebene codiert sind, durch kostengünstige vorhandene Monitore, die eine geringere Bildauflösung besitzen, um z. B. Bilder zu unterstützen, die nach dem Standard Hauptprofil, Hauptebene codiert sind, wie etwa NTSC-Monitore oder fortschrittliche 525-Monitore. Ein Aspekt, die Abwärtsmischung, setzt ein Eingangsbild mit hoher Auflösung in ein Bild mit geringerer Auflösung zur Anzeige auf einem Monitor mit geringerer Auflösung um. Die Abwärtsmischung ist aus EP-A-0 707 426 bekannt.
  • Um die digitalen Bilder effektiv zu empfangen, sollte der Decodierer die Videosignal-Informationen schnell verarbeiten. Für eine optimale Effektivität sollten die Decodierungssysteme verhältnismäßig kostengünstig sein und trotzdem eine ausreichende Leistung besitzen, um diese digitalen Signale in Echtzeit zu decodieren. Demzufolge muss ein Decodierer, der die Umsetzung in mehrere Formate mit geringer Auflösung unterstützt, den Prozessorspeicher minimieren.
  • Der Standard MPEG-2-Hauptprofil definiert eine Bildsequenz in fünf Ebenen: die Sequenz-Ebene, die Ebene der Gruppe von Bildern, die Bild-Ebene, die Schicht-Ebene und die Makroblock-Ebene. Jede dieser Ebenen kann als eine Aufzeichnung in einem Datenstrom betrachtet werden, wobei die später aufgelisteten Ebenen als eingebettete Unterebenen in den zuvor aufgelisteten Ebenen erscheinen. Die Aufzeichnungen für jede Ebene enthalten einen Kopfabschnitt, der Daten enthält, die bei der Decodierung seiner Unteraufzeichnungen verwendet werden.
  • Jeder Makroblock des codierten HDTV-Signals enthält sechs Blöcke und jeder Block enthält Daten, die 64 entsprechende Koeffizientenwerte einer Darstellung der diskreten Kosinus-Transformation (DCT-Darstellung) von 64 Bildelementen (Pixeln) in dem HDTV-Bild repräsentieren.
  • Bei dem Codierungsvorgang können die Pixeldaten vor der diskreten Kosinus-Transformation einer bewegungskompensierten Differenzcodierung unterzogen werden und die Blöcke der transformierten Koeffizienten werden ferner codiert, indem Codierungstechniken der Lauflänge und der variablen Länge angewendet werden. Ein Decodierer, der die Bildfolge aus dem Datenstrom gewinnt, kehrt den Codierungsvorgang um. Dieser Decodierer verwendet einen statistischen Decodierer (z. B. einen Decodierer mit variabler Länge), einen Prozessor der inversen diskreten Kosinus-Transformation, einen Bewegungskompensations-Prozessor und ein Interpolationsfilter.
  • 1 ist ein höherer Blockschaltplan eines typischen Video-Decodierungssystems des Standes der Technik, das ein gemäß MPEG-2 codiertes Bild verarbeitet. Die allgemeinen Verfahren, die verwendet werden, um ein gemäß MPEG-2 codiertes Bild zu decodieren, sind ohne die anschließende Verarbeitung, die Abwärtsmischung oder Formatumsetzung durch den MPEG-2-Standard festgelegt. Das Video-Decodierungssystem enthält einen statistischen Decodierer (Entropie-Decodierer, ED) 110, der den Decodierer variabler Länge (VLD) 210 und den Lauflängen-Decodierer 212 enthalten kann. Das System enthält außerdem einen inversen Quantisierer 214 und einen Prozessor 218 der inversen diskreten Kosinus-Transformation (IDCT-Prozessor). Ein Controller 207 steuert die verschiedenen Komponenten des Decodierungssystems in Reaktion auf die Steuerinformationen, die aus dem Eingangs-Datenstrom durch den ED 110 gewonnen werden. Für die Verarbeitung von Vorhersagebildern enthält das System ferner einen Speicher 199 mit einem Referenzrahmenspeicher 222, ein Summierungsnetz 230 und einen Bewegungskompensations-Prozessor 206a, der einen Bewegungsvektor-Prozessor 221 und einen Halbpixel-Generator 228 aufweisen kann.
  • Der ED 110 empfängt das codierte Video-Bildsignal und kehrt den Codierungsvorgang um, um Makroblöcke von quantisierten Werten von Koeffizienten im Frequenzbereich (DCT-Koeffizienten) und Steuerinformationen zu erzeugen, die Bewegungsvektoren enthalten, die die relative Verlagerung eines übereinstimmenden Makroblocks in einem zuvor decodierten Bild beschreiben, der einem Makroblock des vorhergesagten Bilds, das gegenwärtig decodiert wird, entspricht. Der inverse Quantisierer 214 empfängt die quantisierten DCT-Transformationskoeffizienten und rekonstruiert die quantisierten DCT-Koeffizienten für einen bestimmten Makroblock. Die Quantisierungsmatrix, die für einen bestimmten Block zu verwenden ist, wird vom ED 110 erhalten.
  • Der IDCT-Prozessor 218 transformiert die rekonstruierten DCT-Koeffizienten zu Pixelwerten im Raumbereich (für jeden Block aus 8 × 8 Matrixwerten, die Luminanz- oder Chrominanzkomponenten des Makroblocks repräsentieren, und für jeden Block von 8 × 8 Matrixwerten, die die Differenz-Luminanz- oder Differenz-Chrominanzkomponenten des vorhergesagten Makroblocks repräsentieren).
  • Wenn der gegenwärtige Makroblock nicht prediktiv codiert ist, dann sind die aus gegebenen Pixelwerte, die durch den IDCT-Prozessor 218 geliefert werden, die Pixelwerte des entsprechenden Makroblocks des gegenwärtigen Videobilds. Wenn der Makroblock zwischenrahmen-codiert ist, wird der entsprechende Makroblock des vorherigen Videobildrahmens im Speicher 199 für die Verwendung durch den Bewegungskompensationsprozessor 206 gespeichert. Der Bewegungskompensationsprozessor 206 empfängt einen zuvor decodierten Makroblock vom Speicher 199 in Reaktion auf den Bewegungsvektor und addiert dann den vorherigen Makroblock zu dem gegenwärtigen IDCT-Makroblock (der einer restlichen Komponente des vorhandenen prediktiv codierten Rahmens entspricht) im Summierungsnetzwerk 230, um den entsprechenden Makroblock von Pixeln für das gegenwärtige Videobild zu erzeugen, das dann in dem Referenzrahmenspeicher 222 des Speichers 199 gespeichert wird.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Die vorliegende Erfindung wird in einem Abtastratenerhöhungs-Filter für ein Digital-Video-Signal-Abwärtsmischungs-System, das in den Ansprüchen 1 bzw. 6 dargestellt ist, und in einem Verfahren, das im Anspruch 8 dargestellt ist, ausgeführt. Das Abwärtsmischungs-System decodiert ein digital codiertes Videosignal, das ein Videobild repräsentiert, und untersetzt das decodierte Signal, um ein unterabgetastetes Bildsignal zu erzeugen. Dieses unterabgetastete Signal wird für die Verwendung beim Decodieren eines nachfolgend empfangenen Bildsignals verwendet, das als Differenz-Pixelwerte in Bezug auf das früher decodierte Bild codiert ist. Wenn ein folgendes Bildsignal, das Differenz-Pixelwerte repräsentiert, empfangen und decodiert wird, werden Segmente des gespeicherten Bilds gewonnen und die Abtastrate wird vergrößert, indem ein Filter gemäß der vorliegenden Erfindung verwendet wird, um decodierte Bildpixelwerte zu erzeugen, die mit den decodierten Differenz-Pixelwerten kombiniert werden können, um ein decodiertes Bildsignal zu erzeugen. Das Abtastratenerhöhungs-Filter gemäß der vorliegenden Erfindung enthält ein Abtastratenerhöhungs-Filter mit programmierbaren Koeffizientenwerten und mehreren Filterkoeffizienten-Sätzen, wobei jeder Filterkoeffizienten-Satz einer bestimmten Unterabtastungs-Phase entspricht. Das Filter enthält außerdem eine Schaltung, die einen Bewegungsvektor von dem codierten Bildsignal empfängt, den empfangenen Bewegungsvektor verarbeitet, um das gewünschte Segment in dem gespeicherten Bild zu lokalisieren, und bestimmt die Unterabtastungs-Phase des gewünschten Segments. In Reaktion auf diese Bestimmung gewinnt die Schaltung das gewünschte Segment von der iden tifizierten Stelle in den gespeicherten Bilddaten, programmiert das Filter mit dem geeigneten Filterkoeffizienten-Satz und filtert das gewonnene Segment, um Referenz-Bilddaten zu liefern, die mit den decodierten Differenz-Bilddaten übereinstimmen.
  • Gemäß einem weiteren Aspekt der Erfindung definieren die Bewegungsvektoren in dem decodierten Bildsignal die Stelle des gewünschten Segments mit einer Auflösung von einer Hälfte einer Pixelposition und die Mehrzahl der Koeffizienten-Sätze enthalten eine Anzahl 2N Koeffizienten-Sätzen, wobei N der Untersetzungs-Faktor ist, der auf das decodierte Bild angewendet wird, um das unterabgetastete Bild zu erzeugen.
  • Gemäß einem weiteren Aspekt der Erfindung definieren die Bewegungsvektoren in dem decodierten Bildsignal die Stelle des gewünschten Segments mit einer Auflösung von einer Hälfte einer Pixelposition, die Mehrzahl der Koeffizienten-Sätze enthalten eine Anzahl 2N Koeffizienten-Sätze, wobei N der Untersetzungs-Faktor ist, der an das decodierte Bild angelegt wird, um das unterabgetastete Bild zu erzeugen, und das Filter enthält ferner einen linearen Interpolator, der eine Mittelwertbildung bei benachbarten Pixel in dem gefilterten gewünschten Segment durchführt, um Ausgabe-Pixelwerte zu erzeugen, die um eine halbe Pixelposition von den Pixelwerten des gefilterten gewünschten Segments versetzt sind.
  • Gemäß einem weiteren Aspekt der Erfindung ist das Filter programmierbar, um das decodierte Videobild um einen aus einer Mehrzahl der Untersetzungs-Faktoren zu untersetzen, und enthält mehrere Gruppen von Koeffizienten-Sätzen, wobei jede Gruppe einem aus der Mehrzahl der Untersetzungs-Faktoren entspricht.
  • KURZE BESCHREIBUNG DER ZEICHNUNG
  • Diese sowie weitere Merkmale und Vorteile der vorliegenden Erfindung werden aus der folgenden genauen Beschreibung deutlich, die in Verbindung mit der beigefügten Zeichnung erfolgt, in der:
  • 1 ein höherer Blockschaltplan eines Video-Decodierers des Standes der Technik ist;
  • 2 ein höherer Blockschaltplan des Abwärtsmischungs-Systems ist, das durch eine beispielhafte Ausführungsform der vorliegenden Erfindung verwendet wird;
  • 3A eine Darstellung eines Makroblocks ist, die die Eingangspixel und die untersetzten Ausgangspixel für ein 4:2:0-Videosignal bei Verwendung der 3:1-Untersetzung zeigt;
  • 3B ein Pixel-Blockschaltplan ist, der die Eingangspixel und die untersetzten Ausgangspixel für ein 4:2:0-Videosignal bei Verwendung der 2:1-Untersetzung zeigt;
  • 4A eine Pixeldarstellung ist, die Unterpixel-Positionen und entsprechende vorhergesagte Pixel für die beispielhaften 3:1- und 2:1-Ausführungsformen der vorliegenden Erfindung veranschaulicht;
  • 4B ein Ablaufplan ist, der den Abtastratenerhöhungs-Prozess zeigt, der für jede Zeile eines Eingangs-Makroblocks für eine beispielhafte Ausführungsform der vorliegenden Erfindung ausgeführt wird;
  • 5 eine Pixeldarstellung ist, die die Multiplikationspaare für die ersten und zweiten Ausgangs-Pixelwerte einer beispielhaften Ausführungsform eines Block-Spiegelfilters veranschaulicht; und
  • 6 ein Blockschaltplan ist, der eine beispielhafte Implementierung des Filters für die Abwärtsmischung für ein zweidimensionales System veranschaulicht, das die horizontalen und vertikalen Komponenten verarbeitet, die als kaskadierte eindimensionale IDCTs implementiert sind.
  • GENAUE BESCHREIBUNG
  • Die beispielhaften Ausführungsformen der Erfindung decodieren herkömmliche HDTV-Signale, die gemäß dem MPEG-2-Standard und insbesondere gemäß den MPEG-2-Standards Hauptprofil, höhere Ebene (MP@HL) und Hauptprofil, Hauptebene (MP@ML) codiert wurden, und liefern die decodierten Signale als Videosignale mit einer geringeren Auflösung als die empfangenen HDTV-Signale, die ein aus mehreren Formaten ausgewähltes Format besitzen.
  • Abwärtsmischungs-Decodierer
  • 2 ist ein höherer Blockschaltplan des Abwärtsmischungs-Systems, das eine beispielhafte Ausführungsform der vorliegenden Erfindung enthält, welches eine derartige DCT-Filteroperation verwendet und durch eine beispielhafte Ausführungsform der vorliegenden Erfindung verwendet werden kann. Wie in 2 gezeigt ist, enthält das Abwärtsmischungs-System einen Decodierer variabler Länge 210 (VLD), einen Lauflängen-Decodierer 212 (R/L), einen inversen Quantisierer 214 und einen Prozessor 218 der inversen diskreten Kosinustransformation (IDCT). Das Abwärtsmischungs-System enthält außerdem ein Abwärtsmischungs-Filter 216 zum Filtern von codierten Bildern und einen Abwärtsabtastungs-Prozessor 232. Obwohl im Folgenden die beispielhafte Ausführungsform für eine MP@HL-codierte Eingabe beschrieben wird, kann die vorliegende Erfindung bei jedem in ähnlicher Weise codierten Bitstrom eines Bilds mit hoher Auflösung praktiziert werden.
  • Das Abtastratenerhöhungs-Filter und der Halbpixel-Generator, der durch das Abwärtsmischungs-System gemäß der vorliegenden Erfindung verwendet wird, enthält einen Abtastratenerhöhungs-Prozessor 226 und einen Halbpixel-Generator 228 und verwendet einen Referenzrahmenspeicher 222. Das Abwärtsmischungs-System enthält außerdem einen Bewegungskompensations-Prozessor 206, der einen Bewegungsvektor-Übersetzer (MV-Übersetzer) 220 und einen Bewegungsblock-Generator 224 aufweist.
  • Das System von 2 enthält außerdem einen Anzeigenumsetzungsblock 280 mit einem programmierbaren Vertikal-Filter (VPF) 282 und einem programmierbaren Horizontal-Filter (HPF) 284. Der Anzeigenumsetzungsblock 280 setzt abwärtsgemischte Bilder in Bilder für eine Anzeige auf einer bestimmten Anzeigevorrichtung um, die eine geringere Auflösung als das ursprüngliche Bild besitzt.
  • Das Abwärtsmischungs-Filter 216 führt eine Tiefpass-Filterung der Koeffizienten mit hoher Auflösung (z. B. Hauptprofil, höhere Ebene DCT-Koeffizienten) im Frequenzbereich aus. Der Abwärtsabtastungsprozess 232 eliminiert räumliche Pixel durch die Untersetzung des gefilterten Bilds (Hauptprofil, höhere Ebene), um einen Satz Pixelwerte zu erzeugen, die auf einem Monitor angezeigt werden können, der eine geringere Auflösung besitzt als die für die Anzeige eines MP@HL-Bilds erforderliche Auflösung. Der beispielhafte Referenzrahmenspeicher 222 speichert die räumlichen Pixelwerte, die wenigstens einem zuvor decodierten Referenzrahmen entsprechen, der eine Auflösung besitzt, die dem durch Abtastratenverringerung erzeugten Bild entspricht. Bei der Zwischenrahmen-Codierung skaliert der MV-Übersetzer 220 die Bewegungsvektoren für jeden Block des empfangenen Bilds gleich bleibend mit der Verringerung der Auflösung, und der Bewegungsblock-Generator 224 für hohe Auflösung empfängt die Bewegungsblöcke mit geringer Auflösung, bereitgestellt durch den Referenzrahmenspeicher 222, führt die Abtastratenerhöhung für die Bewegungsblöcke aus und führt bei Bedarf eine Halbpixel-Interpolation aus, um Bewegungsblöcke bereitzustellen, die Pixelpositionen aufweisen, die den decodierten und gefilterten Differenzpixelblöcken entsprechen.
  • Es wird angemerkt, dass in dem Abwärtsmischungs-System von 2 an Stelle der Bilder mit hoher Auflösung die Bilder mit verringerter Abtastrate gespeichert werden, was eine beträchtliche Verkleinerung des Speichers zur Folge hat, der zum Speichern der Referenzbilder erforderlich ist.
  • Es wird nun der Betrieb eines beispielhaften Abwärtsmischungs-Systems der vorliegenden Erfindung für Zwischenrahmencodierung beschrieben. Der MP@HL-Bitstrom wird empfangen und durch den VLD 210 decodiert. Außer den Kopf-Informationen, die vom HDTV-System verwendet werden, liefert der VLD 210 DCT-Koeffizienten für jeden Block und Makroblock sowie Bewegungsvektor-Informationen. Die DCT-Koeffizienten werden in dem R/L-Decodierer 212 lauflängen-decodiert und durch den inversen Quantisierer 214 invers quantisiert.
  • Da das empfangene Videobild, das durch die DCT-Koeffizienten dargestellt wird, ein Bild mit hoher Auflösung ist, verwendet die beispielhafte Ausführungsform der vorliegenden Erfindung die Tiefpass-Filterung der DCT-Koeffizienten jedes Blocks vor der Untersetzung des Videobilds hoher Auflösung. Der inverse Quantisierer 214 liefert die DCT-Koeffizienten an das DCT-Filter 216, das eine Tiefpass-Filterung im Frequenzbereich durch die Gewichtung des DCT-Koeffizienten mit vorgegebenen Filter-Koeffizientenwerten ausführt, bevor sie an den IDCT-Prozessor 218 bereitgestellt werden. Bei einer beispielhaften Ausführungsform der vorliegenden Erfindung wird diese Filteroperation blockweise ausgeführt.
  • Der IDCT-Prozessor 218 stellt räumliche Pixelabtastwerte bereit, indem eine inverse diskrete Kosinustransformation der gefilterten DCT-Koeffizienten ausgeführt wird. Der Abtastratenverringerungs-Prozessor 232 verringert die Größe der Bildabtastung durch das Eliminieren der räumlichen Pixelabtastwerte gemäß einem vorgegebenen Untersetzungsverhältnis; deswegen verwendet die Speicherung des Bilds geringerer Auflösung einen kleineren Rahmenspeicher im Vergleich zu dem Speicher, der erforderlich wäre, um das MP@HL-Bild höherer Auflösung zu speichern.
  • Die Funktionsweise einer beispielhaften Ausführungsform des Abwärtsmischungs-Systems der vorliegenden Erfindung für vorhergesagte Rahmen des Codierungsstandards wird nun beschrieben. Bei diesem Beispiel repräsentieren die gegenwärtig empfangenen Bild-DCT-Koeffizienten die DCT-Koeffizienten der restlichen Komponenten des vorhergesagten Bild-Makroblocks. Bei der beschriebenen beispielhaften Ausführungsform werden die horizontalen Komponenten der Bewegungsvektoren für einen vorhergesagten Rahmen skaliert, da die Referenzbilder geringerer Auflösung des vorherigen Rahmens, die im Speicher gespeichert sind, nicht die gleiche Anzahl von Pixeln aufweisen wie der vorhergesagte Rahmen hoher Auflösung (MP@HL).
  • In 2 werden die Bewegungsvektoren des MP@HL-Bitstroms, die durch den VLD 210 bereitgestellt werden, an den MV-Übersetzer 220 bereitgestellt. Jeder Bewegungsvektor wird durch den MV-Übersetzer 220 skaliert, um auf den richtigen Vorhersageblock für den Referenzrahmen des vorherigen Bilds, das im Referenzrahmenspeicher 222 gespeichert ist, Bezug zu nehmen. Die Größe (Anzahl der Pixelwerte) in dem gewonnenen Block ist kleiner als der Block, der durch den IDCT-Prozessor 218 bereitgestellt wird; demzufolge wird in dem gewonnenen Block eine Abtastratenerhöhung ausgeführt, um einen Vorhersageblock zu bilden, der die gleiche Anzahl von Pixeln aufweist wie der restliche Block, der durch den IDCT-Prozessor 218 bereitgestellt wird, bevor die Blöcke durch das Summierungsnetzwerk 230 kombiniert werden.
  • In dem Vorhersageblock wird eine Abtastratenerhöhung durch den Abtastratenerhöhungs-Prozessor 226 ausgeführt in Reaktion auf ein Steuersignal von dem MV-Übersetzer 220, um einen Block zu erzeugen, der dem ursprünglichen Block mit hoher Auflösung von Pixeln entspricht, und dann werden Halbpixelwerte erzeugt, falls das durch den Bewegungsvektor für den Vorhersageblock mit erhöhter Abtastrate in dem Halbpixel-Generator 228 angegeben ist, um eine richtige räumliche Ausrichtung des Vorhersageblocks sicherzustellen. Der mit erhöhter Abtastrate erzeugte und ausgerichtete Vorhersageblock wird im Summierungsnetzwerk 230 zum aktuellen gefilterten Block addiert, der z. B. die Restkomponente mit verringerter Auflösung vom Vorhersageblock ist. Die gesamte Verarbeitung erfolgt makroblockweise. Nachdem der Bewegungskompensationsprozess für den aktuellen Makroblock mit hoher Auflösung abgeschlossen ist, wird der rekonstruierte Makroblock durch den Abtastratenverringerungs-Prozessor 232 entsprechend untersetzt. Dieser Prozess verringert nicht die Auflösung des Bilds, sondern entfernt einfach redundante Pixel aus dem gefilterten Bild mit geringer Auflösung.
  • Abtastratenverringerung für Formate mit geringer Auflösung
  • Eine Abtastratenverringerung wird durch den Abtastratenverringerungs-Prozess 232 von 2 ausgeführt, um die Anzahl der Pixel in dem abwärtsgemischten Bild zu verringern. 3A zeigt die Eingabepixel und die untersetzten Ausgabepixel für ein 4:2:0-Signalformat bei einer 3:1-Untersetzung. 3B zeigt die Eingabepixel und die untersetzten Ausgabepixel für einen 4:2:0-Chrominanztyp bei einer 2:1-Untersetzung. Tabelle 1 liefert die Legendenkennung für die Luminanz- und Chrominanzpixel von 3A und 3B. Die Pixelpositionen vor und nach der Abwärtsmischung der 3A und 3B sind der verschachtelte Fall (3:1-Untersetzung) bzw. der fortschreitende Fall (2:1-Untersetzung). Tabelle 1
    Figure 00110001
  • Für die Abtastratenverringerung des verschachtelten Bilds, die die Umsetzung von einem Bild mit 1920 × 1080 Pixeln zu einem horizontal komprimierten Bild mit 640 × 1080 Pixeln sein kann, werden auf der horizontalen Achse zwei von jeweils drei Pixeln untersetzt. Bei der beispielhaften 3:1-Untersetzung gibt es drei unter schiedliche Makroblocktypen nach dem Abwärtsmischungs-Prozess. In 3 wurden die ursprünglichen Makroblöcke mit MB0, MB1 und MB2 bezeichnet. Die durch Abtastratenverringerung erzeugten Luminanzpixel in MB0 beginnen am ersten Pixel in dem ursprünglichen Makroblock, aber in MB1 und in MB2 beginnen die durch Abtastratenverringerung erzeugten Pixel am dritten bzw. am zweiten Pixel. Außerdem ist die Anzahl der durch Abtastratenverringerung erzeugten Pixel in jedem Makroblock nicht gleich. In MB0 gibt es horizontal 6 durch Abtastratenverringerung erzeugte Pixel, in MB1 und in MB2 gibt es jedoch 5 Pixel. Diese drei MB-Typen wiederholen sich, deswegen muss die Modulo 3-Arithmetik angewendet werden. Tabelle 2 fasst die Anzahl der durch Abtastratenverringerung erzeugten Pixel und den Versatz für alle Eingabe-Makroblöcke MB0, MB1 und MB2 zusammen. Tabelle 2
    Figure 00120001
  • Bei der Abtastratenverringerung des Bilds mit fortschreitendem Format wird an dem Luminanzsignal horizontal für jeden zweiten Abtastwert eine Abtastratenverringerung ausgeführt. Bei dem Chrominanzsignal besitzt das Pixel mit Abtastratenverringerung eine räumliche Position, die ein halbes Pixel unter der Pixelposition im ursprünglichen Bild liegt.
  • Makroblock-Vorhersage für Abwärtsmischung
  • Da bei dem beispielhaften Abwärtsmischungs-Prozess die Referenzrahmen der vorherigen Bilder in der horizontalen Richtung verkleinert werden, können die empfangenen Bewegungsvektoren, die auf diese Rahmen zeigen, auch gemäß dem entsprechenden Umsetzungsverhältnis übersetzt werden. Das Folgende beschreibt die Bewegungsübersetzung für den Luminanzblock in der horizontalen Richtung. Ein Fachmann könnte bei Bedarf die folgende Erläuterung auf die Bewegungsübersetzung in der vertikalen Richtung erweitern. Wenn x und y die aktuelle Makroblock-Adresse in dem ursprünglichen Bildrahmen bezeichnen, Dx den horizontalen Untersetzungs-Faktor und mvx den horizontalen Bewegungsvektor des Halbpixels des ursprünglichen Bildrahmens bezeichnet, ist die Adresse des oberen linken Pixels des Bewegungsblocks in dem ursprünglichen Bildrahmen, die in der Halbpixeleinheit als XH bezeichnet ist, durch (1) gegeben: XH=2x+mvx (1)
  • Das Pixel, das dem Bewegungsblock entspricht, beginnt in dem durch Abtastratenverringerung erzeugten Bild, und besitzt eine Adresse, die als x* und y* bezeichnet wird und unter Verwendung der Gleichung (2) bestimmt werden kann:
  • Figure 00130001
  • Der Quotient von Gleichung (2) ist eine abgekürzte ganzzahlige Division.
  • Da das beispielhafte Filter 216 und der Abtastratenverringerungs-Prozessor 232 lediglich die horizontalen Komponenten des Bilds reduzieren, wird die vertikale Komponente des Bewegungsvektors nicht beeinflusst. Bei den Chrominanzdaten ist der Bewegungsvektor eine Hälfte eines Luminanz-Bewegungsvektors in dem ursprünglichen Bild. Deswegen können Definitionen zum Übersetzen des Chrominanz-Bewegungsvektors ebenfalls die beiden Gleichungen (1) und (2) verwenden.
  • Eine Bewegungsvorhersage erfolgt durch einen zweistufigen Prozess: Zuerst kann die Pixelgenauigkeits-Bewegungsabschätzung in dem ursprünglichen Bildrahmen durch Abtastratenerhöhung des durch Abtastratenverringerung erzeugten Bildrahmens in dem Abtastratenerhöhungs-Prozessor 226 der 2A und 2B ausgeführt werden, dann führt der Halbpixel-Generator 228 eine Halbpixel-Interpolation durch Mittelwertbildung der nächsten Pixelwerte aus.
  • Die Referenzbilddaten werden zu den ausgegebenen Daten addiert, die von dem IDCT-Prozessor 218 bereitgestellt werden. Da die Ausgabewerte des Summierungsnetzwerks 230 einem Bild mit einer Anzahl von Pixeln entsprechen, die gleichbedeutend mit einem Format mit hoher Auflösung ist, kann an diesen Werten eine Abtastratenverringerung für eine Darstellung auf einer Anzeige mit einer geringeren Auflösung ausgeführt werden. Eine Abtastratenverringerung in dem Abtastratenverringerungs-Prozessor 232 ist im Wesentlichen gleichbedeutend mit einer Unterabtastung eines Bildrahmens, die Einstellungen können jedoch auf der Grundlage des Umsetzungsverhältnisses erfolgen. In dem Fall der 3:1-Abtastratenverringerung beträgt z. B. die Anzahl der horizontal durch Abtastratenverringerung erzeugten Pixel 6 oder 5 für jeden Makroblock und die ersten durch Abtastratenverringerung erzeugten Pixel sind nicht immer erste Pixel in dem eingegebenen Makroblock.
  • Nach der Erfassung des korrekten Bewegungsvorhersageblocks von dem durch Abtastratenverringerung erzeugten Bild, wird die Abtastratenerhöhung verwendet, um den entsprechenden Vorhersageblock in dem Bild mit hoher Auflösung zu erhalten. Anschließend soll bei der Bewegungsblockvorhersage eine Unterpixel-Genauigkeit in dem abwärts gemischten Bild erreicht werden. Bei Verwendung der 3:1-Untersetzung soll z. B. eine Unterpixel-Genauigkeit von 1/3 (oder 1/6) bei der Bewegungsvorhersage für das abwärts gemischte Bild erreicht werden. Das Unterpixel, das ein erstes Pixel ist, das zusätzlich zu dem durch Abtastratenverringerung erzeugten Bewegungsblock von dem Bewegungsvektor gefordert wird, wird bestimmt. Anschließend werden nächste Pixelpositionen unter Verwendung der Modulo-Arithmetik bestimmt, wie im Folgenden beschrieben wird. Die Unterpixelpositionen werden als xs bezeichnet, wie in Gleichung (3) dargestellt ist:
    Figure 00140001
    wobei "%" die Modulo-Division angibt.
  • Die Bereiche für xs sind z. B. 0, 1, 2 für eine 3:1-Untersetzung und 0, 1 für eine 2:1-Untersetzung. 4A zeigt Unterpixelpositionen und entsprechende 17 vorhergesagte Pixel für die Beispiele 3:1 und 2:1 und Tabelle 3 liefert die Legende für 4A. Tabelle 4
    Figure 00150001
  • Wie oben beschrieben wurde, können die Abtastratenerhöhungs-Filter Abtastratenerhöhungs-Mehrphasen-Filter sein und Tabelle 4 liefert Charakteristiken dieser Abtastratenerhöhungs-Mehrphasen-Interpolationsfilter. Tabelle 4
    Figure 00150002
  • Die beiden folgenden Tabellen, Tabelle 5 und Tabelle 6, zeigen Mehrphasen-Filter-Koeffizienten für die beispielhaften 3:1- und 2:1-Abtastratenerhöhungs-Mehrphasen-Filter. Tabelle 5: 3:1-Abtastratenerhöhungs-Filter
    Figure 00150003
    Tabelle 6: 2:1-Abtastratenerhöhungs-Filter
    Figure 00160001
  • Bei einer Festpunktdarstellung sind die Zahlen in Klammern der Tabelle 5 und der Tabelle 6 Zweierkomplement-Darstellungen mit 9 Bits, wobei die entsprechenden Zahlen der doppelten Genauigkeit links stehen. In Abhängigkeit von der Unterpixelposition des Bewegungsvorhersageblocks in dem durch Abtastratenverringerung erzeugten Referenzbildrahmen wird eine entsprechende Phase des Mehrphasen-Interpolationsfilters verwendet. Außerdem werden bei der beispielhaften Ausführungsform zusätzliche Pixel links und rechts verwendet, um 17 horizontale Pixel in dem ursprünglichen Bildrahmen zu interpolieren. Bei der 3:1-Untersetzung wird z. B. eine maximale Anzahl von 6 horizontal durch Abtastratenverringerung erzeugten Pixeln für jeden eingegebenen Makroblock erzeugt. Bei der Abtastratenerhöhung werden jedoch 9 horizontale Pixel verwendet, um die entsprechenden Werte des Bewegungsvorhersageblocks zu erzeugen, da ein Abtastratenerhöhungs-Filter für den Betrieb des Filters eine größere Anzahl von linken und rechten Pixeln, die außerhalb der Grenzen liegen, benötigt. Da. die beispielhafte Ausführungsform eine Halbpixel-Bewegungsabschätzung verwendet, werden 17 Pixel benötigt, um 16 Halbpixel zu erhalten, die die Mittelwerte der am nächsten gelegenen zwei Pixelabtastwerte sind. Ein Halbpixel-Interpolator führt die Interpolationsoperation aus, die den Block aus Pixeln mit einer Auflösung eines halben Pixels liefert. Tabelle 7A veranschaulicht eine beispielhafte Zuordnung zwischen Unterpixelpositionen und Mehrphasen-Filterelementen und zeigt eine Anzahl von linken Pixeln, die zusätzlich zu den Pixeln in dem durch Abtastratenerhöhung erzeugten Block für den Abtastratenerhöhungs-Prozess benötigt werden. Tabelle 7A
    Figure 00170001
  • 4B fasst den Abtastratenerhöhungs-Prozess zusammen, der für jede Zeile eines Makroblocks ausgeführt wird. Zuerst wird im Schritt 310 der Bewegungsvektor für den Eingabe-Bildrahmen, der verarbeitet wird, empfangen. Im Schritt 312 wird der Bewegungsvektor so übersetzt, dass er dem durch Abtastratenerhöhung erzeugten Referenzrahmen im Speicher entspricht. Im Schritt 314 wird der skalierte Bewegungsvektor verwendet, um die Koordinaten des im Speicher 310 gespeicherten Referenzbildblocks zu berechnen. Im Schritt 316 wird der Unterpixelpunkt für den Block bestimmt und die Anfangswerte des Mehrphasenfilters für die Abtastratenerhöhung werden dann im Schritt 318 bestimmt. Die identifizierten Pixel für den Referenzblock des gespeicherten durch Abtastratenerhöhung erzeugten Referenzrahmens werden dann im Schritt 320 aus dem Speicher 130 gewonnen.
  • Vor dem ersten Durchgang im Filterungsschritt 324 können die Register des Filters im Schritt 322 initialisiert werden, der bei der beispielhaften Ausführungsform den Schritt zum Laden der Register mit den anfänglichen 3 oder 5 Pixelwerten enthält. Dann bestimmt der Prozess nach dem Filterungsschritt 324 im Schritt 326, ob alle Pixel verarbeitet wurden, wobei es sich in der beispielhaften Ausführungsform um 17 Pixel handelt. Wenn alle Pixel verarbeitet wurden, ist der durch Abtastratenerhöhung erzeugte Block fertig gestellt. Bei einer beispielhaften Ausführungsform wird ein Block mit 17 × 9 Pixeln für den oberen oder unteren Bewegungsblock zurückgegeben. Wenn nicht alle Pixel verarbeitet wurden, wird die Phase im Schritt 328 aktualisiert und die Phase wird nach dem Wert 0 überprüft. Wenn die Phase 0 ist, werden die Register für den nächsten Satz von Pixelwerten aktualisiert. Die Aktualisierung der Phase im Schritt 328 aktualisiert den Phasenwert auf 0, 1 und 2 für die Filterschleifenperiode bei der beispielhaften 3:1-Abtastratenerhöhung und auf 0 und 1 für die Filterschleifenperiode bei der 2:1- Abtastratenerhöhung. Wenn das am weitesten links befindliche Pixel außerhalb einer Bildgrenze liegt, kann der erste Pixelwert in dem Bild wiederholt werden.
  • Bei einer beispielhaften Ausführungsform kann die Abtastratenerhöhungs-Filterungsoperation gemäß den folgenden Richtlinien ausgeführt werden. Erstens können verschiedene Faktoren verwendet werden: 1) die Halbpixel-Bewegungsvorhersageoperation führt eine Mittelwertbildung über zwei vollständige Pixel aus und an entsprechenden Filterkoeffizienten wird ebenfalls eine Mittelwertbildung ausgeführt, um die Halbpixel-Filterkoeffizienten bereitzustellen; 2) eine feste Anzahl von Filterkoeffizienten, z. B. fünf, die gleich der Anzahl der Filterabgriffe sein kann, kann unabhängig von der speziellen Abwärtsmischung verwendet werden; 3) an dem Abtastratenerhöhungs-Block können fünf parallele Eingangsanschlüsse vorgesehen sein für jeden vorderen und hinteren, unteren und oberen Block, wobei fünf Eingangspixel LWR(0)–LWR(4) für jeden Taktübergang für jeden Referenzblock mit entsprechenden Filterkoeffizienten kombiniert werden, um ein Ausgangspixel bereitzustellen; und 4) die Summe der Filterkoeffizienten h(0)–h(4), die mit entsprechenden Pixeln LWR(0)–LWR(4) kombiniert werden, liefern das Ausgangspixel des Abtastblocks.
  • Filterkoeffizienten werden vorteilhaft umgekehrt, da die Multiplikationsreihenfolge der normalen Reihenfolge von Filterkoeffizienten entgegengesetzt ist; und es kann vorteilhaft sein, einige Koeffizienten zu null zu machen. Die Tabelle 7B gibt beispielhafte Koeffizienten für das 3:1-Abtastratenerhöhungs-Filter an und Tabelle 7C gibt beispielhafte Koeffizienten für das 2:1-Abtastratenerhöhungs-Filter an. Tabelle 7B
    Figure 00180001
    Tabelle 7C
    Figure 00190001
  • In den Tabellen 7B und 7C ist x* die durch Abtastratenerhöhung erzeugte Pixelposition, die in den Gleichungen (1) und (2) definiert ist, und die Unterpixelposition xs ist aus der Gleichung (3) als Gleichung (3') neu definiert: xs = (XH) % (2Dx) (3)
  • Für Chrominanzwerte der beispielhaften Implementierung wird XH mit 2 skaliert und die Gleichungen (1), (2) und (3) werden angewandt. In einer Ausführungsform werden Phasen- und Halbpixelinformationen (die als zwei Bits bzw. ein Bit codiert sind), durch den Bewegungskompensations-Prozessor 220 und den Halbpixel-Generator 228 von 2B verwendet. Die Referenzblock-Pixel werden z. B. zuerst als U-Pixel, dann als V-Pixel und schließlich als Y-Pixel bereitgestellt. Die U- und V-Pixel werden während 40 Zyklen eingetaktet und die Y-Pixel werden während 144 Zyklen eingetaktet. Referenzblöcke können für die 3:1-Untersetzung bereitgestellt werden, indem die ersten fünf Pixel geliefert werden, zweimal wiederholt wird, die Daten um eins verschoben werden und wiederholt wird, bis eine Zeile beendet ist. Das gleiche Verfahren kann für die 2:1-Untersetzung verwendet werden mit der Ausnahme, dass nur einmal und nicht zweimal wiederholt wird. Eingabepixel werden wiederholt, da die Untersetzung der Addition des Ausgangs von der Bewegungskompensation und der Halbpixel-Erzeugung mit dem restlichen Wert folgt. Demzufolge werden bei der 3:1-Untersetzung zwei von drei Pixeln gelöscht und Hilfspixel haben für diese Pixelwerte keine Bedeutung.
  • Filterung im DCT-Bereich, die die Gewichtung von DCT-Koeffizienten verwendet Die beispielhafte Ausführungsform der vorliegenden Erfindung wird bei dem DCT-Filter 216 von 2 verwendet, das die DCT-Koeffizienten im Frequenzbereich verarbeitet, wobei eine Operation der Tiefpass-Filterung im räumlichen Bereich ersetzt wird. Es gibt verschiedene Vorteile bei der Filterung im DCT-Bereich an Stelle der Filterung im Frequenzbereich für DCT-codierte Bilder, die z. B. durch die Standards MPEG und JPEG genannt wird. Es ist bemerkenswert, dass ein Filter im DCT-Bereich rechentechnisch effektiver ist und weniger Hardware benötigt als ein Filter im räumlichen Bereich, das an die räumlichen Pixelabtastwerte angelegt wird. Ein räumliches Filter mit N Abgriffen kann z. B. N zusätzliche Multiplikationen und Additionen für jeden räumlichen Pixelabtastwert verwenden. Im Vergleich dazu erfolgt lediglich eine zusätzliche Multiplikation in dem Filter im DCT-Bereich.
  • Das einfachste Filter im DCT-Bereich des Standes der Technik ist eine Abkürzung der Hochfrequenz-DCT-Koeffizienten. Die Abkürzung der Hochfrequenz-DCT-Koeffizienten hat jedoch kein weiches Filter zur Folge und besitzt Nachteile, wie etwa die "Bildverdoppelung" naher Kanten in dem decodierten Bild. Das Tiefpass-Filter im DCT-Bereich der beispielhaften Ausführungsform der vorliegenden Erfindung ist von einem Blockspiegel-Filter in dem räumlichen Bereich abgeleitet. Die Filterkoeffizientenwerte für das Blockspiegel-Filter werden z. B. durch numerische Analyse im räumlichen Bereich optimiert und diese Werte werden dann in Koeffizienten des Filters im DCT-Bereich umgesetzt.
  • Obwohl die beispielhafte Ausführungsform die Filterung im DCT-Bereich lediglich in der horizontalen Richtung zeigt, kann eine Filterung im DCT-Bereich entweder in horizontaler oder in vertikaler Richtung oder in beiden Richtungen durch Kombinieren von horizontalen und vertikalen Filtern erfolgen.
  • Ableitung der Koeffizienten des Filters im DCT-Bereich
  • Ein beispielhaftes DCT-Filter, das bei der vorliegenden Erfindung verwendet wird, ist aus zwei Einschränkungen abgeleitet: erstens, dass das Filter Bilddaten blockweise für jeden Block des Bilds ohne die Verwendung von Informationen aus vorherigen Blöcken eines Bilds verarbeitet; und zweitens, dass das Filter die Sichtbarkeit von Blockgrenzen verringert, die auftreten, wenn das Filter Grenzpixelwerte verarbeitet.
  • Gemäß der ersten Einschränkung ergeben in der DCT-basierten Komprimierung einer MPEG-Bildfolge z. B. N × N DCT-Koeffizienten N × N räumliche Pixelwerte. Demzufolge implementiert die beispielhafte Ausführungsform der vorliegenden Erfindung ein Filter im DCT-Bereich, das lediglich einen aktuellen Block des empfangenen Bilds verarbeitet.
  • Gemäß der zweiten Einschränkung gibt es dann, wenn das Filter einfach an einen Block von räumlichen Frequenzkoeffizienten angelegt wird, einen Übergang der Filterungsoperation an der Blockgrenze, der durch eine unzureichende Anzahl von räumlichen Filterwerten jenseits der Grenze, um den Rest des Filters zu füllen, bewirkt wird. Das heißt, Koeffizientenwerte am Rand eines Blocks können nicht in geeigneter Weise gefiltert werden, da das Filter mit N Abgriffen Werte für lediglich N/2-Abgriffe besitzt, wobei die restlichen Werte jenseits der Grenzen des Blocks liegen. Es gibt verschiedene Verfahren zum Bereitstellen der fehlenden Pixelwerte: 1) das Wiederholen eines vorgegebenen konstanten Pixelwerts über eine Grenze hinaus; 2) das Wiederholen des gleichen Pixelwerts als Grenzpixelwert; und 3) Spiegeln der Pixelwerte des Blocks, um vorhergehende und nachfolgende Blöcke von Pixelwerten, die an den verarbeiteten Block angrenzen, zu simulieren. Ohne vorherige Informationen über den Inhalt des vorherigen und des nachfolgenden Blocks wird das Spiegelungsverfahren zum Wiederholen von Pixeln als ein bevorzugtes Verfahren betrachtet. Deswegen verwendet eine Ausführungsform der vorliegenden Erfindung dieses Spiegelungsverfahren für das Filter und wird als ein "Blockspiegel-Filter" bezeichnet.
  • Das Folgende beschreibt eine beispielhafte Ausführungsform, die ein horizontales Blockspiegel-Filter implementiert, das 8 eingegebene räumliche Pixelabtastwerte eines Blocks tiefpassfiltert. Wenn die Größe eines Eingabeblocks eine 8 × 8-Blockmatrix aus Pixelabtastwerten ist, kann eine horizontale Filterung erfolgen, indem das Blockspiegel-Filter an jede Zeile aus 8 Pixelabtastwerten angelegt werden. Für einen Fachmann ist selbstverständlich, dass der Filterungsprozess implementiert werden kann, indem die Filterkoeffizienten spaltenweise an die Blockmatrix angelegt werden, oder dass eine mehrdimensionale Filterung ausgeführt werden kann, indem die Zeilen und anschließend die Spalten der Blockmatrix gefiltert werden.
  • 5 zeigt eine beispielhafte Übereinstimmung zwischen den eingegebenen Pixelwerten x0 bis x7 (Gruppe X0) und Filterabgriffen für ein beispielhaftes Spiegelfilter für 8 Eingabepixel, das ein räumliches Filter mit 15 Abgriffen verwendet, die durch die Abgriffwerte h0 bis h14 repräsentiert werden. Die eingegebenen Pixel werden auf der linken Seite der Gruppe X0 gespiegelt, wobei sie als Gruppe X1 gezeigt sind, und auf der rechten Seite der Gruppe X0 gespiegelt, wobei sie als Gruppe X2 gezeigt sind. Der Ausgabepixelwert des Filters ist die Summe aus 15 Multiplikationen der Filterabgriff-Koeffizientenwerte mit den entsprechenden Pixelabtastwerten. 5 veranschaulicht die Multiplikationspaare für den ersten und den zweiten Ausgabepixelwert.
  • Das Folgende zeigt, dass das Blockspiegel-Filter im räumlichen Bereich dem Filter im DCT-Bereich gleichwertig ist. Die Spiegelfilterung bezieht sich auf eine Kreisfaltung mit 2N Punkten (N = 8).
  • Der Vektor x' wird in der in Gleichung (4) gezeigten Weise definiert. x'(n) =x(n) + x(2N – 1 – n); 0 ≤ n ≤ 2N–1 (4)
  • Bei N = 8 gilt: x' = (x0, x1, x2, x3, x4, x5, x6, x7, x7, x6, x5, x4, x3, x2, x1, x0)
  • Die Neuanordnung der Filterwerte h0 bis h14 und die Umbenennung der neu angeordneten Werte durch h' ergibt: h' = (h7, h8, h9, h10, h11, h12, h13, h14, 0, h0, h1, h2, h3, h4, h5, h6)
  • Deswegen ist der durch Spiegelung gefilterte Ausgang y(n) eine Kreisfaltung von x'(n) und h'(n), die durch die folgende Gleichung (5) angegeben ist.
  • Figure 00220001
  • Diese ist mit Gleichung (6) gleichwertig.
    Figure 00220002
    wobei x'[n – k] ein Kreis-Modulo von x'(n) ist und x'[n] = x'(n) für n ≥ 0 x'[n] = x'(n + 2N) für n < 0
  • Die Kreisfaltung in dem räumlichen Bereich, die in Gleichung (5) gezeigt ist, entspricht der skalaren Multiplikation im Bereich der diskreten Fourier-Transformation (DFT). Wird Y(k) als die DFT von y(n) definiert, wird aus der Gleichung (5) die Gleichung (7) im DFT-Bereich. Y(k) = X'(k) H'(k) (7)wobei X'(k) und H'(k) die DFTs von x'(n) bzw. h'(n) sind.
  • Die Gleichungen (4) bis (7) gelten für ein Filter mit einer Anzahl von Abgriffen, die kleiner als 2N ist. Das Filter ist ferner auf ein symmetrisches Filter mit einer ungeraden Anzahl von Abgriffen begrenzt, wobei diese Einschränkung H'(k) eine reelle Zahl ist. Deswegen kann X'(k), die DFT von x'(n), in dem DFT-Frequenz-Raum mit einer reellen Zahl H'(k) gewichtet werden, an Stelle von 2N Multiplikations- und 2N Additionsoperationen im räumlichen Bereich, um die Filteroperation zu implementieren. Die Werte von X'(k) beziehen sich sehr eng auf die DCT-Koeffizienten des ursprünglichen N-Punkts x(n), da eine N-Punkt-DCT von x(n) durch die 2N-Punkt-DFT von x'(n) erreicht wird, welche die vereinigte Folge ist, die sich aus x(n) und seinem Spiegelwert x(2N – 1 – n) zusammensetzt.
  • Das Folgende beschreibt die Ableitung der DFT-Koeffizienten des räumlichen Filters H'(k), wobei ein symmetrisches Filter angenommen wird, das eine ungerade Anzahl 2N – 1 von Abgriffen besitzt, d. h. es gilt h(n) = h(2N – 2 – n) und gleichbedeutend h'(n) = h'(2N – n) und h'(N) = 0. H'(k) wird nach Gleichung (8) definiert.
    Figure 00230001
    wobei W2N kn = exp {–2πkn/(2N)}; und H'(k) = H'(2N – k). Der Erfinder hat festgestellt, dass die 2N-Punkt-DFT von x'(n), X'(k), durch ihre DCT-Koeffizienten in der in Gleichung (9) gezeigten Weise ausgedrückt werden kann:
    Figure 00230002
    wohingegen die DCT-Koeffizienten von x(n), C(k) durch Gleichung (10) gegeben sind.
    Figure 00230003
    und sonst C(k) = 0.
  • Die Werte von X'(k), die DFT-Koeffizienten von x'(n), können durch C(k), die DCT- Koeffizienten von x'(n), durch die Matrixgleichung (11) ausgedrückt werden.
  • Figure 00240001
  • Die ursprünglichen räumlichen Pixelabtastwerte x(n) können außerdem durch eine IDCT (inverse diskrete Kosinus-Transformation) erreicht werden, die in Gleichung (12) gezeigt ist.
    Figure 00240002
    wobei a(k) = ½ für k = 0 und sonst 1 gilt.
  • Die Werte von y(n) für 0 ≤ n ≤ N – 1 werden durch eine IDFT von X'(k)H'(k) erhalten, die in (13) gezeigt ist:
  • Figure 00240003
  • Die Werte y(n) der Gleichung (13) sind die räumlichen Werte der IDCT von C(k)H'(k). Deswegen kann die räumliche Filterung durch die DCT-Gewichtung der eingegebenen Koeffizienten im Frequenzbereich, die den Bildblock mit H'(k) repräsentieren, ersetzt werden und dann kann die IDCT der gewichteten Werte ausgeführt werden, um die Werte der gefilterten Pixel im räumlichen Bereich zu rekonstruieren.
  • Eine Ausführungsform der beispielhaften Blockspiegel-Filterung der vorliegenden Erfindung wird durch die folgenden Schritte abgeleitet: 1) ein eindimensionales symmetrisches Tiefpassfilter mit einer ungeraden Anzahl von Abgriffen, die kleiner als 2N ist, wird ausgewählt; 2) die Filterkoeffizienten werden auf 2N Werte erweitert, indem mit Nullen aufgefüllt wird; 3) die Filterkoeffizienten werden so umgeordnet, dass der ursprüngliche mittlere Koeffizient durch eine kreisförmige Links verschiebung an die nullte Position gelangt; 4) die DFT-Koeffizienten der neu angeordneten Filterkoeffizienten werden bestimmt; 5) die DCT-Koeffizienten werden mit der Realzahl der DFT-Koeffizienten multipliziert; und 6) es wird eine inverse diskrete Kosinustransformation (IDCT) an den gefilterten DCT-Koeffizienten ausgeführt, um einen Block von tiefpass-gefilterten Pixeln für die Untersetzung zu schaffen.
  • Die Grenzfrequenz des Tiefpassfilters wird durch das Untersetzungsverhältnis bestimmt: Bei einer beispielhaften Ausführungsform beträgt die Grenzfrequenz π/3 für eine 3:1-Untersetzung und π/2 für eine 2:1-Untersetzung, wobei π dem halben Wert der Abtastfrequenz entspricht.
  • Ein Filter im DCT-Bereich in MPEG- und JPEG-Decodierern ermöglicht, dass Speicheranforderungen verringert werden können, da der inverse Quantisierer und die IDCT-Verarbeitung von Blöcken bereits in dem Decodierer des Standes der Technik vorhanden sind und lediglich die zusätzliche skalare Multiplikation von DCT-Koeffizienten durch das Filter im DCT-Bereich erforderlich ist. Deswegen ist in einer speziellen Ausführungsform keine Blockmultiplikation des Filters im DCT-Bereich physikalisch erforderlich; wobei eine weitere Ausführungsform der vorliegenden Erfindung einfach die Koeffizienten des Filters im DCT-Bereich mit den Koeffizienten der IDCT-Verarbeitung kombiniert und die kombinierten Koeffizienten an die IDCT-Operation anlegt.
  • Bei dem beispielhaften Abwärtsmischungs-System der vorliegenden Erfindung wurden die horizontale Filterung und die Untersetzung der DCT-Koeffizienten betrachtet; wobei das Folgende zwei beispielhafte Ausführungsformen sind für:
    • 1. 1920H × 1080V verschachtelt auf 640 × 1080 Verschachtelungsumsetzung (horizontale 3:1-Untersetzung)
    • 2. 1280H × 720V aufeinander folgend auf 640 × 720 progressive Umsetzung (horizontale 2:1-Untersetzung)
  • Tabelle 8 zeigt die Koeffizienten des DCT-Blockspiegel-Filters (Gewichtung); wobei in Tabelle 8 die Zahl in Klammern 10 Bit-Zweierkomplement-Darstellungen sind. Das Zeichen "*" von Tabelle 8 gibt einen außerhalb der Grenzen liegenden Wert für die 10 Bit-Zweierkomplement-Darstellung an, da der Wert größer als 1 ist; wie jedoch einem Fachmann bekannt ist, kann die Multiplikation der Spaltenkoeffi zienten des Blocks mit dem durch das Zeichen "*" angegebenen Wert in einfacher Weise implementiert werden, indem der Koeffizientenwert zu dem Koeffizienten, der mit dem gebrochenen Wert (Rest) des Filterwerts multipliziert wurde, addiert wird. Tabelle 8
    Figure 00260001
  • Die horizontalen DCT-Filterkoeffizienten gewichten jede Spalte in dem 8 × 8-Block der DCT-Koeffizienten des codierten Videobilds. Die DCT-Koeffizienten der Spalte null werden z. B. mit H[0] gewichtet und die DCT-Koeffizienten der ersten Spalte werden mit H[1] gewichtet usw.
  • Die obige Beschreibung veranschaulicht eine horizontale Filterimplementierung unter Verwendung von eindimensionalen DCTs. Wie in der Technik der digitalen Signalverarbeitung bekannt ist, kann eine derartige Verarbeitung auf zweidimensionale Systeme erweitert werden. Die Gleichung (12) veranschaulicht die IDCT für den eindimensionalen Fall, dementsprechend gibt Gleichung (12') die allgemeinere zweidimensionale IDCT an:
    Figure 00260002
    wobei f(x, y) die Darstellung im Raumbereich ist, x und y sind die räumlichen Koordinaten im Abtastwertraum und u, v sind die Koordinaten im Transforma tionsbereich. Da die Koeffizienten C(u), C(v) sowie die Werte der Kosinusausdrücke bekannt sind, müssen für die Verarbeitungsalgorithmen lediglich die Koeffizienten im Transformationsbereich bereitgestellt werden.
  • Für ein zweidimensionales System wird die Eingabefolge nun durch eine Matrix von Werten repräsentiert, von denen jeder die entsprechende Koordinate im Transformationsbereich repräsentiert und die Matrix kann so gezeigt werden, dass sie Folgen aufweist, die in der Spaltenfolge mit der Periode M und in der Zeilenfolge mit der Periode N periodisch sind, wobei N und M ganzzahlig sind. Eine zweidimensionale DCT kann als eine eindimensionale DCT implementiert werden, die an Spalten der Eingabefolge ausgeführt wird, wobei anschließend eine zweite eindimensionale DCT an den Zeilen der durch DCT verarbeiteten Eingabefolge ausgeführt wird. Wie in der Technik bekannt ist, kann eine zweidimensionale IDCT außerdem als ein einzelner Prozess implementiert sein.
  • 6 zeigt eine beispielhafte Implementierung des Filters für eine Abwärtsmischung für ein zweidimensionales System, das horizontale und vertikale Komponenten, die als kaskadenförmige eindimensionale IDCTs implementiert sind, verarbeitet. Wie in 6 gezeigt ist, können die DCT-Filtermaske 216 und die IDCT 218 der 2 durch einen Vertikal-Prozessor 510, der ein Vertikal-DCT-Filter 530 und eine Vertikal-IDCT 540 enthält, und einen Horizontal-Prozessor 520, der ein horizontales DCT-Filter und eine horizontale IDCT enthält, die gleich jenen sind, die für die vertikalen Komponenten implementiert sind, implementiert sein. Da die Filterung und die IDCT-Prozesse linear sind, kann die Reihenfolge der Implementierung dieser Prozesse neu angeordnet werden (z. B. zuerst erfolgt die horizontale und vertikale DCT-Filterung und dann erfolgen die horizontalen und vertikalen IDCTs oder umgekehrt oder es wird zuerst der Vertikal-Prozessor 520 und (anschließend) der Horizontal-Prozessor 510 angeordnet).
  • Bei der speziellen Implementierung, die in 6 gezeigt ist, folgt dem Vertikal-Prozessor 510 ein Block-Transponierungsoperator 550, der die Zeilen und Spalten des Blocks der vertikalen verarbeiteten Werte, die durch den Vertikal-Prozessor bereitgestellt werden, vertauscht. Diese Operation kann verwendet werden, um die Effektivität der Berechnung zu verbessern, indem der Block für die Verarbeitung durch den Horizontal-Prozessor 520 vorbereitet wird.
  • Der codierte Videoblock, z. B. ein 8 × 8-Block aus Matrixwerten, wird von dem Vertikal-DCT-Filter 530 empfangen, der jeden Zeileneintrag des Blocks mit den DCT-Filterwerten gewichtet, die der gewünschten vertikalen Untersetzung entsprechen. Anschließend führt die Vertikal-IDCT 540 die inverse DCT für die vertikalen Komponenten des Blocks aus. Da, wie oben beschrieben wurde, beide Prozesse einfach eine Matrixmultiplikation und -addition ausführen, können die DCT-LPF-Koeffizienten mit den vertikalen DCT-Koeffizienten für Operationen der Matrixmultiplikationen und -additionen kombiniert werden. Der Vertikal-Prozessor 510 stellt dann die vertikal verarbeiteten Blöcke an den Transponierungsoperator 550 bereit, der den transponierten Block der vertikal verarbeiteten Werte an den Horizontal-Prozessor 520 bereitstellt. Der Transponierungsoperator 550 ist nicht erforderlich, wenn die IDCT-Operation lediglich pro Zeile oder pro Spalte ausgeführt wird. Der Horizontal-Prozessor 520 führt die Gewichtung jedes Spalteneintrags des Blocks durch die DCT-Filterwerte aus, die der gewünschten horizontalen Filterung entsprechen, und führt außerdem die inverse DCT für die horizontalen Komponenten des Blocks aus.
  • Wie unter Bezugnahme auf Gleichung (12') beschrieben wurde, werden lediglich Koeffizienten im Transformationsbereich an die Verarbeitungsalgorithmen bereitgestellt; und die Operationen sind linear, wodurch mathematische Operationen lediglich an diesen Koeffizienten möglich sind. Die Operationen für die IDCT bilden eine Summe von Produkten, wie aus Gleichung (12') leicht erkannt werden kann. Demzufolge erfordert eine Hardware-Implementierung, dass bekannte Koeffizienten im Speicher gespeichert werden, wie etwa ein (nicht gezeigter) ROM, sowie eine (nicht gezeigte) Gruppe von Multiplikations- und Additionsschaltungen, die diese Koeffizienten von dem ROM sowie ausgewählte Koeffizienten von der Matrix der eingegebenen Transformationskoordinaten erhält. Bei weiterentwickelten Systemen kann ein ROM-Akkumulator-Verfahren verwendet werden, wenn die Reihenfolge von mathematischen Operationen gemäß einer verteilten Arithmetik modifiziert ist, um von einer Produktsummen-Implementierung zu einer bitseriellen Implementierung zu wechseln. Derartige Techniken sind z. B. in Stanley, A. White, Applications of Distributed Arithmetic to Digital Signal processing: A Tutorial Review, IEEE ASSP Magazine, Juli, 1989, beschrieben, die Symmetrien in den Berechnungen benutzen, um die Gesamtzahl von Gattern bei der Produktsummen-Implementierung zu verringern.
  • Bei einer alternativen Ausführungsform der vorliegenden Erfindung kann die DCT-Filteroperation mit der inversen DCT-Operation (IDCT-Operation) kombiniert sein.
  • Da bei einer derartigen Ausführungsform die Operationen der Filterung und der inversen Transformation linear sind, können die Filterkoeffizienten mit den Koeffizienten der IDCT kombiniert sein, um eine modifizierte IDCT zu bilden. Wie in der Technik bekannt ist, können die modifizierte IDCT und somit die kombinierte IDCT- und DCT-Abwärtsmischungs-Filterung durch eine Hardware-Implementierung ausgeführt werden, die jener der einfachen IDCT-Operation ähnlich ist.
  • Während in dieser Beschreibung beispielhafte Ausführungsformen der Erfindung gezeigt und beschrieben wurden, ist es selbstverständlich, dass derartige Ausführungsformen lediglich als Beispiel bereitgestellt wurden. Einem Fachmann werden, ohne vom Umfang der Erfindung abzuweichen, zahlreiche Variationen, Änderungen und Ersetzungen erscheinen. Es ist dementsprechend beabsichtigt, dass die beigefügten Ansprüche alle derartigen Variationen, die in den Umfang der Erfindung fallen, abdecken.

Claims (9)

  1. Abtastratenerhöhungs-Filter-Schaltung für ein Digital-Video-Signal-Abwärtsmischungs-System, welches ein digital kodiertes Videosignal dekodiert, welches ein Video-Bild darstellt und das dekodierte Signal untersetzt, um ein unterabgetastetes Bildsignal zu erzeugen, welches gespeichert ist zur Verwendung als Referenzbilddaten beim Dekodieren eines nachfolgend empfangenen kodierten Bildsignals, welches kodiert ist als Differenz-Bildelement (Pixel) Werte relativ zu dem früher dekodierten Bild, wobei die Abtastratenerhöhungs-Filter-Schaltung aufweist: einen programmierbaren Filter mit einer Mehrzahl von programmierbaren Koeffizientenwerten; einen Koeffizientenspeicher, welcher eine Mehrzahl von Filter-Koeffizienten-Sätzen speichert, wobei jeder Koeffizienten-Satz einer verschiedenen Unterabtast-Phase entspricht; eine Speicher-Zugriffsschaltung, welche einen Bewegungsvektor von dem kodierten Bildsignal empfängt, den empfangenen Bewegungsvektor verarbeitet, um ein gewünschtes Segment in dem gespeicherten Bild zu lokalisieren, das gewünschte Segment aus dem gespeicherten unterabgetasteten Bildsignal gewinnt; und eine Steuerschaltung, welche die Unterabtastungs-Phase des gewünschten Segments aus der Stelleninformation, zur Verfügung gestellt durch die Speicher-Zugriffsschaltung, bestimmt und den programmierbaren Filter mit dem Koeffizienten-Satz programmiert, welcher der bestimmten Unterabtastungs-Phase entspricht; wobei der programmierbare Filter das gewonnene gewünschte Segment filtert, um Referenzbilddaten zur Verfügung zu stellen, welche den dekodierten Diferenzbilddaten in der Bild-Pixelposition entsprechen.
  2. Abtastratenerhöhungs-Filter-Schaltung nach Anspruch 1, wobei: die Bewegungsvektoren in dem kodierten Videosignal die Stelle des gewünschten Segments mit einer Auflösung von einer Hälfte einer Pixelposition definieren; die Mehrzahl der Koeffizienten-Sätze eine Anzahl 2N Koeffizienten-Sätze enthält, wobei N der Untersetzungs-Faktor ist, welcher an das dekodierte Bild angelegt wird, um das unterabgetastete Bild zu erzeugen, wobei jeder Koeffizienten-Satz einer verschiedenen Kombination von Unterabtastungs-Phase und Halbpixelposition entspricht; die Steuerschaltung bestimmt die Unterabtastungs-Phase des gewünschten Segments aus der Stelleninformation, zur Verfügung gestellt durch die Speicherzugriffschaltung und die Halb-Pixelposition von dem Bewegungsvektor und programmiert den programmierbaren Filter mit dem Koeffizienten-Satz, welcher der bestimmten Abtastungs-Phase und Halbpixelposition entspricht.
  3. Abtastratenerhöhungs-Filter-Schaltung nach Anspruch 1, wobei: die Bewegungsvektoren in dem kodierten Videosignal die Stelle des gewünschten Segments mit einer Auflösung von einer Hälfte einer Pixelposition definieren; und der Filter weist weiter einen linearen Interpolator auf, welcher auf den Bewegungsvektor reagiert, welcher selektiv eine Mittelwertbildung bei benachbarten Pixeln in dem gefilterten gewünschten Segment durchführt, um Ausgabe-Pixelwerte zu erzeugen, welche um eine halbe Pixelposition von den Pixelwerten des gefilterten gewünschten Segments versetzt sind.
  4. Abtastratenerhöhungs-Filter-Schaltung nach Anspruch 1, wobei das Videosignal-Abwärtsmisch-System so konfiguriert ist, um das dekodierte Videosignal um einen einer Mehrzahl von Untersetzungs-Faktoren zu untersetzen und wobei: der Filter programmierbar ist, um das dekodierte Videobild durch einen einer Mehrzahl von Untersetzungs-Faktoren zu untersetzen; der Koeffizientenspeicher speichert mehrere Gruppen von Koeffizienten-Sätzen, wobei jede Gruppe einem der Mehrzahl der Untersetzungs-Faktoren entspricht; und die Steuerschaltung reagiert auf den Untersetzungs-Faktor und die Stelleninformation, zur Verfügung gestellt durch die Speicher-Zugriffsschaltung, um den programmierbaren Filter mit dem Koeffizienten-Satz zu programmieren, welcher dem Untersetzungs-Faktor und der bestimmten Abtast-Phase entspricht.
  5. Abtastratenerhöhungs-Filter-Schaltung nach Anspruch 4, wobei das untersetzte Videosignal nur in der horizontalen Richtung untersetzt ist und der programmierbare Filter ist ein eindimensionaler Filter mit endlicher Impulsantwort (FIR).
  6. Abtastratenerhöhungs-Filter-Schaltung für ein Digital-Video-Signal-Abwärtsmischungs-System, welches ein digital kodiertes Videosignal dekodiert, welches ein Videobild darstellt und das dekodierte Signal untersetzt, um ein unterabgetastetes Bildsignal zu erzeugen, welches gespeichert ist zur Verwendung als Referenzbilddaten beim Dekodieren eines nachfolgend empfangenen kodierten Bildsignals, welches kodiert ist als Differenz-Bildelement (Pixel) Werte relativ zu dem früher dekodierten Bild, wobei die Abtastratenerhöhungs-Filter-Schaltung aufweist: einen programmierbaren Filter mit einer Mehrzahl von programmierbaren Koeffizienten-Werten; eine Speicher-Zugriffsschaltung, welche einen Bewegungsvektor empfängt, welcher die Stelle des gewünschten Segments mit einer Auflösung mit einer Hälfte einer Pixelposition definiert, von dem kodierten Bildsignal, den empfangenen Bewegungsvektor verarbeitet, um ein gewünschtes Segment in dem gespeicherten Bild zu lokalisieren, das gewünschte Segment aus dem gespeicherten unterabgetasteten Bildsignal gewinnt; einen Koeffizientenspeicher, welcher eine Mehrzahl von Filter-Koeffizienten-Sätzen speichert, wobei jeder Koeffizienten-Satz einer verschiedenen Kombination von Unterabtastungs-Phase und Halbpixelposition entspricht; und eine Steuerschaltung, welche die Unterabtastungs-Phase des gewünschten Segments bestimmt aus einer Stelleninformation, zur Verfügung gestellt durch die Speicher-Zugriffsschaltung und den programmierbaren Filter mit dem Koeffizienten-Satz programmiert, welcher der bestimmten Unterabtastungs-Phase und Halbpixelposition entspricht; wobei der programmierbare Filter das gewonnene gewünschte Segment filtert, um Referenzbilddaten zur Verfügung zu stellen, welche den dekodierten Differenzbilddaten in der Bildpixelposition entsprechen.
  7. Abtastratenerhöhungs-Filter-Schaltung nach Anspruch 6, wobei das Videosignal-Abwärtsmischungs-System so konfiguriert ist, um das dekodierte Videosignal um einen aus einer Mehrzahl von Untersetzungs-Faktor zu untersetzen: der Filter ist programmierbar, um eine Abtastratenerhöhung bei dem dekodierten Videobild um einen aus einer Mehrzahl von Abtastratenerhöhungs-Faktoren durchzuführen, wobei jeder Abtastratenerhöhungs-Faktor einem der Untersetzungs-Faktoren entspricht; der Koeffizienten-Speicher speichert mehrere Gruppen von Koeffizienten-Sätzen, wobei jede Gruppe einem der Mehrzahl der Untersetzungs-Faktoren entspricht; und die Steuerschaltung reagiert auf den Untersetzungs-Faktor und die Stelleninformation, zur Verfügung gestellt durch die Speicherzugriffschaltung, um den programmierbaren Filter mit dem Koeffizienten-Satz zu programmieren, welcher dem Untersetzungs-Faktor und der bestimmten Abtast-Phase entspricht.
  8. Verfahren zur Abtastratenerhöhung von Daten, welche ein gespeichertes, unterabgetastetes digitales Bild darstellen, zur Verwendung in einem Digital-Videosignal-Abwärtsmischungs-System, welches ein digitales kodiertes Videosignal dekodiert, welches ein Videobild darstellt und das dekodierte Signal untersetzt, um das gespeicherte unterabgetastete Bild zu erzeugen, wobei das unterabgetastete Bild gespeichert ist zur Verwendung als Referenzbilddaten beim Dekodieren eines nachfolgend empfangenen kodierten Bildsignals, welches kodiert ist als Differenz-Bildelement (Pixel) Werte relativ zu dem früher dekodierten Bild bevor das dekodierte Bild unterabgetastet wurde, wobei das Unterabtastverfahren die Schritte aufweist: Empfangen eines Bewegungsvektors von dem kodierten Bildsignal; Verarbeiten des empfangenen Bewegungsvektors, um ein gewünschtes Segment in dem gespeicherten Bild zu lokalisieren; Gewinnen des gewünschten Segments aus dem gespeicherten unterabgetasteten Bildsignal; und Bestimmen einer Unterabtastungs-Phase des gewünschten Segments aus der Stelle des gewünschten Segments; Auswählen eines Satzes von Koeffizienten aus einer Mehrzahl von Koeffizienten-Sätzen in Reaktion auf die bestimmte Unterabtastungs-Phase des gewünschten Segments, wobei der eine Satz der Koeffizienten verwendet werden soll, um das gewonnene Segment zu filtern; und Filtern des gewonnenen gewünschten Segments unter Verwendung des ausgewählten Satzes der Koeffizienten, um Referenzbilddaten zu erzeugen, welche den dekodierten Diferenzbilddaten in der Bildpixelposition entsprechen.
  9. Verfahren zur Abtastratenerhöhung nach Anspruch 8, wobei: der Bewegungsvektor die Stelle des gewünschten Bildsegmentes mit einer halben Pixelauflösung definiert; und der Auswähl-Schritt wählt ein Paar von Koeffizienten-Sätzen aus, in Reaktion auf die Unterabtastungs-Phase, welche die Unterabtastungs-Phase und die Unterabtastungs-Phase, verschoben um eine halbe Pixelpositon, darstellen; und das Verfahren weist weiter den Schritt auf: Bestimmen, in Reaktion auf den Bewegungsvektor, eines Koeffizienten-Satzes des Paars der Koeffizienten-Sätze, welcher verwendet werden soll durch den Filter-Schritt, um die Referenzbilddaten zu erzeugen.
DE69822060T 1997-03-12 1998-03-11 Aufwärtsabtasterfilter und halbbildelementgenerator für abwärtsumsetzungssystem für hochauflösungsfernsehen Expired - Fee Related DE69822060T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US4051797P 1997-03-12 1997-03-12
US40517P 1997-03-12
PCT/US1998/004757 WO1998041029A1 (en) 1997-03-12 1998-03-11 Upsampling filter and half-pixel generator for an hdtv downconversion system

Publications (2)

Publication Number Publication Date
DE69822060D1 DE69822060D1 (de) 2004-04-08
DE69822060T2 true DE69822060T2 (de) 2005-03-03

Family

ID=21911409

Family Applications (2)

Application Number Title Priority Date Filing Date
DE69822060T Expired - Fee Related DE69822060T2 (de) 1997-03-12 1998-03-11 Aufwärtsabtasterfilter und halbbildelementgenerator für abwärtsumsetzungssystem für hochauflösungsfernsehen
DE69821693T Expired - Lifetime DE69821693T2 (de) 1997-03-12 1998-03-11 Mpeg-decoder zur erzeugung multipler standardausgangssignale

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE69821693T Expired - Lifetime DE69821693T2 (de) 1997-03-12 1998-03-11 Mpeg-decoder zur erzeugung multipler standardausgangssignale

Country Status (7)

Country Link
US (1) US6184935B1 (de)
EP (4) EP1628479A3 (de)
JP (3) JP2001506099A (de)
CN (3) CN1197352C (de)
DE (2) DE69822060T2 (de)
MY (2) MY119918A (de)
WO (3) WO1998041029A1 (de)

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09182083A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US6618443B1 (en) * 1997-03-12 2003-09-09 Matsushita Electric Industrial Co., Ltd. Upsampling filter for a down conversion system
US6873368B1 (en) * 1997-12-23 2005-03-29 Thomson Licensing Sa. Low noise encoding and decoding method
US6519288B1 (en) * 1998-03-06 2003-02-11 Mitsubishi Electric Research Laboratories, Inc. Three-layer scaleable decoder and method of decoding
US6259734B1 (en) * 1998-04-03 2001-07-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
US6665344B1 (en) 1998-06-29 2003-12-16 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
JP2000059735A (ja) * 1998-08-04 2000-02-25 Sony Corp 画像処理装置および方法、並びに提供媒体
US6804827B1 (en) * 1998-09-18 2004-10-12 Sony Corporation Transmission system and method signal adjusting apparatus and method and routing apparatus
US6487249B2 (en) * 1998-10-09 2002-11-26 Matsushita Electric Industrial Co., Ltd. Efficient down conversion system for 2:1 decimation
US6249549B1 (en) * 1998-10-09 2001-06-19 Matsushita Electric Industrial Co., Ltd. Down conversion system using a pre-decimation filter
US6438275B1 (en) * 1999-04-21 2002-08-20 Intel Corporation Method for motion compensated frame rate upsampling based on piecewise affine warping
US6993076B1 (en) * 1999-05-11 2006-01-31 Thomson Licensing S.A. Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal
WO2001005159A1 (en) * 1999-07-07 2001-01-18 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
US7668189B1 (en) 1999-07-08 2010-02-23 Thomson Licensing Adaptive transport protocol
US6968008B1 (en) 1999-07-27 2005-11-22 Sharp Laboratories Of America, Inc. Methods for motion estimation with adaptive motion accuracy
US6522363B1 (en) * 1999-07-30 2003-02-18 Thomson Licensing S.A. Display frame rate adaptation
JP2001103393A (ja) 1999-09-28 2001-04-13 Sony Corp 受信装置および方法、並びに記録媒体
JP2001103482A (ja) 1999-10-01 2001-04-13 Matsushita Electric Ind Co Ltd 直交変換を用いたデジタルビデオ・ダウンコンバータ用の動き補償装置
AU7747100A (en) * 1999-10-12 2001-04-23 Deutsche Thomson-Brandt Gmbh Method and system for eliminating edge effects at the beginning of lines in video signals
DE19951341B4 (de) * 1999-10-25 2012-02-16 Robert Bosch Gmbh Verfahren zur bewegungskompensierenden Prädiktion von Bewegtbildern sowie Einrichtung hierzu
EP1226712B1 (de) 1999-11-04 2003-04-23 Thomson Licensing S.A. Fernsehempfänger in einem fernsehprogrammverteilungssystem
JP2001238185A (ja) * 2000-02-24 2001-08-31 Sony Corp 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置、並びにそれに使用される係数データの生成装置および生成方法
US6459452B1 (en) * 2000-03-31 2002-10-01 Intel Corporation System, method, and apparatus for decoding digital video sequences
DE10022264A1 (de) * 2000-05-08 2001-11-22 Micronas Munich Gmbh Videosignal-Decoder und Verfahren zur Beseitigung von Bildstörungen in einem Videobild
US7020205B1 (en) 2000-07-12 2006-03-28 Thomson Licensing Sending progressive video sequences suitable for MPEG and other data formats
JP4465570B2 (ja) * 2000-09-26 2010-05-19 ソニー株式会社 画像処理装置および方法、並びに記録媒体
US7554612B2 (en) 2000-10-03 2009-06-30 Thomson Licensing Method and system for buffering pixel data
CN1227904C (zh) * 2000-10-03 2005-11-16 汤姆森特许公司 缓冲像素数据的方法和系统
KR20020070501A (ko) * 2000-11-22 2002-09-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 압축 인코딩된 비디오의 압축 해제
US7227895B1 (en) * 2000-12-12 2007-06-05 Sony Corporation System and method for generating decoded digital video image data
US7136538B2 (en) * 2000-12-21 2006-11-14 Matsushita Electric Industrial Co., Ltd. Noise reducing apparatus and noise reducing method
US6704759B2 (en) * 2001-01-19 2004-03-09 Motorola, Inc. Method and apparatus for compression/decompression and filtering of a signal
US6909750B2 (en) * 2001-05-01 2005-06-21 Koninklijke Philips Electronics N.V. Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing
US6751258B2 (en) * 2001-05-30 2004-06-15 Koninklijke Philips Electronics N.V. Vertical scaling of interlaced video in the frequency domain
KR100828343B1 (ko) * 2001-08-04 2008-05-08 삼성전자주식회사 방송 프로그램을 기록하는 방법, 장치 및 정보 저장매체
FR2830157A1 (fr) * 2001-09-25 2003-03-28 Koninkl Philips Electronics Nv Procede de conversion de donnees video codees
US6765622B2 (en) * 2001-10-26 2004-07-20 Koninklijke Philips Electronics N.V. Line-buffer reuse in vertical pixel-processing arrangement
KR100400353B1 (ko) * 2001-10-27 2003-10-04 엘지전자 주식회사 디지털 컨텐츠 전송방법 및 장치
US8284844B2 (en) 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
JP4102973B2 (ja) * 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
US7006572B2 (en) * 2002-05-09 2006-02-28 Mitsubishi Electric Research Labs, Inc. Method and apparatus for decoding video bitstreams to reduced spatial resolutions
US6990150B2 (en) * 2002-05-14 2006-01-24 Enseo, Inc. System and method for using a High-Definition MPEG decoder to extract multiple Standard Definition frames from a High-Definition frame
US6980599B2 (en) * 2002-06-04 2005-12-27 Koninklijke Philips Electronics N.V. Video decoding system and method having post-processing to reduce sharpness prediction drift
FR2844131B1 (fr) * 2002-09-03 2004-11-12 St Microelectronics Sa Procede et dispositif d'interpolation d'images avec compensation du mouvement
BR0316559A (pt) * 2002-11-25 2005-10-04 Thomson Licensing Sa Decodificador em duas camadas para dvd hìbrido de alta definição
US20040213542A1 (en) * 2003-04-22 2004-10-28 Hiroshi Hamasaka Apparatus and method to reproduce multimedia content for a multitude of resolution displays
EP1507415A3 (de) * 2003-07-16 2005-05-04 Samsung Electronics Co., Ltd. Vorrichtung und Verfahren zur Kodierung und Dekodierung von Farbvideobildern
GB2405281A (en) * 2003-08-19 2005-02-23 Snell & Wilcox Ltd Format conversion using colourimetric components
WO2005093759A1 (en) * 2004-03-15 2005-10-06 Thomson Licensing Technique for efficient video re-sampling
US8243820B2 (en) 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
US9071847B2 (en) 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
FR2876861A1 (fr) * 2004-10-20 2006-04-21 Thomson Licensing Sa Procede de codage d'images video de differents formats non proportionnels
US7586492B2 (en) * 2004-12-20 2009-09-08 Nvidia Corporation Real-time display post-processing using programmable hardware
EP1871075B1 (de) 2004-12-24 2015-03-04 IZUTSU, Masahiro Mobile informationskommunikationsvorrichtung, verbindungseinheit für eine mobile informationskommunikationsvorrichtung und externe eingabe-/ausgabeeinheit für eine mobile informationskommunikationsvorrichtung
US8175168B2 (en) * 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
JP4470810B2 (ja) * 2005-05-11 2010-06-02 ソニー株式会社 映像信号処理装置および方法、並びにプログラム
WO2007032597A1 (en) * 2005-07-20 2007-03-22 Electronics And Telecommunications Research Institute Method of redundant picture coding using polyphase downsampling and the codec using the same
KR100779173B1 (ko) * 2005-07-20 2007-11-26 한국전자통신연구원 폴리페이즈 다운 샘플링기반 리던던트 슬라이스 코딩 방법및 그 방법을 이용하는 코덱
CN100455005C (zh) * 2005-09-29 2009-01-21 西安交通大学 数字高清晰度电视芯片输入高清晰电视和计算机信号方法
CN1859576A (zh) * 2005-10-11 2006-11-08 华为技术有限公司 对空间分层编码视频图象的上采样方法及其系统
US7777812B2 (en) * 2005-11-18 2010-08-17 Sharp Laboratories Of America, Inc. Methods and systems for picture resampling
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
JP4517301B2 (ja) * 2006-01-06 2010-08-04 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
CN1794821A (zh) * 2006-01-11 2006-06-28 浙江大学 可分级视频压缩中插值的方法与装置
DE602006020239D1 (de) 2006-01-24 2011-04-07 Ihi Corp Motorbetriebene Aufladung
EP1813782B1 (de) 2006-01-26 2009-08-05 IHI Corporation Turbo-Auflader
JP4600788B2 (ja) 2006-03-23 2010-12-15 株式会社Ｉｈｉ 過給機の高速回転軸
US7460133B2 (en) * 2006-04-04 2008-12-02 Sharp Laboratories Of America, Inc. Optimal hiding for defective subpixels
US8385419B2 (en) * 2006-04-26 2013-02-26 Altera Corporation Methods and apparatus for motion search refinement in a SIMD array processor
JP4753033B2 (ja) 2006-06-02 2011-08-17 株式会社Ｉｈｉ 電動過給機
EP2067960B1 (de) 2006-08-18 2015-09-23 IHI Corporation Elektrischer auflader
US8405779B2 (en) * 2006-08-31 2013-03-26 Broadcom Corporation Video decoder block
CN1917575B (zh) * 2006-09-07 2011-05-25 康佳集团股份有限公司 数字显示器图像显示格式转换方法
US7881511B2 (en) * 2007-01-19 2011-02-01 Korea Advanced Institute Of Science And Technology Method for super-resolution reconstruction using focal underdetermined system solver algorithm
US8832290B2 (en) * 2007-02-23 2014-09-09 Microsoft Corporation Smart pre-fetching for peer assisted on-demand media
US8107571B2 (en) 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
CN101094369B (zh) * 2007-07-18 2010-08-25 四川长虹电器股份有限公司 数字电视机显示模式切换方法
CN101127858B (zh) * 2007-08-28 2012-06-27 邬承基 数字图像硬盘录像机的改进型输出方法
WO2009047684A2 (en) * 2007-10-08 2009-04-16 Nxp B.V. Video decoding
CN101478671B (zh) * 2008-01-02 2011-05-11 中兴通讯股份有限公司 应用于视频监控的视频编码装置及其视频编码方法
US8953673B2 (en) 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8325801B2 (en) * 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8042143B2 (en) * 2008-09-19 2011-10-18 At&T Intellectual Property I, L.P. Apparatus and method for distributing media content
WO2010091750A1 (en) 2009-02-12 2010-08-19 Zoran (France) Scaling method and device for image signals
KR101634562B1 (ko) * 2009-09-22 2016-06-30 삼성전자주식회사 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
EP2315445A1 (de) * 2009-10-09 2011-04-27 Vidast Oy Videokomprimierung
CN101765027B (zh) * 2009-10-20 2013-01-09 大连捷成实业发展有限公司 时域加权数字视频静帧检测方法
CN101860749A (zh) * 2010-04-20 2010-10-13 中兴通讯股份有限公司 一种视频图像编码和解码方法及装置
US8406134B2 (en) 2010-06-25 2013-03-26 At&T Intellectual Property I, L.P. Scaling content communicated over a network
TWI406561B (zh) * 2010-07-27 2013-08-21 私立中原大學 Video processor and its automatic selection filter of the video filter driver
TW201227494A (en) * 2010-12-24 2012-07-01 Wistron Corp Method of picture display and device thereof
CN102595109B (zh) * 2011-01-07 2014-12-17 安凯(广州)微电子技术有限公司 一种jpeg图片解码方法及装置
CN102438135B (zh) * 2011-01-14 2013-12-04 展讯通信（上海）有限公司 高分辨率视频在小尺寸显示设备上的降采样解码方法及装置
JP2014509120A (ja) * 2011-01-21 2014-04-10 トムソン ライセンシング コンテンツプロファイルを用いる高度化された遠隔トランスコーディングのためのシステム及び方法
CN103119943B (zh) * 2011-06-03 2017-03-08 太阳专利托管公司 图像编码方法及图像解码方法
US8855195B1 (en) 2011-09-09 2014-10-07 Panamorph, Inc. Image processing system and method
US9258517B2 (en) * 2012-12-31 2016-02-09 Magnum Semiconductor, Inc. Methods and apparatuses for adaptively filtering video signals
US9141624B2 (en) 2013-02-01 2015-09-22 International Business Machines Corporation Managing the storage of media content
CN103108239A (zh) * 2013-02-25 2013-05-15 四川金网通电子科技有限公司 视频宽高比自动转换方法及装置
EP2983360A4 (de) * 2013-04-05 2016-11-16 Mitsubishi Electric Corp Farbbildcodierungsvorrichtung, farbbilddecodierungsvorrichtung, farbbildcodierungsverfahren und farbbilddecodierungsverfahren
KR20150037371A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 다이렉트 메모리 액세스(dma)를 이용하여 영상 신호를 처리하는 방법 및 장치.
KR102124111B1 (ko) 2013-10-02 2020-06-18 에이에스엠엘 네델란즈 비.브이. 산업 공정과 관련된 진단 정보를 얻는 방법 및 장치
JP6114158B2 (ja) * 2013-10-03 2017-04-12 東罐興業株式会社 容器ホルダ
US11350015B2 (en) 2014-01-06 2022-05-31 Panamorph, Inc. Image processing system and method
CN106027979A (zh) * 2016-06-21 2016-10-12 深圳市智美达科技股份有限公司 摄像监控图像显示系统
US10643307B2 (en) * 2017-11-10 2020-05-05 Intel Corporation Super-resolution based foveated rendering
US11736648B2 (en) 2018-05-09 2023-08-22 Panamorph, Inc. Progressive image compression and restoration providing a high spatial quality intermediate image
CN108419068A (zh) * 2018-05-25 2018-08-17 张家港康得新光电材料有限公司 一种3d图像处理方法和装置
EP4162439A1 (de) * 2020-06-08 2023-04-12 UNITED STATES GOVERNMENT as represented by THE DEPARTMENT OF VETERANS AFFAIRS Verfahren und systeme zur bestimmung einer objektkarte
CN112188121B (zh) * 2020-10-21 2022-06-28 绍兴速显微电子科技有限公司 一种mipi及csi接口的摄像头模拟系统

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3997772A (en) 1975-09-05 1976-12-14 Bell Telephone Laboratories, Incorporated Digital phase shifter
GB2084833A (en) 1980-04-11 1982-04-15 Ampex System for spatially transforming images
US4631750A (en) 1980-04-11 1986-12-23 Ampex Corporation Method and system for spacially transforming images
US4472785A (en) 1980-10-13 1984-09-18 Victor Company Of Japan, Ltd. Sampling frequency converter
US4432009A (en) * 1981-03-24 1984-02-14 Rca Corporation Video pre-filtering in phantom raster generating apparatus
EP0076259B1 (de) 1981-04-10 1989-08-16 Ampex Corporation Steuerung für ein gerät zur räumlichen transformation von bildern
ATE45258T1 (de) 1981-04-10 1989-08-15 Ampex Geraet zur raeumlichen transformation von bildern.
JPS58219841A (ja) 1982-06-15 1983-12-21 Kokusai Denshin Denwa Co Ltd <Kdd> 標本化周波数の高速変換回路
US4652908A (en) 1985-03-25 1987-03-24 Rca Corporation Filtering system for processing a reduced-resolution video image
JP2592810B2 (ja) 1986-09-30 1997-03-19 株式会社東芝 サンプルレート変換回路
US4774581A (en) 1987-04-14 1988-09-27 Rca Licensing Corporation Television picture zoom system
US5122873A (en) * 1987-10-05 1992-06-16 Intel Corporation Method and apparatus for selectively encoding and decoding a digital motion video signal at multiple resolution levels
US4918523A (en) * 1987-10-05 1990-04-17 Intel Corporation Digital video formatting and transmission system and method
US5028995A (en) * 1987-10-28 1991-07-02 Hitachi, Ltd. Picture signal processor, picture signal coder and picture signal interpolator
US5057911A (en) 1989-10-19 1991-10-15 Matsushita Electric Industrial Co., Ltd. System and method for conversion of digital video signals
US5367334A (en) * 1991-05-20 1994-11-22 Matsushita Electric Industrial Co., Ltd. Video signal encoding and decoding apparatus
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
US5351086A (en) * 1991-12-31 1994-09-27 Daewoo Electronics Co., Ltd. Low-bit rate interframe video encoder with adaptive transformation block selection
JP3255179B2 (ja) 1992-02-14 2002-02-12 ソニー株式会社 データ検出装置
GB2264417B (en) 1992-02-17 1995-12-06 Sony Broadcast & Communication Video standards conversion
US5262854A (en) 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
JPH05283978A (ja) 1992-03-31 1993-10-29 Sony Corp サンプリングレート変換装置
JP3158648B2 (ja) * 1992-04-30 2001-04-23 ソニー株式会社 ディジタル特殊効果発生装置
US5331346A (en) 1992-10-07 1994-07-19 Panasonic Technologies, Inc. Approximating sample rate conversion system
KR960010469B1 (ko) * 1992-10-07 1996-08-01 대우전자 주식회사 Pip 기능을 갖는 디지탈방식 고선명 텔레비젼
US5274372A (en) 1992-10-23 1993-12-28 Tektronix, Inc. Sampling rate conversion using polyphase filters with interpolation
JP3093494B2 (ja) * 1992-11-18 2000-10-03 株式会社東芝 多様性信号処理装置
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5477397A (en) * 1993-02-23 1995-12-19 Matsushita Electric Corporation Of America Digital high definition television receiver with features that facilitate trick-play modes on a digital VCR
TW224553B (en) * 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
DE69411926T2 (de) 1993-09-13 1999-02-18 Analog Devices Inc Digital-analog-wandlung mit nicht-uniformen abtastraten
US5469223A (en) * 1993-10-13 1995-11-21 Auravision Corporation Shared line buffer architecture for a video processing circuit
US5483474A (en) 1993-11-15 1996-01-09 North Shore Laboratories, Inc. D-dimensional, fractional bandwidth signal processing apparatus
US5796438A (en) * 1994-07-05 1998-08-18 Sony Corporation Methods and apparatus for interpolating picture information
EP0695032B1 (de) * 1994-07-25 2001-11-07 Matsushita Electric Industrial Co., Ltd. Digital/Digital-Abtastratenumsetzer
US5613084A (en) 1994-10-04 1997-03-18 Panasonic Technologies, Inc. Interpolation filter selection circuit for sample rate conversion using phase quantization
US5600379A (en) * 1994-10-13 1997-02-04 Yves C. Faroudia Television digital signal processing apparatus employing time-base correction
US5644361A (en) 1994-11-30 1997-07-01 National Semiconductor Corporation Subsampled frame storage technique for reduced memory size
EP0745307B3 (de) * 1994-12-14 2010-06-23 Philips Electronics N.V. Übertragungssystem für untertitel
JPH08181988A (ja) * 1994-12-26 1996-07-12 Canon Inc 動画像処理装置
JP3855282B2 (ja) * 1995-02-06 2006-12-06 ソニー株式会社 受信装置および受信方法
US5528301A (en) 1995-03-31 1996-06-18 Panasonic Technologies, Inc. Universal video format sample size converter
US5621660A (en) * 1995-04-18 1997-04-15 Sun Microsystems, Inc. Software-based encoder for a software-implemented end-to-end scalable video delivery system
US5798948A (en) * 1995-06-20 1998-08-25 Intel Corporation Method and apparatus for video filtering
MX9800245A (es) * 1995-06-29 1998-07-31 Thomson Multimedia Sa Sistema para codificar y descodificar datos de video comprimidos en capas.
US5737019A (en) 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
KR100192270B1 (ko) * 1996-02-03 1999-06-15 구자홍 에이치디티브이 비데오 디코더 회로
US5825424A (en) * 1996-06-19 1998-10-20 Thomson Consumer Electronics, Inc. MPEG system which decompresses and recompresses image data before storing image data in a memory and in accordance with a resolution of a display device

Also Published As

Publication number Publication date
MY119918A (en) 2005-08-30
CN1219327A (zh) 1999-06-09
EP0908057B1 (de) 2004-03-03
MY129539A (en) 2007-04-30
DE69821693T2 (de) 2005-04-07
EP1628479A2 (de) 2006-02-22
WO1998041029A1 (en) 1998-09-17
DE69822060D1 (de) 2004-04-08
JP2000511035A (ja) 2000-08-22
EP0901735A1 (de) 1999-03-17
WO1998041012A1 (en) 1998-09-17
EP1628479A3 (de) 2007-09-05
CN1170425C (zh) 2004-10-06
CN1219321A (zh) 1999-06-09
JP4346114B2 (ja) 2009-10-21
WO1998041011A1 (en) 1998-09-17
JP2001506099A (ja) 2001-05-08
EP0908057A1 (de) 1999-04-14
EP0901734A1 (de) 1999-03-17
CN1170438C (zh) 2004-10-06
US6184935B1 (en) 2001-02-06
DE69821693D1 (de) 2004-03-25
EP0901734B1 (de) 2004-02-18
JP2000514987A (ja) 2000-11-07
CN1220800A (zh) 1999-06-23
CN1197352C (zh) 2005-04-13

Similar Documents

Publication Publication Date Title
DE69822060T2 (de) Aufwärtsabtasterfilter und halbbildelementgenerator für abwärtsumsetzungssystem für hochauflösungsfernsehen
US6249549B1 (en) Down conversion system using a pre-decimation filter
DE69728801T2 (de) Verfahren und Vorrichtung zum Verändern der Auflösung durch direkte DCT Koeffizenten-Umsetzung
KR100667606B1 (ko) 다운 변환 시스템용 업 샘플링 필터
US6175592B1 (en) Frequency domain filtering for down conversion of a DCT encoded picture
DE69632622T2 (de) Universaler MPEG-Dekoder mit skalierbarer Bildgrösse
US6487249B2 (en) Efficient down conversion system for 2:1 decimation
DE69735838T2 (de) Videokodierer mit Transformationskoeffizientenprädiktion
US6539120B1 (en) MPEG decoder providing multiple standard output signals
DE69830802T2 (de) Zuweisung von rechenleistung in einem informationsstrom-dekoder
DE69530336T2 (de) Bewegungskompensation für digitale Videosignale mit Zeilensprung
US20050265610A1 (en) Circuit and method for decoding an encoded version of an image having a first resolution directly into a decoded version of the image having a second resolution
DE69909364T2 (de) Vorrichtung und Methode zur Änderung der Grösse eines komprimiertes Bildes
WO1998041012A9 (en) Mpeg decoder providing multiple standard output signals
JP2002500455A (ja) 高速ｉｄｃｔ／ダウンサンプリング複合演算方法および装置
DE69736620T2 (de) Videodecoder mit einem horizontalen Polyphasen-Fir-Filter
DE69909880T2 (de) Dekodierung eines komprimierten digitalen Bildsignals
DE69628269T2 (de) Konversionsverfahren einer Ausgangsdatenfolge in Invers-DCT und Schaltung davon
KR100563015B1 (ko) Hdtv다운컨버젼시스템을위한업샘플링필터와하프-픽셀발생기
DE10196982T5 (de) Robuste Zeitdomänen-Blockdekodierung
DE19903859A1 (de) Verfahren und Anordnung zur Transformation eines Bildbereichs
KR20000010957A (ko) 다중 표준 출력 신호를 제공하는 mpeg 디코더

Legal Events

Date Code Title Description
8332 No legal effect for de
8370 Indication of lapse of patent is to be deleted
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee