DE69635268T2 - Geräte zum Setzen von Ankern in bewegten Bildern und Hypermedia - Google Patents

Geräte zum Setzen von Ankern in bewegten Bildern und Hypermedia Download PDF

Info

Publication number
DE69635268T2
DE69635268T2 DE69635268T DE69635268T DE69635268T2 DE 69635268 T2 DE69635268 T2 DE 69635268T2 DE 69635268 T DE69635268 T DE 69635268T DE 69635268 T DE69635268 T DE 69635268T DE 69635268 T2 DE69635268 T2 DE 69635268T2
Authority
DE
Germany
Prior art keywords
anchor
frame
area
information
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69635268T
Other languages
English (en)
Other versions
DE69635268D1 (de
Inventor
Hironobu Chiyoda-ku Abe
Junshiro Chiyoda-ku Kanda
Koji Chiyoda-ku Wakimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE69635268D1 publication Critical patent/DE69635268D1/de
Application granted granted Critical
Publication of DE69635268T2 publication Critical patent/DE69635268T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/748Hypervideo

Description

  • HINTERGRUND DER ERFINDUNG
  • GEBIET DER ERFINDUNG
  • Die vorliegende Erfindung bezieht sich allgemein auf eine Ankervorrichtung für bewegte Bilder und eine diese Vorrichtung verwendende Hypermedia-Vorrichtung, und insbesondere auf eine Vorrichtung zum Eingeben eines bewegten Bildes und Setzen eines Ankers auf Targets und dergleichen, die in dem bewegten Bild enthalten sind, und auf eine Hypermedia-Vorrichtung für bewegte Bilder zum Verbinden aufeinander bezogener Informationen mit einem durch diese Vorrichtung gesetzten Anker und Ausführen von Funktionen wie beabsichtigtes Abrufen.
  • BESCHREIBUNG DES STANDES DER TECHNIK
  • Im Allgemeinen hat bei früheren Hypermedia-Vorrichtung das Abrufen von Informationen die Form angenommen, durch die eine logische Einheit zum Verbinden hauptsächlich für Text oder stationäre Bilder geschaffen ist, die bezogenen Informationen mit dieser logischen Einheiten verbunden werden, und wenn der Benutzer diese logische Einheit geklickt hat, wird die bezogene Information dargestellt. Jedoch wurden in den letzten Jahren verschiedene Techniken wie beispielsweise durch MPEG in Bezug auf die Codierung und Decodierung von bewegten Bildern dargestellt ist, für die Verarbeitung nicht nur von stationären Bildern sondern auch von bewegten Bildern vorgeschlagen. Durch Handhabung bewegter Bilder wird der Bereich von Inhalten, der in den vorgenannten Hypermedia-Vorrichtungen wie CAI, viele Typen der Darstellung und elektronische Kataloge geschaffen werden kann, erweitert. Bisher war die Verwendung der Aufbereitung von bewegten Bildern begrenzt auf das industrielle Gebiet wie Rundfunkstationen, aber in der Zukunft wird bald erwartet, dass sie in weitem Umfang verfügbar wird als ein System für private Verwendung auf der Grundlage von Personalcomputern.
  • Die Japanische Patentanmeldung Nr. Hei 4-163589 offenbart eine Bildverarbeitungsvorrichtung, die in der Lage ist, logische Einheiten (hier als "Knoten" bezeichnet) zum Bewegen von Bildern zu setzen. In Bezug auf das Problem, dass das Setzen von Knoten für ein stationäres Bild nur mit einem bestimmten Anzeigebereich möglich ist, konzentriert sich diese Vorrichtung für ein bewegtes Bild auf (1) den Anzeigebereich und (2) die Zeit, wodurch die gültige Kontinuitätsperiode der Knoten und der Regionalbereich spezifiziert werden, und ist eine Vorrichtung, bei der derartige Spezifikationen möglich sind. Somit wird für (1) durch Anzeigen mit einer Maus usw. der Bereiche, die ein in einem bewegten Bild erscheinendes Subjekt um geben, der Knoten zu dieser Zeit gesetzt; andererseits wird für (2) die gültige Kontinuitätsperiode des Knotens spezifiziert gemäß der seit dem Start der Ausgabe des bewegten Bildes verstrichenen Zeit. Daher ist dieser Knoten eindeutig bestimmt entsprechend dem Bereich und der verstrichenen Zeit, und eine Verbindung kann für die bezogenen Informationen zu jedem Knoten hergestellt werden. Nachdem die Verbindung hergestellt ist, wird, wenn das bewegte Bild tatsächlich wiedergegeben wird, wenn der Benutzer einen Bereich auf dem Schirm mit einer Maus usw. anklickt, ein Knoten genau festgelegt gemäß der Position und der Zeit, und die bezogenen Informationen werden dargestellt.
  • In INFORMATION AND SOFTWARE TECHNOLOGY, Band 36, Nr. 4, 1. Januar 1994, Seiten 213–223, XP000572844 Burrill V et al.: "Time-Varying Sensitive Regions in Dynamic Multimedia Objects: A Pragmatic Approach to Content Based Retrieval from Video" und N. Mandrane, M. Goldberg: "Towards Automatic Annotation of Video Documents", Seiten 773–776, IERE 1994, XP10216130, werden auf dem Inhalt basierende Abrufsysteme aus Videoinformationen offenbart, bei denen das Startvollbild und Endvollbilder gesetzt sind. In diesen Vollbildern werden Anker gesetzt und für die Vollbilder zwischen dem Startvollbild und dem Endvollbild werden Anker interpoliert.
  • EP-A-0 596 823 offenbart ein Verfahren zum selektiven Assoziieren von gespeicherten Daten mit einem lebendigen Element. Die Existenz des Datensatzes in einer Multimedia-Darstellung und seine Assoziation mit dem lebendigen Element sind angezeigt für die Auswahl durch den Benutzer.
  • S. Kim, Jay Juo: "A Stochastic Approach for Motion Vector Estimation in Video Coding", SPIE, Band 2304, Seiten 111–122, XP 8017931 offenbaren ein stochastisches Verfahren für die Bewegungsvektorschätzung, bei dem die Mitte und die Größe des Suchfensters entsprechend den für vorhergehende Vollbilder erhaltenen Bewegungsvektoren variieren. Weiterhin wird die Suche verbessert durch Verwendung einer Wahrscheinlichkeitsdichtefunktion, die in dem Suchfenster zentriert ist.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • In den vorgenannten Vorrichtungen wurde das Setzen von Bereichen von logischen Einheiten manuell durchgeführt. Jedoch unterscheidet sich ein bewegtes Bild von einem stationären Bild dadurch, dass selbstverständliche viele Vollbilder gegeben sind und die Position und die Gestalt des Subjekts sich ständig ändern. In dem NTSC-System sind 30 Vollbilder für eine Sekunde erforderlich, und so zeigt selbst eine einfache Berechnung, dass, wenn ein bewegtes Bild während einer Sekunde verarbeitet wird, 30 Einstellungen für eine logische Einheit erforderlich sind. Wenn beispielsweise ein 5 Minuten dauernder Inhalt geschaffen wird, wenn 5 logische Einheiten für ein Vollbild gesetzt sind, beträgt die Anzahl der Einstellungen 45000. Unter Berücksichtigung dieser Punkte ist es die Aufgabe der vorliegenden Erfindung, eine Vorrichtung zu schaffen, die eine Arbeitsersparnis und eine Vereinfachung bei dem Setzen von logischen Einheiten (in dem vorliegenden Anspruch als "Anker" bezeichnet) ermöglicht, und insbesondere eine Vorrichtung zum automatischen Berechnen oder Setzen von Ankerinformationen, die bisher für jedes Vollbild durchgeführt werden mussten.
  • (1) Die Ankersetzvorrichtung für bewegte Bilder nach der vorliegenden Erfindung ist eine Vorrichtung zum Setzen eines Ankers bei eingegebenen bewegten Bild, und sie enthält einen Vollbild-Spezifikationsbereich zum Spezifizieren eines Anfangsvollbildes und eines Endvollbildes der Ankersetzperiode aus mehreren Vollbildern, die ein eingegebenes bewegtes Bild ergeben, einen Ankersetzbereich zum Setzen eines Ankers in Bezug auf einen Ankerbereich; wenn entsprechende Ankerbereiche in einem spezifizierten Anfangsvollbild und Endvollbild spezifiziert wurden, und durch Behandeln des Anfangsvollbildes und des Endvollbildes als Standardvollbilder für die Schätzung, einen Ankerschätzbereich zum Schätzen der Ankerinformationen für ein Nichtstandard-Vollbild, das zwischen diesen Vollbildern existiert, auf der Grundlage der Informationen des bei diesen Vollbildern gesetzten Ankers.
  • Hier bezieht sich "Vollbild" auf eine Anzeigeeinheit eines Bildes, ein Konzept enthaltend ein Bild in MPEG oder dergleichen. "Anker" bezieht sich auf eine logische Prozesseinheit, die durch einen gegebenen Bereich auf einem Schirm gebildet wird. "Ankerinformationen" beziehen sich auf Informationen, die numerisch so ausgedrückt werden können wie beispielsweise die Position oder Gestalt eines Ankerbereichs sowie die Farbe, wenn ein Ankerbereich sichtbar dargestellt wird. Ein Anker ist eindeutig bestimmt gemäß den Ankerinformationen oder in einigen Fällen gemäß dem Ankernamen. "Entsprechender Bereich" bezieht sich auf einen Ankerbereich, der auf einen identischen Anker bezogen ist. Gewöhnlich sollte, da die Setztargets des Ankers sich bei dem Anfangsvollbild und dem Endvollbild bewegen, der Ankerbereich sich ebenfalls bewegen. Daher sind selbst für einen einzigen Anker die Informationen in nicht weniger als zwei Vollbildern spezifiziert. Dieses sind Voraussetzungen für den vorliegenden Aspekt.
  • Bei diesem Aspekt wird das zu verarbeitende bewegte Bild eingegeben. Da das bewegte Bild aus mehreren Vollbildern besteht, werden aus diesen Vollbildern ein Anfangsvollbild und ein Endvollbild für die Periode, während der ein Anker zu setzen ist, (nachfolgend "Ankersetzperiode" bezeichnet) spezifiziert. Mit anderen Worten, die Periode von dem Anfangsvollbild bis zu dem Endvollbild ist die gültige Existenzperiode für diesen Anker.
  • Als Nächstes wird ein entsprechender Bereich für das Anfangsvollbild und das Endvollbild spezifiziert und ein Anker für diesen Bereich wird gesetzt. In dieser Stufe sind Ankerinformationen wie die Ankerposition für die gegebenen Vollbilder, die zwischen diesen Vollbildern bestehen (nachfolgend einfach als "Nichtstandard-Vollbilder" bezeichnet) unbekannt. Das Anfangsvollbild und das Endvollbild werden als Standardvollbilder behandelt und die Ankerinformationen werden auf der Grundlage von Informationen über den in diesen Vollbildern gesetzten Anker geschätzt. Nachfolgend werden das Anfangsvollbild und das Endvollbild zusammen als die "zwei äußeren Standardvollbilder" bezeichnet.
  • Gemäß einer Ankersetzvorrichtung für bewegte Bilder nach der vorliegenden Erfindung brauchen Anker bei einem Anfangsvollbild und einem Endvollbild gesetzt zu werden und die für einen Ankersetzvorgang erforderliche Zeit kann stark verkürzt werden.
  • (3) Bei dieser Vorrichtung ist ein Ankerinformations- Aufbereitungsbereich ebenfalls enthalten zum Hinzufügen von Revisionen zu geschätzten Ankerinformationen über die Nichtstandard-Vollbilder. Zu dieser Zeit fördert der Ankerinformationsbereich ein Nichtstandard-Vollbild, dessen Ankerinformationen zu dem Standardvollbild revidiert wurden. Nachfolgend wird dieses Vollbild als "Mittelstandard-Vollbild" bezeichnet. Nachdem ein Vollbild ein Mittelstandard-Vollbild geworden ist, wird es zum Schätzen von Ankerinformationen für andere Vollbilder verwendet. Wenn beispielsweise ein anderes Nichtstandard-Vollbild X jetzt zwischen dem Anfangsvollbild A und dem Mittelstandard-Vollbild B existiert, wird die Interpolation in (2) auf der Grundlage der Position von X zwischen A und B durchgeführt. Oder wenn nun beispielsweise ein anderes Nichtstandard-Vollbild X zwischen dem Mittelstandard-Vollbild B und dem Endvollbild C existiert, wird die Interpolation in (2) auf der Grundlage der Position von X zwischen A und B durchgeführt. Wenn mehrere Mittelstandard-Vollbilder erzeugt sind, wird die Interpolation in derselben Weise zwischen den benachbarten Standardvollbildern durchgeführt.
  • Wenn Ankerinformationen revidiert wurden, in einem Fall, in welchem dieses automatisch zu einem Standardvollbild zu fördern ist, wird nun eine genauere Schätzung ermöglicht. Der Benutzer muss nicht mit dem Ersatz von Standardvollbildern befasst sein.
  • (2) In (1) schätzt gemäß einem Aspekt der vorliegenden Erfindung der Ankerschätzbereich die Ankerinformationen für das Nichtstandard-Vollbild durch Interpolieren der Informationen für den bei dem Anfangsvollbild gesetzten Anker und der Informationen für den bei dem Endvollbild gesetzten Anker. In dem einfachsten Fall ist eine lineare Interpolation annehm bar, oder es kann abhängig von dem Inhalt des bewegten Bildes eine nichtlineare Interpolation verwendet werden.
  • In diesem Fall werden Ankerinformationen eines Nichtstandard-Vollbilds geschätzt durch Interpolation von Ankerinformationen, und so können die erforderlichen Ankerinformationen durch eine einfache Berechnung erhalten werden.
  • In (2) führt bei einem Aspekt der vorliegenden Erfindung der Ankerschätzbereich die Interpolation nach dem folgenden Verfahren durch. Zuerst wird eine Größe der Veränderung in den entsprechenden Informationen zwischen dem bei dem Anfangsvollbild gesetzten Anker und dem bei dem Endvollbild gesetzten Anker berechnet, dann wird das Verhältnis der Zeit von dem Anfangsvollbild zu dem Nichtstandard-Vollbild zu der Zeit von dem Nichtstandard-Vollbild zu dem Endvollbild berechnet. Danach wird die Größe der Änderung gemäß diesem Verhältnis geteilt. "Entsprechende Informationen" beziehen sich auf Informationen wie die zwei Koordinaten der linken oberen Punkte der Ankerbereiche, die bei dem Anfangsvollbild und dem Endvollbild gesetzt sind, und die beiden Farbcodes der Ankerbereiche, die bei dem Anfangsvollbild und dem Endvollbild gesetzt sind.
  • In diesem Fall werden Ankerinformationen geschätzt gemäß einer inneren Teilungsberechnung von der Größe der Änderung in entsprechenden Informationen zwischen Ankern und somit kann diese Berechnung bedeutend einfacher durchgeführt werden.
  • In den Fällen (1)–(2) enthält bei einem Aspekt der vorliegenden Erfindung der Ankersetzbereich einen au tomatischen Ankersetzbereich. Dieser automatische Ankersetzbereich wählt eine gegebene Anzahl von Vollbildern von der Ankersetzperiode als neue Standardvollbilder aus. Es gibt keine besonderen Regeln für die Auswahl, aber beispielsweise kann ein Standardvollbild nach jeweils fünf Vollbildern gewählt werden. Danach wird durch Verfolgen der Position des Ankers unter Verwendung der Bewegung des Umrisses des Targets als ein Zeiger die Ankerinformation für das Standardvollbild automatisch, gesetzt.
  • In diesem Fall wird die für den Benutzer zum Revidieren der Ankerinformationen benötigte Zeit verkürzt.
  • (3) in den Fällen (1)–(2) wird bei einem Aspekt der vorliegenden Erfindung anstelle der Verwendung der Umrissinformationen die Ankerinformation für die Standardvollbilder automatisch gesetzt durch Verfolgen einer Position eines Ankers unter Verwendung des Vektors des Umrisses des Targets als ein Zeiger.
  • Auch in diesem Fall wird die von dem Benutzer benötigte Zeit für das Revidieren der Ankerinformationen verkürzt.
  • (4) In (3) nimmt gemäß einem Aspekt der vorliegenden Erfindung der automatische Ankersetzbereich zuerst an, dass alle Abschnitte der Ankersetzperiode, die durch die Standardvollbilder geteilt sind, Einheitsbeurteilungsperioden sind. Dann wird für jeden der Pfade, bei denen es möglich ist, durch den Anker innerhalb der Ankersetzperiode gefolgt zu werden, der Pegel der Übereinstimmung zwischen dem Pfad und dem Ankerbewegungsvektor bei jeder Einheitsbeurteilungsperiode beurteilt. Beispielsweise
    • 1. einschließlich beiden Enden gibt es drei Standardvollbilder D, E, F
    • 2. jedes dieser Standardvollbilder wird in n Blockbereiche geteilt
    • 3. unter Berücksichtigung eines Modells, in welchem sich jeder Block zu einem identischen Block in einem verschiedenen Vollbild oder zu einem verschiedenen Block bewegt, sind alle Pfade weniger als n3 (solche Pfade, die nicht n3 sind, wurden durch die erste Position und die letzte Position des Ankers beschränkt).
  • Nun wird für alle Pfade der Übereinstimmungspegel zwischen der Pfadlinie und dem Bewegungsvektor von Blöcken enthaltend den Anker bei den zwei Einheitsbeurteilungsperioden D–E, E–F beurteilt, und die Beurteilungsergebnisse werden für die gesamte Ankersetzperiode D–F kombiniert. Schließlich wird der Pfad mit dem höchsten Übereinstimmungspegel in den kombinierten Ergebnissen als der Bewegungspfad für den Anker genommen.
  • In diesem Fall wird der Pegel der Übereinstimmung zwischen einem Bewegungsvektor und einem vermuteten Pfad berücksichtigt, und somit kann der Einfluss der den Bewegungsvektor begleitenden Differenz verringert werden.
  • (5) Im Fall (4) ist gemäß einem Aspekt der vorliegenden Erfindung der Übereinstimmungspegel eine Funktion für eine Winkel, der durch den Pfad und den Bewegungsvektor gebildet ist, und die Funktion hat keinen Extremwert, d.h. einen Maximalwert oder einen Minimalwert, während sich der Winkel x von 0° bis 180° ändert, und das Kombinieren wird durchgeführt durch Berechnen der Gesamtsumme der für jede der Einheitsbeurteilungsperioden bestimmten Werte der Funktion.
  • Da die Funktionen keinen Extremwert haben, wenn sich der Winkel von 0° bis 180° ändert, nehmen die Funktionswerte allmählich zu oder ab. Nun wird der Übereinstimmungspegel ausgewertet gemäß der einfachen Addition dieser Werte. Ein Beispiel für diese Funktion wäre y = x, y = cos (x).
  • In diesem Fall wird der Pegel der Übereinstimmung ausgedrückt durch eine Funktion des Winkels, der durch einen vermuteten Pfad und einen Bewegungsvektor gebildet ist, und somit ist eine numerische Bewertung des Pegels der Übereinstimmung möglich.
  • (6) In den Fällen (3)–(5) führt gemäß einem Aspekt der vorliegenden Erfindung der Ankerschätzbereich für alle Abschnitte der Ankersetzperiode, die durch die Standardrahmen geteilt sind, die Interpolationsberechnung der Ankerinformationen zwischen den an beiden Enden des Abschnitts angeordneten Standardvollbildern durch und schätzt die Ankerinformationen für die in dem Abschnitt enthaltenen Nichtstandard-Vollbilder. Beispielsweise wird, da die Vollbilder als Vollbild 5, 10 ... bezeichnet sind, wenn ein Standardvollbild nach jeweils fünf Vollbildern vorhanden ist, die Interpolationsberechnung für Vollbilder 6 und 7 usw. durchgeführt.
  • In diesem Fall wird die Ankerinformation bei einem Nichtstandard-Vollbild geschätzt und somit können Ankerinformationen für alle Vollbilder erhalten werden, (7) Gemäß einem anderen Aspekt der vorliegenden Er findung erhält in (3)–(6) der Ankersetzbereich einen Standardvollbild-Löschbereich, und wenn die Ankerinformation für ein bestimmtes Standardvollbild erhältlich ist mit dem bezeichneten zulässigen Abweichungswert des Fehlers von der Interpolationsberechnung der Ankerinformationen bei anderen Standardvollbildern, bezeichnet dieser Standardvollbild-Löschbereich das relevante Standardvollbild als ein Nichtstandard-Vollbild. Dieser zulässige Wert wird bestimmt gemäß solchen Punkten wie dem Inhalt des bewegten Bildes und Benutzerspezifikationen. Der Anker des bezeichneten Vollbilds wird danach anhand der Ankerpositionsinformationen von anderen Standardvollbildern berechnet.
  • In diesem Fall wird ein unnötiges Standardvollbild gelöscht, und somit können die Berechnung und die erforderliche Speichermenge verringert werden.
  • Gemäß einem Aspekt der vorliegenden Erfindung enthält in einer der Ankersetzvorrichtungen für bewegte Bilder der Ankersetzbereich einen Textankersetzbereich, und dieser Textankersetzbereich setzt einen einen Text enthaltenden Anker, wenn ein entsprechender Text in dem Anfangsvollbild und in dem Endvollbild spezifiziert wurde. "Entsprechender Text" bezieht sich auf einen Text, der in einem identischen Anker enthalten sein muss. Bei diesem Aspekt ist beispielsweise der Ankerbereich so gesetzt, dass er den Text umgibt.
  • In diesem Fall ist die Anzahl von mit Verbindungen gesetzten Targets erhöht und die Wiederaufbereitung ist einfach.
  • (8) Gemäß einem anderen Aspekt der vorliegenden Erfindung enthält eine der Ankersetzvorrichtungen für bewegte Bilder auch einen Cursorersatzbereich zum Ersetzen des Anzeigezustands des Cursors, wenn der Cursor in einen gegebenen Ankerbereich eingetreten ist.
  • In diesem Fall ist die Ankerspezifikation durch den Benutzer einfach.
  • Zu dieser Zeit kann der Cursorersatzbereich den Cursoranzeigezustand so ersetzen, dass er die Anzeige des Namens des Ankerbereichs, in den der Cursor eingetreten ist, begleitet. Beispielsweise kann die Ausbildung so sein, dass, wenn der Cursor in einen Ankerbereich "Person A" eingetreten ist, der Cursor zu einem Anzeigetext "Person A" wechselt.
  • Wenn der Name des Ankerbereichs, in den der Cursor eingetreten ist, angezeigt wird, ist eine bestimmte Menge von bezogenen Informationen bekannt, ohne dass sie angeklickt werden müssen.
  • (9) Die Hypermedia-Vorrichtung nach der vorliegenden Erfindung ist ausgestattet mit einer der vorgenannten Ankersetzvorrichtungen für bewegte Bilder, einem Ankerinformationsspeicherbereich zum Speichern von Ankerinformationen, die von dem Ankersetzbereich gesetzt wurden, einem Verbindungssetzbereich zum Verknüpfen gespeicherter Ankerinformationen mit gegebenen bezogenen Daten und einem Verbindungsabrufbereich zum Abrufen von gegebenen ankerbezogenen Daten, die mit diesem Anker verknüpft sind.
  • Bei diesem Aspekt erwerben die durch die Ankersetzvorrichtung für bewegte Bilder gesetzten Ankerinformationen und die gegebenen bezogenen Daten eine Beziehung durch Verknüpfung. Zu dieser Zeit können beispielsweise durch Anklickendes auf dem Schirm darge stellten Ankers die bezogenen Informationen abgerufen werden.
  • Gemäß der Hypermedia-Vorrichtung können alle Eigenschaften der Vorrichtung für bewegte Bilder benutzt werden. Große Verbesserungen hinsichtlich des Wirkungsgrads der von dem Benutzer durchgeführten Operationen wie die Schaffung von Inhalten werden möglich.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist ein Blockschaltbild eines Systems enthaltend eine Hypermedia-Vorrichtung für bewegte Bilder gemäß einem ersten Ausführungsbeispiel.
  • 2 ist ein Flussdiagramm, das einen Ankersetz- und Revidierungsvorgang gemäß dem ersten Ausführungsbeispiel zeigt.
  • 3 ist ein Diagramm, das eine Tabelle von bei dem ersten Ausführungsbeispiel gesetzten Ankerinformationen darstellt.
  • 4 ist ein Diagramm, das ein Interpolationsberechnungsverfahren für Ankerinformationen gemäß dem ersten Ausführungsbeispiel darstellt.
  • 5 ist ein Diagramm, das eine Tabelle darstellt, die erhalten wurde durch Hinzufügen von Ankerinformationen eines Mittelstandard-Vollbilds zu 3.
  • 6 ist ein Diagramm, das ein Verfahren zum Ausführen einer Interpolationsberechnung auf der Grundlage des Mittelstandard-Vollbilds bei dem ersten Ausführungsbeispiel und zwei Endstandard-Vollbildern darstellt.
  • 7 ist ein Flussdiagramm, das einen Verknüpfungssetz- und Abrufvorgang gemäß dem ersten Ausführungsbeispiel zeigt.
  • 8 ist ein Diagramm, das eine Verknüpfungsinformationstabelle bei dem ersten Ausführungsbeispiel darstellt.
  • 9 zeigt ein Beispiel eines UI-Schirms für das Ankersetzen.
  • 10 ist ein Blockschaltbild eines Ankersetzbereichs einer Hypermedia-Vorrichtung für bewegte Bilder bei einem zweiten Ausführungsbeispiel.
  • 11 ist ein Flussdiagramm, das einen Erwerbsvorgang für einen Bewegungsvektor bei dem zweiten Ausführungsbeispiel zeigt.
  • 12 zeigt ein Beispiel für einen Bewegungsvektor V(0) – V(2), der erhalten wird, wenn t0 = 0, t1 = 3 in 11 sind.
  • 13 ist ein Diagramm, das einen der Pfade, denen der Anker gefolgt sein könnte, darstellt.
  • 14 ist ein Diagramm, das V(t) in 12, dem v(t) in 13 hinzugefügt wurde, zeigt.
  • 15 ist ein Diagramm, das die Löschung eines Standardvollbilds bei dem zweiten Ausfüh rungsbeispiel darstellt.
  • 16 ist ein Diagramm, das die Löschung eines Standardvollbilds bei dem zweiten Ausführungsbeispiel darstellt.
  • 17 ist ein Diagramm, das die Löschung eines Standardvollbilds bei dem zweiten Ausführungsbeispiel darstellt.
  • BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
  • Ein bevorzugtes beispielhaftes Ausführungsbeispiel einer Hypermedia-Vorrichtung für bewegte Bilder nach der vorliegenden Erfindung wird nun beschrieben. Eine Ankersetzvorrichtung für bewegte Bilder nach der vorliegenden Erfindung wird in dieser Vorrichtung verwendet. Gemäß der vorliegenden Vorrichtung beispielsweise mit einem bewegten Bild eines Aquariumwasserbehälters, kann CAI-Software einfach und wirksam so geschaffen werden, dass, wenn ein bestimmter, in dem Behälter schwimmender Fisch angeklickt wird, solche Informationen wie der Name des Fisches und eine zusätzliche Erläuterung dargestellt werden können. Nachfolgend bezieht sich "Benutzer" hauptsächlich auf einen Schöpfer derartiger Inhalte, aber er ist selbstverständlich anwendbar auf irgendjemanden, der individuell ein von ihm selbst gefilmtes Videoband aufbereitet.
  • Ausführungsbeispiel 1
  • Bei diesem Ausführungsbeispiel wird eine Vorrichtung beschrieben, die auf der Grundlage eines bei einem Anfangsvollbild und einem Endvollbild durch einen Benutzer spezifizierten Ankerbereichs automatisch An kerinformationen wie die Position, die Gestalt und die Farbe eines Ankerbereichs bei einem anderen Vollbild durch Interpolationsberechnung heraus arbeitet.
  • Das vollständige System, das eine Hypermedia-Vorrichtung für bewegte Bilder nach diesem Ausführungsbeispiel enthält, umfasst einen Personalcomputer (nachfolgend PC), der die Anker- und Verknüpfungssetzverarbeitung steuert, und eine Videowiedergabevorrichtung, die ein bewegtes Bild zu diesem PC liefert. Dieser PC hat eine eingebaute Videoaufnahmetafel zum Ergänzen und Digitalisieren des von der Videowiedergabevorrichtung gelieferten Bildes. Die Videowiedergabevorrichtung ist in der Lage, Funktionen wie die Wiedergabe von einem spezifizierten Vollbild oder Zeit zusätzlich zu den üblichen Funktionen wie Wiedergabe, Anhalten, schneller Vorlauf und Pause durchzuführen. Dieser Typ von Videowiedergabegerät wird weit verwendet durch Rundfunkstationen und dergleichen, ist aber selbstverständlich nicht auf diese beschränkt. Die Steuerung der verschiedenen Funktionen des Videowiedergabegeräts wird mit Hilfe einer Benutzerschnittstelle (nachfolgend UI) durchgeführt, die bei dem PC angeordnet ist, z.B. wird "Wiedergabetaste" auf dem Schirm dargestellt. In diesem Fall wird, wenn der Benutzer diese Taste drückt, die Aktion über ein Signalkabel von dem PC zu dem Videowiedergabegerät übertragen. Das Videowiedergabegerät selbst ist nicht ein notwendiger Bestandteil einer Hypermedia-Vorrichtung für bewegte Bilder, aber ist in dem hier beschriebenen System enthalte. 1 ist ein Blockschaltbild eines Systems, das eine Hypermedia-Vorrichtung für bewegte Bilder gemäß diesem Ausführungsbeispiel enthält.
  • Die vorliegende Vorrichtung wird grob eingeteilt in einen Datenoperationsbereich 1 zum Verarbeiten von Daten, die auf Ankerinformationen und Verknüpfungsinformationen bezogen sind, einen Datenspeicherbereich 2 zum Speichern dieser Daten, einen Anzeigebereich 3 zum Darstellen dieser Daten in einer erkennbaren Gestalt, einen Benutzeroperationsbereich 4 zum Durchführen des Empfangs und der Verwaltung von Benutzeroperationen. Ein Videowiedergabegerät 5, mit dem ein von einem Eingabebereich 6 für bewegte Bilder eingegebenes bewegtes Bild wiedergegeben wird.
  • (1) Datenoperationsbereich 1
  • Befehle von dem Benutzer zu dem Datenoperationsbereich 1 werden durch eine später zu erläuternde UI durchgeführt. Somit ist die interne Konstruktion, auf die nachfolgend Bezug genommen wird, ein Softwaremodul.
  • Der Benutzer gibt Spezifikation eines Anfangsvollbildes und eines Endvollbildes für einen spezifizierten Vollbildbereich 10 ein. Das Beispiel des Anfangsvollbildes und des Endvollbildes zeigt das erste und das letzte Vollbild einer Szene, die einen Fischbehälter des vorerwähnten Films eines Aquariums zeigt. Wenn die Szene darin bestände, sich vorübergehend zu einem Film des Eingangs des Aquariums zu bewegen, würde danach, da keine Notwendigkeit bestünde, einen Anker für den Fisch zu setzen, das Endvollbild vor der Bewegung der Szene spezifiziert.
  • Ein Ankersetzbereich 11 setzt tatsächlich den Anker zwischen das Anfangsvollbild und das Endvollbild. Wenn beispielsweise ein Anker für einen Fisch gesetzt ist, wird zuerst bei dem Anfangsvollbild ein den Fisch umschließendes Rechteck unter Verwendung einer Maus dargestellt, und als ein Ankerbereich registriert. Zu dieser Zeit ist das bewegte Bild in dem Stoppmodus. Als Nächstes wird das bewegte Bild bis zum Endvollbild fortgesetzt, bei dem derselbe Fisch ein zweites Mal umschlossen wird und ein Ankerbereich registriert wird. Da sich der Fisch zwischen dem Anfangsvollbild und dem Endvollbild bewegt und die Richtung ändert, ändert sich gewöhnlich seine Position und Gestalt. Als eine Folge stimmen die Gestalt und die Position des bei dem Anfangsvollbild registrierten Ankerbereichs und die Gestalt und die Position des bei dem Endvollbild registrierten Ankerbereichs im Allgemeinen nicht überein. Der Ankersetzbereich 11 enthält daher einen Ankerinformations-Aufbereitungsbereich 110, der nachfolgend erläutert wird, für die Verwendung, wenn ein Anker revidiert wird, und einen Textanker-Aufbereitungsbereich 111, um einen Anker für Text wie eine Zeichenkette zu setzen.
  • Ein Ankerinformations-Interpolationsbereich 12 führt eine Interpolationsberechnung durch auf der Grundlage der Informationen der Anker, die bei dem Anfangsvollbild und dem Endvollbild gesetzt wurden, und schätzt die Größe und die Position eines Ankers bei einem gegebenen Vollbild (einem Nichtstandard-Vollbild). Dieser Vorgang wird nachfolgend im Einzelnen erläutert. Ein Hyperlink-Setzbereich 13 führt das Setzen eines Hyperlinks zu einem Anker durch, der gesetzt wurde, und erzeugt strukturierte Daten, die sich auf das Setzen beziehen, in der Form einer Tabelle. Ein Hyperlink-Abrufbereich 14 führt einen Abruf von gesetzten Verknüpfungsinformationen durch. Bei den vorgenannten Beispielen sind der Fischanker und die Textdaten und dergleichen, die den Namen des Fisches zeigen, durch einen Hyperlink verbunden.
  • (2) Datenspeicherbereich 2
  • Der Datenspeicherbereich 2 kann eine Datenbank, jeder Typ von Dateivorrichtung oder Speichervorrichtung sein. Dies ist ein Hardwareteil.
  • Ein Speicherbereich 20 für bewegte Bilder speichert bewegte Bilddaten, die bei einem Eingabebereich für bewegte Bilder aufgenommen und digitalisiert wurden. Ein Ankerinformations-Speicherbereich 21 und ein Verknüpfungsinformations-Speicherbereich 22 speichern jeweils Ankerinformationen und Verknüpfungsinformationen.
  • (3) Anzeigebereich 3
  • Ein Anzeigesteuerbereich 30 enthält ein Anzeigesystemprogramm, das im Allgemeinen die Anzeige aller Typen von Bildern wie bewegter Bilder während der Aufbereitung oder UI steuert, eine Anzeigeschaltung wie eine VGA-Steuervorrichtung und einen Treiber für diese. Der Anzeigesteuerbereich 30 hat einen Cursorersatzbereich 300. Der Cursorersatzbereich 300 ersetzt den Anzeigezustand des Cursors, wenn der Cursors in einen Ankerbereich eingetreten ist. Die Ausgangsdaten des Anzeigesteuerbereichs 30 sind einer Anzeigevorrichtung wie einem PC-Monitor zugeteilt und die beabsichtigte Anzeige wird ausgeführt.
  • (4) Benutzeroperationsbereich 4
  • Der Benutzeroperationsbereich 4 ermöglicht die Eingabe von Befehlen von einem Benutzer und umfasst eine Tastatur, Maus oder jeden Typ von Zeigervorrichtungs-Hardware und einen Befehlsabsender. Das Ankersetzen, die Revision eines Ankerbereichs, die Verknüpfung und das Verknüpfungsabrufen sind Beispiele für Befehle.
  • (5) Eingabebereich 6 für bewegte Bilder
  • Der Eingabebereich 6 für bewegte Bilder ist ein Stück Hardware, das einer Videoaufnahmetafel äquivalent ist, mit einem A/D-Wandler und einem Vollbildspeicher (in den Zeichnungen nicht gezeigt) zum Digitalisieren eines eingegebenen bewegten Bildes. Die Daten werden dann zu dem Datenspeicherbereich 20 für bewegte Bilder geliefert.
  • Zuerst wird der Vorgang des Setzens von Ankern und von Verknüpfungen erläutert und dann wird der UI-Zustand für das Ankersetzen erläutert.
  • [1] Ankersetzen
  • 2 ist ein Flussdiagramm, das das Ankersetzen und den Revisionsvorgang gemäß dem vorliegenden Ausführungsbeispiel zeigt, und 3 ist ein Diagramm, das eine Tabelle von Informationen für einen gesetzten Anker zeigt. Wie 2 zeigt, werden zuerst verschiedene Arten der Initialisierungsverarbeitung mit Bezug auf die Hardware ausgeführt (S21), und die in dem Datenspeicherbereich 20 für bewegte Bilder gespeicherten bewegten Bilddaten werden aufgenommen (S22). Das vordere Vollbild der aufgenommenen bewegten Bilddaten wird zuerst als ein stationäres Bild auf einer Anzeigevorrichtung 31 dargestellt.
  • Als Nächstes werden Ankerinformationen, die bereits für diese bewegten Bilddaten gesetzt wurden, von dem Ankerinformations-Speicherbereich 21 aufgenommen (S23). Wenn Ankerinformationen existieren, wird ihr Ankerbereich tatsächlich auf dem Schirm dargestellt (nachfolgend wird der Modus, bei dem ein Ankerbereich auf dem Schirm dargestellt wird, als "Ankeranzeigemodus" bezeichnet, und der Modus, bei dem ein Anker nicht dargestellt wird, wird als der "Ankernichtanzeigemodus" bezeichnet.
  • Diesem folgend, werden die bewegten Bilddaten zu dem Anfangsvollbild der Zeitperiode, in der ein neuer Anker zu setzen ist, vorwärts bewegt (S24), und wenn das gewünschte Vollbild erscheint, wird die Taste "Anfangsvollbild" auf dem Schirm gedrückt und das Anfangsvollbild wird registriert. Dies ist nun im Wartezustand für das Setzen des Ankerbereichs bei diesem Vollbild, und wenn der Benutzer beispielsweise einen anderen Fisch durch Klicken der Maus umschließt, wird ein rechteckiger Bereich gesetzt. Wenn der rechteckige Bereich fixiert ist, werden die Koordinaten der linken oberen Punkte (x1, y1) und rechten unteren Punkte (x2, y2) erhalten und als Ankerinformationen zusammen mit der Vollbildnummer (aufeinander folgend nummeriert von dem vorderen Vollbild des bewegten Bilds) des Anfangsvollbilds aufgezeichnet (S25).
  • Danach werden die bewegten Bilddaten wieder vorwärts bewegt und angehalten, wenn das gewünschte Endvollbild erscheint (S26), und ein denselben Fisch umrandender rechteckiger Bereich wird gesetzt. Hier wird das Setzen des Ankerbereichs bei dem Endvollbild beendet (S27). In 3 ist "Anker 1" die Anker-ID, die diesen Fisch zeigt. Die Vollbildnummern des Anfangsvollbilds und des Endvollbilds (Vollbilder 1 bzw. 100) und die Koordinateninformationen für den Ankerbereich sind hier in Tabellenform enthalten.
  • Wenn die Ankerinformationen bei den beiden äußeren Standardvollbildern auf diese Weise bestimmt wurden, werden die Ankerinformationen für ein Vollbild zwischen ihnen durch Interpolationsberechnung erhalten (S28). 4 ist ein Diagramm, das das Interpolationsberechnungsverfahren für Ankerinformationen zeigt. Hier ist mit
    Ankerinformation A (t0) beim Anfangsvollbild (Zeit t0)
    Ankerinformationen A (t1) beim Endvollbild (Zeit t1)
    Ankerinformationen A (t) zur Zeit t t1 – t0 = Δtdann
    A(t) = {A(t1) – A(t0)}t/Δt + {A(t0)t1 – A(t1)t0}/Δt (Gleichung 1).
  • Die externe Gestalt des Ankerbereichs zu einer gegebenen Zeit wird ermittelt durch Ersetzen von A mit den X1-, y1-, x2-, y2-Werten. Die allgemeine Bewegung des Ankerbereichs wird ermittelt durch Ersetzen der mittleren Koordinaten des Ankerbereichs. Wenn A mit einer Farbzahl substituiert wird, wird ein Verwendungsverfahren, bei dem sich die Farbe des Ankerbereichs ändert, möglich. Zusätzlich ist es durch interne Berechnung unter Verwendung der Gleichung in einer ähnlichen Weise möglich, Informationen zu interpolieren, die numerisch ausgedrückt werden können. Ankerinformationen für ein Nichtstandard-Vollbild, die durch Interpolation erhalten wurden, können in 3 automatisch zum "Anker 1"-Bereich hinzugefügt werden, oder die Berechnung nach Gleichung 1 für ein Vollbild kann jedes Mal durchgeführt werden, wenn die Anzeige eines Vollbilds durch den Benutzer vorgeschrieben ist.
  • Wenn S28 beendet ist, werden die Ankerinformationen tatsächlich dargestellt und die Inhalte werden bestätigt. Es werden nun unter Rückkehr zu dem Anfangsvollbild die bewegten Bilddaten abgespielt und der Ankerbereich wird bei jedem Vollbild durch ein Rechteck dargestellt. Dieser rechteckige Bereich bewegt sich kontinuierlich entsprechend den Berechnungsergebnissen.
  • In dem Fall von "Anker 1" wird ein extrem gutes Ergebnis erzielt, wenn sich der Fisch mit konstanter Geschwindigkeit entlang einer geraden Linie bewegt, aber in einem Fall, in welchem der Fisch in der Mitte seine Richtung ändert, ist in Betracht zu ziehen, dass bei einem mittleren Vollbild der Ankerbereich in Bezug auf den Fisch fehlausgerichtet werden kann. Bei diesem Ausführungsbeispiel wird in einem derartigen Fall die Ankerinformation revidiert. Der Benutzer bewegt zuerst die bewegten Bilddaten zu einem Vollbild mit großer Fehlausrichtung vorwärts und stoppt das Bild hier. Als Nächstes klickt der Benutzer den Kantenbereich des Ankerbereichs, der auf dem Schirm dargestellt wird, an und ändert die Gestalt oder Position des Bereichs unter Verwendung der Maus. Ein Ankerinformations-Interpolationsbereich 12 fördert ein auf diese Weise revidiertes Vollbild zu einem Mittelstandard-Vollbild, und diese Ankerinformationen werden zu der Tabelle in 3 hinzugefügt. 5 zeigt die erhaltene Tabelle, wenn die Ankerinformationen des Mittelstandard-Vollbilds zu 3 hinzugefügt sind.
  • 6 ist ein Diagramm, das das Interpolationsberechnungsverfahren auf der Grundlage der zwei Standard-Endvollbilder und des Standard-Mittelvollbildes wiedergibt. Wenn ein Nichtstandard-Vollbild, das das geschätzte Target ist, zwischen dem Anfangsvollbild und dem Standard-Mittelvollbild existiert, wird eine Interpolationsberechnung zwischen solchen Vollbildern durchgeführt, und wenn das Nichtstandard-Vollbild zwischen dem Standard-Mittelvollbild und dem Endvollbild existiert, wird die Interpolationsberechnung zwischen solchen Vollbildern durchgeführt (S28). Danach wird, folgend der Anzeige in S29 und der Wiederrevision in S30, wenn zufrieden stellende Ankerinformationen erhalten (Y von S31) und aufbewahrt (S32) sind, der Ankersetzvorgang beendet. Wenn ein Anker eines anderen Vollbildes in S30 revidiert wird, wird selbstverständlich auch dieses Vollbild ein Standard-Mittelvollbild. Wenn zwei oder mehr Anker bei einem einzelnen Vollbild bei S25 gesetzt werden, während automatisch die Anker-ID gemäß der Setzreihenfolge innerhalb der Vorrichtung ersetzt wird, können die Rechtecke dieser Ankerbereiche in unterschiedlichen Farben dargestellt werden.
  • Die vorstehenden Vorgänge führen zu den folgenden Ergebnissen:
    • 1. In dem minimalsten Fall wird das Ankersetzen nur bei den zwei äußeren Standardvollbildern durchgeführt und der Setzvorgang für die vielen Vollbilder, die zwischen diesen existieren, ist nicht erforderlich.
    • 2. Wenn sich während der Interpolationsberechnung eine Fehlausrichtung der Ankerposition entwi ckelt hat, kann diese Fehlausrichtung bestätigt werden. Daher braucht, da Vollbilder, die revidiert werden müssen, leicht identifiziert werden, und nachdem ein Vollbild revidiert wurde, es automatisch zu einem Standard-Mittelvollbild befördert wird, der Benutzer sich nicht um solche Dinge zu kümmern, ob ein Standardvollbild verwendet werden soll oder nicht.
    • 3. Beispielsweise ist es selbst in einem Fall, in welchem ein Fisch, für den ein Anker gesetzt wurde, entlang eines Bogens schwimmt, wenn die Revision für nur wenige Vollbilder zusätzlich zu den beiden äußeren Standardvollbildern durchgeführt wird, möglich, ausreichend gute Ankerinformationen zu erhalten.
  • Das Vorstehende ist ein Umriss der Hypermedia-Vorrichtung für bewegte Bilder nach dem vorliegenden Ausführungsbeispiel und insbesondere der Ankersetzvorrichtung für bewegte Bilder.
  • [2] Setzen von Verknüpfungen
  • Es folgt nun eine Beschreibung des Setzens einer Verknüpfung oder Verbindung für einen Anker, der gesetzt wurde. 7 ist ein Flussdiagramm, das die Vorgänge des Setzens der Verknüpfung und des Abrufens gemäß der vorliegenden Erfindung zeigt, und 8 ist ein Diagramm, das eine Tabelle von Informationen für eine Verknüpfung, die gesetzt wurde, darstellt.
  • 7 zeigt die Reihenfolge der Vorgänge, wenn das Ankersetzen und das Verknüpfungssetzen vollständig unabhängig durchgeführt werden. Wie in 2 werden zuerst verschiedene Arten der Initialisierungsverar beitung durchgeführt (S40) und die bewegten Bilddaten werden aufgenommen. Als Nächstes werden, da die Ankerinformationen, die in [1] gesetzt wurden, von dem Ankerinformations-Speicherbereich 21 aufgenommen werden (S42), Verknüpfungsinformationen, die bereits gesetzt wurden, von dem Verknüpfungsinformations-Speicherbereich 22 aufgenommen.
  • Als Nächstes werden, während die Ankerinformationen eines anderen Vollbilds durch Interpolationsberechnung auf der Grundlage der Ankerinformationen der beiden äußeren Standardvollbilder und des mittleren Standardvollbilds (S44) bestimmt werden, die Ankerinformationen kontinuierlich synchron mit der Wiedergabe des bewegten Bildes dargestellt. Dies ist nun im Wartezustand für die Eingabe von dem Benutzer an dem Benutzeroperationsbereich 4.
  • Hier wird bei einem bewegten Bild oder nach dem Pausieren eines bewegten Bildes, wenn der Benutzer einen Ankerbereich anklickt und die "Schaffen/Ersetzen der Verknüpfung"-Taste drückt, die Bildung von Verknüpfungsinformationen für diesen Anker durchgeführt (S47). Wenn beispielsweise ein Fisch in einem Aquarium angeklickt wird, erscheinen die Kandidateninformationen wie ein Text oder ein Bild, die mit diesem Fisch zu verknüpfen sind, auf dem Schirm, dann wird der Text oder dergleichen, den der Benutzer ausgewählt hat, mit dem Anker des Fisches verknüpft (genauer gesagt, mit dem Fisch als ein in dem Anker enthaltenes Objekt). In einem Fall, in welchem keine Kandidaten vorhanden sind, kann der Benutzer selbst eine Zeichenkette eingeben und diese verknüpfen. 8 zeigt einen Zustand, in welchem Informationen in Textformat "anker1.txt" mit einem Anker "anker1" verknüpft sind und ein Bitkartenbild "anker2.bmp" in gleicher Weise mit einem Anker "anker2" verknüpft ist. Wenn die Verknüpfungsinformationen auf diese Weise bestimmt wurden, werden die Inhalte der Verknüpfung in dem Verknüpfungsinformations-Speicherbereich 22 aufbewahrt und der Zustand kehrt zum Warten auf eine Benutzereingabe zurück.
  • Wenn in S46 der Benutzer die "Verknüpfungsaufruf"-Taste drückt und einen Anker spezifiziert, werden die Verknüpfungsinformationen entsprechend diesem Anker abgerufen und dargestellt (S46). In 8 beispielsweise werden für den Fisch in Anker 1 der Name und die Länge und andere Eigenschaften des Fisches durch eine Zeichenkette dargestellt, und für den Fisch in Anker 2 werden Informationen wie eine Fotografie der See, in welcher der Fisch tatsächlich lebt, dargestellt. Da der Verknüpfungsvorgang von dieser Darstellung bestätigt werden kann, kann der Benutzer die Schaffung von Inhalten an diesem Punkt beenden. Der Inhalt kann auch verwertet werden, beispielsweise durch Aufbewahrung auf einem Speichermedium wie einer CD-ROM. Wenn er als Ware vertrieben wird, wird der Ankerbereich im Allgemeinen durch einen nicht dargestellten Anker im Nichtdarstellungsmodus ersetzt.
  • Das Anker- und das Verknüpfungssetzen wurden hier als unabhängige Vorgänge beschrieben, aber beispielsweise durch Schaffen einer "Rückkehr zum Ankersetzen"-Taste, die während des Verknüpfungssetzens auf dem Schirm dargestellt wird, wird es möglich, frei zwischen den beiden Vorgängen zu wechseln, und die Aufbereitung wird leichter gemacht.
  • [3] UI für das Ankersetzen
  • 9 ist ein Diagramm, das ein Beispiel für einen UI-Schirm für das Ankersetzen zeigt. In dem Diagramm wird das bewegte Bild, das das Objekt des Prozesses sein soll, in einem Bildanzeigebereich 50 dargestellt. Die obere Reihe von schwarzen Tasten 52 sind die Objekttasten, die direkte Befehle zu dem Video geben, wie Wiedergabe und Stopp. Diesen am nächsten sind eine rechteckige Taste 54, um einen Ankerbereich für ein in dem Bildanzeigebereich dargestelltes Vollbild zu setzen, und in gleicher Weise eine Anfangsvollbild-Spezifizierungstaste 56 und eine Endvollbild-Spezifizierungstaste 58 zum Spezifizieren eines dargestellten Vollbilds als ein Anfangsvollbild oder ein Endvollbild. In dem Diagramm wurde ein Anker 60 für einen der Fische gesetzt.
  • In der Mitte der rechten Seite des Schirms ist eine ankerbezogene Kastengruppe 62 für die Anzeige des Namens, der ID, der Anfangsvollbildnummer und der Endvollbildnummer des zu setzenden oder zu revidierenden Ankers. Unterhalb des Bildanzeigebereichs 50 ist eine szenebezogene Kastengruppe 64 zur Anzeige der Nummer der Szene enthaltend das Vollbild, das gerade dargestellt wird, und die Seriennummer des Vollbilds innerhalb der Szene. Hierunter ist ein Kasten 66 zum Bewegen eines Bildes geringfügig vorwärts oder rückwärts, wenn aufbereitet wird. Das Bild wird vorwärts bewegt, wenn die Taste am rechten Ende gedrückt wird, und rückwärts, wenn die Taste am linken Ende gedrückt wird. Die Position des Vollbilds, das gegenwärtig innerhalb der Szene dargestellt wird, ist durch eine vertikale Linie 70 angezeigt. Unter diesem Kasten ist ein Kasten 68 zum Anzeigen der Positionen des Anfangsvollbilds und des Endvollbilds innerhalb der Szene. Die Positionen des Anfangsvollbilds und des Endvollbilds werden jeweils durch die doppelten vertikalen Linien 72 und 74 angezeigt, und zwischen die sen wird die Position des mittleren Standardvollbilds durch ein Dreiecksymbol 76 angezeigt.
  • In demselben Diagramm bewegt der Benutzer zuerst unter Verwendung der Szenennummer als ein Zeiger das Videoband vorwärts bis zum Anfang der Szene, für die er einen Anker zu setzen wünscht. In diesem Fall ist beispielsweise in einem Film eines Aquariums, der mehrere Szenen aufweist, der Film bis zur Szene Nr. 5 fortgeschritten, die einen Fischbehälter zeigt. Hier drückt der Benutzer die rechte Endtaste des Kastens 66 und bewegt jeweils das bewegte Bild um ein Vollbild weiter. Wenn das erste Vollbild des zu setzenden Ankers erscheint, drückt der Benutzer die Anfangsvollbild-Spezifizierungstaste 56 und registriert dieses Vollbild. Nun erscheint die doppelte vertikale Linie 72, die die Position des Anfangsvollbilds anzeigt, an der entsprechenden Stelle im Kasten 66. Hier drückt der Benutzer die rechteckige Taste 54 und klickt in dem Bildanzeigebereich 50 den linken oberen Punkt und den rechten oberen Punkt des Ankerbereichs, den er zu setzen beabsichtigt, mit der Maus an. Dieses beendet das Ankersetzen für das Anfangsvollbild. Danach wird das bewegte Bild vorwärts bewegt und in derselben Weise wird das Endvollbild registriert und ein Anker gesetzt.
  • Wenn er die Beendigung des Setzens bei den beiden äußeren Vollbildern erfasst, ersetzt der Ankerinformations-Interpolationsbereich 12 bei der vorliegenden Vorrichtung automatisch die Ankerinformationen in Gleichung 1 und beginnt die Berechnung. Hier bestimmt, wenn der Benutzer beispielsweise zu dem Anfangsvollbild zurückkehrt und das bewegte Bild jedes Mal um ein Vollbild vorwärts bewegt, der Ankerinformations-Interpolationsbereich 12 die Zeit entspre chend dem Vollbild, das gegenwärtig dargestellt wird, und stellt einen Ankerbereich dar auf der Grundlage eines geschätzten Ergebnisses entsprechend dieser Zeit. Wenn der dargestellte Ankerbereich fehlausgerichtet ist, drückt der Benutzer wieder die rechteckige Taste 54 und führt eine Revision des Bereichs durch. Nach der Revision erscheint das dreieckige Symbol 76 an dem Punkt entsprechend diesem Vollbild.
  • Da diese UI die Ankerinformationen oberhalb der bewegten Bilddaten tatsächlich darstellt, können Aufbereitungsergebnisse in Echtzeit bestätigt werden und Revisionen können in einfacher Weise durchgeführt werden.
  • Das Vorstehende ist ein Umriss des gegenwärtigen Ausführungsbeispiels. Die folgenden Verfeinerungen und Änderungen und dergleichen sind in Bezug auf das gegenwärtige Ausführungsbeispiel in Betracht gezogen.
  • (1) Textankersetzen
  • Das Textankersetzen wird durch den Textanker-Aufbereitungsbereich 111 in 1 durchgeführt. Zuerst werden auf dem Schirm Textdaten aufbereitet und dem bewegten Bild überlagert, und ein Anker wird gesetzt. Ein einzelner Bereich von einem wiedergegebenen Bild wird nicht spezifiziert wie bei einem normalen Ankersetzen, sondern ein geschaffener Text wird auf dem Bild angeordnet und ein Ankerbereich, der diesen Text umschließt, wird geeignet gesetzt. Verfahren wie das direkte Einfügen von Anmerkungen auf beispielsweise einen Videofilm wurden bisher allgemein verwendet, aber in derartigen Fällen ist das nachfolgende Löschen der Anmerkung bei der Wiederaufbereitung mühselig. Das vorliegende Ausführungsbei spiel löst diese Schwierigkeit.
  • Wenn ein Textanker gesetzt wurde, werden die Ankerinformationen ebenfalls in der Ankerinformationstabelle gespeichert. Jedoch ändert sich in der in 3 gezeigten Tabelle "Vollbild" in "Text" und ein Textnahme wird in die Spalte eingegeben.
  • Die Verknüpfung von bezogenen Informationen ist für einen Textanker ebenfalls möglich. Beispielsweise kann für die Aquariumsszene in 9 ein Text "Fisch der Südsee" geklebt werden, mit dem ein Text wie "Es gibt viele hell gefärbte Fische in der Südsee ..." verknüpft werden kann.
  • (2) Ersetzen des Cursoranzeigezustands
  • Das Ersetzen des Cursoranzeigezustands wird durch den Cursorersetzungsbereich 300 in 1 durchgeführt. Diese Funktion ist besonders nützlich für einen Ankernichtanzeigemodus, beispielsweise wenn der Inhalt durch die Endbenutzer zu benutzen ist. Um diese Funktion auszuführen, hat der Cursorersetzungsbereich 300 ein Positionserwerbsprogramm zum Erwerben der Cursorposition zu jeder Zeit, ein Beurteilungsprogramm zum Beurteilen, ob eine erworbene Position in einem der Ankerbereiche enthalten ist, und einen Ersetzungsbereich zum Bestimmen, auf welche Weise der Anzeigezustand des Cursors zu ersetzen ist, wenn der Cursor in einen Ankerbereich eingetreten ist, und zum tatsächlichen Ersetzen der Gestalt oder eines derartigen Merkmals des Cursors gemäß dieser Bestimmung.
  • Wenn ein Cursor ersetzt wird, gibt es Fälle, in denen es nicht beabsichtigt ist, den Ersetzungsinhalt für jeden Anker zu ändern, und Fälle, in denen dies beab sichtigt ist. Bei den erstgenannten gibt es beispielsweise ein Verfahren zum Ersetzen eines Cursors, der gewöhnlich als ein a+-Symbol gezeigt ist, durch ⊚, oder zum Erhöhen der Cursorhelligkeit, ohne von dem Ankerbereich abhängig zu sein, in den der Cursor eingetreten ist. Dieser Aspekt ist besonders nützlich in Fällen, in denen die Bewegung und die Gestalt des Targets sich rasch ändern und die Änderungen des Ankerbereichs schwerwiegend sind.
  • In dem letzteren Fall wird in Betracht gezogen, dass die Anker-ID des Ankerbereichs, in den der Cursor eingetreten ist, von dem Ersetzungsprogramm abgerufen wird und anstelle des Cursors an der Cursorposition angezeigt wird. Wenn beispielsweise der Cursor in den Ankerbereich eines bestimmten Fisches eingetreten ist, kann der Inhalt des Ankertargets mit dem Cursor als en "Hai" oder dergleichen dargestellt werden. Gemäß diesem Modus kann der Benutzer den Namen eines Fisches lernen, ohne dass er den Fisch anklicken muss.
  • (3) Klare Spezifizierung von mittleren Standardvollbildern
  • Bei dem vorliegenden Ausführungsbeispiel wurden zuerst die beiden äußeren Vollbilder bestimmt, aber es ist ein Fall denkbar, der eine Revision erfordert, wie ein Fall, bei dem Bewegung eines Targets sprunghaft ist. In einem derartigen Fall werden von den Ausgangsvollbildern, die andere als das Anfangsvollbild und das Endvollbild sind, ebenfalls klare oder beabsichtigte Ankerbereichsspezifizierungen empfangen. Beispielsweise kann in der UI in 9 zusätzlich zu der Anfangsvollbild-Spezifizierungstaste 56 und der Endvollbild-Spezifizierungstaste 58 eine Standardmittelvollbildtaste vorgesehen sein. Da dieses Vollbild von Beginn an als ein Standardvollbild verwendet wird, kann die Interpolationsberechnung als von dem in 6 gezeigten Zustand aus beginnend betrachtet werden.
  • (4) Nichtrechteckige Ankerbereiche
  • Ankerbereiche brauchen nicht auf Rechtecke beschränkt zu sein. Beispielsweise kann in dem Fall eines Kreises oder einer Ellipse ein Bereich gemäß den drei Koordinaten der Hauptachse, der Nebenachse und der Mitte spezifiziert sein. Für ein Vieleck können die Koordinaten jedes Scheitelpunkts verwendet werden. Wenn der Umfang selbst eines Targets der Ankerbereich sein soll, kann der Bereich gemäß einer Koordinate eines Punktes über dem Umfang und einen von diesem Punkt ausgedrückten Kettencode spezifiziert sein.
  • (5) Anwendung der nichtlinearen Interpolation
  • Bei dem vorliegenden Ausführungsbeispiel wurde für eine maximale Einfachheit die lineare Interpolation verwendet, aber selbstverständlich ist eine nichtlineare Interpolation annehmbar. Die für die Interpolation verwendete Gleichung kann bestimmt werden gemäß Experimenten, die auf die Eigenschaften des zu verarbeitenden bewegten Bildes zugeschnitten sind.
  • Ausführungsbeispiel 2
  • Bei dem ersten Ausführungsbeispiel wurde die Berechnung von Ankerinformationen automatisch durch Interpolation durchgeführt und die Revision wurde manuell durchgeführt. Eine Vorrichtung, die auf der Grundlage einer Analyse eines bewegten Bildes automatisch vor her einen Anker setzt mit einer bestimmten Anzahl von Vollbildern als Standardvollbildern und das Interpolationsverfahren nach dem ersten Ausführungsbeispiel zwischen diesen Standardvollbildern verwendet, wird nun beschrieben. Bei diesem Aspekt wird, da ein Vollbild äquivalent dem Standardmittelvollbild des ersten Ausführungsbeispiels von Beginn an existiert, die für die Revision erforderliche manuelle Arbeit verringert.
  • [Konfiguration]
  • 10 ist ein Blockschaltbild eines Ankersetzbereichs 11 einer Hypermedia-Vorrichtung für bewegte Bilder gemäß dem vorliegenden Ausführungsbeispiel. Für andere Bereiche als den Ankersetzbereich 11 ist die Konfiguration dieselbe wie in 1 gezeigt. In 10 hat ein automatischer Ankersetzbereich 112 einen Bewegungsvektorverwendungs-Setzbereich 113 und einen Umrissinformationsverwendungs-Setzbereich 114. Bisher wurde nur einer dieser beiden Setzbereiche implementiert, aber bei dem vorliegenden Ausführungsbeispiel werden beide implementiert und einer von diesen beiden kann gewählt werden, um den gegebenen Umständen angepasst zu werden. Weiterhin kehrt, wie nachfolgend erläutert wird, der Standardvollbild-Löschbereich 115 solche Vollbilder aus den von dem automatischen Ankersetzbereich 112 gesetzten Vollbildern zu Nichtstandard-Vollbildern zurück, die redundant sind.
  • [ARBEITSABLAUF]
  • [1] Automatisches Ankersetzen unter Verwendung von Bewegungsvektoren
  • Das Merkmal des Verfahrens bei diesem Ausführungsbeispiel liegt in einem Zweipegelprozess zum Erhöhen der Verfolgungsgenauigkeit des Ankers, indem zuerst der Bewegungsvektor des Ankers von dem Anfangsvollbild zu dem Endvollbild bestimmt wird und dann zur rechten Zeit die Übereinstimmung zwischen dem vermuteten Bewegungspfad des Ankers und dem Bewegungsvektor beurteilt wird.
  • 1. Erhalten eines Bewegungsvektors
  • Die Zeiten des Anfangsvollbilds und des Endvollbilds sind als t0 bzw. al t1 gegeben. Zusätzlich zu diesen wird eine Anzahl von Nichtstandard-Vollbildern zuerst durch Standardvollbilder ersetzt. Aus Gründen der Einfachheit wird angenommen, dass das jeweils fünfte Vollbild ersetzt wird, und danach wird der Zeitabstand zwischen Standardvollbildern als 1 normiert. Um den Bewegungsvektor eines bestimmten Ankers in der Periode von dem Anfangsvollbild bis zum Endvollbild zu bestimmen, wird eine Blockanpassung mit einem Bildbereich nahe der Mitte des Ankers als ein Block durchgeführt. Ein Vollbild entsprechend einer gegebenen Zeit t wird hier als Vollbild (t) ausgedrückt.
  • 11 ist ein Flussdiagramm, das einen Erwerbsvorgang für einen Bewegungsvektor bei dem vorliegenden Ausführungsbeispiel zeigt. Wie in dem Diagramm wird ein Zeitzähler d zuerst vorwärts geschaltet oder in einigen Fällen auf t0 zurückgebracht (S100). Als Nächstes wird der Anker, für den der Bewegungsvektor erhalten werden soll, aus den bei dem Anfangsvollbild gesetzten Ankern bestimmt. Der Bewegungsvektorverwendungs-Setzbereich 113 speichert den Bereich enthaltend die Mitte des bestimmten Ankers als einen Block, der bei der Blockanpassung zu verwenden ist (nachfol gend als ein "Ankerblock" bezeichnet) (S101). Als Nächstes werden die Bilddaten I(t) des Vollbilds (t) und die Bilddaten I(t+1) des Vollbilds (t+1) erhalten (S102). I(t) sind die kollektiven Daten der Pixelwerte p für jedes der in dem Vollbild enthaltenen Pixel.
  • Diesem folgend wird die optimale Anpassung gesucht, während der Ankerblock innerhalb des Vollbilds (t+1) bewegt wird (S103). Da alle Pixelwerte für den Ankerblock selbst aus I(t) identifiziert sind, wird der Ankerblock an einen gegebenen Punkt in dem Vollbild (t+1) angeordnet, die quadratische Abweichung der Pixelwerte wird von den entsprechenden Pixeln berechnet und dies wird innerhalb des gesamten Ankerblockbereichs integriert. Diese Integration wird durchgeführt, während der Ankerblock allmählich bewegt wird, und die Position, an der der Integrationswert am niedrigsten ist, wird als das Bewegungstarget (Bestimmung) des Ankerblocks beurteilt.
  • Nachdem das Bewegungstarget identifiziert wurde, wird, da die Bewegungsgröße und die Bewegungsrichtung von dem Ankerblock bei dem Vollbild (t) zu dem Ankerblock bei dem Vollbild (t+1) bestätigt sind, ein Bewegungsvektor V(t) erhalten (S104). Hier wird festgestellt, ob t+1 die Zeit t1 des Endvollbilds erreicht hat oder nicht (S105), und wenn sie nicht erreicht wurde, wird t inkrementiert (S106) und der Bewegungsvektor wird wiederholt erhalten. Nachdem t+1 äquivalent t1 ist, wird der bisher erhaltene V(t) verwahrt (S107) und der Prozess endet.
  • 12 zeigt ein Beispiel eines Bewegungsvektors V(0)–V(2), der erhalten wurde, wenn t0 = 0 und T1 = 3 sind. Wie das Diagramm zeigt, kann V(t) durch die drei Komponenten (x, y, t) ausgedrückt werden, wobei x und y durch die Länge und die Breite auf dem Schirm bestimmt sind und t durch die Zeitrichtung bestimmt ist.
  • 2. Beurteilung des Übereinstimmungspegels
  • Jedes Vollbild wird in Blöcke von gleicher Größe wie die geschaffenen Ankerblöcke geteilt, wenn der Bewegungsvektor erhalten ist, und alle Pfade, denen der Anker gefolgt sein könnte, werden ausgewählt. 13 ist ein Diagramm, das einen dieser Pfade wiedergibt. In diesem Diagramm sind die Vollbilder in 16 Blöcke geteilt und der Anfangspunkt des Pfades bei dem Anfangsvollbild und der Endpunkt des Pfades bei dem Endvollbild sind in Übereinstimmung mit dem in 11 gezeigten Ankerblock. Unter diesen Bedingungen sind somit alle Pfade gleich 16×16. Als Nächstes wird in jedem Abschnitt dieser möglichen Pfade (nachfolgend "angenommene Pfade") der in 13 gezeigte Vektor v (t) (nachfolgend "Pfadvektor") definiert. Der Pfadvektor wird durch die Richtung bestimmt, wenn einem angenommenen Pfad von einem Vollbild zu dem nächsten Vollbild gefolgt wird. v(t) wird auch mit den drei Komponenten (x, y, t) beschrieben.
  • Der in jedem Abschnitt durch V(t) und v(t) gebildete Winkel wird als θt definiert, und f(t) = cosθt wird gemäß der folgenden Gleichung unter Verwendung des inneren Produkts berechnet. f (t) = (V(t), v(t))/|v(t)|·|v(t)| (Gleichung 2)
  • 14 ist ein Diagramm, das V(t) nach 12, der zu v(t) nach 13 hinzugefügt ist, wiedergibt, wobei die Bedeutung von θt gezeigt ist. Wenn f(t) von Gleichung 2 groß ist, ist der Pegel der Übereinstim mung zwischen dem angenommenen Pfad und dem Bewegungsvektor in diesem Abschnitt hoch, aber wenn der Pegel der Übereinstimmung in einem Abschnitt maximal ist, wenn die Pegel der Übereinstimmung in den anderen Abschnitten extrem niedrig sind, muss der Pegel der Übereinstimmung für das Gesamte als niedrig angesehen werden. Hier wird, während der Pegel der Übereinstimmung bei jedem Abschnitt enthalten ist, die folgende Bewertungsgleichung eingefügt, um den Pegel der Übereinstimmung des Gesamten zu bewerten: g(t) = max{f (t – 1) + g(t – 1)} (Gleichung 3)
  • Ein angenommener Pfad mit dem höchsten Pegel der Übereinstimmung kann gewöhnlich genau festgelegt werden durch wiederkehrende Berechnung der Gleichung 3. Da der angenommene Pfad mit dem höchsten Pegel der Übereinstimmung für das Gesamte genau festgelegt werden kann, wenn diese Berechnung gerade bis zum Endvollbild durchgeführt wird, wird dieser Pfad als der Bewegungspfad des Ankers angesehen. Danach werden die Punkte, an denen dieser Bewegungspfad jedes Standardvollbild schneidet, als solche genommen, an denen der Anker existiert, und ein automatisches Ankersetzen wird durchgeführt. Die gesetzten Ankerinformationen können zu der in 3 gezeigten Ankerinformationstabelle hinzugefügt werden.
  • Gemäß dem vorliegenden Aspekt wird, da die Beurteilung nicht nur den Bewegungsvektor enthält, der gewöhnlich einen bestimmten Abweichungspegel begleitet, sondern auch die Geeignetheit des Pfades, die Verfolgungsgenauigkeit verbessert. Daher sind die Ankerinformationen eines mittleren Standardrahmens, der vorher gesetzt wurde, genau, und die für das Setzen und die Revision des Ankers erforderliche Zeit wird für den Benutzer stark verkürzt. Weiterhin können gemäß dem Verfahren nach dem ersten Ausführungsbeispiel Ankerinformationen für Vollbilder, die keine Standardvollbilder sind, aufeinander folgend durch Interpolationsberechnung bestimmt werden.
  • [2] Automatisches Ankersetzen auf der Grundlage der Verwendung von Umrissinformationen
  • Als ein anderes Verfahren des automatischen Ankersetzens kann ein Anker auf der Grundlage der Bewegungen des Umrisses eines Targets verfolgt werden. Bei dem Umrissinformationsverwendungs-Bereich 114 wird ein Umrissbild jedes Vollbilds durch denselben Wiederholungsvorgang, der in 11 gezeigt ist, erzeugt. Ein Umrissbild ist zusammengesetzt aus Pels, die entweder null oder eins als ihren Wert haben. Wenn die Pels auf dem Umriss eins als ihren Wert haben sollen, haben andere Pels null als ihren Wert. Das Umrissbild kann mit einem Filter vom Kompassgradiententyp oder dergleichen erzeugt werden. Wenn das Umrissbild bestimmt ist, kann danach die Ankerverfolgung durchgeführt werden, indem die Ankerbewegung als identisch mit der Bewegung des Targets genommen wird.
  • [3] Löschen von unnötigen Standardvollbildern
  • In dem vorstehenden Beispiel wurde ein Standardvollbild nach jeweils fünf Vollbildern gesetzt. Wenn sich jedoch ein Target beispielsweise auf einer geraden Linie mit konstanter Geschwindigkeit bewegt, sind ein Anfangsvollbild und ein Endvollbild allein ausreichend. Selbst in einem Fall, in welchem sich ein Target nicht entlang einer geraden Linie mit konstanter Geschwindigkeit von dem Anfangsvollbild zu dem Endvollbild bewegt, werden für die Periode, während der es sich auf diese Weise bewegt, nur zwei äußere Standardvollbilder benötigt. Wenn die Anzahl von Standardvollbildern abnimmt, nimmt auch die Anzahl von angenommenen Pfaden ab und die Berechnung wird folglich weniger aufwendig.
  • In dieser Hinsicht führt der Standardvollbild-Löschbereich 115 eine Löschung von unnötigen Standardvollbildern durch. Die 1517 sind Diagramme, die das Löschen eines Standardvollbilds bei dem zweiten Ausführungsbeispiel darstellen. Die horizontale Achse in diesen Diagrammen zeigt die Zeit, und die vertikale Achse zeigt den Abstand von den ursprünglichen Punkten der x-y-Koordinaten, die für das Vollbild gesetzt sind. Zusätzlich zeigt das O-Symbol in diesen Diagrammen den Ankerbereich in schematischer Form. Die Löschung wird in der folgenden Reihenfolge durchgeführt.
  • [15]
  • Zuerst werden sechs Standardvollbilder enthaltend die beiden äußeren Vollbilder gesetzt. Hier werden der Anker des Anfangsvollbilds und des Anker des Endvollbilds durch eine gerade Linie verbunden und der Abstand jedes Ankers von dieser geraden Linie wird berechnet. Wenn ein Anker mit einem Abstand, der geringer als der bezeichnete Wert ist, vorhanden ist, wird das Standardvollbild mit diesem Anker gelöscht. Der in diesem Diagramm gezeigte Fall ist ein solcher, bei dem keine Anker gelöscht wurden. Als Nächstes wird der Anker, der von der geraden Linie am weitesten entfernt ist (nachfolgend der weiteste Anker), herausgefunden. Hier ist der Anker bei t=3 der weiteste Anker.
  • [16]
  • Die gerade Linie wird gelöscht und der Anker bei dem Anfangsvollbild, der weiteste Anker und der Anker bei dem Endvollbild werden durch eine polygonale Linie verbunden, und die Abstände von den Ankern zu dieser Linie werden noch einmal bestimmt. Der Anker bei t=4, der einen Abstand hatte, der geringer als der bezeichnete Wert ist, wird gelöscht. Der Anker bei t=2 wird nun der weiteste Anker.
  • [17]
  • Die reguläre Linie wird so revidiert, dass sie durch den neuen weitesten Anker hindurchgeht. Hier wird der Anker bei t=2, der einen Abstand von der neuen regulären Linie hatte, der geringer als der bezeichnete Wert war, gelöscht. Hiermit ist der Vorgang beendet.
  • Bei diesem Beispiel wurden zwei Standardvollbilder gelöscht. Wenn viele Standardvollbilder am Anfang des Prozesses vorhanden sind, kann diese Folge wiederholt werden: 1. Löschen von Standardvollbild, das geringer als der bezeichnete Wert ist, 2. Herausfinden des weitesten Ankers, 3. Revidieren der regulären Linie.
  • Das Vorstehende ist ein Umriss des vorliegenden Ausführungsbeispiels. Die folgenden Verfeinerungen oder Modifikationen werden für dieses Ausführungsbeispiel in Betracht gezogen.
  • (1) Modifikation von Gleichung 2
  • Gleichung 2 verwendete f(t) = cos θt, aber selbstverständlich können andere Gleichungen verwendet werden. Funktionen, deren Wert zunimmt, wenn θt zunimmt, sind anwendbar.
  • (2) Blocknahme
  • In 12 wurde ein Ankerblock so bestimmt, dass er die mittlere Nähe des Ankerbereichs enthielt, aber andere Verfahren der Bestimmung sind annehmbar. Beispielsweise kann ein Ankerbereich selbst als ein Block bezeichnet werden. In ähnlicher Weise kann in 13 ein Block bestimmt werden ohne Beachtung der Größe des Ankerblocks.

Claims (9)

  1. Ankersetzvorrichtung für bewegte Bilder für die Eingabe eines bewegten Bildes und das Setzen eines Ankers in dem bewegten Bild, welche aufweist: einen Vollbild-Spezifikationsbereich (10) zum Spezifizieren eines Anfangsvollbildes und eines Endvollbildes aus mehreren Vollbildern, die das bewegte Bild in der Ankersetzperiode, während der ein Anker zu setzen ist, darstellen; einen Ankersetzbereich (11) zum Setzen eines Ankers in Bezug auf einen Ankerbereich, wenn entsprechende Ankerbereiche in jeweils einem spezifizierten Anfangsvollbild und Endvollbild spezifiziert wurden; und einen Ankerschätzbereich (12) zum Schätzen von Ankerinformationen durch Interpolation für die zwischen dem Anfangsvollbild und dem Endvollbild bestehenden Nichtstandard-Vollbilder auf der Grundlage von für das Anfangsvollbild und das Endvollbild gesetzten Ankerinformationen nach der Behandlung dieser Vollbilder als Standardvollbilder für die Schätzung, einen Ankerinformations-Aufbereitungsbereich (110) für das Hinzufügen von Revisionen zu den für die Nichtstandard-Vollbilder geschätzten Ankerinformationen, dadurch gekennzeichnet, dass der Ankerschätzbereich (12) ein Nichtstandard-Vollbild, das revidierte Ankerinformationen hat, als mittleres Standardvollbild spezifiziert, und danach Ankerinformationen bei anderen Vollbildern durch Durchführen einer Interpolation zwischen dem mittleren Standardvollbild und seinen benachbarten Standardvollbildern schätzt.
  2. Ankersetzvorrichtung für bewegte Bilder nach Anspruch 1, dadurch gekennzeichnet, dass der Ankerschätzbereich (12) Ankerinformationen in dem Nichtstandard-Vollbild durch Interpolieren von Ankerinformationen, die für das Anfangsvollbild gesetzt sind, und Ankerinformationen, die für das Endvollbild gesetzt sind, schätzt.
  3. Ankersetzvorrichtung für bewegte Bilder nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Ankersetzbereich (11) einen automatischen Ankersetzbereich (112) enthält, wobei dieser automatische Ankersetzbereich (112) eine gegebene Anzahl von Vollbildern aus einer Ankersetzperiode auswählt und sie zu neuen Standardvollbildern macht, und danach automatisch Ankerinformationen für die Standardvollbilder setzt durch Verfolgen einer Position eines Ankers unter Verwendung des Bewegungsvektors eines Ziels als einen Zeiger.
  4. Ankersetzvorrichtung für bewegte Bilder nach Anspruch 3, dadurch gekennzeichnet, dass der automatische Ankersetzbereich (112) jeden Abschnitt der durch die Standardvollbilder geteilten Ankersetzperiode als eine Beurteilungseinheitsperiode verwendet; und wobei in jeder Beurteilungseinheitsperiode der Pegel der Übereinstimmung zwischen einem Ankerbewegungsvektor und jedem der Pfade, die durch den Anker innerhalb der Ankersetzperiode erreicht werden, beurteilt wird; die die gesamte Ankersetzperiode überspannenden Beurteilungsergebnisse summiert werden, und aus dem Gesamtergebnis der Pfad mit dem höchsten Übereinstimmungspegel als der Bewegungspfad des Ankers genommen wird.
  5. Ankersetzvorrichtung für bewegte Bilder nach Anspruch 4, dadurch gekennzeichnet, dass der Übereinstimmungspegel eine Funktion eines durch den Pfad und den Bewegungsvektor gebildeten Winkels ist, wobei die Funktion keine Extreme hat, während sich der Winkel von 0° bis 180° ändert; und das Summieren durchgeführt wird gemäß der Berechnung der Summe der Funktionswerte, die für jede der Beurteilungseinheitsperioden bestimmt sind.
  6. Ankersetzvorrichtung für bewegte Bilder nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass für jeden Abschnitt der durch das Standardvollbild geteilten Ankersetzperiode der Ankerschätzbereich (112) eine Interpolationsberechnung für Ankerinformationen zwischen Vollbildern, die an beiden Enden des Abschnitts positioniert sind, durchführt und die Ankerinformationen für ein in dem Abschnitt enthaltenes Nichtstandard-Vollbild schätzt.
  7. Ankersetzvorrichtung für bewegte Bilder nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass der Ankersetzbereich (11) einen Standardvollbild-Löschbereich (115) enthält; und, wenn Ankerinformationen bei einem besonderen Standardvollbild erhalten werden, die einen be zeichneten erlaubten Abweichungswert von einer interpolierten Berechnung von Ankerinformationen in anderen Standardvollbildern haben, bezeichnet dieser Standardvollbild-Löschbereich (115) das relevante Standardvollbild als ein Nichtstandard-Vollbild bezeichnet.
  8. Ankersetzvorrichtung für bewegte Bilder gemäß einem der Ansprüche 1 bis 7, gekennzeichnet durch einen Cursorersetzbereich (300) zum Ersetzen des Anzeigezustands eines Cursors, wenn der Cursor in einen gegebenen Ankerbereich eingetreten ist.
  9. Hypermedia-Vorrichtung für bewegte Bilder, welche aufweist: eine Ankersetzvorrichtung für bewegte Bilder nach einem der Ansprüche 1 bis 8; einen Ankerinformations-Speicherbereich (21) zum Speichern von von der Ankersetzvorrichtung (11) gesetzten Ankerinformationen; einen Verbindungssetzbereich (13) zum Verbinden gespeicherter Ankerinformationen und gegebener bezogener Daten; einen Verbindungsinformations-Speicherbereich (22) zum Speichern gesetzter Verbindungsinformationen; und einen Verbindungsabrufbereich (14) zum Abrufen von ausgegebenen ankerbezogenen Daten, die mit dem Anker verbunden wurden.
DE69635268T 1996-01-31 1996-07-05 Geräte zum Setzen von Ankern in bewegten Bildern und Hypermedia Expired - Fee Related DE69635268T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP1484496 1996-01-31
JP1484496 1996-01-31

Publications (2)

Publication Number Publication Date
DE69635268D1 DE69635268D1 (de) 2005-11-17
DE69635268T2 true DE69635268T2 (de) 2006-07-20

Family

ID=11872356

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69635268T Expired - Fee Related DE69635268T2 (de) 1996-01-31 1996-07-05 Geräte zum Setzen von Ankern in bewegten Bildern und Hypermedia

Country Status (3)

Country Link
US (1) US5970504A (de)
EP (1) EP0788063B1 (de)
DE (1) DE69635268T2 (de)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3359236B2 (ja) * 1996-09-25 2002-12-24 株式会社アクセス インターネットユニットおよびインターネットテレビ
US7055166B1 (en) * 1996-10-03 2006-05-30 Gotuit Media Corp. Apparatus and methods for broadcast monitoring
US20060280437A1 (en) * 1999-01-27 2006-12-14 Gotuit Media Corp Methods and apparatus for vending and delivering the content of disk recordings
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
US6256401B1 (en) * 1997-03-03 2001-07-03 Keith W Whited System and method for storage, retrieval and display of information relating to marine specimens in public aquariums
US7596755B2 (en) 1997-12-22 2009-09-29 Ricoh Company, Ltd. Multimedia visualization and integration environment
WO1999044153A1 (fr) * 1998-02-27 1999-09-02 Mitsubishi Denki Kabushiki Kaisha Systeme de recuperation d'informations et systeme de traitement d'informations
JP3059956B2 (ja) * 1998-03-19 2000-07-04 コナミ株式会社 画像作成装置、画像作成方法及び画像作成プログラムが記録された可読記録媒体
US7266782B2 (en) * 1998-09-09 2007-09-04 Ricoh Company, Ltd. Techniques for generating a coversheet for a paper-based interface for multimedia information
JP4226730B2 (ja) * 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
US6229541B1 (en) * 1999-09-03 2001-05-08 Isurftv Use of templates for cost-effective secure linking of video stream objects
US6570586B1 (en) * 1999-09-03 2003-05-27 Isurftv Bandwidth effective method for communicating interactive links
JP2001197366A (ja) * 2000-01-12 2001-07-19 Hitachi Ltd 画像合成方法及び画像合成プログラムを記録した記録媒体
AU2001245651A1 (en) * 2000-03-13 2001-09-24 Comnet Media Corporation Video data management, transmission, and control system and method employing distributed video segments microcasting
JP2001266159A (ja) * 2000-03-17 2001-09-28 Toshiba Corp 物体領域情報生成方法及び物体領域情報生成装置並びに近似多角形生成方法及び近似多角形生成装置
US7162696B2 (en) * 2000-06-08 2007-01-09 Franz Wakefield Method and system for creating, using and modifying multifunctional website hot spots
US20020126990A1 (en) * 2000-10-24 2002-09-12 Gary Rasmussen Creating on content enhancements
JP2002207774A (ja) * 2001-01-10 2002-07-26 Nec Corp インターネット動画リンクシステム
US20070300258A1 (en) * 2001-01-29 2007-12-27 O'connor Daniel Methods and systems for providing media assets over a network
US20050005308A1 (en) * 2002-01-29 2005-01-06 Gotuit Video, Inc. Methods and apparatus for recording and replaying sports broadcasts
US20040207656A1 (en) * 2001-06-30 2004-10-21 Sang-Youn Lee Apparatus and method for abstracting summarization video using shape information of object, and video summarization and indexing system and method using the same
US7149957B2 (en) 2001-11-19 2006-12-12 Ricoh Company, Ltd. Techniques for retrieving multimedia information using a paper-based interface
US20070113250A1 (en) * 2002-01-29 2007-05-17 Logan James D On demand fantasy sports systems and methods
US20030149983A1 (en) * 2002-02-06 2003-08-07 Markel Steven O. Tracking moving objects on video with interactive access points
EP1394690A1 (de) * 2002-08-29 2004-03-03 Sun Microsystems, Inc. Verhalten von verankerten Rahmen
JP4155118B2 (ja) * 2003-06-13 2008-09-24 カシオ計算機株式会社 静止画合成装置、及び動画像からの静止画合成方法
EP1503299A1 (de) 2003-07-31 2005-02-02 Alcatel Ein Verfahren, ein Hypermedia-Kommunikationssystem, ein Hypermedia-Server, ein Hypermedia-Client, und Computer Softwareprodukte für den Zugriff, die Verteilung und die Präsentation von Hypermedia-Dokumenten
US7735101B2 (en) 2006-03-28 2010-06-08 Cisco Technology, Inc. System allowing users to embed comments at specific points in time into media presentation
US20080036917A1 (en) * 2006-04-07 2008-02-14 Mark Pascarella Methods and systems for generating and delivering navigatable composite videos
US20080155627A1 (en) * 2006-12-04 2008-06-26 O'connor Daniel Systems and methods of searching for and presenting video and audio
US8091103B2 (en) 2007-07-22 2012-01-03 Overlay.Tv Inc. Server providing content directories of video signals and linkage to content information sources
US8201210B2 (en) 2008-09-04 2012-06-12 At&T Intellectual Property I, L.P. Method and system for a media processor
WO2011093013A1 (ja) * 2010-01-29 2011-08-04 パナソニック株式会社 情報処理装置及び情報処理方法
US9699503B2 (en) 2010-09-07 2017-07-04 Opentv, Inc. Smart playlist
US10210160B2 (en) 2010-09-07 2019-02-19 Opentv, Inc. Collecting data from different sources
US8949871B2 (en) 2010-09-08 2015-02-03 Opentv, Inc. Smart media selection based on viewer user presence
JP5984237B2 (ja) * 2010-10-15 2016-09-06 東芝メディカルシステムズ株式会社 医用画像処理装置及びx線コンピュータ断層撮影装置
US8798227B2 (en) 2010-10-15 2014-08-05 Kabushiki Kaisha Toshiba Medical image processing apparatus and X-ray computed tomography apparatus
JP5838791B2 (ja) 2011-12-22 2016-01-06 富士通株式会社 プログラム、画像処理装置及び画像処理方法
CN112807631B (zh) * 2019-11-15 2022-09-06 北京力动科技有限公司 一种运动检测系统及动作检测方法、功率计算方法
CN111524165B (zh) * 2020-04-22 2023-08-25 北京百度网讯科技有限公司 目标跟踪方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4383272A (en) * 1981-04-13 1983-05-10 Bell Telephone Laboratories, Incorporated Video signal interpolation using motion estimation
JPH0352070A (ja) * 1989-07-20 1991-03-06 Nippon Telegr & Teleph Corp <Ntt> 動画像の関連情報参照方式
US5214758A (en) * 1989-11-14 1993-05-25 Sony Corporation Animation producing apparatus
JPH03292571A (ja) * 1990-04-11 1991-12-24 Matsushita Electric Ind Co Ltd 画像操作情報設定方式
JP3020590B2 (ja) * 1990-10-29 2000-03-15 株式会社日立製作所 動画像処理方法
US5416899A (en) * 1992-01-13 1995-05-16 Massachusetts Institute Of Technology Memory based method and apparatus for computer graphics
US5539871A (en) * 1992-11-02 1996-07-23 International Business Machines Corporation Method and system for accessing associated data sets in a multimedia environment in a data processing system
JPH06215047A (ja) * 1993-01-18 1994-08-05 Canon Inc データ処理装置及びその方法
KR0181027B1 (ko) * 1995-03-20 1999-05-01 배순훈 화소 단위 움직임 추정을 이용하는 영상처리 시스템
US5596705A (en) * 1995-03-20 1997-01-21 International Business Machines Corporation System and method for linking and presenting movies with their underlying source information
US5708845A (en) * 1995-09-29 1998-01-13 Wistendahl; Douglass A. System for mapping hot spots in media content for interactive digital media program
US5657050A (en) * 1996-01-30 1997-08-12 Microsoft Corporation Distance control for displaying a cursor
US5774666A (en) * 1996-10-18 1998-06-30 Silicon Graphics, Inc. System and method for displaying uniform network resource locators embedded in time-based medium

Also Published As

Publication number Publication date
DE69635268D1 (de) 2005-11-17
EP0788063A2 (de) 1997-08-06
EP0788063B1 (de) 2005-10-12
EP0788063A3 (de) 1997-11-19
US5970504A (en) 1999-10-19

Similar Documents

Publication Publication Date Title
DE69635268T2 (de) Geräte zum Setzen von Ankern in bewegten Bildern und Hypermedia
DE60022610T2 (de) Verfahren zur Animationskodierung in einer Bilddatei
DE69629144T2 (de) Verfahren und Vorrichtung zur Kamerakontrolle
DE69922705T2 (de) System zur numerischen erfassung und aufnahme von panoramabildern.
DE69930176T2 (de) Vorrichtung zur automatischen und adaptiven Steuerung der Wiedergabegeschwindigkeit von Bewegtvideobildern und Steuerverfahren dafür
DE60116717T2 (de) Vorrichtung und Verfahren zur Erzeugungung von objekt-markierten Bildern in einer Videosequenz
DE69937476T2 (de) Bildverarbeitungsvorrichtung und -Verfahren und Speichermedium
DE60025406T2 (de) Laufbilderinformationsanzeigeverfahren und -gerät
DE602004001896T2 (de) Gerät und Verfahren zur Umwandlung von Multimedia-Inhalten
DE69836790T2 (de) Suchen von Videobildern, Produktion von Videoinformationen und Speichermedium zur Speicherung eines Verarbeitungsprogramms dafür
DE69733527T2 (de) Bildanzeigeeinheit, Bildanzeigesystem und Wiederauffindungssystem für bewegte Bilder
DE69833808T2 (de) Interaktive Zeitspannenanzeige
DE10296401B4 (de) Verbund-Rendering von 3-D-Graphikobjekten
DE69722507T2 (de) Aufzeichnungsschnitt
DE69912663T2 (de) Bildverarbeitungsvorrichtung und -Verfahren, Speichermedium, und Bilddatengruppenformat
DE69825851T2 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
US6144972A (en) Moving image anchoring apparatus which estimates the movement of an anchor based on the movement of the object with which the anchor is associated utilizing a pattern matching technique
DE60036288T2 (de) Dynamisches bildsuch-informations-aufzeichnungsgerät und dynamische bildsuchvorrichtung
DE4022384A1 (de) Anzeige zur vorausbestimmung eines graphikpfades
DE4224245A1 (de) Bilddatenverarbeitungsanordnung
DE112006000358T5 (de) Verfahren und Vorrichtung zur Erstellung eines Panoramabildes
DE10234137A1 (de) System und Verfahren, um Benutzern zu ermöglichen, graphische Bilder zu editieren
DE19916349A1 (de) Bildverarbeitungsapparat, Verfahren und computerlesbares Aufzeichnungsmedium mit darauf aufgezeichnetem Programm zum leichten Verbinden von Bildern und Korrigieren von Bildverzerrungen
DE102015120619A1 (de) Bildanzeigevorrichtung und Bildanzeigeverfahren
DE19825303A1 (de) System für virtuelle Szenen mit mehreren Kameras unter Verwendung von Standbildspeicherrahmenpuffern für jede Kamera

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee