DE69333609T2 - Indexierung von Multimediaobjekten - Google Patents

Indexierung von Multimediaobjekten Download PDF

Info

Publication number
DE69333609T2
DE69333609T2 DE69333609T DE69333609T DE69333609T2 DE 69333609 T2 DE69333609 T2 DE 69333609T2 DE 69333609 T DE69333609 T DE 69333609T DE 69333609 T DE69333609 T DE 69333609T DE 69333609 T2 DE69333609 T2 DE 69333609T2
Authority
DE
Germany
Prior art keywords
index
structured
database
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69333609T
Other languages
English (en)
Other versions
DE69333609D1 (de
Inventor
Lisa Carol Somers Braden-Harder
Michelle Yoonkyung Lee Scarsdale Kim
Judith Lynn Hastings-on-Hudson Klavans
Wlodek Wlodimier Mohegan Lake Zodrozny
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Application granted granted Critical
Publication of DE69333609D1 publication Critical patent/DE69333609D1/de
Publication of DE69333609T2 publication Critical patent/DE69333609T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99943Generating database or data structure, e.g. via user interface
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure
    • Y10S707/99945Object-oriented database structure processing

Description

  • GEBIET DER ERFINDUNG
  • Die vorliegende Erfindung betrifft die Verwendung eines Indexes zum Archivieren und Abrufen von Informationen in einem Computer. Bei den Informationen handelt es sich um Multimediaobjekte wie zum Beispiel Videoclips und Audiosegmente.
  • HINTERGRUND DER ERFINDUNG
  • In der Computertechnik sind viele Verfahren bekannt, mit denen Textausdrücke (Wörter und Sätze) in natürlicher Sprache archiviert und wieder abgerufen werden können. Diese Verfahren verwenden in erster Linie Schlüsselwörter als Indizes zum Archivieren und Abrufen dieser Textausdrücke. Viele Objekte, insbesondere Multimediaobjekte (Bilder und Töne) lassen sich jedoch nicht einfach durch Schlüsselwortindizes beschreiben. Oft müssen solche Multimediainformationen wie zum Beispiel das Geräusch eines bellenden Hundes, in bestimmten Bildern gezeigte Darstellungen oder die Tanzschritte durch ausdrucksstärkere Indizes beschrieben werden als dies mit Schlüsselwörtern nach dem Stand der Technik möglich ist. Es hat sich gezeigt, dass Schlüsselwortindizes keine hinreichende Beschreibung liefern können, da sie nicht so einfach in der Lage sind, den Unterschied zwischen einem Gegenstand und einer Handlung zu kennzeichnen oder zu beschreiben, welche Person eine bestimmte Handlung ausführt bzw. mit welchem Objekt sie diese Handlung ausführt. Durch diese und andere Mängel der Schlüsselwörter kommt es zu Mehrdeutigkeiten, wenn man zum Kennzeichnen und Katalogisieren der Informationen Schlüsselwörter verwendet.
  • Den Schlüsselwortindizes nach dem Stand der Technik fehlt die grammatikalische Struktur, durch die sie Objekte besser beschreiben können. Sätze aus Schlüsselwörtern sind unstrukturiert, da den Wörtern in diesen Sätzen zweierlei fehlt: 1. eine Funktion und 2. Beziehung (Zuordnung). Bei einer natürlichen Sprache (d. h. bei von Menschen gesprochenen Sprachen) werden die Funktion und die Beziehungen der Wörter durch die Grammatik der Sprache (Grammatikregeln) festgelegt. Beispielsweise hat in dem Satz „a man will fall into the pool" (Ein Mann wird in das Becken fallen) in der natürlichen englischen Sprache jedes Wort eine Funktion und eine Beziehung zu den anderen Wörtern des Satzes, die durch die englische Grammatik festgelegt sind. Entsprechend ihrer Funktion sind die Wörter „Mann" und „Becken" Substantive und „fallen" ein Verb. Die Beziehungen bestehen zum einen syntaktisch, da „Mann" das Satzsubjekt ist, und zum anderen semantisch, da er Gegenstand einer Handlung ist; „fallen" ist das die Handlung beschreibende Prädikat und „Becken" entsprechend der englischen Syntax das lokale Objekt des Satzes, welches den Handlungsort beschreibt. Oft ist das Satzobjekt das Ziel der Handlung des Handelnden und das Satzsubjekt der Handelnde selbst; zum Beispiel „the woman pushed the ball" (die Frau trat gegen den Ball). Das Wort „Handelnder" dient zur Beschreibung des typischen Subjekts; das heißt, dass Subjekte, wenn nichts anderes bestimmt ist, grundsätzlich zunächst als Handelnde angesehen werden. Eine strikte Unterscheidung zwischen Handlungssubjekt und Themensubjekt wird nicht getroffen, da dies die Logik der Betrachtung nicht beeinflussen würde. Desgleichen wird das Wort „Objekt" für verschiedene syntaktische Funktionen wie das direkte Objekt, das präpositionale Objekt und das indirekte Objekt verwendet. Man beachte, dass bei diesem Satzglied mehrere Einfügungen möglich sind, wenn es mehr als ein Objekt gibt, wie zum Beispiel in „The child dropped the ball into the pool", (Das Kind warf den Ball in das Becken) wo „Ball" das direkte Objekt und „in das Becken" das lokale Objekt der Handlung ist. (Bei allen im Folgenden angeführten Beispielen werden nur einfache Einfügungen verwendet.) In natürlichen Sprachen werden unterschiedliche Grammatikregeln verwendet, um die Bedeutung der Wörter zu verändern. Dazu gehören: Definieren von Teilen der gesprochenen Rede, Ändern der Reihenfolge der Wörter im Satz und Verwendung von Präfixen oder Endungen usw. Da Schlüsselwörter auch in Sätzen diesen Grammatikregeln nicht unterliegen, können sie weniger deskriptiv und daher mehrdeutig sein. Wenn man beispielsweise den Satz „man will fall into the pool" in die einzelnen Wörter aufgliedert, hat das englische Schlüsselwort „fall" keine Funktion (es könnte ein Verb oder ein Substantiv sein) und kann daher mehrdeutig als „hinunterfallen" oder als „Jahreszeit" (Herbst) interpretiert werden. Außerdem liefert das Aufgliedern des Schlüsselwortsatzes „cat eats mouse" (Katze frisst Maus) in „Katze", „frisst" und „Maus" eine Folge von Schlüsselwörtern ohne Zuordnung liefern. Da man nicht sagen kann, welches Wort das Subjekt und welches das Objekt ist, wird die Interpretation mehrdeutig. Der Satz kann bedeuten: „cat eats mouse", „mouse eats cat" oder „cat and mouse eats".
  • Die Verhältnisse werden noch komplizierter, wenn Synonyme, Hypernyme (Wörter mit einer umfassenderen Bedeutung, welche das Schlüsselwort beinhalten), Hyponyme (Wörter innerhalb des Bedeutungsumfangs des Schlüsselwortes) von Schlüsselwörtern verwendet werden, um die Schlüsselwortsuche zum Abrufen von Daten zu erweitern. Das ist bei Informationsabfragesystemen des öfteren notwendig, da Benutzer oft nur geringfügig voneinander abweichende Wörter verwenden, die man durch direkten Vergleich nicht findet.
  • Zum Beispiel würde ein Synonym (Hypernym) des englischen Wortes „fall" wie Herbst (Jahreszeit) zu falschen Ergebnissen führen, wenn man eine Datenbank nach der Übereinstimmung mit dem Wort „fall" durchsucht, das eigentlich „hinunterfallen" bedeutet.
  • Die Verwendung von Beschreibungsdaten auf Grundlage der natürlichen Sprache zum Indexieren und Abrufen von Multimediaobjekten ist in der Technik bekannt und zum Beispiel von Y. Y. Lum in „An Architecture for a Multimedia Database Management System Supporting Content Search", Advances in Computing and Information, Niagara Falls, Kanada, 23. Mai 1990, S. 305 bis 313, beschrieben worden. In diesem Dokument wird ferner die Erzeugung einer strukturierten Abfrage durch Aufgliedern einer ursprünglich durch einen Benutzer in natürlicher Sprache eingegebenen Abfrage mittels eines Parsers beschrieben. Die in natürlicher Sprache abgefasste Abfrage wird durch einen Parser in die Form einer „Prädikatsliste" überführt und mit der entsprechenden „Prädikatsliste" verglichen, welche aus den zu jedem Multimediaobjekt gehörenden Indexierungsdaten in natürlicher Sprache erzeugt wurde.
  • Weitere Ansätze zur Indexierung von Multimediadokumenten sind aus Dokumenten über das Dedal-System zum Indexieren von Multimediadokumenten bei technischen Konstruktionen mittels eines so genannten begrifflichen Indexierungsverfahrens bekannt.
  • Baudin et al. beschreiben in „DEDAL: Using Domain Concepts to Index Engineering Design Information", Proc. Meeting of the Cognitive Science Soc. '92, Indiana, USA, 1992, S. 702 bis 707, eine Benutzeroberfläche unter der Bezeichnung Dedal zum Abrufen von Text-, Grafik- und Videodokumenten mit Konstruktionsinformationen. Das Dedal-System basiert auf einer beschränkten „Konstruktionssprache" mit einem spezialisierten „Task-Wortschatz", insbesondere zur Unterstützung der Konstruktion eines neuen Stoßdämpfers durch Änderung einer ähnlichen Konstruktion. Die Suchstrategie von Dedal lässt sich wie folgt zusammenfassen: es liegt eine Frage der Form <Sachthema, Subjekt, bevorzugtes Medium, bevorzugte Detailebene> vor. Baudin et al. führen dies genauer aus in "DEDAL: Using Device Models to Facilitate the Retrieval of Multimedia Design Information", Proc. of IJCAI '92, Chambéry, Frankreich, 1992, S. 1237 bis 1242, wobei die verwendete Sprache Begriffe eines Modells des konstruierten Gegenstands mit einem begrenzten Wortschatz kombiniert, welcher generische taskabhängige Informationsklassen wiedergibt, die normalerweise in Konstruktionsdokumenten vorkommen. Der Task-Wortschatz umfasst: die Themenliste, die Detailebene und das Medium zur Beschreibung der Daten in den Datensätzen.
  • Die Dedal-„Sprache" sieht fast wie ein Inhaltsverzeichnis eines Buches mit Sachthemen zu einem begrenzten technischen Gebiet aus und erweist sich daher zum Indexieren von Multimediainformationen mit sehr unterschiedlichen Inhalten wie zum Beispiel Bildern als ungeeignet.
  • Obwohl das Grundprinzip der Verwendung strukturierter Indizes beim Archivieren und Abrufen von Multimediaobjekten bekannt ist, beschreibt keines der oben angeführten Dokumente eine Benutzeroberflächenanordnung gemäß der in den Ansprüchen 1 und 8 dargelegten vorliegenden Erfindung, welche eine Vorlage zur Unterstützung eines Benutzers beim Erstellen eines strukturierten Indexes umfasst, der der Multimediainformation zugewiesen werden soll.
  • In den Unteransprüchen werden weitere bevorzugte Ausführungsarten der Erfindung aufgeführt.
  • ÜBERBLICK ÜBER DIE ERFINDUNG
  • Die vorliegende Erfindung stellt ein leistungsfähiges Verfahren zur Unterstützung von Computerbenutzern beim Erstellen und Verwenden strukturierter Indizes zum Archivieren und Abrufen von Informationen mittels eines Universalcomputers dar. Die Indexstruktur beruht auf einer Grammatik (Grammatikregeln) und eignet sich besonders zur Beschreibung von Multimediaobjekten, um dieselben zu archivieren und abzurufen.
  • Bei einer bevorzugten Ausführungsart wird dem Benutzer eine heuristische Benutzeroberfläche angezeigt. Die heuristische Benutzeroberfläche zeigt dem Benutzer Informationen wie zum Beispiel einen Filmclip an, und der Benutzer gibt über die Oberfläche Zeichenfolgen wie zum Beispiel einen aus Wörtern bestehenden Satz ein. Die heuristische Benutzeroberfläche unterstützt den Benutzer dabei, die eingegebene Zeichenfolge in Komponenten mit einer Struktur umzusetzen, die eine Anzahl von Grammatikregeln erfüllt. Alternativ kann man die in natürlicher Sprache abgefassten Beschreibungen durch einen Parser aufgliedern, um die Komponenten und deren auf den Regeln beruhende Strukturen zu erkennen.
  • Zum Archivieren der Information wird mittels eines strukturierten Indexes ein zusammenpassendes Paar erzeugt. Der strukturierte Index wird mittels eines Zuordnungsalgorithmus aus Komponenten (z. B. Wörtern) der eingegebenen Zeichenfolgen gebildet, welche nun eine Funktion und untereinander eine Beziehung haben. Dieser strukturierte Index wird dann mit einem Zeiger auf die zu archivierende Information verknüpft, um das zusammenpassende Paar zu erzeugen. Das zusammenpassende Paar weist deshalb zwei Bestandteile auf: 1. den Zeiger, der als Segmentnummer oder Segment bezeichnet wird und dem Speicherplatz der zu archivierenden (Multimedia-)Information zugeordnet ist, und 2. den die Information beschreibenden strukturierten Index. Dieses zusammenpassende Paar wird dann im Computerspeicher archiviert bzw. gespeichert.
  • Zum Abrufen der archivierten Information wird das System durch Eingeben einer Zeichenfolge wie zum Beispiel einer Zeichenfolgeabfrage in natürlicher Sprache abgefragt. Bei einer bevorzugten Ausführungsart unterstützt eine heuristische Oberfläche den Benutzer beim Erstellen einer Zeichenfolgeabfrage, die auf einer bestimmten Grammatik beruht. Alternativ kann ein Parser die Zeichenfolge der Abfrage in eine strukturierte Abfrage zergliedern, deren Struktur dem strukturierten Index in den archivierten zusammenpassenden Paaren identisch ist oder sich auf diesen bezieht. Dann wird ein Suchalgorithmus ausgewählt und dazu verwendet, einen Schlüssel zu erstellen. Der Schlüssel wird mit dem Indexteil (oder einer/mehreren Komponenten des Indexteils) der zusammenpassenden Paare in der Datenbank verglichen. Aus diesem Vergleich entsteht eine Liste der zusammenpassenden Paare, die zu diesem Schlüssel passen. Somit enthält diese Liste der zusammenpassenden Paare die Paare, die derjenigen archivierten Information entsprechen, welche zu der Abfrage innerhalb der durch den Suchalgorithmus definierten Parameter passt. Abschließend wird die zur (Multimedia)-Information gehörende Segmentnummer, welche Teil jedes zusammenpassenden Paars in der Liste ist, zum Abrufen der zu der Segmentnummer gehörenden archivierten (Multimedia)-Information von demjenigen Speicherplatz verwendet, auf den die Segmentnummer zeigt.
  • Das Suchverfahren kann durch Änderung des Suchalgorithmus erweitert werden. Teile des Schlüssels können auf Wortklassen zeigen, die in einer lexikalischen Datenbank gespeichert sind. Die Wörter dieser lexikalischen Datenbank sind auf irgendeine Weise (Synonym usw.) den Wörtern des Schlüssels zugeordnet. Die Wörter können unter Verwendung der durch den Suchalgorithmus definierten Kriterien aus der lexikalischen Datenbank gesucht werden. Diese in der lexikalischen Datenbank gefundenen Wörter werden auch dazu verwendet, die Datenbank der zusammenpassenden Paare nach Übereinstimmungen zu durchsuchen. Jedes der zu einem in der lexikalischen Datenbank gefundenen Wort passende zusammenpassende Paar wird ebenfalls mit der Liste der Übereinstimmungen ausgegeben.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 zeigt bevorzugte strukturierte Indizes der vorliegenden Erfindung als Paar des Datensatzes eines zusammenpassenden Paars.
  • 2 ist ein Ablaufdiagramm des Verfahrens zum Archivieren von Informationen wie zum Beispiel Multimediainformationen durch Verwendung eines strukturierten Indexes.
  • 3 zeigt eine Computerbildschirmdarstellung, die als heuristische Benutzeroberfläche eine Vorlage und eine Multimediadarstellung verwendet.
  • 4 ist ein Ablaufdiagramm des Verfahrens zum Abrufen von Informationen wie zum Beispiel Multimediainformationen unter Verwendung von strukturierten Indizes.
  • 5 zeigt in Computersystem, welches zum Archivieren und Abrufen von Informationen und insbesondere von Multimediainformationen strukturierte Indizes verwendet.
  • DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
  • Die vorliegende Erfindung kann auf jedem Universalcomputer laufen, der einem Benutzer Multimediainformationen darstellen kann. Eine in 5 gezeigte bevorzugte Ausführungsart verwendet ein IBM Personal System/2 (P/S 2), Modell 8595 Microchannel Floor Standing 486 System 500 (das in der mit der Systemeinheit gelieferten Kurzbeschreibung beschrieben wird). Zum Aufnehmen 520A und zum Abspielen 520B von Audio- und Videomaterial wird ein IBM Personal System/2 (P/S 2) ActionMedia II Display Adapter 510 verwendet (das in der technischen Beschreibung des ActionMedia II beschrieben wird).
  • Diese bevorzugte Ausführungsart verwendet auch ein Betriebssystem IBM Operating System/2 (OS/2) 2.0 (das in der OS/2 2.0-Kurzbeschreibung beschrieben wird), einen IBM Multimedia Presentation Manager/2 (der in der Programmier- und Bedienungsanleitung der IBM Multimedia Presentation Manager/2 ActionMedia(R) II Media Control Interface beschrieben wird) und einen Smalltalk/VPM (der im Anleitungs- und Programmierhandbuch des Smalltalk/VPM beschrieben wird). Es kann auch andere in der Technik bekannte Multimediahardware 530 verwendet werden, die an einen Universalcomputer angeschlossen werden kann. Bei dieser Hardware 530 kann es sich um Kassettenrecordergeräte, Laser-CD-Wiedergabeadapter, Audioaufnahme- und -wiedergabeadapter usw. handeln. Die Marken OS/2 und PS/2 sind Warenzeichen von IBM Corporation, die Marke ActionMedia II ist ein Warenzeichen von Intel Corporation und die Marke Smalltalk/VPM ist ein Warenzeichen von Digitalk Inc.
  • Die vorliegende Erfindung verwendet strukturierte Indizes zum Archivieren von Informationen in einer Computerdatenbank und zum Abrufen aus derselben. Da strukturierte Indizes wesentlich besser beschreiben können als Schlüsselwortindizes nach dem Stand der Technik, eignen sich strukturierte Indizes ganz besonders zum Archivieren von Informationen von Multimediaobjekten und zum Abrufen derselben. Im Allgemeinen enthalten Multimediadaten Informationen mit sensorischen Qualitäten, die in einen Computer eingegeben oder durch ihn ausgegeben werden. Multimediainformationen (-objekte) 550 beinhalten Audioinformationen 532 und visuelle Informationen 534 wie zum Beispiel Audio- und Videoclips, Musikaufzeichnungen, Sprache, gedruckten Text, Standbilder, Zeichnungen, bewegte Bilder, choreographierte Tanzschritte usw. Eine Ursache für die Brauchbarkeit eines strukturierten Indexes zur Beschreibung von Multimediaobjekten besteht darin, dass man in den Index Handlungen, Handelnde und Objekte von Handlungen einbeziehen kann.
  • Der strukturierte Index weist eine Struktur auf, da er Informationen 1. über die Funktion der Indexkomponenten und 2. über die Beziehungen zwischen den Indexkomponenten beinhaltet. Die Funktion und die Beziehungen sind durch Grammatikregeln definiert. Bei der bevorzugten Ausführungsart sind die Indexkomponenten Wörter, welche ein Multimediaobjekt beschreiben. Die zur Festlegung der Funktion und der Beziehungen zwischen den Wörtern im Index verwendeten Grammatikregeln sind in Form der Grammatik einer natürlichen Sprache angegeben, welche Wörter verwendet. Die Erfindung ist jedoch weder auf Wörter als Indexkomponenten noch auf die Grammatik einer natürlichen Sprache beschränkt. Der Index kann aus allen möglichen Komponenten bestehen, welche die zu archivierenden und wieder abzurufenden Informationen beschreiben können, und alle Regeln, welche die Funktionen und Beziehungen der Komponenten definieren, können eine Grammatik darstellen. Zum Beispiel kann man einen Index für einen Musik-Clip erzeugen, indem man eine Tonfolge mit einer bestimmten Struktur verwendet, deren Rhythmus und Frequenz bestimmten Regeln unterliegt. Ein Index für eine Textinformation wie zum Beispiel ein Telefonverzeichnis könnte aus einer Tonfolge bestehen, die eine Telefonnummer darstellt, wobei deren Struktur durch Regeln zur Frequenz der Töne (den numerischen Werten der Ziffern), zur Anzahl der Töne (Anzahl der Ziffern der Telefonnummer) und der Reihenfolge der Töne festgelegt wird.
  • Bei einer bevorzugten Ausführungsart nimmt ein strukturierter Index die folgende Form an:
    [Beziehung: Komponente (Funktion oder Attribute)]
  • Wenn man diese Form beispielsweise auf einen Wortindex anwendet, so erhält man für eine Einwortkomponente:
    [Handlung: Wort (Verb, dritte Person, Futur)]
  • Die Beziehung (Handlung) und die Funktion (Verb) dieses Indexes sind durch die Regeln der angewendeten Grammatik, d. h. der englischen Grammatik definiert. Attribute des Wortes (der Komponente) werden durch die in Klammern zugefügten Informationen des Indexes dargestellt. Diese Attribute beinhalten die Funktion des Wortes, können jedoch auch noch weitere Informationen enthalten. Beim vorliegenden Beispiel beinhalten die Attribute das Wort Funktion (Verb) sowie weitere Informationen über das Verb, die Person und die Zeit. Die Attributinformationen können grammatische Beschreibungen eines Wortes (wie zum Beispiel Person, Anzahl, Zeit, Geschlecht) oder auch andere beschreibende Informationen (wie zum Beispiel Farbe, Größe, Gewicht) enthalten. Ein solcher Index, der die Beschreibung durch ein einzelnes Wort (Komponente) vollzieht, wird als einfacher Index bezeichnet.
  • Um einen Index mit einer Folge von Wörtern (Komponenten) zu erzeugen, der besser beschreiben kann als ein Index mit einem einzelnen Wort, verwendet man einen zusammengesetzten Index. Ein zusammengesetzter Index enthält mehrere einfache Indizes für die Wörter (Komponenten) in dieser Folge. Zum Beispiel kann in dem englischen Ausdruck „Dad will fall into a pool" (Vater wird in ein Becken fallen) ein zusammengesetzt strukturierter Index die folgende Form annehmen:
    [[Handelnder: Vater (Substantiv, Mensch)], [Handlung: fallen (Verb, dritte Person, Zukunft, stürzen)], [Objekt: in das Becken (präpositionaler Ausdruck, Objekt, Schwimmbecken)]].
  • Beim vorliegenden Beispiel definiert der auf Grundlage der englischen Grammatik aus dem Ausdruck in natürlicher Sprache erzeugte zusammengesetzte strukturierte Index die Beziehung (Handelnder, Handlung und Objekt oder Ort) der Wortkomponenten „Vater", „fallen" bzw. „in das Becken" des strukturierten Indexes zueinander. Die Funktion jeder Komponente ist durch die Grammatik (Substantiv, Verb, präpositionaler Ausdruck) gegeben. Außerdem werden zusätzlich zur Funktion auch noch weitere Attributinformationen angegeben. Hierbei geben die Attribute Informationen zur Komponente/Wort, die dazu geeignet sind, dieses zu anderen Komponenten/Wörtern in Beziehung zu setzen. Die Attribute enthalten Synonyme („drop"; stürzen) und Hyponyme („swimming pool"; Schwimmbecken).
  • Unter einer Grammatik versteht man eine Anzahl von Regeln, die den Komponenten einer Folge eine Funktion und eine Beziehung, d. h. eine Struktur verleihen. Die Grammatikregeln organisieren und/oder kennzeichnen die Komponenten in einer Folge in der Weise, dass sie ihnen bestimmte Funktionen zuteilen. Zum Beispiel handelt es sich bei in der bevorzugten Ausführungsart verwendeten Grammatik um die Grammatik der englischen Sprache, also einer natürlichen Sprache, bei der Subjekte (Substantive und substantivische Ausdrücke), Prädikate (Verben) und Objekte (Substantive, substantivische Ausdrücke, präpositionale Ausdrücke usw.) in einer durch die Grammatikregeln festgelegten Reihenfolge angeordnet sind, so dass sie einen Ausdruck oder einen Satz bilden. Durch Änderung der durch die Grammatikregeln festgelegten Funktion und Beziehung zwischen den Wörtern kann man die Bedeutung der Ausdrucks oder Satzes verändern. Obwohl bei der bevorzugten Ausführungsart die Grammatik einer natürlichen Sprache und eine Wortfolge (Ausdruck oder Satz) verwendet werden, beschränkt sich die Anwendung der Erfindung nicht auf die Grammatik einer natürlichen Sprache. Die Erfindung kann als Grammatik beliebige Regeln verwenden, die einer Folge von Komponenten eine Struktur verleihen, um eine sensorische Bedeutung (auditiv oder visuell) zu erzeugen. Das können zum Beispiel musikalische Regeln sein, die auf eine Folge von Tönen bestimmter Frequenzen angewendet werden, um eine Melodie zu erzeugen, aber auch geometrische Regeln, die auf eine Folge von Mustern angewendet werden, um eine Form zu erzeugen, oder aber Ausspracheregeln, die auf eine Folge von Phonemen angewendet werden, um ein erkennbares Wort zu erzeugen. Die angewendeten Grammatikregeln dienen zur Erzeugung des strukturierten Indexes. Die Regeln können auch zum Erstellen einer heuristischen Benutzeroberfläche für das Archivieren und Abrufen von Informationen dienen.
  • Gemäß 1 archiviert die vorliegende Erfindung Informationen und ruft dieselben unter Verwendung einer Datenbank von strukturierten Indizes 125 ab, in der zusammenpassende Paare 105 gespeichert sind. Ein zusammenpassendes Paar 105 besteht aus zwei Teilen: 1) einem Segment 110, welches den Standort der zu archivierenden oder abzurufenden Information kennzeichnet und 2) einem zugehörigen strukturierten Index 100. Bei dem Segment 110 kann es sich um den Startstandort im Computerspeicher (540 in 5), welcher die Information enthält, um einen Zeiger auf einen Standort im Speichermedium, welcher die Information enthält, oder um andere Daten handeln, die üblicherweise zum Zugreifen auf die Information verwendet werden. Im Folgenden werden drei bevorzugte Speicherstrukturen für zusammenpassende Paare beschrieben.
  • Bei einer Ausführungsart werden die zusammenpassenden Paare 105 als eine „normale" Datendatei 140 gespeichert, in welcher die Segmentnummer 110 und der zugehörige Index 100 als sequenzielle Datensätze 120 in einer auf einem strukturierten Index beruhenden Datenbank 125 gespeichert werden. Zum Beispiel:
    (Segment(771), „Dad will fall into the pool") (Segment(772), "a cat and three mice eat an ear of corn") sind zwei aufeinander folgende Datensätze 120 zusammenpassender Paare 105. Die zu „Dad will fall into the pool" (Vater wird in das Becken fallen) gehörende Multimediainformation befindet sich am Multimediaspeicherplatz 771 und ebenso befindet sich die zu „a cat and three mice eat an ear of corn" (eine Katze und drei Mäuse fressen einen Kolben von Mais) gehörende Information am Multimediaspeicherplatz 772. Zum Beispiel kann es sich in diesen Fällen bei der Multimediainformation um eine in diesem Speicherplatz gespeicherte digitale Fotografie handeln. Der gespeicherte „Index" (hier ein aus Worten bestehender Ausdruck) an sich ist nicht strukturiert, da die Funktion und die Beziehungen der Wörter nicht angegeben sind. Bei der vorliegenden Ausführungsart wird der „Index" des Ausdrucks während des Abrufprozesses wie folgt strukturiert.
  • Eine besonders bevorzugte Ausführungsart 150 speichert die zusammenpassenden Paare 105 aus dem Segment 110 und dem strukturierten Index 100 ebenfalls als Datensätze 120 in der Datenbank der strukturierten Indizes 125. Hierbei haben alle Datensätze Felder, und die Datensätze werden durch Begrenzer wie zum Beispiel Perioden 122 voneinander getrennt. Felder innerhalb jedes Datensatzes können durch ihre Position im Datensatz, durch Begrenzer wie zum Beispiel Klammern 126 oder durch Feldbezeichner wie zum Beispiel Namen 128 (z. B. Handlung:) gekennzeichnet werden. Die Speicherung der Datensätze auf diese Weise ist bekannt.
  • Bei einer besonders bevorzugten Ausführungsart werden die zusammenpassenden Paare 105 aus dem Segment 110 und dem strukturierten Index 100 als sequenzielle Datensätze 120 in der Datenbank der strukturierten Indizes 125 gespeichert, wobei jeder Datensatz eine Anzahl von vordefinierten Feldern 130 aufweist, wie zum Beispiel
    {(Segment(770), [[Handlung: stürzen (Pos=Verb, Person=dritte, Zeit=Gegenwart)], [Handelnder: Junge (Pos=Substantiv, Zahl=Singular, Mensch=ja)], [Objekt: Teich (Pos=Substantiv, Zahl=Singular, Präposition=into)]]}
    {Segment(771), [[Handlung: fallen (Position=Verb, Person=dritte, Zeit=Futur)], [Handelnder: Vater (Position=Substantiv, Zahl=Singular, Mensch=ja)], [Objekt: Becken (Position=Substantiv, Zahl=Singular)]]},
    mit zwei gespeicherten zusammenpassenden Paaren 105 unter Verwendung zusammengesetzter strukturierter Indizes 100 als Datensätze 120 in der Datenbank der strukturierten Indizes 125. (Man beachte auch, dass die Attribute hier die Form „Attribut=Wert" haben, z. B. „Zeit=Futur"). Die Datensätze werden in einer tabellenähnlichen Struktur 160 gespeichert. Eine bevorzugte Ausführungsart ist eine relationale Datenbank. Jeder Datensatz 120 in der Tabelle 160 hat ein Feld für: die Nummer (770, 771) des Segments 110; die Handlung 114 (stürzen, fallen), drei Attribute der Handlung (Teil der gesprochenen Sprache (Position) 116, Person 118 und Zeit 119); den Handelnden 122 (Junge, Vater); drei Attribute des Handelnden (Teil der gesprochenen Sprache 124, Nummer 126 und ob es sich bei dem Handelnden um einen Menschen 128 handelt); das Objekt 132 (Teich, Becken); und zwei Attribute des Objekts (Teil der gesprochenen Sprache 134 und Nummer 136). Ein oder mehrere dieser Datensatzfelder können während des Abrufprozesses durchsucht werden, um einen Datensatz 120 für ein zusammenpassendes Paar 105 zu finden, welches auf eine Suchabfrage passt. Man beachte, dass die Funktion eines Wortes aus technischen Gründen durch dessen Teil der gesprochenen Sprache (Position) gekennzeichnet werden kann, der durch die Grammatik festgelegt wurde. Manche dieser Daten können unberücksichtigt bleiben. Zum Beispiel kann die Tatsache, dass der Wert der Präposition „in das" lautet (Präp=in das), ohne Bedeutung sein.
  • Die bevorzugte Ausführungsart ermöglicht eine erweiterte Durchsuchung der Datenbank der strukturierten Indizes 125, wenn man eine andere Datenbank hinzufügt, deren Komponenten (bei der bevorzugten Ausführungsart: Wörter) in lexikalischer Hierarchie angeordnet sind. Diese zweite Datenbank, die auch als lexikalische Datenbank bezeichnet wird, ist auf eine in der Technik bekannte Weise aufgebaut.
  • Die lexikalische Datenbank ordnet die Wörter (oder andere Komponenten) mit einer relativ engeren Bedeutung in Klassen (Hyponyme) hierarchisch unter einem Wort mit einer umfassenderen Bedeutung (Hypernym) an, wie zum Beispiel „Biber" und „Katze" als Hyponyme von „Säugetier", welches wiederum ein Hyponym von „Tier" ist. Diese Wörter werden wiederum in einer Wortklasse unter einem Wort mit einer noch umfassenderen Bedeutung (Hypernym) zusammengefasst. Auf diese Weise stehen die Wörter der Datenbank hierarchisch jeweils mit einem anderen Wort in Beziehung.
  • Als lexikalische Datenbank können in der vorliegenden Erfindung alle in der Technik bekannten lexikalischen Datenbanken verwendet werden. Es gibt lexikalische Datenbanken, welche Wörter und deren Synonyme, Hypernyme und Hyponyme enthalten. Die Informationen in den Datenbanken mit Wörterbucheinträgen sind so aufgeteilt worden, dass sie die Struktur der Einträge bestimmen, und die bearbeiteten Einträge wiederum sind in weitere lexikalische Datenbanken nach dem Stand der Technik geladen worden. Zum Beispiel sind in manchen lexikalischen Datenbanken Angaben zur Betonung, Teile der gesprochenen Sprache und Definitionen als einzelne Felder gespeichert, auf die ein Wort zugreifen kann. Definitionstexte dienen dazu, weitere implizite Informationen der Wörter zu erschließen. Ausdrücklich sind in den Einträgen von Thesauren Synonyme enthalten. Aus dem Beschreibungstext können Hyponyme abgeleitet werden (z. B. wird im Wörterbuch von Merriam-Webster, 7. Aufl., 1963, ein Wagen als ein „Fahrzeug" definiert, das sich auf Rädern fortbewegt). Nachdem diese Information aus einer Vielzahl von Quellen erschlossen worden ist, kann sie zur weiteren Verarbeitung in eine lexikalische Datenbank geladen werden. Zum Beispiel kann in einer lexikalischen Datenbank ein Eintrag für das Wort „Wagen" wie folgt aussehen:
  • Wagen –
  • Synonyme
  • Auto, Automobil, Klapperkiste, Maschine, Motor, Motorwagen, Fahrzeug, Buffetwagen, Kabelwagen, Reisezugwagen, Speisewagen, (Eisenbahn), Schlafwagen, Wohnwagen
  • Hypernyme
  • Fahrzeug, Kutsche, Kabine, Teil
  • Hyponyme
  • Güterwagen, Kabelwagen, Bremserwagen, Salonwagen, Kutsche, Reisezugwagen, Speisewagen, Plattformwagen, Gondel, Handwagen, Salonwagen, Mini-Cabriolet, Motorwagen, Salonwagen, Klapperkiste, Kühlwagen, Serienwagen, Seitenwagen, Schlafwagen, Raucherwaggon, Seilbahnkabine, Einkaufswagen, Lastwagen, Eisenbahnwaggon, Straßenwagen
  • Wobei das Synonym, das Hypernym und die Hyponyme Felder in einem Datensatz der lexikalischen Datenbank sind, die Listen von Wörtern enthalten, welche durch die vorangehende Verarbeitung extrahiert wurden.
  • 2 zeigt den Prozess der Archivierung einer Information 250 mittel der bevorzugten Ausführungsart. Ein Benutzer 255 steht mit einer heuristischen Oberfläche 260 im Dialog, welche dem Benutzer eine Multimediainformation 270 anzeigt und ihn zur Eingabe einer aus Komponenten (Wörtern) bestehenden Zeichenfolge gemäß einer vorgegebenen Grammatik 275 auffordert. Üblicherweise kann ein Parser 280 die eingegebene Zeichenfolge in Komponenten aufgliedern. Alternativ kann der Parser 280 auch entfallen 284.
  • Ein Zuordnungsalgorithmus verwendet diese Komponenten zum Erstellen eines strukturierten Indexes 285, der der oben beschriebenen Form ähnelt. Der strukturierte Index wird mit der Segmentnummer der zu katalogisierenden 270 Information verknüpft 290, um ein zusammenpassendes Paar 295 zu erzeugen, das dann gemäß Kasten 298 in der auf dem strukturierten Index beruhenden Datenbank 125 gespeichert wird.
  • 3 zeigt eine bevorzugte Ausführungsart einer heuristischen Oberfläche 300 für Videos. Die heuristische Oberfläche der bevorzugten Ausführungsart ist ein Videobild 300, das eine Multimediainformation darstellen kann. Diese Multimediainformation wird in einer Multimediaspeichervorrichtung gespeichert oder digitalisiert und in einem Computerspeicher gespeichert. Das Videobild enthält eine Vorlage 325, welche den Benutzer zur Eingabe einer in der natürlichen Sprache Englisch gehaltenen Beschreibung der Multimediainformation 330 auffordert, welche ein bewegtes Bild 330 zeigt, auf dem ein Hund langsam zu einer Tür läuft. Die Vorlage 325 ist so formatiert, dass der Benutzer eingeladen wird, das Bild unter Verwendung der normalen englischen Grammatik durch einen Ausdruck oder einen Satz zu beschreiben. Die Eingabebereiche 301 bis 305 der Vorlage sind so gestaltet, dass der Benutzer eine Textinformation eingibt, welche die Multimediainformation 330 durch Teile der gesprochenen Sprache entsprechend der englischen Grammatik (Funktionen und/oder Beziehungen 306 bis 310) beschreibt. Bei diesem Beispiel gibt der Benutzer in den Eingabebereich 301 ein Adjektiv 306 (bewegt), welches den Videoclip beschreibt, oder in den Eingabebereich 302 das Subjekt 307 (Hund) ein. Die Beziehung der Handlung wird durch das Verb 309 (läuft) beschrieben, welches der Benutzer in den Eingabebereich 304 eingibt. In den Eingabebereich 303 wird für die Beziehung (langsam) ein Adverb 308 eingegeben, welches das Verb 309 beschreibt. Durch den in den Eingabebereich 305 eingegebenen präpositionalen Ausdruck 310 wird ein Objekt der Handlungsbeziehung beschrieben. Deshalb gliedert ein Benutzer mittels einer heuristischen Oberfläche 300 eine in natürlicher Sprache abgefasste Beschreibung der Multimediainformation 330 in Komponenten auf, welche eine Funktion und untereinander eine Beziehung haben, die durch die Grammatik einer natürlichen Sprache festgelegt sind. Bei der vorliegenden bevorzugten Ausführungsart kann in 2 der Kasten 280 übersprungen werden 284, da die in die Vorlage (Kasten 275 von 2) eingegebenen Daten direkt zum Erstellen eines strukturierten Indexes (Kasten 285) verwendet werden können. Für diese heuristische Oberfläche 300 kann jede in der Technik bekannte Software verwendet werden, die eine Eingabevorlage erstellen kann.
  • Bei einem Vergleichsbeispiel, das zum Verständnis der Erfindung beiträgt, aber nicht durch die Ansprüche erfasst wird, kann die heuristische Oberfläche eine in der Technik bekannte und in natürlicher Sprache abgefasste Oberfläche sein. Zum Beispiel wird die zu archivierende Multimediainformation 330 auf dem Bildschirm 300 zusammen mit einer Abfrage oder einer Eingabeaufforderung in natürlicher Sprache dargestellt. Darauf reagiert der Benutzer, indem er beschreibende Informationen, üblicherweise durch einen Text in natürlicher Sprache, über den Multimediaclip eingibt. Kasten 275 in 2 zeigt die Texteingabe.
  • Der Parser analysiert die in natürlicher Sprache abgefasste Beschreibung 275 nach den Regeln einer Grammatik, üblicherweise der Grammatik einer natürlichen Sprache wie zum Beispiel Englisch, und gibt den Satz oder Ausdruck nach Aufgliederung in diejenigen Wörter zurück, die als Teile der gesprochenen Sprache, als Bestandteile oder Funktionen erkannt wurden. Bei dem Parser 280 kann es sich um eine der zahlreichen in der Technik bekannten Ausführungsarten handeln. Es gibt auch Parser, die weitere Informationen über die Wörter wie zum Beispiel Zeit, Zahl sowie weitere Eigenschaften liefern. Wenn der Parser nicht in der Lage ist, die in natürlicher Sprache abgefasste Beschreibung 275 aufzugliedern, weil sich die Beschreibung nicht an die Regeln der englischen Grammatik hält oder wegen anderer Gründe, wird die in natürlicher Sprache abgefasste Beschreibung verworfen 282. Dem Benutzer kann angezeigt werden, dass die Beschreibung verworfen wurde (damit er sie neu formulieren kann).
  • Das durch den Parser 280 ausgegebene Ergebnis hat die Form von Komponenten eines strukturierten Indexes, vorzugsweise der Komponenten eines zusammengesetztem strukturierten Indexes (siehe oben). An dieser Stelle (Kasten 285) analysiert ein Zuordnungsalgorithmus das Ergebnis des Parsers und erzeugt einen strukturierten Index, indem er die entsprechenden Teile des Parserergebnisses an die richtigen Stellen der oben beschriebenen Datenbank der strukturierten Indizes 125 überführt. Die Funktion des Zuordnungsalgorithmus in Kasten 285 kann Teil des Parsers oder ein gesonderter Algorithmus zum Zuordnen des Parserergebnisses in die auf dem strukturierten Index beruhende Datenbank 125 sein. Der Zuordnungsalgorithmus kann auch so aufgebaut sein, dass man zum Parserergebnis weitere Informationen hinzufügen oder auch bestimmte vom Parser kommende Informationen weglassen kann. (Man beachte, dass das Parserergebnis bei einer bevorzugten Ausführungsart direkt von Kasten 275 kommt, 284). Geht man beispielsweise von der Annahme aus, dass die meisten Subjekte selbst handeln, würde der Ausdruck „das Fenster zerbricht" wie folgt aufgegliedert werden:
    [[Handelnder: Fenster (Substantiv)], [Handlung: zerbricht (Verb)]].
  • Bei diesem Beispiel wurde der Ausdruck nicht richtig aufgegliedert, das es sich bei dem Wort „Fenster" um das Thema des Satzes handelt. Da es sich bei den meisten Handelnden um belebte Substantive handelt, könnte der Zuordnungsalgorithmus 285 durch Vergleichen der Felder für Handelnde mit einer Liste belebter Substantive den Fehler erkennen und den strukturierten Index wie folgt neu definieren:
    [[Objekt: Fenster (Substantiv)], [Handlung: zerbricht (Verb)]].
  • Es sind Verfahren bekannt, die man im Zuordnungsalgorithmus verwenden kann, um dem Wort „Fenster" eine neue Funktion als Objekt zuweisen und es dann in der Datenbank der strukturierten Indizes 125 richtig zu speichern.
  • Der Zuordnungsalgorithmus kann zum Parserergebnis auch weitere Informationen wie zum zusätzliche Attribute hinzufügen. Durch Vergleichen der Wörter mit Datenbanken und/oder unter Verwendung grammatikalischer Regeln kann der Zuordnungsalgorithmus Informationen über Person, Zeit, Zahl oder andere Attribute eines Wortes hinzufügen. Zum Beispiel kann der Eigenname einer Person mit einer Liste bekannter Persönlichkeiten verglichen werden und ein Attribut erhalten, welches diesen Namen als Persönlichkeit kennzeichnet, wenn sich der Name in der Liste befindet. In ähnlicher Weise können unter Verwendung anderer Datenbanken wie zum Beispiel der oben beschriebenen lexikalischen Datenbank auch Hyponyme, Hypernyme und Synonyme als Attribute hinzugefügt werden. Alternativ kann der Zuordnungsalgorithmus 285 auch lediglich ausgewählte Informationen aus dem Parserergebnis (oder Kasten 275) in der Datenbank der strukturierten Indizes speichern. Zum Beispiel könnte der Zuordnungsalgorithmus 285 lediglich Wörter zur Art der Handlung und des Objekts zusammen mit deren Attributen in der Datenbank der strukturierten Indizes speichern und alle Wörter zur Art des Subjekts sowie deren Attribute weglassen.
  • Auch die Segmentnummer 110 bzw. das Segment 110, welches den Speicherplatz der gemäß dem Index 100 zu archivierenden Information beschreibt, ist zusammen mit der durch den Zuordnungsalgorithmus 285 gespeicherten Information 100 des strukturierten Indexes im Speicherdatensatz 120 enthalten. Deshalb sind der Index 100 und das Segment 110 in einem Datensatz 120 zusammengefasst 290 und bilden ein zusammenpassendes Paar 105 (Kasten 295), das der zu archivierenden Information zugeordnet ist. Bevorzugte Ausführungsarten des zusammenpassenden Paars 105 in der Datenbank 125 der strukturierten Indizes wurden oben bereits beschrieben. Die Datenbank 125 der strukturierten Indizes umfasst eine Vielzahl von Datensätzen 120 (Kasten 298) dieser zusammenpassenden Paare 105, die nach diesem Verfahren archiviert werden.
  • 4 ist ein Ablaufdiagramm des vorliegenden Prozesses zum Abrufen von Informationen. Eine Zeichenfolge von Komponenten, üblicherweise von Wörtern 410, wird durch einen Benutzer über eine heuristische Oberfläche 415 in den Computer eingegeben. Die heuristische Oberfläche 415 fordert den Benutzer zum Eingeben einer Abfrage mit einer Struktur auf, die der beim Archivieren der Information verwendeten Grammatik entspricht. Bei dieser Ausführungsart kann eine in 3 gezeigte Eingabevorlage 325 verwendet werden. Alternativ kann man als heuristische Oberfläche 415 eine Oberfläche verwenden, die auf einer natürlichen Sprache beruht und den Benutzer zur Eingabe einer Abfrage in einer natürlichen Sprache auffordert.
  • Wenn die heuristische Oberfläche 415 zum Eingeben einer Abfrage in einer natürlichen Sprache eingerichtet ist, wird ein Parser 420 verwendet. Wenn die heuristische Oberfläche 415 die Abfrage jedoch grammatikalisch organisiert, z. B. durch Verwendung einer Vorlage 325 wie in 3, wird der Parser 420 übersprungen 418. Ein Parser gliedert die Abfrage auf und sendet die in eine strukturierte Abfrage aufgegliederte Abfrage zurück. Wenn der Parser die Abfrage nicht aufgliedern kann, da sich diese nicht an die verwendete Grammatik hält, wird die Abfrage verworfen 423. Der Parser 420 kann dem Benutzer dieses Problem mitteilen (sodass dieser die Abfrage neu formulieren oder sich für eine Schlüsselwortsuche entscheiden kann).
  • In der strukturierten Abfrage 425 sind die nach ihrer Funktion ermittelten Komponenten, z. B. Wörter, der Abfrage sowie deren gemäß den Grammatikregeln festgelegte Beziehungen enthalten. Zum Beispiel wird die Abfrage „Vater wird in das Becken fallen" wie folgt aufgegliedert (oder durch die heuristische Oberfläche 415 organisiert):
    [[(Handlung: fallen (Verb, dritte Person, Futur)], [Handelnder: Vater (Substantiv, Singular)], [Objekt: in das (Präposition), Becken (Substantiv, Singular)].
  • Bei der bevorzugten Ausführungsart müssen eine oder mehrere der Komponenten und/oder deren Attribute in der strukturierten Abfrage ein Feld bilden, das mit einem Feld in der Datenbank 125 der strukturierten Indizes übereinstimmt, damit man später suchen und eine Übereinstimmung 445 feststellen kann. Es ist auch möglich, eine Abfrage umzustrukturieren, damit diese Felder übereinstimmen.
  • Ein Suchalgorithmus 435 erstellt 430 aus den Komponenten der strukturierten Abfrage 425 einen Schlüssel. Der Schlüssel 440 dient dann zum Durchsuchen 445 der Datenbank 125 der strukturierten Indizes und liefert 450 eine Liste der zusammenpassenden Paare, welche entsprechend den Kriterien des Suchalgorithmus 435 auf die Abfrage zutreffen. Der Suchalgorithmus 435 erweitert die Kriterien der Suche 445 in der Datenbank der strukturierten Indizes durch Änderung des Schlüssels 440 oder verringert sie. Speziell wird der Schlüssel 440 aus Komponenten der durch die Suchkriterien veränderten strukturierten Abfrage erstellt 430. Wenn die Suchkriterien beispielsweise verlangen, dass nur eine Handlung und ein Objekt übereinstimmen müssen, kann der Schlüssel ohne das Feld des Handelnden erzeugt werden. Alternativ kann in ein Feld für den Handelnden im Schlüssel ein Symbol „nicht herücksichtigen" (Platzhaltersymbol „*") eingegeben werden.
  • Ein anderer Suchalgorithmus 435 kann die Suche dadurch erweitern, dass man im Schlüssel bestimmte Attribute der Komponenten durch „nicht berücksichtigen" kennzeichnet. Zum Beispiel kann der Schlüssel so gestaltet werden, dass er zur Zeit oder Zahl eines Verbs passt. Ein anderer Suchalgorithmus 435 kann die Suche dadurch erweitern, dass er eine oder mehrere Schlüsselkomponenten auf verwandte Wörter wie zum Beispiel Synonyme, Hypernyme und/oder Hyponyme erweitert. Der Algorithmus 435 könnte durch Verwendung der lexikalischen Datenbank Komponenten oder Attribute der Komponenten des Schlüssels ersetzen oder hinzufügen, um die Suchkriterien zu ändern.
  • Im Folgenden werden mehrere Beispiele für Schlüssel 440 unter Verwendung der folgenden strukturierten Abfrage 425 dargestellt, die durch verschiedene Suchalgorithmen 435 erstellt 430 wurden.
    [[Handlung: fallen (Verb, dritte Person, Futur)], [Handelnder: Vater (Substantiv, Singular)], [Objekt: in das (Präposition), Becken (Substantiv, Singular)].
  • Ein Suchalgorithmus 435 kann einen Schlüssel 440 erstellen, der auf einen Datensatz 120 in einer Datenbank 125 der strukturierten Indizes passt, wenn lediglich die Felder für Handlung und Objekt sowie deren Attribute zusammenpassen:
    [[Handlung: fallen (Verb, dritte Person, Futur)], [Objekt: in das (Präposition), Becken (Substantiv, Singular)],
    oder alternativ:
    [[Handlung: fallen (Verb, dritte Person, Futur)], [Handelnder:*], [Objekt: in das (Präposition), Becken (Substantiv, Singular)].
  • In diesem Fall ist die Komponente Handelnder des Schlüssels entfernt oder durch „nicht berücksichtigen" gekennzeichnet worden. Ein Datensatz 120 wie zum Beispiel „ein Hund wird in das Becken fallen" wird zu dem Schlüssel 440 passen 445.
  • Ein Suchalgorithmus 435 kann einen Schlüssel erstellen 430, der zu einem Datensatz 120 der Datenbank 125 der strukturierten Indizes passt, ohne dass die Person oder die Zeitform des Verbs oder die Zahl des Substantivs berücksichtigt wird:
    [[Handlung: fallen (Verb, *, *)], (Handelnder: Vater (Substantiv, *)], Objekt: in das (Präposition), Becken (Substantiv, *)].
  • Hierbei hat der Algorithmus 435 in die Felder für die Person und die Zeitform des Verbs sowie für die Zahl des Substantivs „nicht berücksichtigen" eingetragen. Ein Eintrag der Datenbank wie zum „drei Väter fallen in die Becken" würden mit diesem Schlüssel 440 eine Übereinstimmung erzeugen 445. Entsprechend würde jeder oder alles zu diesem Schlüssel passen, der oder das in ein oder mehrere Becken fällt.
  • Ein Suchalgorithmus 435 kann einen Schlüssel erstellen 430, der zu einem Eintrag der Datenbank der strukturierten Indizes mit einem Wort eine Übereinstimmung herstellt, welches einer Komponente ähnlich ist:
    [[Handlung: fallen (Verb, dritte Person, Futur)], (Handelnder: Vater (Substantiv, Singular)], [Objekt: in das (Präposition), Synonym=Becken (Substantiv, Singular)].
  • Ein Eintrag in der Datenbank wie zum Beispiel „Vater wird in den Teich fallen" passt zu diesem Schlüssel, da die normalerweise in der lexikalischen Datenbank zu findenden Synonyme für „Becken" dazu verwendet werden, eine Übereinstimmung mit den Komponenten im Feld Objekt zu erzeugen.
  • Ein Suchalgorithmus 435 kann einen Schlüssel 440 unter Verwendung von Synonymen (und/oder Hyponymen und/oder Hypernymen) von jeder Komponente des Schlüssels wie folgt erstellen 430:
    [[Handlung: Synonym=fallen (Verb, dritte Person, Futur)], [Handelnder: Hyponym=Vater (Substantiv, Singular)], [Objekt: in das (Präposition), Synonym=Becken (Substantiv, Singular)].
  • Ein Eintrag wie zum Beispiel „Papa stürzt in den Teich" stellt eine Übereinstimmung mit diesem Schlüssel her, da das „Synonym" „wird stürzen" mit „wird fallen", das Synonym „Teich" mit „Becken" und das Hyponym „Papa" mit „Vater" übereinstimmt.
  • Sobald der Schlüssel 440 erstellt wurde, kann er unter Verwendung eines in der Technik bekannten Such- und Vergleichsalgorithmus mit den Einträgen in der Datenbank 125 der strukturierten Indizes verglichen werden. Zum Beispiel kann der Suchalgorithmus 435 auch dann eine Übereinstimmung zulassen, wenn die Schreibweise eines Schlüsselkomponente und eines Feldes in der Datenbank nur ähnlich ist, aber nicht identisch übereinstimmt. Die Suche kann sich logischer Operationen mit den Schlüsselkomponenten bedienen, d. h. eine Übereinstimmung feststellen, wenn ein Eintrag mit einer Komponente des Schlüssels übereinstimmt, die mit einer anderen Komponente durch eine ODER-Funktion verknüpft ist.
  • Der Such- und Vergleichsschritt 445 gibt (falls eine Übereinstimmung festgestellt wird) eine Liste aus, die als Datensatzübereinstimmungsliste 450 derjenigen Datensätze (falls solche vorliegen) in der Datenbank 125 der strukturierten Indizes bezeichnet wird, die mit dem Schlüssel 440 übereinstimmen. Die Segmentnummer 110 jedes Datensatzes 120 der zusammenpassenden Paare 105 in der Liste 450 dient dann zum Auffinden 460 der zu diesem zusammenpassenden Paar 105 gehörenden Information. Diese Information wird dann als diejenige Information dem Benutzer bereitgestellt, die der Abfrage entspricht.
  • Anhand der vorliegenden Beschreibung kann ein Fachmann viele Ausführungsarten entwickeln, die durch die vorliegende Erfindung beabsichtigt sind. Zum Beispiel werden bei einer alternativen Ausführungsart der oben erörterten Datenbank 125 der strukturierten Indizes die zusammenpassenden Paare als „normale" Datendatei gespeichert, in der der Teil des zusammenpassenden Paars kein strukturierter Index, sondern lediglich ein Feld mit Textdaten ist. Bei dieser Ausführungsart werden in einem vorbereitenden Such- und Vergleichsschritt diejenigen Einträge ausgesucht, die möglicherweise mit einem Schlüssel 440 übereinstimmen. Das kann mittels einer Standardsuche nach Schlüsselwörtern erfolgen. Die durch diese Suche ermittelten Datensätze 120 werden dann durch einen Parser geschickt, der die Textdaten des zusammenpassenden Paars in Komponenten aufgliedert, aus denen wie oben beschrieben strukturierte Indizes des zusammenpassenden Paars erzeugt werden. Die ausgewählten Einträge, die nun über einen strukturierten Index in ihrem zusammenpassenden Paar verfügen, werden in der oben beschriebenen Weise ein zweites Mal durchsucht und verglichen.

Claims (9)

  1. Verfahren zum Kennzeichnen einer Position von Multimediadaten (330; 550) in einer Computerdatenbank (125; 540), welches die folgenden Schritte umfasst: Anzeigen der zu archivierenden Multimediadaten; Erzeugen eines zusammenpassenden Paares (105; 295) durch Zuordnen eines die Multimediadaten (330; 660) beschreibenden strukturierten Indexes (100) zu einem Speicherplatz-Datenzeiger (110), welcher auf eine die Multimediadaten enthaltende Position zeigt; und Speichern des zusammenpassenden Paares (105; 295) in einem Computerspeicher (540) zum Archivieren der Multimediadaten (330; 550) an der Position, die durch den Speicherplatz-Datenzeiger (110) gekennzeichnet ist, gekennzeichnet durch Anzeigen einer Vorlage (325), anhand derer ein Benutzer die für Indexkomponenten eines strukturierten Indexes (110) geforderten Eingabezeichenfolgen eingeben kann, wobei diese Vorlage Informationen über die Funktion der Indexkomponenten und deren gegenseitige Beziehungen umfasst.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Funktion und die Beziehungen durch Grammatikregeln definiert sind.
  3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Grammatik eine Grammatik einer natürlichen Sprache ist.
  4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Multimediadaten (330; 550) einen Videoclip (532; 534) beinhalten.
  5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Multimediadaten (330; 550) ein Standbild beinhalten.
  6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Multimediadaten (330; 550) einen Audioclip (532) beinhalten.
  7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Komponenten in einer Datenbank mit einer lexikalischen Hierarchie enthaltene erste Daten beinhalten, wobei sich in der Datenbank weitere Daten befinden, die sich gemäß der lexikalischen Hierarchie auf die ersten Daten beziehen.
  8. Computervorrichtung zum Erzeugen eines strukturierten Indexes für Multimediadaten (330; 550) in einer Computerdatenbank, wobei der Computer Folgendes umfasst: ein Anzeigemittel zum Anzeigen der zu archivierenden Multimediadaten; ein Archivierungsmittel zum Erzeugen eines zusammenpassenden Paares (105; 295), welches den zu archivierenden Multimediadaten zugeordnet ist; und ein Speichermittel (540) zum Speichern mindestens eines zusammenpassenden Paares in einer strukturierten Indexdatenbank (125), wobei das zusammenpassende Paar (105; 295) einen strukturierten Index (100), welcher diese Daten beschreibt, und eine Segmentnummer oder einen Segmentzeiger (110) umfasst, der auf den Speicherplatz der dem zusammenpassenden Paar zugeordneten Daten zeigt, dadurch gekennzeichnet, dass das Anzeigemittel eine Vorlage (325) anzeigt, anhand derer ein Benutzer die für Indexkomponenten eines strukturierten Indexes (110) geforderten Eingabezeichenfolgen eingeben kann, wobei diese Vorlage Informationen über die Funktion der Indexkomponenten und deren gegenseitige Beziehungen umfasst.
  9. Vorrichtung nach Anspruch 8, gekennzeichnet durch einen Parser, der eine Beschreibung eines Multimediaobjektes in eine strukturierte Abfrage umwandelt.
DE69333609T 1993-02-02 1993-12-03 Indexierung von Multimediaobjekten Expired - Lifetime DE69333609T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13888 1987-02-12
US08/013,888 US5630121A (en) 1993-02-02 1993-02-02 Archiving and retrieving multimedia objects using structured indexes

Publications (2)

Publication Number Publication Date
DE69333609D1 DE69333609D1 (de) 2004-10-07
DE69333609T2 true DE69333609T2 (de) 2005-09-22

Family

ID=21762334

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69333609T Expired - Lifetime DE69333609T2 (de) 1993-02-02 1993-12-03 Indexierung von Multimediaobjekten

Country Status (4)

Country Link
US (1) US5630121A (de)
EP (1) EP0609517B1 (de)
JP (1) JPH06325104A (de)
DE (1) DE69333609T2 (de)

Families Citing this family (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3036259B2 (ja) * 1992-10-13 2000-04-24 富士通株式会社 画像表示装置
US5603025A (en) * 1994-07-29 1997-02-11 Borland International, Inc. Methods for hypertext reporting in a relational database management system
US5742816A (en) * 1995-09-15 1998-04-21 Infonautics Corporation Method and apparatus for identifying textual documents and multi-mediafiles corresponding to a search topic
US5930787A (en) * 1995-09-27 1999-07-27 Sharp Kabushiki Kaisha Method for retrieving related word information, information processing apparatus, method for controlling related information display, and related information display apparatus
US5842203A (en) * 1995-12-01 1998-11-24 International Business Machines Corporation Method and system for performing non-boolean search queries in a graphical user interface
US5751280A (en) * 1995-12-11 1998-05-12 Silicon Graphics, Inc. System and method for media stream synchronization with a base atom index file and an auxiliary atom index file
US6021412A (en) * 1996-04-02 2000-02-01 Microsoft Corporation Method and system for automatically adding graphics to a document to illustrate concepts referred to therein
US5832499A (en) * 1996-07-10 1998-11-03 Survivors Of The Shoah Visual History Foundation Digital library system
US5832495A (en) * 1996-07-08 1998-11-03 Survivors Of The Shoah Visual History Foundation Method and apparatus for cataloguing multimedia data
US5813014A (en) * 1996-07-10 1998-09-22 Survivors Of The Shoah Visual History Foundation Method and apparatus for management of multimedia assets
US5926624A (en) * 1996-09-12 1999-07-20 Audible, Inc. Digital information library and delivery system with logic for generating files targeted to the playback device
US7917643B2 (en) * 1996-09-12 2011-03-29 Audible, Inc. Digital information library and delivery system
JP3841233B2 (ja) * 1996-12-18 2006-11-01 ソニー株式会社 情報処理装置および情報処理方法
US6076051A (en) * 1997-03-07 2000-06-13 Microsoft Corporation Information retrieval utilizing semantic representation of text
US6654933B1 (en) 1999-09-21 2003-11-25 Kasenna, Inc. System and method for media stream indexing
US6055562A (en) * 1997-05-01 2000-04-25 International Business Machines Corporation Dynamic mobile agents
US6735253B1 (en) 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US5895465A (en) * 1997-09-09 1999-04-20 Netscape Communications Corp. Heuristic co-identification of objects across heterogeneous information sources
US6163781A (en) * 1997-09-11 2000-12-19 Physician Weblink Technology Services, Inc. Object-to-relational data converter mapping attributes to object instance into relational tables
US6585779B1 (en) 1997-11-20 2003-07-01 International Business Machines Corporation Method and apparatus for determining and categorizing Java Bean names and sub-elements files
US6148295A (en) * 1997-12-30 2000-11-14 International Business Machines Corporation Method for computing near neighbors of a query point in a database
US6260044B1 (en) 1998-02-04 2001-07-10 Nugenesis Technologies Corporation Information storage and retrieval system for storing and retrieving the visual form of information from an application in a database
US6684211B1 (en) * 1998-04-01 2004-01-27 Planetweb, Inc. Multimedia communication and presentation
US6253237B1 (en) 1998-05-20 2001-06-26 Audible, Inc. Personalized time-shifted programming
US6243713B1 (en) 1998-08-24 2001-06-05 Excalibur Technologies Corp. Multimedia document retrieval by application of multimedia queries to a unified index of multimedia data for a plurality of multimedia data types
US6253187B1 (en) * 1998-08-31 2001-06-26 Maxagrid International, Inc. Integrated inventory management system
US6549911B2 (en) * 1998-11-02 2003-04-15 Survivors Of The Shoah Visual History Foundation Method and apparatus for cataloguing multimedia data
US6353831B1 (en) 1998-11-02 2002-03-05 Survivors Of The Shoah Visual History Foundation Digital library system
US7254285B1 (en) 1998-11-06 2007-08-07 Seungup Paek Image description system and method
US7653635B1 (en) * 1998-11-06 2010-01-26 The Trustees Of Columbia University In The City Of New York Systems and methods for interoperable multimedia content descriptions
US7143434B1 (en) 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
US6920464B2 (en) * 1998-12-03 2005-07-19 Grantley Patent Holdings, Ltd. System for generating an advertising revenue projection
US8175977B2 (en) 1998-12-28 2012-05-08 Audible License management for digital content
US6601026B2 (en) * 1999-09-17 2003-07-29 Discern Communications, Inc. Information retrieval by natural language querying
CA2389186A1 (en) 1999-10-29 2001-05-03 British Telecommunications Public Limited Company Method and apparatus for processing queries
US9076448B2 (en) * 1999-11-12 2015-07-07 Nuance Communications, Inc. Distributed real time speech recognition system
US7725307B2 (en) 1999-11-12 2010-05-25 Phoenix Solutions, Inc. Query engine for processing voice based queries including semantic decoding
US7050977B1 (en) 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US7392185B2 (en) 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
WO2001041000A1 (en) * 1999-11-30 2001-06-07 New Media Technology, Corp. System and method for computer-assisted manual and automatic logging of time-based media
KR100357261B1 (ko) * 1999-12-30 2002-10-18 엘지전자 주식회사 멀티미디어 데이터의 의미적/구조적 정보 생성방법 및 그 정보의 기록매체와 멀티미디어 검색 및 브라우징 방법
US7082436B1 (en) 2000-01-05 2006-07-25 Nugenesis Technologies Corporation Storing and retrieving the visual form of data
US7120574B2 (en) * 2000-04-03 2006-10-10 Invention Machine Corporation Synonym extension of search queries with validation
WO2001077864A1 (en) * 2000-04-10 2001-10-18 Contentwise Ltd Method and system for managing multimedia databases
US7962326B2 (en) * 2000-04-20 2011-06-14 Invention Machine Corporation Semantic answering system and method
US7082427B1 (en) * 2000-05-24 2006-07-25 Reachforce, Inc. Text indexing system to index, query the archive database document by keyword data representing the content of the documents and by contact data associated with the participant who generated the document
US7003517B1 (en) * 2000-05-24 2006-02-21 Inetprofit, Inc. Web-based system and method for archiving and searching participant-based internet text sources for customer lead data
US7310678B2 (en) * 2000-07-28 2007-12-18 Kasenna, Inc. System, server, and method for variable bit rate multimedia streaming
US7277956B2 (en) * 2000-07-28 2007-10-02 Kasenna, Inc. System and method for improved utilization of bandwidth in a computer system serving multiple users
US6581071B1 (en) 2000-09-12 2003-06-17 Survivors Of The Shoah Visual History Foundation Surveying system and method
US6574638B1 (en) 2000-09-12 2003-06-03 Survivors Of The Shoah Visual History Foundation Method and apparatus for cataloguing multimedia data using surveying data
US7461099B1 (en) * 2000-09-26 2008-12-02 6S, Limited Method and system for archiving and retrieving items based on episodic memory of groups of people
US8701022B2 (en) * 2000-09-26 2014-04-15 6S Limited Method and system for archiving and retrieving items based on episodic memory of groups of people
US7043531B1 (en) 2000-10-04 2006-05-09 Inetprofit, Inc. Web-based customer lead generator system with pre-emptive profiling
US7330850B1 (en) 2000-10-04 2008-02-12 Reachforce, Inc. Text mining system for web-based business intelligence applied to web site server logs
US7016828B1 (en) 2000-10-23 2006-03-21 At&T Corp. Text-to-scene conversion
US7664313B1 (en) * 2000-10-23 2010-02-16 At&T Intellectual Property Ii, L.P. Text-to scene conversion
US7451075B2 (en) * 2000-12-29 2008-11-11 Microsoft Corporation Compressed speech lexicon and method and apparatus for creating and accessing the speech lexicon
US20030018978A1 (en) * 2001-03-02 2003-01-23 Singal Sanjay S. Transfer file format and system and method for distributing media content
EP1374080A2 (de) * 2001-03-02 2004-01-02 Kasenna, Inc. Push-pull-modell mit metadaten-möglichkeit zur effizienten videoinhaltsverteilung mit niedriger latenz über ein netzwerk
US8874431B2 (en) * 2001-03-16 2014-10-28 Meaningful Machines Llc Knowledge system method and apparatus
US7483828B2 (en) 2001-03-16 2009-01-27 Meaningful Machines, L.L.C. Multilingual database creation system and method
US7711547B2 (en) 2001-03-16 2010-05-04 Meaningful Machines, L.L.C. Word association method and apparatus
US20030093261A1 (en) * 2001-03-16 2003-05-15 Eli Abir Multilingual database creation system and method
US20030083860A1 (en) * 2001-03-16 2003-05-01 Eli Abir Content conversion method and apparatus
US7860706B2 (en) 2001-03-16 2010-12-28 Eli Abir Knowledge system method and appparatus
US8744835B2 (en) * 2001-03-16 2014-06-03 Meaningful Machines Llc Content conversion method and apparatus
US7979914B2 (en) * 2001-06-25 2011-07-12 Audible, Inc. Time-based digital content authorization
US7339992B2 (en) * 2001-12-06 2008-03-04 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
EA007776B1 (ru) * 2001-12-21 2007-02-27 Эли Абир Способ и устройство для преобразования контента
US7386492B2 (en) * 2002-01-15 2008-06-10 Clear Channel Communications, Inc. Inventory and revenue maximization method and system
US8086568B2 (en) * 2002-02-26 2011-12-27 International Business Machines Corporation Peer to peer (P2P) concept query notification of available query augmentation within query results
US9031924B2 (en) * 2002-02-26 2015-05-12 International Business Machines Corporation Query conditions having filtered fields within a data abstraction environment
US8244702B2 (en) 2002-02-26 2012-08-14 International Business Machines Corporation Modification of a data repository based on an abstract data representation
US6996558B2 (en) * 2002-02-26 2006-02-07 International Business Machines Corporation Application portability and extensibility through database schema and query abstraction
US8458200B2 (en) * 2002-02-26 2013-06-04 International Business Machines Corporation Processing query conditions having filtered fields within a data abstraction environment
US7398263B2 (en) * 2002-02-26 2008-07-08 International Business Machines Corporation Sequenced modification of multiple entities based on an abstract data representation
US7361881B2 (en) * 2002-03-13 2008-04-22 Oy Ajat Ltd Ganged detector pixel, photon/pulse counting radiation imaging device
AU2003231102A1 (en) * 2002-04-26 2003-11-10 Electronics And Telecommunications Research Institute Method and system for optimal video transcoding based on utility function descriptors
US20040034625A1 (en) * 2002-08-19 2004-02-19 Kris Reddy Method and system for complex boolean queries using a simple and intuitive graphical user interface search bar
US6983280B2 (en) * 2002-09-13 2006-01-03 Overture Services Inc. Automated processing of appropriateness determination of content for search listings in wide area network searches
US7761346B2 (en) * 2002-11-07 2010-07-20 Agentsmith, Inc. System, method and computer program product for providing a multidimensional inventory management system
US20040199650A1 (en) * 2002-11-14 2004-10-07 Howe John E. System and methods for accelerating data delivery
US7930301B2 (en) * 2003-03-31 2011-04-19 Microsoft Corporation System and method for searching computer files and returning identified files and associated files
US20040236706A1 (en) * 2003-04-30 2004-11-25 Fitch James Chester Automated machinery lubrication service and maintenance planning system
US20050015383A1 (en) * 2003-07-15 2005-01-20 Microsoft Corporation Method and system for accessing database objects in polyarchical relationships using data path expressions
US9552354B1 (en) * 2003-09-05 2017-01-24 Spoken Traslation Inc. Method and apparatus for cross-lingual communication
KR100810291B1 (ko) * 2003-09-08 2008-03-06 삼성전자주식회사 전자기적 결합 급전 소형 광대역 모노폴 안테나
US7899843B2 (en) * 2003-09-19 2011-03-01 International Business Machines Corporation Expanding the scope of an annotation to an entity level
US20050114371A1 (en) * 2003-11-22 2005-05-26 Woods Michael E. System, method and computer program product for internet tool
US7900133B2 (en) 2003-12-09 2011-03-01 International Business Machines Corporation Annotation structure type determination
US7984089B2 (en) 2004-02-13 2011-07-19 Microsoft Corporation User-defined indexing of multimedia content
US20050262245A1 (en) * 2004-04-19 2005-11-24 Satish Menon Scalable cluster-based architecture for streaming media
US7836110B1 (en) * 2004-06-28 2010-11-16 MediaZ, Inc. Method and system to generate and deliver auto-assembled presentations based on queries of multimedia collections
US7580837B2 (en) 2004-08-12 2009-08-25 At&T Intellectual Property I, L.P. System and method for targeted tuning module of a speech recognition system
US8090739B2 (en) * 2004-10-14 2012-01-03 International Business Machines Corporation Utilization of logical fields with conditional modifiers in abstract queries
US20060116983A1 (en) * 2004-11-30 2006-06-01 International Business Machines Corporation System and method for ordering query results
US7242751B2 (en) 2004-12-06 2007-07-10 Sbc Knowledge Ventures, L.P. System and method for speech recognition-enabled automatic call routing
US8131744B2 (en) * 2004-12-17 2012-03-06 International Business Machines Corporation Well organized query result sets
US8112459B2 (en) * 2004-12-17 2012-02-07 International Business Machines Corporation Creating a logical table from multiple differently formatted physical tables having different access methods
US7751551B2 (en) 2005-01-10 2010-07-06 At&T Intellectual Property I, L.P. System and method for speech-enabled call routing
US8122012B2 (en) * 2005-01-14 2012-02-21 International Business Machines Corporation Abstract record timeline rendering/display
US7624097B2 (en) * 2005-01-14 2009-11-24 International Business Machines Corporation Abstract records
WO2006096612A2 (en) * 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
US8095553B2 (en) 2005-03-17 2012-01-10 International Business Machines Corporation Sequence support operators for an abstract database
US7657020B2 (en) 2005-06-03 2010-02-02 At&T Intellectual Property I, Lp Call routing system and method of using the same
US8285739B2 (en) * 2005-07-28 2012-10-09 International Business Machines Corporation System and method for identifying qualifying data records from underlying databases
US8051045B2 (en) * 2005-08-31 2011-11-01 Sap Ag Archive indexing engine
US8285736B2 (en) * 2005-09-14 2012-10-09 International Business Machines Corporation Disabling query conditions in an abstract query environment
US8321441B2 (en) * 2005-09-14 2012-11-27 International Business Machines Corporation Disabling subsets of query conditions in an abstract query environment
US7440945B2 (en) 2005-11-10 2008-10-21 International Business Machines Corporation Dynamic discovery of abstract rule set required inputs
US7444332B2 (en) 2005-11-10 2008-10-28 International Business Machines Corporation Strict validation of inference rule based on abstraction environment
US7793329B2 (en) * 2006-02-06 2010-09-07 Kasenna, Inc. Method and system for reducing switching delays between digital video feeds using multicast slotted transmission technique
US7668869B2 (en) * 2006-04-03 2010-02-23 Digitalsmiths Corporation Media access system
US7921116B2 (en) * 2006-06-16 2011-04-05 Microsoft Corporation Highly meaningful multimedia metadata creation and associations
US20080109557A1 (en) * 2006-11-02 2008-05-08 Vinay Joshi Method and system for reducing switching delays between digital video feeds using personalized unicast transmission techniques
US7465241B2 (en) * 2007-03-23 2008-12-16 Acushnet Company Functionalized, crosslinked, rubber nanoparticles for use in golf ball castable thermoset layers
US8204906B2 (en) * 2007-07-13 2012-06-19 International Business Machines Corporation Abstraction based audit and security log model for increased role and security enforcement
US20090094113A1 (en) * 2007-09-07 2009-04-09 Digitalsmiths Corporation Systems and Methods For Using Video Metadata to Associate Advertisements Therewith
US8457416B2 (en) * 2007-09-13 2013-06-04 Microsoft Corporation Estimating word correlations from images
US8571850B2 (en) * 2007-09-13 2013-10-29 Microsoft Corporation Dual cross-media relevance model for image annotation
US8301633B2 (en) * 2007-10-01 2012-10-30 Palo Alto Research Center Incorporated System and method for semantic search
US8380045B2 (en) * 2007-10-09 2013-02-19 Matthew G. BERRY Systems and methods for robust video signature with area augmented matching
US8170280B2 (en) * 2007-12-03 2012-05-01 Digital Smiths, Inc. Integrated systems and methods for video-based object modeling, recognition, and tracking
US8311344B2 (en) * 2008-02-15 2012-11-13 Digitalsmiths, Inc. Systems and methods for semantically classifying shots in video
US9690786B2 (en) * 2008-03-17 2017-06-27 Tivo Solutions Inc. Systems and methods for dynamically creating hyperlinks associated with relevant multimedia content
WO2009126785A2 (en) * 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
US8311390B2 (en) * 2008-05-14 2012-11-13 Digitalsmiths, Inc. Systems and methods for identifying pre-inserted and/or potential advertisement breaks in a video sequence
WO2009155281A1 (en) * 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US8452794B2 (en) * 2009-02-11 2013-05-28 Microsoft Corporation Visual and textual query suggestion
US8266170B2 (en) 2010-04-26 2012-09-11 International Business Machines Corporation Peer to peer (P2P) missing fields and field valuation feedback
FR2975553B1 (fr) 2011-05-17 2014-05-16 Alcatel Lucent Aide a la recherche de contenus videos sur un reseau de communication
US8903198B2 (en) * 2011-06-03 2014-12-02 International Business Machines Corporation Image ranking based on attribute correlation
CN102867042A (zh) * 2012-09-03 2013-01-09 北京奇虎科技有限公司 多媒体文件搜索方法及装置
US10223349B2 (en) * 2013-02-20 2019-03-05 Microsoft Technology Licensing Llc Inducing and applying a subject-targeted context free grammar
JP5908855B2 (ja) * 2013-02-21 2016-04-26 日本電信電話株式会社 3次元オブジェクト生成装置、方法、及びプログラム
US10977250B1 (en) * 2018-09-11 2021-04-13 Intuit, Inc. Responding to similarity queries using vector dimensionality reduction

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60247756A (ja) * 1984-05-23 1985-12-07 Matsushita Electric Ind Co Ltd デ−タベ−ス装置
JP2559356B2 (ja) * 1984-08-24 1996-12-04 株式会社日立製作所 文書画像処理方法
JP2997469B2 (ja) * 1988-01-11 2000-01-11 株式会社日立製作所 自然言語理解方法および情報検索装置
US5113496A (en) * 1987-08-04 1992-05-12 Mccalley Karl W Bus interconnection structure with redundancy linking plurality of groups of processors, with servers for each group mounted on chassis
JPS6486940A (en) * 1987-09-30 1989-03-31 Toshiba Corp Conversation system for x-ray ct
US5123088A (en) * 1988-06-27 1992-06-16 Nippon Telegraph And Telephone Corp. Method and apparatus for creating and displaying navigators for guiding to related image information
JPH0261726A (ja) * 1988-08-29 1990-03-01 Nec Corp 文章情報解析技法を用いた知識整理方式
JPH0262668A (ja) * 1988-08-30 1990-03-02 Nec Corp 文章情報解析技法を用いた文章情報検索方式
US5010500A (en) * 1989-01-26 1991-04-23 Xerox Corporation Gesture-modified diagram for retrieval of image resembling diagram, with parts selectable for further interactive retrieval
SE466029B (sv) * 1989-03-06 1991-12-02 Ibm Svenska Ab Anordning och foerfarande foer analys av naturligt spraak i ett datorbaserat informationsbehandlingssystem
US5197005A (en) * 1989-05-01 1993-03-23 Intelligent Business Systems Database retrieval system having a natural language interface
JP2753538B2 (ja) * 1989-07-21 1998-05-20 日本電信電話株式会社 マルチメディアデータベース蓄積検索装置
JPH0430265A (ja) * 1990-05-28 1992-02-03 Hitachi Ltd ダイジェストの作成方法
US5278946A (en) * 1989-12-04 1994-01-11 Hitachi, Ltd. Method of presenting multimedia data in a desired form by comparing and replacing a user template model with analogous portions of a system
US5121470A (en) * 1990-02-01 1992-06-09 Intellimetrics Instrument Corporation Automated interactive record system
US5309359A (en) * 1990-08-16 1994-05-03 Boris Katz Method and apparatus for generating and utlizing annotations to facilitate computer text retrieval
US5297249A (en) * 1990-10-31 1994-03-22 International Business Machines Corporation Hypermedia link marker abstract and search services
JPH04318672A (ja) * 1991-04-18 1992-11-10 Fuji Xerox Co Ltd 情報検索装置
US5301314A (en) * 1991-08-05 1994-04-05 Answer Computer, Inc. Computer-aided customer support system with bubble-up
US5278980A (en) * 1991-08-16 1994-01-11 Xerox Corporation Iterative technique for phrase query formation and an information retrieval system employing same
US5265065A (en) * 1991-10-08 1993-11-23 West Publishing Company Method and apparatus for information retrieval from a database by replacing domain specific stemmed phases in a natural language to create a search query
US5331554A (en) * 1992-12-10 1994-07-19 Ricoh Corporation Method and apparatus for semantic pattern matching for text retrieval
US5379366A (en) * 1993-01-29 1995-01-03 Noyes; Dallas B. Method for representation of knowledge in a computer as a network database system

Also Published As

Publication number Publication date
US5630121A (en) 1997-05-13
EP0609517B1 (de) 2004-09-01
EP0609517A2 (de) 1994-08-10
EP0609517A3 (de) 1995-01-11
JPH06325104A (ja) 1994-11-25
DE69333609D1 (de) 2004-10-07

Similar Documents

Publication Publication Date Title
DE69333609T2 (de) Indexierung von Multimediaobjekten
EP1779271B1 (de) Sprach- und textanalysevorrichtung und entsprechendes verfahren
DE69829389T2 (de) Textnormalisierung unter verwendung einer kontextfreien grammatik
EP0907923B1 (de) Verfahren und system für die berechnung von semantischen logischen formen von syntaxbäumen
Woodbury Onondaga noun incorporation: Some notes on the interdependence of syntax and semantics
DE102019001267A1 (de) Dialogartiges System zur Beantwortung von Anfragen
DE60101668T2 (de) Verfahren und gerät zum erzeugen eines auf einer formatvorlage basierten index für ein strukturiertes dokument
WO2009030288A1 (de) Erfassung von zusammenhängen zwischen informationen repräsentierenden daten
DE112020005268T5 (de) Automatisches erzeugen von schema-annotationsdateien zum umwandeln von abfragen in natürlicher sprache in eine strukturierte abfragesprache
DE102006040208A1 (de) Patentbezogenes Suchverfahren und -system
Geeraerts Cognitive semantics
DE69933123T2 (de) Zugriff auf eine semi-strukturierte datenbank
Müller The short life cycle of external arguments in German passive derivations
Najeeb et al. A lexicon for hadith science based on a corpus
Kumar et al. Mouse-mole-vole: The inconspicuous benefit of phonology during retrieval from semantic memory
EP2856344A1 (de) Erzeugung von anfragen an ein datenverarbeitendes system
Longacre The semantics of the storyline in East and West Africa
Belligh et al. Epistemological challenges in the study of alternating constructions
CA2363017C (en) Multi-document summarization system and method
Omar et al. Learning beyond words: Morphology and the encoding of hierarchical categories
Jones Automatic document content analysis: the AIDA project
Dianita TRANSITIVITY AS AN INDICATOR OF STUDENTS'RECOUNT WRITING
Felix et al. Perspektiven der Kognitiven Linguistik
Louhichi What can the stories of a frog tell us about motion event description in Gulf Pidgin Arabic?
EP2287751A1 (de) Recherchensystem und Verfahren zur Informationssuche

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)
8328 Change in the person/name/address of the agent

Representative=s name: DUSCHER, R., DIPL.-PHYS. DR.RER.NAT., PAT.-ANW., 7