DE60120417T2

DE60120417T2 - Verfahren zur suche in einer audiodatenbank

Info

Publication number: DE60120417T2
Application number: DE60120417T
Authority: DE
Inventors: Li-Chun Avery Palo Alto WANG; O. III Julius Palo Alto SMITH
Original assignee: Landmark Digital Services LLC
Current assignee: Landmark Digital Services LLC
Priority date: 2000-07-31
Filing date: 2001-07-26
Publication date: 2007-01-11
Anticipated expiration: 2021-07-27
Also published as: KR20030059085A; DK1307833T3; US20110071838A1; JP2004505328A; US7865368B2; EP1307833B1; BR0112901A; US20020083060A1; US7346512B2; EP1307833A2; CN1592906B; ATE329319T1; HK1051248A1; ES2266254T3; US20140316787A1; US20060122839A1; US8700407B2; US8386258B2; US9401154B2; US20130138442A1

Description

GEBIET DER ERFINDUNG
Die Erfindung betrifft im Allgemeinen die inhaltsbasierte Suche von Informationen. Insbesondere betrifft sie die Erkennung eines Audiosignals, einschließlich Ton oder Musik, das stark verzerrt ist oder einen hohen Rauschpegel aufweist.
ALLGEMEINER STAND DER TECHNIK
Es besteht ein wachsender Bedarf für die automatische Erkennung von Musik- oder sonstigen Audiosignalen, die von vielfältigen Quellen erzeugt werden. Besitzer urheberrechtlich geschützter Arbeiten oder Werbefachleute sind beispielsweise daran interessiert, Daten zur Sendungsfrequenz ihres Materials zu erhalten. Services zum Tracking von Musik stellen Titellisten der Hauptradiostationen breiter Märkte bereit. Verbraucher würden gerne die während einer Rundfunksendung gespielten Liedstücke oder die vermittelte Werbung identifizieren, um neue und interessante Musik- oder andere Produkte und Services zu kaufen. Doch jede An konstanter oder bedarfsgebundener Tonerkennung ist ineffizient und arbeitsaufwändig, wenn sie von Menschen durchgeführt wird. Ein automatisches Verfahren zur Musik- oder Tonerkennung würde somit Verbrauchern, Künstlern und einer Vielfalt von Industriebranchen wesentliche Vorteile bieten. Da das Musikverteilungsparadigma vom Geschäftskauf auf das Herunterladen über das Internet wechselt, ist es durchaus möglich, die computerimplementierte Musikerkennung direkt mit dem Internetkauf und sonstigen Internet-basierten Services zu verknüpfen.
Herkömmlicherweise wurde die Erkennung von im Rundfunk gespielten Liedstücken durchgeführt, indem Rundfunkstationen und Zeiten, während welcher die Liedstücke gespielt wurden, mit Titellisten, die entweder von den Rundfunkstationen oder von Drittquellen bereitgestellt wurden, abgestimmt wurden. Diese Vorgehensweise ist schon an sich nur auf Rundfunkstationen, für welche Informationen verfügbar sind, beschränkt. Andere Verfahren beruhen auf dem Einbetten unhörbarer Codes in Rundfunksignalen. Die eingebetteten Signale werden am Empfänger decodiert, um die Identifizierungsinformation zum Rundfunksignal zu extrahieren. Dieses Verfahren hat den Nachteil, dass spezielle Decodiervorrichtungen zum Identifizieren der Signale erforderlich sind und dass nur die Gesangstücke mit eingebetteten Codes identifiziert werden können.
Jede Audioerkennung in großem Umfang benötigt irgendeine Art inhaltsbasierter Audiosuche, in welcher ein nicht identifiziertes Audiosignal mit einer Datenbank bekannter Signale verglichen wird, um ähnliche oder identische Datenbanksignale zu identifizieren. Erwähnenswert ist, dass sich die inhaltsbasierte Audiosuche von der bestehenden Audiosuche über Websuchmaschinen unterscheidet, bei welchen nur die Metadatentextumgebung oder in Zusammenhang mit Audio- bzw. Tonfiles gesucht wird. Ferner ist zu erwähnen, dass eine Spracherkennung zwar nützlich ist, um Stimmsignale in Text umzuwandeln, der dann indexiert wird und mittels wohlbekannter Techniken gesucht werden kann, aber für die große Mehrheit der Audiosignale, die Musik und Töne beinhalten, nicht anwendbar ist. In mancher Hinsicht ähnelt die Suche von Audioinformation der von den Suchmaschinen bereitgestellten textbasierten Informationssuche. Ansonsten ist die Audioerkennung jedoch nicht analog, denn Audiosignalen bzw. Tonsignalen fehlt es bei weitem an identifizierbaren Elementen, zum Beispiel Wörter, die Indikatoren zum Suchen und Indexieren bereitstellen. Als solche indexieren gegenwärtige Audiosuchschemen Audiosignale über berechnete Wahrnehmungseigenschaften, die verschiedene Eigenschaften oder Merkmale des Signals darstellen.
Die inhaltsbasierte Audiosuche wird typischerweise durch Analyse eines Anfragesignals durchgeführt, um eine Anzahl repräsentativer Eigenschaften zu erhalten und dann ein Ähnlichkeitsmaß auf die abgeleiteten Eigenschaften anzuwenden, um Datenbankfiles, die diesem Anfragesignal am ähnlichsten sind, zu lokalisieren. Die Ähnlichkeit der empfangen Objekte ist notwendigerweise ein Spiegelbild der ausgewählten Wahrnehmungseigenschaften. Eine Anzahl inhaltsbasierter Suchverfahren ist aus dem Stand der Technik bekannt. Die von Kenyon ausgegebene US-Patentschrift 5,210,820 offenbart beispielsweise ein Signalerkennungsverfahren, bei welchem die empfangenen Signale verarbeitet und abgetastet werden, um Signalwerte an jedem Abtastpunkt zu erhalten. Die statistischen Momente der abgetasteten Werte werden dann berechnet, um einen Merkmalsvektor zu generieren, der mit den Indikatoren gespeicherter Signale verglichen werden kann, um ähnliche Signale zu suchen. Die von Kenyon u.a. ausgegebenen US-Patentschriften 4,450,531 und 4,843,562 offenbaren ähnliche Klassifikationsverfahren für Rundfunkinformationen, in welchen Kreuzkorrelationen zwischen den nicht identifizierten Signalen und den gespeicherten Bezugssignalen berechnet werden.
Ein System zur Suche von Audiodokumenten nach akustischer Ähnlichkeit wird von J. T. Foote in „Content-Based Retrieval of Music and Audio", C.-C.J. Kuo u.a., Herausgeber, in Multimedia Storage and Archiving Systems II, Proc. of SPIE, Buch 3229, Seite 138–147, 1997 offenbart. Merkmalsvektoren werden durch Parametrierung jeder Audiodatei in Mel-skalierte Cepstral-Koeffizienten konstruiert, und aus den Parametrierungsdaten entwickelt sich ein Quantisierungsbaum. Um eine Anfrage durchzuführen, wird ein unbekanntes Signal parametrisiert, um Merkmalsvektoren, die dann in Blattknoten einsortiert werden, zu erhalten. Für jeden Blattknoten wird ein Histogramm erfasst und dabei ein n-dimensionaler Vektor generiert, der das unbekannte Signal darstellt. Die Distanz zwischen zwei solcher Vektoren ist ein Beispiel für die Ähnlichkeit zwischen zwei Tonfiles. Bei diesem Verfahren lernt das überwachte Quantisierungsschema, Audiomerkmale zu unterscheiden, während es unwichtige Variationen auf der Basis von Klassen, in welchen die Trainingsdaten durch einen Menschen zugeordnet werden, ignoriert. In Abhängigkeit vom Klassifikationssystem werden verschiedene akustische Eigenschaften als wichtige Eigenschaften gewählt. Somit eignet sich dieses Verfahren eher zum Herausfinden von Ähnlichkeiten zwischen Gesangstücken und zum Sortieren von Musik in Klassen als zum Erkennen von Musik.
Ein Verfahren zur inhaltsbasierten Analyse, Speicherung, Suche und Segmentierung von Audioinformation wird in der von Blum u.a. ausgegebenen US-Patentschrift 5,918,223 offenbart. Bei diesem Verfahren wird eine Anzahl akustischer Merkmale wie Lautstärke, Bass, Tonhöhe, Helligkeit, Bandbreite und Cepstral-Koeffizienten der Mel-Frequenz in periodischen Intervallen von jeder Datei gemessen. Statistische Messungen der Merkmale werden übernommen und kombiniert, um einen Merkmalsvektor zu bilden. Audiodatenfiles in einer Datenbank werden auf der Basis der Ähnlichkeit ihrer Merkmalsvektoren mit den Vektoren einer nicht identifizierten Datei gesucht. Der Artikel „Landmark detection for distinctive feature-based speed recognition", S.A. Liu, J.A.S.A, (100(5), Nov. 1996 offenbart ein Spracherkennungssystem, das Kennungsmarken zur Führung der Suche nach unterscheidenden Merkmalen verwendet.
Ein Schlüsselproblem aller zuvor erwähnten Verfahren zur Audioerkennung nach dem Stand der Technik ist, dass sie dazu neigen, auszufallen, wenn die zu erkennenden Signale linearer oder nichtlinearer Verzerrung ausgesetzt sind aufgrund von beispielsweise Hintergrundgeräusch, Übertragungsfehlern und Abbrüchen, Interferenz, Bandbegrenzungsfilterung, Quantisierung, Zeitschleifen und digitaler Stimmqualitätskomprimierung. Wenn bei Verfahren nach dem Stand der Technik eine verzerrte Tonprobe verarbeitet wird, um akustische Merkmale zu erhalten, wird nur ein Anteil der für die Originalaufzeichnung abgeleiteten Merkmale gefunden. Der resultierende Merkmalsvektor hat deshalb nicht viel Ähnlichkeit mit dem Merkmalsvektor der Originalaufzeichnung, und es ist unwahrscheinlich, dass ein genaues Erkennen durchgeführt werden kann. Es besteht weiterhin ein Bedarf für ein Tonerkennungssysteme, das unter Bedingungen mit hohem Rauschpegel und starker Verzerrung gut arbeitet.
Ein weiteres Problem bei Verfahren nach dem Stand der Technik ist, dass sie berechnungsintensiv sind und nicht gut skalieren. Echtzeiterkennung ist somit anhand von Verfahren nach dem Stand der Technik mit großen Datenbanken nicht möglich. In solchen Systemen ist eine Datenbank von ein paar hundert oder tausend Aufzeichnungen unmöglich. Die Suchzeit bei Verfahren nach dem Stand der Technik neigt dazu, linear mit der Größe der Datenbank zu wachsen, so dass das Skalieren von Millionen von Tonaufzeichnungen wirtschaftlich unmöglich wird. Daneben erfordern die Verfahren von Kenyon große Datenbanken mit spezialisierter Hardware zur digitalen Signalverarbeitung.
Bestehende handelsübliche Verfahren stellen häufig strenge Anforderungen an die Erkennungsleistung der Eingangsprobe. Sie setzen beispielsweise voraus, dass das gesamte Gesangstück oder mindestens 30 Sekunden des Gesangstücks abgetastet oder dass das Gesangstück ab dem Anfang abgetastet wird. Außerdem können sie nur schwierig mehrere Gesangstücke, die in einem einzigen Strom miteinander vermischt sind, erkennen. Alle diese Nachteile machen es unmöglich, dass Verfahren nach dem Stand der Technik in vielen praktischen Anwendungen eingesetzt werden können.
AUFGABEN UND VORTEILE
Die erste Aufgabe der vorliegenden Erfindung ist es daher ein Verfahren zum Erkennen eines Audiosignals, das einem hohen Rausch- und Verzerrungspegel unterliegt, bereitzustellen.
Ein weitere Aufgabe der Erfindung ist es, ein Erkennungsverfahren beizustellen, dass in Echtzeit auf der Basis von nur ein paar Sekunden des zu identifizierenden Signals durchgeführt werden kann.
Eine andere Aufgabe der Erfindung ist es, ein Erkennungsverfahren bereitzustellen, dass Töne auf der Basis von Proben nahezu überall im Ton, nicht nur am Anfang, erkennen kann.
Eine zusätzliche Aufgabe der Erfindung ist es, ein Erkennungsverfahren bereitzustellen, das keine zu codierenden oder mit besonderen Rundfunkstationen oder Titellisten korrelierte Tonproben erfördert.
Eine weitere Aufgabe der Erfindung ist es, ein Erkennungsverfahren bereitzustellen, dass jede der vielfachen Tonaufzeichnungen, die in einem Einzelstrom miteinander vermischt sind, erkennen kann.
Eine noch weitere Aufgabe der Erfindung ist es, ein Tonerkennungssystem bereitzustellen, in welchem ein unbekannter Ton dem System aus einer beliebigen Umgebung durch praktisch jedes bekannte Verfahren bereitgestellt werden kann.
KURZDARSTELLUNG DER ERFINDUNG
Diese Aufgaben und Vorteile werden mittels des nach Anspruch 1 beanspruchten Verfahrens zum Erkennen einer Mediaprobe, zum Beispiel Tonprobe bzw. Audioprobe bzw. -abtastung bzw. -sample, erreicht in Anbetracht eines Datenbankindexes einer großen Anzahl bekannter Mediafiles. Der Datenbankindex umfasst Fingerabdrücke, die Merkmale an speziellen Orten der indexierten Mediafiles darstellen. Die unbekannten Mediaproben werden mit einem Mediafile in der Datenbank identifiziert (dem gewinnenden Mediafile oder dem Gewinnerfile), dessen jeweilige Orte von Fingerabdrücken den jeweiligen Orten von Fingerabdrücken der Probe äußerst nahe sind. Im Fall von Audio- bzw. Tonfiles stimmt der Zeitverlauf von Fingerabdrücken des gewinnenden Files mit dem Zeitverlatf von Fingerabdrücken in der Probe überein.
Das Verfahren wird vorzugsweise in einem verteilten Computersystem implementiert und umfasst folgende Schritte:
Bestimmen eines Satzes von Fingerabdrücken an speziellen Orten der Proben; Lokalisieren von Fingerabdrücken, die abgestimmt werden können, im Datenbankindex; Generieren von Korrespondenzen zwischen Orten in der Probe und Orten im File, welche äquivalente Fingerabdrücke haben; und Identifizieren von Mediafiles, die eine signifikante Anzahl von im Wesentlichen linear-bezogenen Korrespondenzen aufweisen. Das File mit der größten Anzahl linear-bezogener Korrespondenzen wird als das gewinnende Mediafile erachtet. Ein Verfahren zum Identifizieren von Files mit einer großen Anzahl von Korrespondenzen besteht darin, ein äquivalentes Abtasten für eine diagonale Linie im Streudiagramm, die von den Korrespondenzpaaren, erzeugt wird, durchzuführen. In einer Ausführungsform gehört zum Identifizieren der Mediafiles mit einer großen Anzahl linearer Korrespondenzen das Suchen von nur einem ersten Subsatz der Mediafiles. Für Files im ersten Subsatz besteht eine größere Wahrscheinlichkeit identifiziert zu werden als für Files, die sich nicht im ersten Subsatz befinden. Die Wahrscheinlichkeit eines Identifizierens basiert vorzugsweise auf einer empirischen Frequenz oder Neuheitsmessungen von vorherigen Identifizierungen zusammen mit A priori-Berechnungen der Identifikationsfrequenz. Werden im ersten Subsatz keine Mediafiles identifiziert, wird der zweite Subsatz, enthaltend die verbleibenden Files, durchsucht. Alternativ können die Files nach Wahrscheinlichkeit geordnet und nach Ranking (Rangordnung) durchsucht werden. Die Suche ist beendet, wenn ein File lokalisiert ist.
Vorzugsweise werden die speziellen Orte in der Probe auf reproduzierbare Weise in Abhängigkeit von der Probe berechnet. Solche Orte, die sich reproduzierbar berechnen lassen, werden „Kennungsmarken genannt. Fingerabdrücke sind vorzugsweise Zahlenwerte. In einer Ausführungsform, stellt jeder Fingerabdruck eine Anzahl von Merkmalen der Mediaprobe jedes Orts, oder geringfügig von dem Ort versetzt, dar.
Das Verfahren ist insbesondere zum Erkennen von Tonproben nützlich, wobei die speziellen Orte Zeitpunkte innerhalb der Tonprobe sind. Diese Zeitpunkte treten beispielsweise bei lokalen Maxima der Spektral-Lp-Norm der Tonprobe auf. Fingerabdrücke können durch Analyse der Tonprobe berechnet werden und sind vorzugsweise invariant gegenüber einer Zeiterstreckung bzw. -dehnung der Probe. Beispiele von Fingerabdrücken umfassen Spektral-Slice-Fingerabdrücke, Multi-Slice-Fingerabdrücke, LPC-Koeffizienten, Ceptral-Koreffizienten und Frequenzkomponenten von Spektrogrammpeaks bzw. -spitzen.
Die vorliegende Erfindung stellt ferner ein System zum Implementieren des obigen Verfahrens bereit, umfassend ein Kennungsmarkenobjekt zum Berechnen der speziellen Orte, ein Fingerabdruckobjekt zum Berechnen der Fingerabdrücke, einen Datenbankindex mit den Fileorten und Fingerabdrücken für die Mediafiles und ein Analyseobjekt. Das Analyseobjekt implementiert das Verfahren durch Lokalisieren von übereinstimmenden Fingerabdrücken im Datenbankindex, Generieren von Korrespondenzen und Analysieren der Korrespondenzen zur Auswahl des gewinnenden Mediafiles.
Ferner ist eine über einen Computer zugriffbare Programmspeichervorrichtung vorgesehen, die konkret ein Programm mit durch den Computer ausführbaren Anweisungen enthält, um die Verfahrensschritte für das zuvor erwähnte Verfahren durchzuführen.
Des Weiteren stellt die Erfindung ein Verfahren zum Erstellen eines Indizes einer Anzahl von Audiofiles in einer Datenbank bereit, dass die folgenden Schritte umfasst: Berechnen eines Satzes von Fingerabdrücken an speziellen Orten jeder Datei und Speichern der Fingerabdrücke, Orte, Indikatoren von Files in einem Speicher. Ein entsprechender Fingerabdruck, Ort und Indikator ist in einem Speicher zugeordnet, um ein Triplet zu bilden. Vorzugsweise werden die Orte, die Zeitpunkte innerhalb des Audiofiles sein können, in Abhängigkeit vom File berechnet und sind reproduzierbar. Die Zeitpunkte können beispielsweise bei lokalen Maxima der Spektral-Lp-Norm der Tonprobe auftreten. In einigen Fällen stellt jeder Fingerabdruck, der vorzugsweise ein Zahlenwert ist, eine Anzahl von Merkmalen des Files, das nahe dem speziellen Ort ist, dar. Fingerabdrücke können ab jeder Analyse oder digitalen Signalverarbeitung des Audiofiles berechnet werden. Beispiele von Fingerabdrücken umfassen Spektral-Slice-Fingerabdrücke, Multi-Slice-Fingerabdrücke, LPC-Koeffizienten, Ceptral-Koreffizienten und Frequenzkomponenten von Spektrogrammpeaks bzw. -spitzen.
Letztendlich stellt die Erfindung Verfahren zum Identifizieren von Audioproben bereit, welche Fingerabdrücke, die invariant gegenüber einer Zeiterstreckung bzw. -dehnung sind, und verschiedene hierarchisch aufgebaute Suchmöglichkeiten einbeziehen.
KURZE DARSTELLUNG DER FIGUREN
1 zeigt ein Ablaufdiagram eines Verfahrens gemäß der Erfindung zum Erkennen einer Tonprobe.
2 zeigt ein Blockdiagramm eines beispielhaften verteilten Computersystems zum Implementieren des Verfahrens von 1.
3 zeigt ein Ablaufdiagramm eines Verfahrens zur Konstruktion eines Datenbankindexes von Tonfiles, die im Verfahren von 1 verwendet werden.
4 veranschaulicht schematisch Kennungsmarken und Fingerabdrücke, die für eine Tonprobe berechnet werden.
5 ist ein Graph von L4-Normen für eine Tonprobe, der die Auswahl von Kennungsmarken veranschaulicht.
6 zeigt ein Ablaufdiagramm einer alternativen Ausführungsform zur Konstruktion eines Datenbankindexes von Tonfiles, die im Verfahren von 1 verwendet werden.
7A–7G zeigt ein Spektrogramm mit herausragenden Punkten (Salient Points) und verknüpften herausragenden Punkten, die angegeben sind.
8A–8C veranschaulicht Indexsätze, eine Indexliste und eine Masterindexliste des Verfahrens von 3
9A–9C veranschaulicht eine Indexliste, Kandidatenliste und Streuliste des Verfahrens von 1.
10A–10B zeigt Streudiagramme, welche jeweils das richtige Identifizieren und mangelnde Identifizieren einer unbekannten Tonprobe veranschaulichen.
AUSFÜHRLICHE BESCHREIBUNG
Die vorliegende Erfindung stellt ein Verfahren zum Erkennen einer exogenen Mediaprobe bereit, die in einer Datenbank mit einer großen Anzahl unbekannter Mediafiles enthalten ist. Daneben stellt sie ein Verfahren zum Generieren eines Datenbankindexes bereit, der ein effizientes Suchen anhand des Erkennungsverfahrens der Erfindung ermöglicht. Selbst wenn die folgende Darstellung vor allem Audiodaten betrifft, versteht es sich, dass das Verfahren der vorliegenden Erfindung für jeden Typ von Mediaproben und Mediafiles anwendbar ist, einschließlich Text-, Audio-, Video-, Bild- und jede Multimedediakombination von individuellen Mediatypen, ohne sich jedoch auf diese Anwendungsbereiche zu beschränken. Im Fall von Ton ist die vorliegende Erfindung insbesondere nützlich, um Proben, die hohe Pegel linearer und nichtlinearer Verzerrung beinhalten, zu erkennen, beispielsweise Hintergrundgeräusch, Übertragungsfehler und Abbrüche, Interferenz, Bandbegrenzungsfilterung, Quantisierung, Zeitschleifen und digitale Stimmqualitätskomprimierung. Aus der nachstehenden Beschreibung wird offensichtlich, dass die Erfindung unter solchen Bedingungen arbeitet, denn sie kann ein verzerrtes Signal genau erkennen, selbst wenn nur ein geringfügiger Anteil der berechneten Eigenschaften die Verzerrung überleben. Jeder Audiotyp, einschließlich Ton, Stimme, Musik oder Kombinationen von Typen können durch die vorliegende Erfindung erkannt werden. Beispiele von Audioproben umfassen aufgezeichnete Musik, Radiosendeprogramme und Werbung.
Die exogene Mediaprobe, so wie sie hier verwendet wird, ist ein Segment von Mediadaten jeder Größe, die durch eine Vielfalt von Quellen, so wie nachstehend erläutert, erhalten werden. Damit eine Erkennung durchgeführt werden kann, muss die Probe eine Wiedergabe eines Bestandteils eines Mediafiles sein, das in einer von der vorliegenden Erfindung verwendeten Datenbank indexiert ist. Das indexierte Mediafile kann man sich wie eine Originalaufzeichnung vorstellen und die Probe wie eine verzerrte und/oder verkürzte Darstellung oder Wiedergabe der Originalaufzeichnung. Typischenweise entspricht die Probe nur einem geringfügigen Abschnitt des indexierten Files. Die Erkennung kann beispielsweise auf einem Zehnsekunden-Segment eines Fünfminuten-Gesangstücks, das in der Datenbank indexiert ist, durchgeführt werden. Obwohl der Begriff „File" zur Beschreibung des indexierten Elements verwendet wird, kann das Element jedes Format aufweisen, für welches die erforderlichen Werte (nachstehend beschrieben) erhalten werden können. Darüber hinaus ist es nicht erforderlich, dass das File gespeichert oder zugriffbar sein muss, nachdem die Werte erhalten sind.
Ein Ablaufdiagramm, welches das Konzept der allgemeinen Schritte eines Verfahrens 10 dieser Erfindung veranschaulicht, ist in 1 dargestellt. Die einzelnen Schritte werden nachstehend näher erläutert. Das Verfahren identifiziert ein gewinnendes Mediafile, ein Mediafile, dessen jeweilige Orte charakteristische Fingerabdrücke ganz nahe mit den jeweiligen Orten derselben Fingerabdrücke der exogenen Probe übereinstimmen. Nachdem eine exogene Probe in Schritt 12 gefangen ist, werden die Kennungsmarken und Fingerabdrücke in Schritt 14 berechnet. Kennungsmarken treten an speziellen Orten, zum Beispiel Zeitpunkten innerhalb der Probe auf. Der Ort innerhalb der Probe der Kennungsmarken wird vorzugsweise durch die Probe selber bestimmt, ist beispielsweise abhängig von den Eigenschaften der Probe und ist reproduzierbar. Das heißt, jedes Mal, wenn das Verfahren wiederholt wird, werden dieselben Kennungsmarken für dasselbe Signal berechnet. Für jede Kennungsmarke wird ein Fingerabdruck, der ein oder mehrere Merkmale der Probe an oder nahe der Kennungsmarke charakterisiert, erhalten. Die Nähe eines Merkmals zu einer Kennungsmarke wird durch das verwendete Fingerabdruckverfahren definiert. In einigen Fällen geht man davon aus, dass ein Merkmal nahe einer Kennungsmarke ist, wenn es eindeutig der Kennungsmarke und nicht einer vorherigen oder nachfolgenden Kennungsmarke entspricht. In anderen Fällen entsprechen Merkmale mehreren benachbarten Kennungsmarken. Beispielsweise können Textfingerabdrücke Wortfolgen, Audiofingerabdrücke, spektrale Komponenten und Audiofingerabdrücke Pixel-RGB-Werte sein. Zwei allgemeine Ausführungsformen von Schritt 14 sind nachstehend beschrieben, eine, in welcher die Kennungsmarken und Fingerabdrücke sequentiell berechnet werden und eine, in welcher sie gleichzeitig berechnet werden.
In Schritt 16 werden die Probenfingerabdrücke verwendet, um Sätze von übereinstimmenden Fingerabdrücken, die in einem Datenbankindex 18 gespeichert sind, zu suchen, in welchem die übereinstimmenden Fingerabdrücke Kennungsmarken und Indikatoren eines Satzes von Mediafiles zugeordnet sind. Der Satz gesuchter Fileindikatoren und Kennungsmarkenwerte wird dann zum Generieren von Korrespondenzpaaren (Schritt 20) benutzt, die Probenkennungsmarken (die in Schritt 14 berechnet werden) und gesuchte Filekennungsmarken beinhalten, an welchen dieselben Fingerabdrücke berechnet wurden. Die resultierenden Korrespondenzpaare werden dann nach Gesangstückindikator gespeichert, wobei Sätze von Korrespondenzen zwischen Probenkennungsmarken und Filekennungsmarken für jedes anwendbare File generiert werden. Jeder Satz wird abgetastet für den Abgleich zwischen den Filekennungsmarken und den Probenkennungsmarken. Das heißt, lineare Korrespondenzen in den Kennungsmarkenpaaren werden identifiziert, und der Satz wird entsprechend der Anzahl linear-bezogener Paare gepunktet. Eine lineare Korrespondenz tritt auf, wenn eine große Anzahl korrespondierender Probenorte und Fileorte mit im Wesentlichen derselben linearen Gleichung innerhalb eines Toleranzbereis zusammenfällt. Wenn beispielsweise die Steigungen einer Anzahl von Gleichungen, die einen Satz von Korrespondenzpaaren beschreiben, um ±5% schwanken, dann wird der gesamte Satz von Korrespondenzen als linear-bezogen angesehen. Selbstverständlich kann jede geeignete Toleranz ausgewählt werden. Der Indikator des Satzes mit dem höchsten Score, d.h. mit der größten Anzahl linear-bezogener Korrespondenzen, ist der gewinnende File-Indikator, der im Schritt 22 lokalisiert ist und in ihn zurückkehrt.
Wie nachstehend weiter beschrieben, kann die Erkennung mit einer Zeitkomponente proportional zum Logarithmus der Anzahl von Einträgen in die Datenbank durchgeführt werden. Die Erkennung kann im Wesentlichen in Echtzeit, selbst mit einer sehr großen Datenbank, durchgeführt werden. Das heißt, eine Probe kann, in dem Maße wie sie erhalten wird, mit einer kurzen Zeitdifferenz erkannt werden. Das Verfahren kann einen Ton auf der Basis von Segmenten von 5–10 Sekunden und sogar von so niedrigen Segmenten wie 1–3 Sekunden identifizieren. In einer bevorzugten Ausführungsform wird die Kennungsmarken- und Fingerabdruckverfahrensanalyse, Schritt 14, in Echtzeit ausgeführt, in dem Maße wie die Probe in Schritt 12 gefangen wird. Datenbankanfragen (Schritt 16) werden, in dem Maße wie Probenfingerabdrücke verfügbar sind, ausgeführt, und die resultierenden Korrespondenzen werden gesammelt und periodisch auf lineare Korrespondenzen abgetastet. Somit treten alle Verfahrensschritte gleichzeitig auf und nicht, wie in 1 vorgeschlagen, in sequentiell linearer Weise. Es ist zu beachten, dass das Verfahren teilweise einer Textsuchmaschine ähnelt: ein Benutzer unterbreitet eine Probenanfrage, und es wird ein Matching-File, das in der Sound-Datenbank indexiert ist, zurückgesendet.
Das Verfahren ist typischerweise als auf einem Computersystem laufende Software implementiert, mit einzelnen Schritten, die äußerst effizient als unabhängige Softwaremodule implementiert sind. Demnach kann von einem System, das die vorliegende Erfindung implementiert, angenommen werden, dass es beinhaltet ein Kennungsmarken- und Fingerabdruckverfahrensobjekt, eine indexierte Datenbank und ein Analyseobjekt zur Suche des Datenbankindexes, zum Berechnen von Korrespondenzen und zum Identifizieren des gewinnenden Files. Im Fall von sequentiellen Kennungsmarken- und Fingerabdruckverfahren kann das Kennungsmarken- und Fingerabdruckverfahrensobjekt angesehen werden, als ob es verschiedenen Landmarking und Fingerprinting-Objekten entspricht. Der Computerbefehlscode für die einzelnen Objekte ist in einem Speicher eines oder mehrerer Computer gespeichert und wird von einem oder mehreren Computerprozessoren ausgeführt. In einer Ausführungsform sind die Codeobjekte in einem einzigen Computersystem gruppiert, zum Beispiel einem Intelbasiertem Personalcomputer oder einem sonstigen Arbeitsplatzsystem. In einer bevorzugten Ausführungsform wird das Verfahren durch ein vernetztes Mehrplatzsystem von Zentraleinheiten (CPUs) implementiert, in welchen verschiedene Softwareobjekte durch verschiedene Prozessoren ausgeführt werden, um den Rechenaufwand zu verteilen. Alternativ kann jede CPU eine Kopie aller Softwareobjekte haben, so dass ein einheitliches Netzwerk mit identisch konfigurierten Elementen ermöglicht wird. In dieser letzten Konfiguration ist jede CPU ein Subsatz des Datenbankindexes und für das Durchsuchen ihres eigenen Subsatzes von Mediafiles zuständig.
Obgleich die Erfindung nicht auf ein besonderes Hardwaresystem beschränkt ist, wird ein Beispiel einer bevorzugten Ausführungsform eines verteilten Computersystems 30 schematisch in 2 gezeigt. Das System 30 beinhaltet ein Mehrplatzsystem mit Linux-basierten Prozessoren 32a–32f, die durch eine Multiprocessing-Busarchitektur 34 verbunden sind, oder ein vernetztes Protokoll wie ein Beowulf-Cluster-Rechenprotokoll oder eine Mischung aus beiden Möglichkeiten. In einer derartigen Anordnung wird der Datenbankindex vorzugsweise im Direktzugriffsspeicher (RAM) auf mindestens einem Knoten 32a gespeichert. Die Berechnungsknoten entsprechen den anderen Objekten wie Landmarking-Knoten 32c und 32f Fingerprinting-Knoten 32b und 32e und Abgleichabtastungsknoten 32d brauchen keinen so große RAM-Menge wie der bzw. die Knoten 32a, die den Datenbankindex unterstützen. Die Anzahl von Berechnungsknoten, die jedem Objekt zugeordnet sind, kann folglich bedarfsgerecht skaliert werden, so dass kein einzelnes Objekt zum Engpass wird. Aus diesem Grunde ist das Berechnungsnetzwerk höchst parallelisierbar und kann zusätzlich mehrere gleichzeitige Signalerkennungsanfragen, die über verfügbare Berechnungshilfsmittel verteilt werden, verarbeiten. Erwähnenswert ist, dass dadurch Applikationen ermöglicht werden, bei welchen eine große Anzahl von Benutzern eine Erkennung anfordern und Ergebnisse in naher Echtzeit erhalten können.
In einer alternativen Ausführungsform sind bestimmte funktionale Objekte straffer miteinander verkoppelt, während die verbleibenden Objekte weniger straff mit anderen Objekten verkoppelt sind. Das Erkennungsmarken- und Fingerabdrucksverfahrensobjekt kann sich beispielsweise an einem physisch separaten Ort vom Rest der Berechnungsobjekte befinden. Ein Beispiel dafür ist eine straffe Zuordnung von Erkennungsmarken- und Fingerabdruckverfahrensobjekten zum Signalfangablauf. Bei dieser Anordnung kann das Erkennungsmarken- und Fingerabdruckverfahrensobjekt als zusätzliche Hardware oder Software einbezogen werden, beispielsweise in ein mobiles Telefon, einen WAP-Browser (WAP/Wireless Application Protocol/Drahtloses Applikationsprotokoll), einen PDA (Personal Digital Assistant/Persönlicher digitaler Assistent), oder sonstiges Fernterminal, zum Beispiel das Klientenende einer Audiosuchmaschine. In einem Internet-basierten Audiosuchservice wie ein Service zur Inhaltsidentifizierung kann das Erkennungsmarken- und Fingerabdruckverfahrensobjekt in die Browser-Applikation der Klienten als verknüpfter Satz von Softwareanweisungen oder unter Microsoft verwendete Programmbibliothek, die Dynamic Link Library (DLL), eingebunden sein. Bei diesen Ausführungsformen stellt das kombinierte Signalfang-, Erkennungsmarken- und Fingerabdruckobjekt das Klientenende des Services dar. Das Klientenende sendet eine Merkmalextrahierte Zusammenfassung der gefangenen Signalprobe bzw. -abtastung bzw. sample, enthaltend Kennungsmarken- und Fingerabdruckpaare, zu einem Serverende, welches die Wiedererkennung ausführt. Das Senden des Merkmal-extrahierten Auszugs zum Server anstelle des gefangenen Rohsignals ist vorteilhaft, da die Datenmenge erheblich reduziert ist, oftmals um einen Faktor von 500 oder darüber. Solche Information kann in Echtzeit über einen Seitenkanal mit niedriger Bandbreite gesendet werden gemeinsam mit oder beispielsweise anstelle eines Audiostroms bzw. -streams, der zum Server übertragen wird. Auf diese Weise kann die Erfindung über öffentliche Kommunikationsnetzwerke, die jedem Benutzer verhältnismäßig kleine Bandbreiten bieten, durchgeführt werden.
Das Verfahren wird nun unter Bezugnahme auf Audioproben und Audio- bzw. Tonfiles, die in einer Sound-Datenbank indexiert sind, näher erläutert. Das Verfahren umfasst zwei ausgedehnten Komponenten, die Sound-Datenbankindexkonstruktion und die Probenerkennung.
Datenbankindexkonstruktion
Bevor die Tonerkennung durchführbar ist, muss ein suchbarer Sound-Datenbankindex konstruiert werden. So wie hier verwendet, ist eine Datenbank jede indexierte Sammlung von Daten und ist nicht auf die handelsüblichen Datenbanken beschränkt. Im Datenbankindex werden relationale Datenelemente miteinander verbunden und einzelne Elemente können verwendet werden, um die zugehörigen Daten zu suchen. Der Sound-Datenbankindex umfasst einen Indexsatz für jedes File oder jede Aufzeichnung in der ausgewählten Sammlung oder Bibliothek von Aufzeichnungen, die Sprache, Musik, Werbung, Sonarsignaturen oder sonstige Töne umfassen können. Jede Aufzeichnung hat einen einzigen Indikator mit der Bezeichnung Sound_ID. Die Sound-Datenbank selber speichert nicht unbedingt die Audiofiles bzw. die Audiodateien für jede Aufzeichnung, aber die SOUND-Ids können verwendet werden, um die Audiofiles bzw. Audiodateien an anderen Orten zu suchen. Vom Sound-Datenbankindex wird angenommen, dass er sehr umfangreich ist, indem er Indizes für Millionen oder sogar Billionen von Dateien enthält. Neue Aufzeichnungen werden dem Datenbankindex vorzugsweise inkrementell hinzugefügt.
Ein Blockdiagramm eines bevorzugten Verfahrens 40 zur Konstruktion des suchbaren Sound-Datenbankindexes entsprechend einer ersten Ausführungsform ist in 3 dargestellt. Bei dieser Ausführungsform werden erst Kennungsmarken berechnet, und dann werden Fingerabdrücke an oder nahe an den Fingerabdrücken berechnet. Für einen Fachmann ist es offensichtlich, dass alternative Verfahren für die Konstruktion des Datenbankindexes entwickelt werden können. Insbesondere sind mehrere der nachstehenden Schritte optional angeführt, dienen jedoch zum Generieren eines Datenbankindexes, der auf effiziente Weise suchbar ist. Selbst wenn ein effizientes Suchen in Echtzeit für die Tonerkennung von großen Datenbanken wichtig ist, lassen sich kleine Datenbanken, selbst ohne optimale Sortierung, verhältnismäßig schnell durchsuchen.
Um die Sound-Datenbank zu indexieren, unterliegt jede Aufzeichnung einer Kennungsmarken- und Fingerabdruckverfahrensanalyse, die einen Indexsatz für jedes Audiofile generiert. 4 zeigt schematisch ein Segment einer Tonaufzeichnung, für welche Kennungsmarken (landmarks LM) und Fingerabdrücke (fingerprints FP) berechnet wurden. Kennungsmarken treten zu spezifischen Zeitpunkten des Tons auf und haben Werte in Offset-Zeiteinheiten ab dem Anfang des Files, während Fingerabdrücke den Ton an oder nahe einer speziellen Kennungsmarke charakterisieren. Bei dieser Ausführungsform ist folglich jede Kennungsmarke für ein spezielles File eindeutig, während derselbe Fingerabdruck häufig innerhalb eines einzelnen Files oder mehrere Files auftreten kann.
In Schritt 42 ist jede Tonaufzeichnung anhand von Verfahren zum Auffinden unterscheidender und reproduzierbarer Orte innerhalb der Tonaufzeichnung kennungsmarkiert. Ein bevorzugter Landmarking-Algorithmus ist in der Lage, trotz der Anwesenheit von Geräusch und sonstiger linearer oder nichtlinearer Verzerrung, dieselben Zeitpunkte innerhalb einer Tonaufzeichnung zu markieren. Einige Kennungsmarkenverfahren sind konzeptgemäß unabhängig vom nachstehend beschriebenen Fingerabdruckverfahren, können aber gewählt werden, um dessen Leistung zu optimieren. Das Kennungsmarkenverfahren führt zu einer Liste von Zeitpunkten {landmark_k} innerhalb der Tonaufzeichnung, an welcher Fingerabdrücke anschließend berechnet werden. Ein gutes Erkennungsmarkenverfahrensschema markiert etwa 5–10 Kennungsmarken pro Tonaufzeichnungssekunde; selbstverständlich hängt die Dichte des Kennungsmarkenverfahrens vom Aktivitätsumfang innerhalb der Tonaufzeichnung ab.
Zum Berechnen von Kennungsmarken stehen vielfältige Techniken bereit, die alle zum Geltungsbereich dieser Erfindung gehören. Die spezifischen technischen Verfahren, die zum Implementieren der Kennungsmarkenverfahrensschemen der Erfindung zur Anwendung kommen, sind aus dem Stand der Technik bekannt und werden nicht näher beschrieben. Eine einfache Kennungsmarkenverfahrenstechnik, die als Power-Norm bekannt ist, besteht darin, die momentane Leistung an jedem möglichen Zeitpunkt in der Aufzeichnung zu messen und alle Maxima auszuwählen. Eine Vorgehensweise hierzu ist die Berechnung des Tonumfangs durch direkte Berichtigung und Filterung der Wellenform. Mit einer anderen Vorgehensweise wird die Hilbert-Transformation (90°-Phasenverschiebung) des Signals berechnet und die Summe der quadrierten Größen der Hilbert-Transformation und des Originalsignals verwendet.
Das Landmarking nach dem Power-Norm-Verfahren eignet sich gut zum Auffinden von Einschwingvorgängen im Tonsignal. Die Power-Norm-Technik ist eigentlich ein spezieller Fall der mehr allgemeinen Spektral-Lp-Norm, bei welcher p=2. Die allgemeine Spektral-Lp-Norm wird jedes Mal entlang des Tonsignals durch Berechnung eines Kurzzeitspektrums berechnet, beispielsweise anhand einer schnellen Fourier-Transformation (Fast-Fourier- Transformation/FFT) mit Hanning-Fenster. Eine bevorzugte Ausführungsform verwendet eine Abtastrate von 8000 Hz, eine FFT-Rahmengröße von 1024 Proben und einen Schritt von 64 Proben für jeden Zeitschlitz bzw. -slice. Die Lp-Norm für jeden Zeitschlitz bzw. -slice wird dann als die Summe der p^th-Leistung der absoluten Werte der spektralen Komponenten berechnet, die optional von der p^th-Wurzel gefolgt sein kann. Wie zuvor, werden die Kennungsmarken als lokale Maxima der resultierenden Werte im Zeitablauf gewählt. Ein Beispiel des Spektral-Lp-Normverfahrens wird in 5 gezeigt, ein Graph der L4-Norm als Funktion der Zeit für ein spezielles Tonsignal. Die gestrichelten Linien der lokalen Maxima geben den Ort der gewählten Kennungsmarken an.
Wenn p=∞, ist die L∞-Norm gewissermaßen die Maximalnorm. Das heißt, der Wert der Norm ist der absolute Wert der größten spektralen Komponente im spektralen Stück bzw. -slice. Diese Norm führt zu robusten Kennungsmarken und einem guten Gesamterkennungsverhalten und wird für Tonmusik bevorzugt.
Alternativ lassen sich spektrale „Multi-Slice"-Kennungsmarken berechnen, indem die Summe von p^th- Leistungen von absoluten Werten spektraler Komponenten über mehrere Zeitschlitze bzw. -slices an festgelegten oder variablen Versetzungen voneinander anstelle eines einzigen Zeitschlitzes übernommen wird. Das Auffinden der lokalen Maxima dieser erweiterten Summe ermöglicht eine optimierte Einordnung der nachstehend beschriebnen Multi-Slice-Fingerabdrücke.
Sobald die Kennungsmarken berechnet sind, wird ein Fingerabdruck an jedem Kennungsmarkenzeitpunkt in der Aufzeichnung in Schritt 44 berechnet. Der Fingerabdruck ist im Allgemeinen ein Wert oder Satz von Werten, der einen Satz von Merkmalen in der Aufzeichnung am oder nahe des Zeitpunktes zusammenfasst. In einer zurzeit bevorzugten Ausführungsform ist jeder Fingerabdruck ein einziger Zahlenwert, der eine zerteilte Funktion mehrerer Merkmale ist. Mögliche Fingerabdrucktypen umfassen spektrale Slice-Fingerabdrücke, Multi-Slice-Fingerabdrücke, LPC-Koeffizienten und Cepstral-Koeffizienten. Selbstverständlich gehört jeder Fingerabdrucktyp, der das Signal oder Merkmale des Signals nahe einer Kennungsmarke charakterisiert, zum Geltungsbereich der Erfindung. Fingerabdrücke lassen sich durch jede Art von digitaler Signalverarbeitung oder Frequenzanalyse des Signals berechnen.
Um spektrale Fingerabdrücke zu generieren wird eine Frequenzanalyse in der Nachbarschaft jedes Kennungsmarkenzeitpunkts durchgeführt, um die Höchstspitze mehrerer spektraler Peaks zu extrahieren. Ein einfacher Fingerabdruckwert ist gerade noch der Einfrequenzwert der stärksten spektralen Spitze. Die Verwendung derart einfacher Spitzen führt erstaunlicherweise zu einer guten Erkennung in Anwesenheit von Geräusch; jedoch neigen spektrale Slice-Fingerabdrücke von Einfrequenzen dazu, mehr falsche positive Ergebnisse als andere Fingerabdruckschemen zu generieren, da sie nicht eindeutig sind. Die Anzahl falscher positiver Ergebnisse lässt sich anhand von Fingerabdrücken reduzieren, die eine Funktion der zwei oder drei stärksten spektralen Spitzen beinhalten. Allerdings kann sich die Geräuschanfälligkeit erhöhen, wenn die zweitstärkste spektrale Spitze nicht stark genug ist, um sie von ihren Konkurrenten in Anwesenheit von Geräusch zu unterscheiden. Das heißt, dass der berechnete Fingerabdruckwert nicht genügend robust sein kann, um zuverlässig reproduzierbar zu sein. Trotz allem ist die Leistung dieses Falls ebenfalls gut.
Um den Zeitverlauf mehrerer Töne zu nutzen, wird ein Satz von Zeitschlitzen bzw. -slices bestimmt, indem ein Satz von Zeitversetzungen einem Kennungsmarkenzeitpunkt zugefügt wird. Bei jedem resultierenden Zeitschlitz bzw. -slice wird ein Fingerabdruck berechnet. Der resultierende Satz von Fingerabdruckinformationen wird dann kombiniert, um einen Multiklang- oder Multi-Slice-Fingerabdruck zu bilden. Jeder Multi-Slice-Fingerabdruck ist viel eindeutiger als der einzelne spektrale Slice-Fingerabdruck, da er einen zeitlichen Verlauf verfolgt, was wenige falsche Matches (Übereinstimmungen) in der nachstehend beschriebenen Datenbankindexsuche zur Folge hat. Experimente weisen darauf hin, dass aufgrund ihrer erhöhten Eindeutigkeit Multi-Slice-Fingerabdrücke, die ab der stärksten spektralen Einzelspitze in jedem der beiden Zeitschlitze berechnet werden, eine viel schnellere Berechnung (etwas 10 mal schneller) in der anschließenden Datenbankindexsuche zur Folge haben, allerdings mit einer Verschlechterung in Bezug auf den Erkennungsprozentanteil in Anwesenheit eines signifikanten Geräuschs.
Alternativ lassen sich anstelle einer festen Versetzung oder Versetzungen von einem gegebenen Zeitschlitz bzw. -slice variable Versetzungen zur Berechnung eines Multi-Slice-Fingerabdrucks verwenden. Die variable Versetzung zum gewählten Zeitschlitz bzw. -slice ist die Versetzung zur nächsten Kennungsmarke oder einer Kennungsmarke in einem bestimmten Versetzungsbereich ab der „Ankerpunkt"-Kennungsmarke für den Fingerabdruck. In diesem Fall ist der Zeitunterschied zwischen den Kennungsmarken ebenfalls im Fingerabdruck zusammen mit der Mehrfrequenzinformation codiert. Indem den Fingerabdrücken weitere Dimensionen hinzugefügt werden, wird ihre Eindeutigkeit erhöht und sie laufen weniger Gefahr, falsch übereingestimmt bzw. abgestimmt bzw. gematcht zu werden.
Außer den spektralen Komponenten können andere spektrale Merkmale extrahiert und als Fingerabdrücke dienen. Die Analyse mittels Linear Predictive Coding (LPC/Lineare prädiktive Codierung) extrahiert die linear prädiktiven Merkmale eines Signals, beispielsweise spektrale Peaks sowie spektrale Form. LPC ist in der Technik der digitalen Signalverarbeitung wohlbekannt. Für die vorliegende Erfindung können LPC-Koeffizienten von Wellenformstücken, die an Kennungsmarkenpositionen verankert sind, als Fingerabdrücke durch Zerteilen der quantisierten LPC-Koeffizienten in einen Indexwert verwendet werden.
Cepstral-Koeffizientren sind als Periodizitätsmaß nützlich und können dazu dienen, um Signale, die harmonisch sind, wie Stimmen oder zahlreiche Musikinstrumente, zu charakterisieren. Ceptral-Analysen sind in der Technik der digitalen Signalverarbeitung wohlbekannt. Für die vorliegende Erfindung wird eine Anzahl von Cepstral-Koeffizienten gemeinsam in einen Index zerteilt und als Fingerabdruck verwendet.
Eine alternative Ausführungsform 50, in welcher Kennungsmarken und Fingerabdrücke gleichzeitig berechnet werden, ist in 6 dargestellt. Anstelle der Schritte 42 und 44 von 3 treten die Schritte 52, 54 und 56. So wie nachstehend beschrieben, wird eine mehrdimensionale Funktion aus dem im Schritt 52 aufgezeichneten Ton berechnet, und Kennungsmarken (54) und Fingerabdrücke (56) werden aus der Funktion extrahiert.
In einer Implementierung der Ausführungsform von 6 werden Kennungsmarken und Fingerabdrücke von einem Spektrogramm der Tonaufzeichnung berechnet. Ein Spektrogramm ist eine Zeit-Frequenz-Analyse einer Tonaufzeichnung, in welcher Fenster- und überlappte Rahmen von Tonproben spektral analysiert werden, typischerweise anhand einer Fast-Fourier-Transformation (FFT). Wie zuvor angesprochen, verwendet eine bevorzugte Ausführungsform eine Abtastrate von 8000 Hz, einen FFT-Rahmengröße von 1024 Proben und einen Schritt von 64 Proben für jeden Zeitschlitz. Ein Beispiel eines Spektogramms ist in 7A veranschaulicht. Die Zeit ist auf der horizontalen Achse und die Frequenz auf der vertikalen Achse dargestellt. Jeder sequentielle FFT-Rahmen ist vertikal an entsprechenden gleichmäßigen Zeitabständen entlang der Zeitachse gestapelt. Ein Spektrogramm-Streuausdruck stellt die Energiedichte und jeden Zeit-Frequenzpunkt anschaulich dar; dunklere Bereiche auf dem Streuausdruck stellen eine höhere Energiedichte dar. Spektrogramme sind in der Technik der Audiosignalverarbeitung wohlbekannt. Für die vorliegende Erfindung können Kennungsmarken und Fingerabdrücke von herausragenden Punkten (Salient Points), zum Beispiel lokale Maxima des Spektrogramms, erhalten werden, die im Spektrogramm von 7B gestreut sind. Es können beispielsweise Zeit- und Frequenzkoordinaten von jedem Peak erhalten werden, wobei die übernommene Zeit die Kennungsmarke und die zum Berechnen des entsprechenden Fingerabdrucks verwendete Frequenz ist. Diese Peak-Kennungsmarke des Spektrogramms ähnelt der L∞-Norm, in welcher der maximale absolute Wert der Norm den Kennungsmarkenort bestimmt. Im Spektrogramm erfolgt die lokale Maximumsuche jedoch eher über Korrekturen der Zeit-Frequenzebene als über einen ganzen Zeitschlitz.
In diesem Zusammenhang wird der Satz herausragender Punkte (Salient Points), der aus der Punktextraktionsanalyse einer Tonaufzeichnung resultiert, Konstellation genannt. Eine bevorzugte Analyse für eine aus lokalen Maxima bestehende Konstellation besteht in der Auswahl von Punkten, die Energiemaxima der Zeitfiequenzebene über eine Nachbarschaft um jeden ausgewählten Punkt sind. Ein Punkt an Koordinate (t_o, f_o) wird beispielsweise ausgewählt, wenn er der Maximum-Energiepunkt innerhalb eines Rechtecks mit Kanten (t_o-T, f_o-F),(t_o-T f_o+F),(t_o+T, f_o–F) und (t_o+T, f_o+F)ist, d.h. ein Rechteck mit Seiten von einer Länge 2T und 2F; wobei T und F gewählt werden, um eine geeignete Anzahl von Konstellationspunkten bereitzustellen. Die Begrenzungen des Rechtecks können sich größenmäßig entsprechend des Frequenzwertes ändern. Selbstverständlich lässt sich jede Bereichsform verwenden. Das Maximum-Energiekriterium kann auch in einer Weise gewichtet werden, dass eine konkurrierende Zeit-Frequenzenergiespitze umgekehrt entsprechend eines Abstands, der metrisch in der Zeit-Frequenzebene ist, gewichtet werden kann, das heißt, dass weiter entfernte Punkte eine niedrigere Gewichtung aufweisen. Die Energie kann beispielsweise gewichtet werden als
wobei S(t, f) die Stärke des Quadratwertes des Spektrogramms am Punkt (t, f) ist, und C_t und C_f positive Werte sind (nicht unbedingt konstant). Andere Abstandsgewichtungsfunktionen sind möglich. Bedingungen zur Auswahl lokaler Maxima können auf anderen (nicht maximalen) Merkmalsextraktionsschemen von hervorragenden Punkten (Salient Points) angewandt werden und gehören zum Geltungsbereich der Erfindung.
Das Resultat dieses Verfahrens sind Wertpaare, die dem nachstehend beschriebenen spektralen Einfrequenz-Fingerabdruck sehr ähneln. Das Zeit-Frequenzverfahren des Spektrogramms generiert mehr Erkeunungsmarken/Fingerabdruckpaare als das Einfrequenzverfahren, kann jedoch auch viele falsche Übereinstimmungen in der nachstehend beschriebenen Matching-Stufe hervorbringen. Es stellt allerdings mehr robuste Kennungsmarken und Fingerabdrücke als der spektrale Einfrequenz-Fingerabdruck bereit, da sich dominantes Rauschen in der Tonprobe nicht auf alle Teile des Spektrums in jedem Stück erstrecken kann. Das heißt, es gibt höchstwahrscheinlich ein paar Kennungsmarken- und Fingerabdruckpaare in Teilen des Spektrums, die nicht von dem dominanten Rauschen in Mitleidenschaft gezogen werden.
Dieses Kennungsmarken- und Fingerabdruckverfahren mit Spektrogramm ist ein spezieller Fall eines Merkmalsanalyseverfahrens, dass eine mehrdimensionale Funktion des Tonsignals berechnet, in welchem eine der Dimensionen die Zeit ist, und herausragende Punkte (Salient Points) in den Funktionswerten lokalisiert. Herausragende Punkte können lokale Maxima, lokale Minima, Nulldurchgänge oder sonstige unterscheidenden Merkmale sein. Die Kennungsmarken werden als Zeitkoordinaten der herausragenden Punkte übernommen, und die entsprechenden Fingerabdrücke werden von mindestens einer der verbleibenden Koordinaten berechnet. Zum Beispiel kann (können) die Nicht-Zeitkoordinate(n) der mehrdimensionalen hervorragenden Punkte zusammen zerteilt werden, um einen mehrdimensionalen funktionalen Fingerabdruck zu bilden.
Das zuvor beschriebene variable Versetzungsverfahren für spektrale Multi-Slice-Fingerabdrücke lässt sich für Spektrogramm- oder andere mehrdimensionale Funktionsfingerabdrücke anwenden. In diesem Fall sind Punkte in einer Konstellation miteinander verknüpft, um verknüpfte Punkte, wie im Spektrogramm von 7C gezeigt, zu bilden. Jeder Punkt in der Konstellation dient als Ankerpunkt, der die Kennungsmarkenzeit definiert, und die verbleibenden Koordinatenwerte der anderen Punkten werden kombiniert, um den verknüpften Fingerabdruck zu bilden. Punkte die nahe nebeneinander liegen, beispielsweise wie zuvor angesprochen, werden miteinander verknüpft, um komplexere kombinierte Merkmalsfingerabdrücke zu bilden, die leichter unterschieden und gesucht werden können. Wie bei den spektralen Multi-Slice-Fingerabdrücken bezweckt man mit dem Zusammenfassen von Informationen aus mehreren verknüpften hervorragenden Punkten in einem einzigen Fingerabdruck die Schaffung erhöhter Vielfältigkeit bei potentiellen Fingerabdruckwertes, wodurch die Wahrscheinlichkeit einer falschen Übereinstimmung verringert wird, d.h. die Wahrscheinlichkeit, dass derselbe Fingerabdruck zwei verschiedene Musikproben beschreibt, verringert wird.
Jeder der N-Salient Points kann im Prinzip mit jedem anderen Punkt in einem Zwei-Punkt-Verknüpfungsschema, das etwa N²/2-Kombinationen erzeugt, verknüpft werden. Auf ähnliche Weise entspricht für eine K-Punktverknüpfung die Anzahl möglicher Kombinationen, die aus einer Konstellation resultieren, N^K. Um eine derartige Kombinationsexplosion zu vermeiden, ist es erstrebenswert, die Nachbarschaft von miteinander verknüpften Punkten einzuschränken. Eine Vorgehensweise zum Erreichen einer solchen Einschränkung besteht darin, eine „Zielzone" für jeden Ankerpunkt zu definieren. Ein Ankerpunkt wird dann mit Punkten in seiner Zielzone verknüpft. Es ist möglich, einen Subsatz von Punkten innerhalb der Zielzone auszuwählen, um jeden Punkt, der verknüpft werden muss, zu oder nicht zu verknüpfen. Es können beispielsweise nur die Punkte, die den stärksten Spitzen (Peaks) in der Zielzone zugeordnet sind, verknüpft werden. Eine Zielzone kann eine feste Form haben oder sich je nach Eigenschaften des Ankerpunkts ändern. Ein einfaches Beispiel einer Zielzone eines Ankerpunkts (t₀, f₀) für eine Spektrogramm-Konstellationsspitze ist der Satz von Punkten (t, f) im Spektrogrammstreifen, wo t das Intervall [t₀+L, t₀+L+W] ist, wobei L der Hinweis zur Zukunft und W die Breite der Zielzone ist. Bei diesem Schema sind alle Frequenzen in der Zielzone erlaubt. L oder W können variabel sein, zum Beispiel wenn ein Mengenregelungsmechanismus verwendet wird, um die Anzahl der erzeugten Verknüpfungskombinationen zu modulieren. Alternativ lassen sich Frequenzbegrenzungen implementieren, beispielsweise durch Einschränken der Zielzone in einer Weise, dass die Frequenz f das Intervall [f₀F, f₀+F] ist, wobei F einem Abgrenzungsparameter entspricht. Ein Vorteil einer Frequenzeinschränkung besteht darin, dass, wie in der Psychoakustik bekannt, Melodien dazu neigen, besser zusammenzuhängen, wenn Notensequenzen Frequenzen aufweisen, die sich einander nähern. Solch eine Einschränkung kann für ein erhöhtes „psychoakustisch realistisches" Erkennungsverhalten sorgen, obgleich die Formulierung eines Psychoakustikmodells nicht unbedingt ein Ziel dieser Erfindung ist. Es ist auch möglich, die entegegengesetzte Regel zu betrachten, in welcher f außerhalb des Bereichs [f_0-F, f₀+F] gewählt wird. Auf diese Weise wird das Verknüpfen von Punkten erzwungen, welche sich frequenzmäßig voneinander unterscheiden und möglicherweise Fälle verhindern, in welchen die Artefakte der Konstellationsextraktion stotternde Zeit-Frequenzpunktsequenzen erzeugen, die zeitnahe sind und dieselbe Frequenz haben. Genauso wie bei anderen Lokalitätsparametern ist f nicht unbedingt konstant und kann beispielsweise eine Funktion von f₀ sein.
Wenn Zeitkoordinaten von nicht verankerten hervorragenden Punkten (Salient Points) in Fingerabdruckwerten eingebunden sind, müssen relative Zeitwerte benutzt werden, damit die Fingerabdrücke invariant gegenüber der Zeit bleiben. Beispielsweise kann der Fingerabdruck eine Funktion von (i) nicht zeitgebundenen Koordinaten sein und/oder (ii) der Differenz(en) der korrespondierenden Zeitkoordinatenwerte der hervorragenden Punkte. Die Zeitdifferenz(en) können beispielsweise in Bezug auf den Verankerungspunkt oder als aufeinanderfolgende Differenzen zwischen sequentiellen Salient Points im verknüpften Satz übernommen werden. Die Koordinate und Differenzwerte können in verketteten Bildfeldern komprimiert werden, um den zerteilten Fingerabdruck zu bilden. Für einen Fachmann ist es offensichtlich, dass es zahlreiche andere Vorgehensweisen gibt, um Sätze von Koordinatenwerten in einem Fingerabdruckwert zuzuordnen und die zum Geltungsbereich dieser Erfindung gehören.
Eine konkrete Instantiierung dieses Schemas verwendet N>1-verknüpfte Spektrogrammspitzen mit Koordinaten (t_k, f_k), k=1,..,N. Dann wird (i) die Zeit t₁ der ersten Spitze als Kennungsmarkenzeit übernommen, und (ii) die Zeitdifferenzen Δt_k = t_k – t₁, k=2,..,N plus die Frequenzen f_k,k=1,..N der verknüpften Spitzen werden gemeinsam zerteilt, um einen Fingerabdruckwert zu bilden. Der Fingerabdruck kann von allen oder von einem Subsatz aller verfügbaren Δt_k- und f_k-Koordinaten berechnet werden. Es können zum Beispiel auf Wunsch alle Zeitdifferenzkoordinaten ausgelassen werden.
Ein anderer Vorteil beim Verwenden mehrerer Punkte zur Bildung des Fingerabdrucks besteht darin, dass die Fingerabdruckcodierung invariant gegenüber Zeiterstreckung bzw. -dehnung sein kann, beispielsweise wenn eine Tonaufzeichnung mit einer anderen Geschwindigkeit als die Originalaufzeichnungsgeschwindigkeit abgespielt wird. Dieser Vorteil gilt sowohl für das Spektrogramm als auch für die Zeitschlitzverfahren. Erwähnenswert ist, dass bei einem gedehnten Zeitsignal die Zeitdifferenzen und Frequenz eine wechselseitige Beziehung haben (beispielsweise wird durch Verringerung der Zeitdifferenz zwischen zwei Punkten um einen Faktor Zwei die Frequenz verdoppelt). Dieses Verfahren nutzt diese Tatsache, indem es Zeitdifferenzen und Frequenzen in einer Weise kombiniert, dass die Zeiterstreckung bzw. – dehnung aus dem Fingerabdruck entfernt wird.
Beispielsweise sind im Fall einer N-Punkt-Spektrogrammspitze mit Koordinatenwerten (t_k, f_k), k=1,..,N die verfügbaren Zwischenwerte zum Zerteilen in einen Fingerabdruck Δt_k = t_k – t₁,k=2,.N und f_k,k=1,..N. Diese Zwischenwerte lassen sich dann invariant gegenüber Zeiterstreckung bzw. -dehnung machen durch Übernahme einer der Frequenzen als Bezugsfrequenz, nehmen wir mal f₁ an, und bilden (i) Quotienten mit den verbleibenden Frequenzen und (ii) Produkten mit den Zeitdifferenzen.
Beispielsweise können Zwischenwerte g_k=f_k/f₁,k=2..,N und s_k= Δt_k= Δt_kf₁,k=2,..,N sein. Wenn die Probe um einen Faktor α beschleunigt wird, dann wird die Frequenz f_k zu αfk und die Zeitdifferenz Δt_k wird zu Δt_k/α, sodass g_k= αf_k/αf₁ und s_k =(Δt_k/α)(αf₁)= Δt_kf₁. Diese neuen Zwischenwerte werden dann anhand einer Funktion kombiniert, um einen zerteilten Fingerabdruckwert zu bilden, der unabhängig von der Zeiterstreckung bzw. -dehnung ist. Beispielsweise lassen sich die Werte g_k und s_k zerteilen, indem sie zu verketteten Bitfeldern komprimiert werden.
Alternativ kann anstelle einer Bezugsfrequenz eine Bezugszeitdifferenz, zum Beispiel Δt₂ verwendet werden. In diesem Fall werden die neuen Zwischenwerte als die (i) Quotienten Δt_k/Δt₂ mit den verbleibenden Zeitdifferenzen und (ii) Produkten Δt₂f_k mit den Frequenzen berechnet. Dieser Fall ist äquivalent mit der Verwendung einer Bezugsfrequenz, da die resultieren Werte aus Produkten und Quotienten der obigen Werte g_k und s_k gebildet werden kann. Reziproke Werte der Frequenzraten können ebenso wirksam verwendet werden; Summen und Differenzen logarithmischer Werte der Originalzwischenwerte lassen sich ebenfalls jeweils für Produkte und Differenzen substituieren. Jeder von der Zeiterstreckung bzw. -dehnung unabhängige Fingerabdruckwert, der durch solche Kommutationen, Substitutionen und Permutationen mathematischer Operationen erhalten werden kann, gehört zum Geltungsbereich der Erfindung. Des Weiteren können mehrere Bezugsfrequenzen oder Bezugszeitdifferenzen, die auch Zeitdifferenzen relativieren, verwendet werden. Die Verwendung mehrerer Bezugsfrequenzen oder Bezugszeitdifferenzen ist gleichbedeutend mit der Verwendung eines einzelnen Bezugs, da dasselbe Ergebnis durch arithmetische Manipulation Werte g_k und s_k erreicht werden kann.
In 3 und 6, auf die nochmals Bezug genommen wird, führen Kennungsmarken- und Fingerabdruckverfahrensanalysen anhand eines der obigen Verfahren zu einem Indexsatz für jeden Sound-ID, so wie in 8A dargestellt. Ein Indexsatz für eine gegeben Tonaufzeichnung ist eine Liste von Wertepaaren (fingerprint, landmark). Jede indexierte Aufzeichnung hat typischerweise etwa Tausend Paare (fingerprint, landmark) in ihrem Indexsatz. In der zuvor beschreibenen ersten Ausführungsform, bei welcher Kennungsmarken- und Fingerabdrucktechniken im Wesentlichen unabhängig sind, können sie als separate und austauschbare Module behandelt werden. Je nach System, Signaleigenschaften oder zu erkennendem Tontyp kann eines aus der Anzahl verschiedener Kennungsmarken- oder Fingerabdruckverfahrensmodule zum Einsatz kommen. Doch da sich der Indexsatz einfach aus Wertepaaren zusammensetzt, ist es eigentlich möglich und häufig wünschenswert mehrere Kennungsmarken- oder Fingerabdruckverfahrensschemen gleichzeitig zu verwenden. Ein Kennungsmarken- oder Fingerabdruckverfahrensschema kann beispielsweise gut zum Erfassen eindeutiger Tonstrukturen sein, aber schwach beim Identifizieren von Schlagzeug, wohingegen ein verschiedenartiger Algorithmus die entegegengesetzten Eigenschaften aufweisen kann. Die Verwendung mehrerer Kennungsmarken-oder Fingerabdruckverfahrensstrategien führt zu einem robusteren und reicheren Erkennungsverhaltensbereich. Es können verschiedene Fingerabdruckverfahrenstechniken gemeinsam eingesetzt werden, indem bestimmte Bereiche von Fingerabdruckwerten für bestimmte Arten von Fingerabdrücken reserviert werden. Beispielsweise können in einem 32-Bit-Fingerabdruckwert die ersten 3 Bits verwendet werden, um anzugeben, welches von 8 Fingerabdruckverfahrensschemen die folgenden 29 Bits codieren soll.
Nachdem Indexsätze für jede in der Sound-Datenbank zu indexierende Tonaufzeichnung generiert sind, erfolgt die Konstruktion eines suchbaren Datenbankindexes in einer Weise, dass ein schnelles (d.h. Einloggzeit) Suchen ermöglicht wird. Dies wird bewerkstelligt in Schritt 46 anhand der Konstruktion einer Liste von Triplets (fingerprint, landmark, sound_ID), indem der entsprechende Sound_ID an jedes Doublet innerhalb jedes Indexsatzes angehängt wird. Alle derartigen Triplets für alle Tonaufzeichnungen werden in einer großen Indexliste zusammengetragen, von welcher ein Beispiel in 8B gezeigt ist. Um den anschließenden Suchablauf zu optimieren, wird die Liste der Triplets entsprechend dem Fingerabdruck sortiert. Schnelle Sortieralgorithmen sind aus dem Stand der Technik wohlbekannt und werden weitgehend im Werk von D.E. Knuth The Art of Computer Programming, Band 3: Sorting und Searching, Reading, Massachusetts: Addison-Wesley, 1988 behandelt, welches hier zur Bezugnahme erwähnt wird. Hochleistungsfähige Sortieralgorithmen können verwendet werden, um die Liste in N log N Zeit zu sortieren, wobei N die Anzahl der Einträge in die Liste ist.
Sobald die Indexliste sortiert ist, wird siez in Schritt 43 durch Segmentieren weiter verarbeitet, so dass jeder einzelne Fingerabdruck in der Liste in einer neuen Masterindesliste zusammengetragen wird, von welcher ein Beispiel in 8C gezeigt wird. Jeder Eintrag in die Masterindexliste umfasst einen Fingerabdruckwert und einen Zeiger zu einer Liste von Paaren (landmark, sound_ID). In Abhängigkeit von der Anzahl und Zeichen der indexierten Aufzeichnungen kann ein gegebener Fingerabdruck x-mal innerhalb der gesamten Sammlung erscheinen. Das Umordnen der Indexliste in eine Masterindexliste ist optional, spart aber Speicherplatz, da jeder Fingerabdruchwert nur einmal erscheint. Es beschleunigt außerdem die anschließende Datenbanksuche, da die effektive Anzahl der Einträge erheblich reduziert wird und sich auf eine Liste eindeutiger Werte beschränkt. Alternativ kann die Masterindexliste durch Einfügen jedes Triplets in einem B-Baum konstruiert werden. Es gibt andere Möglichkeiten zur Konstruktion der Masterindexliste, die dem Fachmann wohlbekannt sind. Die Masterindexliste wird vorzugsweise in einem Speichersystem verwaltet, wie zum Beispiel ein DRAM für den schnellen Zugriff während der Signalerkennung. Die Masterindexliste kann im Speicher eines einzigen Knotens innerhalb des Systems, wie in 2 veranschaulicht, verwaltet werden. Alternativ kann die Masterindexliste in Stücke gebrochen werden, die zwischen mehreren Rechenknoten verteilt werden. Vorzugsweise ist der obige Datenbankindex die in 8C veranschaulichte Masterindexliste.
Die Sound-Datenbank wird vorzugsweise offline konstruiert und inkrementell aktualisiert, wenn neue Töne in das Erfassungssystem eingebunden werden. Um die Liste zu aktualisieren, können neue Fingerabdrücke in den geeigneten Ort in der Masterliste eingefügt werden. Falls neue Aufzeichnungen bestehende Fingerabdrücke enthalten, werden die entsprechenden Paare (landmark, sound_ID) den bestehenden Listen für diese Fingerabdrücke hinzugefügt.
Erkennungssystem
Mittels der Masterindexliste, die, wie zuvor beschrieben, generiert wird, erfolgt die Tonerkennung auf einer exogenen Tonprobe, die typischerweise von einem Benutzer geliefert wird, der an einem Identifizieren der Probe interessiert ist. Der Benutzer hört beispielsweise ein neues Gesangstück im Radio und würde gerne den Künstler und den Titel des Lieds kennen. Die Probe kann aus jeder Art von Umgebung stammen – wie Rundfunksendung, Disko, Kneipe, Submarine, Tonfile, Segment eines Audiostroms oder Stereosystem – und kann Hintergrundgeräusch, Abbrüche oder sprechende Stimmen umfassen. Der Benutzer kann die Audioprobe in einer Speichervorrichtung speichern, zum Beispiel einem Anrufbeantworter, einer Computerdatei, einem Tonbandgerät oder einem Telefort oder einem mobilen Telefon, einem Voicemail-System, bevor sie dem System zur Erkennung bereitgestellt wird. Je nach Systemaufbau und Benutzereinschränkungen wird die Audioprobe dem Erkennungssystem der vorliegenden Erfindung aus einer beliebigen Anzahl analoger oder digitaler Quellen bereitgestellt, wie Stereosysteme, Fernsehen, CD-Spieler, Rundunksendung, Anrufbeantworter, Telefon, mobiles Telefon Internet-Streaming-Übertragung, FTP, Computerdatei als angehängte E-Mail-Datei oder jedes sonstige Mittels zum Übertragen derartig aufgezeichneten Materials. In Abhängigkeit von der Quelle kann die Probe in Form von akustischen Wellen, Radiowellen, einem digitalen Audio-PCM-Strom bzw. -Stream, einem komprimierten digitalen Audiostrom bzw. -stream (wie Dolby Digital oder MP3) oder einer Internet-Streaming-Übertragung vorliegen. Ein Benutzer kommuniziert mit dem Erfassungssystem über eine Standardschnittstelle, zum Beispiel ein Telefon, mobiles Telefon, einen Web-Browser oder eine E-Mail. Die Probe kann durch das System gefangen und in Echtzeit verarbeitet werden, oder sie kann reproduziert werden, um von einem zuvor gefangenen Ton (oder zum Beispiel einer Tonfile) verarbeitet zu werden. Beim Fangen wird die Audioprobe digital abgetastet und zum System durch eine Abtastvorrichtung, beispielsweise ein Mikrofon, gesendet. Je nach Fangverfahren unterliegt die Probe wahrscheinlich einer weiteren Verschlechterung aufgrund von Begrenzungen des Kanals oder der Tonfangvorrichtung.
Sobald das Tonsignal in eine digitale Form umgesetzt ist, wird es hinsichtlich einer Erkennung verarbeitet. Auf die gleiche Weise wie bei der Konstruktion von Indexsätzen für Datenbankfiles werden Kennungsmarken- und Fingerabdrücke für die Probe anhand desselben Algorithmus, der für die Verarbeitung der Tonaufzeichnungsdatenbank verwendet wurde, berechnet. Das Verfahren arbeitet optimal, wenn die Verarbeitung einer stark verzerrten Wiedergabe eines Originaltonfiles den identischen oder ähnlichen Satz von Kennungsmarken- und Fingerabdruckpaaren, wie er für die Originalaufzeichnung erhalten wurde, hervorbringt. Der resultierende Indexsatz für die Tonprobe ist, wie in 9A gezeigt, ein Satz von Paaren analysierter Werte (fingerprint, landmark).
In Anbetracht der Paare für die Audioprobe wird der Datenbankindex gesucht, um potentielle Matching-Files zu lokalisieren. Das Suchen wird folgendermaßen ausgeführt: Jedes Paar (fingerprint_k, landmark_k) im Indexsatz der unbekannten Probe wird durch Suchen des fingerprint_k in der Masterindexliste verarbeitet. Schnelle Sortieralgorithmen auf einer geordneten Liste sind aus dem Stand der Technik wohlbekannt und werden weitgehend im Werk von D.E.
Knuth The Art of Computer Programming, Band 3: Sorting und Searching, Reading, Massachusetts: Addison-Weslay, 1988 behandelt. Sobald fingerprint_k in der Masterindexliste gefunden ist, wird seine korrespondierende Liste der Paare (landmark*_j, sound_ID_j), die übereingestimmt bzw. abgestimmt bzw. gematcht werden können, kopiert und mit landmark_k vergrößert, um einen Satz von Triplets der Art (landmark_k, landmark*_j, sound_Id_j) zu bilden. Bei dieser Schreibweise bedeutet ein Stern (*) eine Kennungsmarke (landmark) einer der in der Datenbank indexierten Files, während die Kennungsmarke ohne Stern die Probe betrifft. Vorzugsweise sind in einigen Fällen die korrespondierenden Fingerabdrücke nicht unbedingt identisch, sind jedoch ähnlich; beispielsweise können sie innerhalb einer vorher bestimmten Toleranz voneinander abweichen. Fingerabdrücke, die übereingestimmt bzw. abgestimmt bzw. gematcht werden können, ob identisch oder ähnlich, werden als äquivalent bezeichnet. Der Sound_Id_j im Triplet entspricht dem File, das die Kennungsmarke mit Stern hat. Ein derartiges Triplet beinhaltet zwei verschiedene Kennungsmarken, eine im Datenbankindex und eine in der Probe, wobei äquivalente Fingerabdrücke berechnet wurden. Dieser Ablauf wird für alle k, die sich über den eingegebenen Probenindexsatz erstrecken, wiederholt. Alle resultierenden Triplets werden in einer großen Kandidatenliste, die in 9B dargestellt ist, zusammengetragen. Die Kandidatenliste wird so genannt, weil sie die Sound_Ids von Tonfiles beinhaltet, die aufgrund ihrer übereinstimmenden Fingerabdrücke, Kandidaten zum Identifizieren mit der exogenen Tonprobe sind.
Nach dem Kompilieren wird die Kandidatenliste weiter verarbeitet, indem sie entsprechend des Sound_Id segmentiert wird. Dies kann auf geeignete Weise durch Sortieren der Kandidatenliste nach Sound_Id geschehen oder indem sie in einen B-Baum eingefügt wird. Nach dem Stand der Technik ist eine große Anzahl von Sortieralgorithmen, wie zuvor angesprochen, verfügbar. Das Resultat dieses Ablaufs ist eine Kandidatenliste von Sound_Ids, wobei jede eine Streuliste von Probenpaaren und Filekennungsmarken-Zeitpunkten mit dem optional abgestreiften Sound_Id (landmark_k, landmark*_j), wie in 9C gezeigt, aufweist. Jede Streuliste beinhaltet somit einen Satz korrespondierender Kennungsmarken, deren Korrespondenz darauf beruht, dass sie durch einen äquivalenten Fingerabdruckwert charakterisiert sind.
Die Streuliste für jeden Kandidaten Sound_Id wird dann analysiert, um zu bestimmen, ob der Sound_Id ein Match für die Probe ist. Ein optionaler Schwellwertschritt kann zum ersten Aussondern einer großen Anzahl potentieller Kandidaten, die sehr kleine Streulisten aufweisen, verwendet werden. Es ist klar, dass Kandidaten mit nur einem Eintrag in ihrer Streuliste, d.h. nur einem gemeinsamen Fingerabdruck mit der Probe, nicht mit der Probe übereinstimmen. Es kann jede geeignete Schwellwertzahl, die größer als oder gleich Eins ist, verwendet werden.
Sobald eine Anzahl von Kandidaten bestimmt ist, wird der gewinnende Kandidat lokalisiert. Wenn der folgende Algorithmus keinen gewinnenden Kandidaten lokalisiert, wird eine Störung zurückgemeldet. Eine entscheidende Erkenntnis hinsichtlich des Matching-Ablaufs ist die, dass das Zeitverhalten, wenn die Töne abgestimmt werden, einer linearen Korrespondenz folgen muss in der Annahme, dass Zeitbasen auf beiden Seiten konstant sind. Dies trifft nahezu immer zu, es sei denn, dass einer der Töne absichtlich auf nichtlineare Weise verzerrt wurde oder einem defekten Playbackgerät unterzogen wurde, zum Beispiel einer Bandeinheit mit einem Trillergeschwindigkeitsproblem. Korrekte Kennungsmarkenpaare (landmark_n, landmark*_n) in der Streuliste eines gegebenen Sound_ID müssen folglich eine lineare Korrespondenz der Art landmark*n = m*landmarkn + offsetaufweisen, wobei m die Steigung ist, die bei Eins liegen sollte, landmark_n der korrespondierende Zeitpunkt innerhalb der durch den Sound_ID indexierten Tonaufzeichnung und offset die Zeitversetzung in der Tonaufzeichnung, die dem Beginn der exogenen Tonprobe entspricht. Kennungsmarkenpaare, die mit der obigen Gleichung für spezielle Werte m und offset ausgestattet werden können, werden als linear-bezogen bezeichnet. Das Konzept der linearen Beziehung ist offensichtlich nur für mehr als ein Paar korrespondierender Kennungsmarken gültig. Besonders zu erwähnen ist, dass die lineare Beziehung das richtige Tonfile mit hoher Wahrscheinlichkeit identifiziert, während sie außerhalb liegende Kennungsmarkenpaare, die nicht signifikant sind, ausschließt. Obgleich es möglich ist, dass zwei verschiedene Signale eine Anzahl identischer Fingerabdrücke beinhalten, ist es sehr unwahrscheinlich, dass diese Fingerabdrücke dieselben relativen Zeitverhalten aufweisen. Die Voraussetzung linearer Korrespondenz ist ein Schlüsselmerkmal dieser Erfindung und stellt eine signifikant bessere Erkennung bereit als Techniken, die nur die Gesamtanzahl der gemeinsamen Merkmale zählen oder die Ähnlichkeit zwischen den Merkmalen messen. Aufgrund dieses Aspektes der Erfindung können nämlich Töne erkannt werden, selbst wenn weniger als 1% der ursprünglichen Aufzeichnungsfingerabdrücke in der exogenen Tonprobe erscheinen, d.h., wenn die Tonprobe sehr kurz oder signifikant verzerrt ist.
Das Problem der Bestimmung, ob ein Match für die exogene Probe besteht, wird damit auf das äquivalente Auffinden einer diagonalen Linie mit Steigung bei Eins innerhalb eines Streudiagramms der Kennungsmarkenpunkte einer gegebenen Streuliste reduziert. Die zwei horizontalen Streudiagramme werden in 10A und 10B mit Tonfilekennungsmarken auf der horizontalen Achse und exogenen Tonprobenkennungsmarken auf der vertikalen Achse gezeigt. In 10A wird eine diagonale Steigungslinie von gleich Eins identifiziert, die angibt, dass das Gesangstück in der Tat mit der Probe übereinstimmt, d.h., dass das Tonfile ein gewinnendes File bzw. Gewinnerfile ist. Das Abfangen an der horizontalen Achse gibt die Versetzung in das Audiofile an, bei welchem die Probe beginnt. Im Streudiagramm von 10B wird keine statistisch signifikante diagonale Linie gefunden, was bedeutet, dass das Tonfile kein Match für die exogene Probe ist.
Es gibt viel Möglichkeiten, eine diagonale Linie in einem Streudiagramm zu finden, die alle zum Geltungsbereich dieser Erfindung gehören. Es versteht sich, dass der Ausdruck „Lokalisieren einer diagonalen Linie" alle Verfahren betrifft, die äquivalent mit dem Lokalisieren einer diagonalen Zeile sind, ohne ausdrücklich eine diagonale Linie zu erzeugen. Eine bevorzugtes Verfahren startet, indem m*landmark_n aus beiden Seiten der obigen Gleichung subtrahiert wird, um hervorzubringen (landmark*n – m*landmarkn) = offset
Unter der Annahme, dass m etwa gleich Eins ist, d.h. angenommen, dass keine Zeitdehnung vorliegt, kommen wir zu (landmark*n = m*landmarkn) = offset
Das Problem des Findens der Diagonale ist damit auf das Finden mehrerer Kennungsmarkenpaare für einen gegebenen Sound_ID beschränkt, die nahe desselben Versetzungswertes (Offset) angehäuft sind. Dies kann ohne Umstände erreicht werden, indem eine Kennungsmarke von der anderen subtrahiert und ein Histogramm der resultierenden Versetzungswerte zusammengetragen wird. Das Histogramm kann durch Sortieren der resultierenden Versetzungswerte anhand eines schnellen Sortieralgorithmus vorbereitet werden oder durch Erstellen von Speichereinträgen mittels Zählern und ihrem Einfügen in einen B-Baum. Der gewinnende Offset-Speicher im Histogramm beinhaltet die höchste Punkzahl. Dieser Speicher wird hier als Peak des Histogramms bezeichnet. Da die Versetzung positiv sein muss, wenn das exogene Tonsignal vollständig innerhalb der richtigen Tonfilebibliothek enthalten ist, können Kennungsmarkenpaare, die zu einer negativen Versetzung führen, ausgeschlossen werden. Gleichzeitig können Versetzungen außerhalb des Fileendes ebenso ausgeschlossen werden. Die Punktzahl im gewinnenden Offset-Speicher des Histogramms wird für jeden qualifizierenden Sound_ID vermerkt. Diese Zahl wird zum Score für jede Tonaufzeichnung. Die Tonaufzeichnung in der Kandidatenliste mit dem höchsten Score wird als Gewinner gewählt. Der gewinnende Sound_ID wird einem Benutzer, wie nachstehend beschrieben, angezeigt, um das erfolgreiche Identifizieren zu melden. Um falsches Identifizieren zu verhindern, kann ein minimaler Schwellwert-Score verwendet werden, um den Erfolg des Identifizierablaufs zu sperren. Wenn kein Bibliotheksound einen diesen Grenzwert überschreitenden Score aufweist, dann liegt keine Erkennung vor, und der Benutzer wird entsprechend informiert.
Wenn das exogene Signal mehrere Töne beinhaltet, dann kann jeder einzelne Ton erkannt werden. In diesem Fall sind mehrere Gewinner in der Abgleichabtastung lokalisiert. Man braucht nicht zu wissen, dass das Tonsignal mehrere Gewinner beinhaltet, da die Abgleichabtastung mehr als einen Sound_ID mit einem Score lokalisieren kann, der viel höher als die verbleibenden Scores ist. Das verwendete Fingerabdruckverfahren hat vorzugsweise eine gute lineare Überlagerung, so dass einzelne Fingerabdrücke extrahiert werden können. Ein Spektrogramm-Fingerabdruckverfahren weist zum Beispiel eine lineare Überlagerung auf.
Wenn die Tonprobe eine Zeitdehnung unterzogen wurde, ist die Steigung nicht auf identische Weise gleich Eins. Bei Annahme einer Steigung von Eins auf einer zeitgedehnten Probe (unter der Annahme, dass die Fingerabdrücke invariant gegenüber einer Zeiterstreckung bzw. – dehnung sind) ergibt sich, dass die berechneten Versetzungswerte nicht gleich sind. Eine Möglichkeit dies zu behandeln und eine mäßige Zeiterstreckung bzw. -dehnung anzupassen, besteht darin, die Größe der Offset-Speicher zu erhöhen, das heißt, eine Reihe von Versetzungen als gleich zu betrachten. In der Regel, wenn die Punkte nicht auf eine gerade Linie fallen, unterscheiden sich berechneten Versetzungswerte signifikant, und eine geringfügig zunehmende Größe der Offset-Speicher bringt keine signifikante Anzahl falscher Positivwerte hervor.
Andere Strategien zum Finden von Linien sind möglich. Beispielsweise kann eine Radon- oder Hough-Transformation verwendet werden, so wie sie im Werk von T. Risse „Hough Transform for Line Recognition", Computer Vision and Image Processing, 46, 327–345, 1980 beschrieben ist, welche in den Fachbereichen Maschinenbild- und Grafikbearbeitungsforschung wohlbekannt ist. Bei der Hough-Transformation projiziert sich jeder Punkt des Streudiagramms auf eine Linie (Steigung, Versetzung) im Raum. Der Punktsatz im Streudiagramm wird somit auf den Dualraum von Linien in der Hough-Transformation projiziert. Peaks in der Hough-Transformation entsprechen Schnittpunkten von Parameterlinien. Die globalen Peaks einer derartigen Transformation eines gegebenen Streudiagramms geben die höchste Anzahl von Schnittpunktlinien in der Hough-Transformation an und damit die größte Anzahl colinearer Punkte. Um eine Geschwindigkeitsschwankung von beispielsweise 5% zu erlauben, kann die Konstruktion der Hough-Transformation auf den Bereich, wo der Steigungsparameter zwischen 9,95 und 1,05 schwankt begrenzt sein, wodurch etwas Rechenaufwand eingespart wird.
Hierarchische Suche
Zusätzlich zum Schwellwertschritt, der Kandidaten mit sehr kleinen Streulisten entfernt, können weitere Effizienzverbesserungen gemacht werden. Bei einer Verbesserungsform wird der Datenbankindex in mindestens zwei Teile entsprechend der Wahrscheinlichkeit des Auftretens segmentiert, und es werden zunächst nur die Tonfiles mit der höchsten Wahrscheinlichkeit, mit der Probe übereingestimmt bzw. abgestimmt bzw. gematcht zu werden, gesucht. Die Segmentierung kann an verschiedenen Stufen des Ablaufs auftreten. Die Masterindexliste (8C) kann beispielsweise in zwei oder mehrere Teile segmentiert werden, so dass die Schritte 16 und 20 zuerst auf einem der Segmente durchgeführt werden. Das heißt, Files, welche Fingerabdrücken, die abgestimmt werden können, entsprechen, werden nur aus einem Bruchstück des Datenbankindexes gesucht, und aus diesem Bruchstück wird eine Streuliste erzeugt. Wenn kein gewinnendes Tonfile lokalisiert wird, wird der Ablauf auf dem verbleibenden Teil des Datenbankindexes wiederholt. In einer anderen Implementierung werden alle Files aus dem Datenbankindex gesucht, aber die Abtastung der diagonalen Zeile wird separat auf verschiedenen Segmenten durchgeführt.
Mittels dieser Technik wird das Abtasten der diagonalen Linie, ein berechnungsintensiver Teil des Verfahrens, zuerst auf einem kleinen Subsatz in den Tonfiles des Datenbankindexes durchgeführt. Da das Abtasten der diagonalen Linie eine beinahe lineare Zeitkomponente in Bezug auf die Anzahl der abzutastenden Tonfiles aufweist, ist die Durchführung einer derartigen hierarchischen Suche von großem Vorteil. Man kann beispielsweise annehmen, dass der Sound-Datenbankindex Fingerabdrücke beinhaltet, die 1.000.000 Tondateien darstellen, aber dass nur etwa 1000 Files mit den Probenanfragen mit hoher Frequenz übereinstimmen, d.h., dass 95% der Anfragen für 1000 Dateien und nur 5% der Anfragen für die verbleibenden 999.000 Dateien sind. Unter der Annahme einer linearen Abhängigkeit des Rechenaufwands von der Anzahl der Files, entspricht der Aufwand proportional zu 1000 95% von der Zeit und proportional zu 999.0000 nur 5% von der Zeit. Der durchschnittliche Aufwand ist demnach proportional zu etwa 50.900. Eine hierarchische Suche bringt folglich einen Faktor von 20 Rechenaufwandeinsparungen hervor, beispielsweise eine Gruppe neuer Versionen, eine Gruppe von vor kurzem ausgegebenen Gesangstücken und eine Gruppe älterer Gesangstücke, die weniger verbreitet sind.
Wie oben erwähnt, wird die Suche auf einem ersten Subsatz von Tonfiles durchgeführt, den Files mit hoher Wahrscheinlichkeit, und dann, und zwar nur wenn die erste Suche missglückt, auf einem zweiten Subsatz, der die verbleibenden Files beinhaltet. Die Abtastung der diagonalen Linie missglückt, wenn die Anzahl der Punkte in jedem Offset-Speicher nicht einen vorher bestimmten Schwellwert erreicht. Alternativ können die beiden Suchen parallel (gleichzeitig) vorgenommen werden. Wenn das zutreffende Tonfile in einer Suche des ersten Subsatzes lokalisiert wird, dann wird ein Signal gesendet, um die Suche des zweiten Subsatzes zu beenden. Wird das richtige Soundfile nicht in der ersten Suche lokalisiert, dann wird die zweite Suche fortgesetzt, bis ein gewinnendes File lokalisiert ist. Diese zwei verschiedenen Implementierungen bedingen Kompromisse in Bezug auf den Rechenaufwand und die Rechenzeit. Die erste Implementierung ist recheneffizient, führt jedoch eine leichte Wartezeit ein, wenn die erste Suche missglückt, während die zweite Implementierung rechenverschwenderisch ist, wenn das gewinnende File im ersten Subsatz ist, minimiert jedoch die Wartezeit, falls es nicht dort ist.
Mit dem Segmentieren der Liste wird bezweckt, die Wahrscheinlichkeit, dass ein Tonfile das Ziel einer Anfrage ist, zu schätzen und die Suche solcher Files zu begrenzen, die höchstwahrscheinlich mit der Anfrageprobe abgestimmt werden können. Es gibt verschiedene Möglichkeiten zum Zuordnen von Wahrscheinlichkeiten und Sortieren von Tönen in der Datenbank, die alle zum Geltungsbereich dieser Erfindung gehören. Vorzugsweise werden Wahrscheinlichkeiten zugeordnet auf der Basis von Neuheit oder Häufigkeit als das gewinnende Tonfile identifiziert zu werden. Neuheit ist ein nützliches Maß, insbesondere bei volkstümlichen Gesangstücken, da sich musikalische Interessen im Laufe der Zeit schnell ändern, sobald neue Gesangstücke ausgegeben werden. Nachdem die Wahrscheinlichkeits-Scores berechnet sind, werden den Files Rankings (Rangordnungen) zugewiesen, und die Liste sortiert sich selbst durch das Ranking. Die sortierte Liste wird dann in zwei oder mehr Subsätze zum Suchen segmentiert. Der kleine Subsatz kann eine vorbestimmte Anzahl von Dateien beinhalten. Wenn das Ranking beispielsweise ein File in den, sagen wir mal, 1000 Files an vorderster Stelle lokalisiert, wird das File in der kleineren, schnelleren Suche abgelegt. Alternativ können die Abschneidpunkte für die beiden Subsätze dynamisch abgeglichen werden. Beispielsweise lassen sich alle Files mit einem Score, der einen besonderen Schwellwert überschreitet, im ersten Subsatz anordnen, und auf diese Weise ändert sich die Anzahl der Files in jedem Subsatz ständig.
Eine spezielle Möglichkeit zum Berechnen der Wahrscheinlichkeit, besteht darin, ein Tonfile-Score jedes Mal um Eins zu inkrementieren, wenn es als eine Abstimmung für die Anfrageprobe identifiziert wird. Zur Berücksichtigung von Neuheit werden alles Scores periodisch absteigend reduziert, damit neue Anfragen eine stärkere Wirkung auf das Ranking als ältere Anfragen haben. Alle Scores können beispielsweise anhand eines konstanten Multiplikationsfaktors auf jede Anfrage absteigend verschärft werden, was eine Exponentialdämpfung des Scores, falls er nicht aktualisiert wird, zur Folge hat. In Abhängigkeit von der Anzahl der Files in der Datenbank, die sich bei weitem auf eine Million belaufen kann, kann dieses Verfahren bedingen, dass eine große Anzahl von Scores bei jeder Anfrage zu aktualisieren ist, weshalb es eventuell unerwünscht ist. Alternativ können die Scores absteigend mit relativ seltenen Intervallen angepasst werden, wie zum Beispiel einmal pro Tag. Die Abwicklung, die aus einer weniger häufigen Anpassung resultiert, ist gewissermaßen ähnlich, aber nicht vollkommen identisch mit der Abwicklung, die aus der Anpassung mit jeder Abfrage resultiert. Allerdings ist der Rechenaufwand zum Aktualisieren der Rankings viel niedriger.
Eine leichte Abweichung dieser Neuheitsanpassung, welche den Neuheits-Score genauer einhält, besteht darin, dem gewinnenden File bei der Anfrage eine exponentiell ansteigende Score-Aktualiserung α^t hinzuzufügen, wobei t das Resultat der seit der letzten Globalaktualisierung verflossenen Zeit ist. Alle Scores werden dann absteigend angepasst, indem bei jeder Globalaktualisierung durch α^T geteilt wird, wobei T die seit der letzten Globalaktualisierung verflossene Gesamtzeit ist. Bei dieser Abweichung ist α ein Neuheitsfaktor, der größer als Eins ist.
Zusätzlich zum oben beschriebenen Ranking kann eine A priori-Kenntnis eingeführt werden, um das Setzen der Liste zu unterstützen. Beispielsweise können neue Versionen voraussichtlich eine höher Anzahl von Anfragen als ältere Gesangstücke aufweisen. Dadurch lassen sich neue Versionen automatisch im ersten Subsatz mit den Gesangstücken anordnen, die eine höhere Wahrscheinlichkeit besitzen, mit Anfragen abgestimmt zu werden. Dies lässt sich unabhängig vom oben beschriebenen Selbst-Ranking-Algorithmus durchführen. Kommt ferner noch das Selbst-Ranking-Merkmal zum Einsatz, können neue Versionen anfänglichen Rankings zugeordnet werden, welche sie irgendwo im ersten Subsatz anordnen. Diese neuen Versionen können am äußersten Anfang der Liste, am unteren Ende der Liste oder irgendwo dazwischen gesetzt werden. Für die Suche ist der anfängliche Ort ohne Bedeutung, da sich das Ranking im Zeitablauf der Wiedergabe dem genauen Interessensstand nähert.
In einer alternativen Ausführungsform wird die Suche in der Reihenfolge von Neuheits-Rankings ausgeführt und endet, sobald ein Sound_ID-Score einen vorher bestimmten Schwellwert überschreitet. Experimente zeigen, dass der Score eines gewinnenden Tons viel größer als die Scores aller anderen Tonfiles ist, und somit lässt sich ein geeigneter Schwellwert mit minimalem Experimentieren wählen. Eine Möglichkeit zur Implementierung dieser Ausführungsform besteht darin, alle Sound_IDs im Datenbankindex entsprechend der Neuheit zu ordnen mit beliebigen Stichfragen im Fall identischer Scores. Da jedes Neuheits-Ranking eindeutig ist, besteht eine bijektive Abbildung zwischen dem Neuheits-Score und dem Sound_ID. Das Ranking kann dann beim Sortieren nach Sound_ID anstelle des Sound_ID verwendet werden, um die Kandidatenliste Sound_IDs und zugehörigen Streulisten (9C) zu bilden. Die Ranking-Nummern können an den Index gebunden sein, wenn die Indexliste der Triplets (fingerprint, landmark, sound_ID) generiert und bevor die Indexliste in die Masterindexliste einsortiert wird. Das Ranking tritt dann an die Stelle des Sound_ID. Alternativ kann eine Funktion Suchen und Ersetzen verwendet werden, um den Sound_ID durch das Ranking zu ersetzen. Da Rankings aktualisiert werden, werden neue Rankings auf den alten Rankings abgebildet, sofern die Abbildungsintegrität erhalten bleibt.
Alternativ können die Rankings später im Ablauf eingebunden werden. Sobald die Streulisten erstellt sind, lässt sich ein Ranking jedem Sound_ID zuordnen. Die Sätze werden dann nach Ranking sortiert. Bei dieser Implementierung brauchen nur die Zeiger zu den Streulisten geändert zu werden; das Zusammentragen in Streulisten braucht nicht mehr wiederholt zu werden. Der Vorteil späterer Bindungen liegt darin, dass der gesamte Datenbankindex nicht jedes Mal, wenn die Rankings aktualisiert werden, neu erstellt zu werden braucht.
Erwähnenswert ist, dass das Beliebtheits-Ranking selber als Ziel mit wirtschaftlichem Wert von Interesse sein kann. Das Ranking spiegelt nämlich das von Verbrauchern erwünschte Identifizieren einer unbekannten Tonprobe wieder. In vielen Fällen folgt der Anfrage unverzüglich der Wunsch, eine Aufzeichnung des Gesangstücks zu kaufen. In der Tat, falls bevölkerungsstatistische Informationen vorliegen, dann lassen sich alternative Ranking-Schemen für jede gewünschte demografische Gruppe implementieren. Eine demografische Benutzergruppe lässt sich aus den Selbstdarstellungsinformationen, die bei der Anmeldung des Benutzers beim Erkennungs-Service angefordert werden, erhalten. Gemeinschaftliche Filtertechniken können ebenfalls dynamisch nach Maßstab festgelegt werden.
In einem Echtzeitsystem wird der Ton dem Erkennungssystem inkrementell im Zeitverlauf bereitgestellt, was leitungsgebundene Erfassung ermöglicht. In diesem Fall können die ankommenden Daten in Segmenten verarbeitet und der Probenindex inkrementell gesetzt werden. Nach jeder Aktualisierungsperiode wird der neu vergrößerte Indexsatz verwendet, um Tonaufzeichnungen der Kandidatenbibliothek anhand der zuvor angesprochenen Such- und Abtastungsschritte zu finden. Der Datenbankindex wird nach Fingerabdrücken, die mit neu erhaltenen Fingerabdruckproben abgestimmt werden können, durchsucht, und es werden neue Triplets (landmark_k, landmark*_j, sound_Id_j) generiert. Neue Paare werden den Streulisten hinzugefügt, und die Histogramme werden vergrößert. Der Vorteil diese Ansatzes liegt darin, dass, wenn eine ausreichende Anzahl von Daten gesammelt wurde, um die Tonaufzeichnung eindeutig zu identifizieren – zum Beispiel, wenn die Anzahl der Punkte in einem Offset-Speicher eines der Tonfiles einen hohen Schwellwert oder den nächsthöchsten Tonfile-Score überschreitet – die Datenerfassung beendet und das Resultat verkündet werden kann.
Sobald der richtige Ton identifiziert ist, wird das Resultat einem Benutzer oder einem System anhand jedes geeigneten Verfahrens gemeldet. Beispielsweise kann das Ergebnis per Computerausdruck, E-Mail, Web-Suchergebnisseite, SMS-Nachricht zu einem Handy, computer-generiertem Stimmenkommentar über ein Telefon oder Senden des Ergebnisses zu einer Web-Site oder einem Internet-Konto, auf das der Benutzer später zugreifen kann, gemeldet werden. Die gemeldeten Ergebnisse können Identifizierungsinformationen des Tons wie den Namen und Künstler eines Gesangstücks umfassen, den Tondichter, Namen und die Aufzeichnungsattribute (zum Beispiel Artisten, Leiter, Veranstaltungsort) eines klassischen Stücks, das Unternehmen und Produkt einer Werbung oder jede sonstigen geeigneten Indikatoren. Daneben können Biographieinformationen, Informationen zu Konzerten in der Nähe und sonstige Informationen, die für die Fans von Interesse sind, bereitgestellt werden; auch Hyperlinks zu solchen Daten lassen sich bereitstellen. Die gemeldeten Ergebnisse können auch den absoluten Score des Tonfiles oder seinen Score im Vergleich zum nächsthöchsten Score-File umfassen.
Eine nützliche Folge des Erkennungsverfahrens besteht darin, dass es nicht zwei verschiedene Wiedergaben desselben Tons verwechselt. Beispielsweise werden unterschiedliche Ausführungen desselben klassischen Musikstücks nicht als dieselben Stücke betrachtet, selbst wenn ein Mensch zwischen den beiden Darstellungen keinen Unterschied feststellen kann. Es ist nämlich höchst unwahrscheinlich, dass die Kennungsmarken/Fingerabdruckpaare und ihr Zeitverlauf genau mit zwei anderen Ausführungen abgestimmt werden können. In einer gegenwärtigen Ausführungsform müssen die Kennungsmarken/Fingerabdruckpaare innerhalb von etwa 10 ms voneinander für eine lineare Korrespondenz identifiziert werden. Demzufolge sorgt die von der vorliegenden Erfindung durchgeführte automatische Erkennung dafür, dass Performance/Soundtrack und Artist/Label, die einwandfrei sind, in allen Fällen angerechnet werden.
Implementierungsbeispiel
Eine bevorzugten Implementierung der Erfindung ist die nachstehend beschriebene kontinuierliche Tonerkennung in einem rollenden Fenster. Ein Mikrofon oder eine Tonquelle wird kontinuierlich in einem Puffer abgetastet, um eine Aufzeichnung der vorhergehenden N Tonsekunden zu erhalten. Die Inhalte des Tonpuffers werden periodisch analysiert, um die Identität des Toninhalts zu ermitteln. Der Tonpuffer kann eine feste Größe haben oder in dem Maße, wie der Ton abgetastet wird, an Größe zunehmen, hier als sequentiell zunehmende Segmente der Tonprobe bezeichnet. Eine Berichterstattung gibt das Vorhandensein der identifizierten Tonaufzeichnungen an. Es kann beispielsweise eine Log-Datei erfasst werden, oder ein Display kann auf einer Vorrichtung gezeigt werden, um Informationen zur Musik wie Titel, Artist, Einbandtechnik des Albums, Schlagertext oder Kaufinformationen anzuzeigen.
Um Redundanz zu vermeiden, ist es möglich, einen Bericht nur dann zu erstatten, wenn sich die Identität der erkannten Töne ändert, beispielsweise nach einem Programmwechsel auf einer Jukebox. Eine derartige Vorrichtung kann zur Erstellung einer Liste von Musikstücken dienen, die von einem beliebigen Audiostrom bzw. -stream (Radio, Internet-Streaming-Übertragung, unsichtbarem Mikrofon, Telefonanruf, usw.) gespielt wird. Zusätzlich zur Musikidentität kann Information wie Zeiterkennung aufgezeichnet werden. Falls Information zum Ort verfügbar ist (zum Beispiel per GPS), kann diese auch aufgezeichnet werden.
Um das Identifizieren zu vollenden, kann jeder Puffer als de novo identifiziert werden. Alternativ können Tonparameter extrahiert werden, beispielsweise in Fingerabdrücke oder sonstige dazwischenliegende Merkmal-extrahierte Formen, und in einem zweiten Puffer gespeichert werden. Neue Fingerabdrücke können an der Front des zweiten Puffers hinzugefügt werden, wobei die alten Fingerabdrücke vom Ende des Puffers verworfen werden. Der Vorteil einer derartigen Rollpufferform besteht darin, dass dieselbe Analyse nicht redundant auf alten überlappenden Tonproben durchgeführt werden muss, wodurch Rechenaufwand eingespart wird. Der Identifikationsablauf wird periodisch auf den Inhalten des rollenden Fingerabdruckpuffers ausgeführt. Im Fall einer kleinen portablen Vorrichtung lässt sich die Fingerabdruckanalyse in der Vorrichtung ausführen, und die Resultate können zu einem Erkennungsserver übertragen werden, der einen Datenkanal mit relativ niedriger Bandbreite benutzt, da der Fingerabdruckstrom nicht sehr datenintensiv ist. Der rollende Fingerabdruckpuffer kann auf der portablen Vorrichtung einbehalten und jedes Mal zum Erkennungsserver übertragen werden, oder er kann am Erkennungsserver einbehalten werden, wobei sich in diesem Fall eine anhaltende Erkennungssitzung im Cache auf dem Server befindet.
In einem derartigen Rollpuffer-Erkennungssystem können neue Tonaufzeichnungen erkannt werden, sobald ausreichende Information in dem Puffer für eine Erkennung verfügbar ist. Ausreichende Information kann weniger als die Länge des Puffers einnehmen. Wenn beispielsweise ein unverwechselbares Gesangstück nur nach einer Spielsekunde erkannt wird und das System eine Einsekunden-Erkennungsperiodizität aufweist, dann kann das Gesangstück sofort erkannt werden, selbst bei einer Pufferlänge von 15–30 Sekunden. Wenn umgekehrt ein weniger unverwechselbares Gesangstück mehr Probensekunden zum Erkennen erfordert, muss das System auf eine längere Periode warten, bevor es die Identität des Gesangstücks angibt. Bei dieser Erkennungsform mit rollendem Fenster werden Töne erkannt, sobald sie identifizierbar sind.
Es ist wichtig zur Kenntnis zu nehmen, dass der Fachmann an der vorliegende Erfindung, die im Kontext eines völlig zweckmäßigen Erkennungssystems und -verfahrens beschrieben wurde, schätzen wird, dass der Mechanismus dieser Erfindungsidee in der Lage ist, als computerlesbares Anweisungsmedium in einer Vielfalt von Formen verteilt zu werden und dass die Erfindung hier in gleicher Weise gilt, unabhängig vom speziellen Signalpeilungsmedium, das zur eigentlichen Durchführung der Verteilung verwendet wird. Beispiele solcher computerlesbaren Vorrichtungen umfassen Computerspeicher (RAM oder ROM), Disketten und CD-ROMs sowie Medien zur Weiterleitung, wie zum Beispiel digitale und analoge Nachrichtenverbindungen.

Claims

Verfahren zum Identifizieren einer Tonprobe bzw. Audioprobe bzw. -abtastung bzw. -sample, gekennzeichnet durch: für die Probe ein Generieren von Probenkennungsmarken/Fingerabdruckpaaren, wobei jede Kennungsmarke an einem speziellen Ort in der Zeit innerhalb der Audioprobe auftritt, wobei der Ort in Abhängigkeit von dem Inhalt der Audioprobe berechnet wird, und wobei jeder Fingerabdruck ein oder mehrere Merkmal(e) der Audioprobe an oder nahe dem speziellen Ort charakterisiert; für jedes von einem oder mehreren Audio- bzw. Tonfiles ein Generieren von Filekennungsmarken/Fingerabdruckpaaren, wobei jede Kennungsmarke an einem speziellen Ort in der Zeit innerhalb des Audiofiles bzw. der Audiodatei auftritt, wobei der Ort in Abhängigkeit von dem Inhalt des Audiofiles berechnet wird, und wobei jeder Fingerabdruck ein oder mehrere Merkmal(e) des Audiofiles an oder nahe dem speziellen Ort charakterisiert; ein Identifizieren von im wesentlichen linearen Korrespondenzen bzw. Zusammenhängen zwischen entsprechenden Probenkennungsmarken/Fingerabdruckpaaren und den zuvor generierten bzw. erzeugten Filekennungsmarken/Fingerabdruckpaaren; und ein Identifizieren eines gewinnenden Files bzw. Gewinnerfiles als jenem, welches eine signifikante Anzahl von im wesentlichen linearen Korrespondenzen aufweist.
Verfahren nach Anspruch 1, in welchem jeder Fingerabdruck eine Anzahl von Merkmalen des Tons an jedem Kennungsmarkenort oder geringfügig von dem Ort versetzt aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, in welchem jeder Fingerabdruck durch ein Verfahren derart berechnet wird, daß er invariant gegenüber einer Zeiterstreckung bzw. -dehnung der Probe ist.
Verfahren nach einem der vorhergehenden Ansprüche, in welchem jeder Fingerabdruck als einer eines Fingerabdrucks eines spektralen Stücks bzw. Slices, eines Multi-Slice-Fingerabdrucks, eines LPC-Koeffizienten, eines Ceptral-Koeffizienten und einer Frequenzkomponente von Spektrogrammpeaks bzw. -spitzen berechnet wird.
Verfahren nach Anspruch 4, in welchem ein Spektral-Slice-Fingerabdruck an einem Satz von Zeitversetzungen zu einem Kennungsmarken-Zeitpunkt berechnet wird.
Verfahren nach einem der vorhergehenden Ansprüche, in welchem die Position von jeder Kennungsmarke unter Verwendung eines Kennungsmarkierungsverfahrens identifiziert wird, welches unterscheidende und reproduzierbare Orte innerhalb der Tonaufzeichnung finden.
Verfahren nach Anspruch 6, in welchem das Kennungsmarkierungsverfahren eine Spektral-Lp-Norm verwendet, um eine momentane Leistung zu jedem möglichen Zeitpunkt beim Aufzeichnen verwendet und lokale Maxima als die Kennungsmarken auswählt.
Verfahren nach Anspruch 6 oder 7, in welchem eine oder mehrere Kennungsmarke(n) eine eine Multi-Slice-Kennungsmarke ist bzw. wird, die von spektralen Komponenten über mehrere Zeitschlitzen bzw. -slices an festgelegten oder variablen Versetzungen voneinander abgeleitet ist.
Verfahren nach einem der vorhergehenden Ansprüche, in welchem die Filekennungsmarken/Fingerabdruckpaare in einer Datenbank gespeichert werden, wobei jedes File in der Datenbank durch Fingerabdrücke dieses Files indexiert wird.
Verfahren nach Anspruch 9, in welchem die Indizes entsprechend dem Fingerabdruck sortiert werden.
Verfahren nach Anspruch 10, in welchem eine Masterindexliste zusammengetragen wird, die einen Eintrag für jeden einzelnen Fingerabdruck und einen Zeiger zu einer Liste von entsprechenden Kennungsmarken aufweist.
Verfahren nach einem der Ansprüche 9 bis 11. In welchem jedes File durch ein SOUND_ID identifiziert wird, und die Datenbank eine Mehrzahl von Fingerabdruck-, Kennungsmarken- und SOUND_ID-Triplets speichert.
Verfahren nach einem der vorhergehenden Ansprüche, in welchem das File mit den meisten statistisch signifikanten, linear-bezogenen Korrespondenzpaaren als das gewinnende File gewählt wird.
Verfahren nach einem der vorhergehenden Ansprüche, in welchem eine lineare Korrespondenz zwischen Proben- und Filekennungsmarken (landmark_n, landmark*_n) auftritt, wenn ein Probenkennungsmarken/Fingerabdruckpaar mit einem Filekennungsmarken/Fingerabdruckpaar innerhalb eines Toleranzbereichs zusammenfällt.
Verfahren nach einem der vorhergehenden Ansprüche, in welchen eine lineare Korrespondenz zwischen einem Probenkennungsmarken/Fingerabdruckpaar und einem Filekennungsmarken/Fingerabdruckpaar auftritt, wenn die entsprechenden Fingerabdrücke übereingestimmt bzw. abgestimmt bzw. gematcht werden und die entsprechenden Kennungsmarken durch eine lineare Beziehung bezogen werden.
Verfahren nach Anspruch 15, in welchem die Fingerabdrücke abgestimmt werden, wenn sie identisch sind oder innerhalb einer vorher bestimmten Toleranz voneinander abweichen.
Verfahren nach Anspruch 15 oder 16, in welchem eine lineare Übereinstimmung auftritt, wenn Proben/Filekennungsmarken (landmark_n, landmark*_n) innerhalb der Liste in Übereinstimmung mit der Beziehung landmark*_n = m*landmark_n + offset (landmark*_n = m*landmark_n + Versetzung) in Bezug sind.
Verfahren nach einem der vorhergehenden Ansprüche, in welchem die Probe in der Form von akustischen Wellen, Radiowellen, einem digitalen Audio-PCM-Strom bzw. -Stream, einem komprimierten digitalen Audiostrom bzw. -stream oder einer Internet-Streaming-Übertragung vorliegt.
Verfahren nach einem der vorhergehenden Ansprüche, in welchem die Probenfingerabdrücke in einem Rollpuffer gespeichert werden.
Verfahren nach Anspruch 19, in welchem der identifizierende bzw. Identifizierungsschritt periodisch ausgeführt werden kann, der an den Inhalten des rollenden Fingerabdruckpuffers ausgeführt wird.
Verfahren nach Anspruch 19 oder 20, in welchem der Identifizierungsschritt ausgeführt werden kann, sobald ausreichende Information in dem Puffer für eine Erkennung verfügbar ist.
Verfahren nach einem der vorhergehenden Ansprüche, in welchem der Identifizierschritt zuerst an einem Subsatz von Files bzw. Dateien ausgeführt wird, und wenn kein gewinnendes File in dem ersten Subsatz identifiziert wird, ein zweiter Subsatz, enthaltend die verbleibenden Files, durchsucht wird.
Verfahren nach Anspruch 22, in weichem der erste Subsatz Files beinhaltet, welche eine a priori oder empirisch eine höhere Wahrscheinlichkeit besitzen, daß sie identifiziert werden als Files, welche nicht in dem ersten Subsatz sind.
Verfahren nach Anspruch 1, wobei der Schritt eines Identifizierens von linearen Korrespondenzen ein Lokalisieren einer diagonalen Linie innerhalb eines Streuausdrucks des entsprechenden Orts durch ein Ausbilden von Unterschieden bzw. Differenzen zwischen den entsprechenden Orten und ein Berechnen eines Peaks eines Histogramms dieser Unterschiede umfaßt.
Verfahren nach Anspruch 1, in welchem der Schritt eines Identifizierens eines gewinnenden Files weiterhin ein Bereitstellen eines Indikators einer Versetzung bzw. eines Offsets zu einem Ort in dem gewinnenden File umfaßt, wo die signifikante Anzahl von Korrespondenzen auftritt.
Verfahren zum Identifizieren einer Audio- bzw. Tonprobe bzw. -abtastung bzw. -sample, umfassend die Schritte: antworend auf eine Anfrage von einem Klienten, Vermitteln von wenigstens einem Abschnitt einer Audioprobe zu einem Server, wobei der Server die Verfahrensschritte von Anspruch 1 ausführt; und antwortend auf den Server, welcher ein, gewinnendes File identifiziert, dementsprechendes Antworten zu den Klienten.
Computerprogrammprodukt, welches alle Schritte des Verfahrens gemäß einem der vorhergehenden Ansprüche ausführt, wenn es in einen Computer geladen wird oder ist.
Computersystem, das angeordnet ist, um ein Verfahren nach einem der Ansprüche 1 bis 25 auszuführen, welches ein Klientenende beinhaltet, welches eine Merkmal-extrahierte Zusammenfassung der gefangenen Signalprobe bzw. -abtastung bzw. -sample, enthaltend Kennungsmarken- und Fingerabdruckpaare zu einem Serverende sendet, welches die Wiedererkennung ausführt.