DE4123713C2 - Korrelationsdetektor für Bilder - Google Patents

Korrelationsdetektor für Bilder

Info

Publication number
DE4123713C2
DE4123713C2 DE4123713A DE4123713A DE4123713C2 DE 4123713 C2 DE4123713 C2 DE 4123713C2 DE 4123713 A DE4123713 A DE 4123713A DE 4123713 A DE4123713 A DE 4123713A DE 4123713 C2 DE4123713 C2 DE 4123713C2
Authority
DE
Germany
Prior art keywords
digital
values
images
correlation detector
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE4123713A
Other languages
English (en)
Other versions
DE4123713A1 (de
Inventor
Yasuya Kajiware
Kazumichi Tsutsumi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of DE4123713A1 publication Critical patent/DE4123713A1/de
Application granted granted Critical
Publication of DE4123713C2 publication Critical patent/DE4123713C2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations
    • G06F17/153Multidimensional correlation or convolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Description

Die vorliegende Erfindung bezieht sich auf einen Korrelationsdetektor zum Berechnen eines Korrelationswertes zwischen zwei Bildern, die jeweils aus einer Vielzahl von Pixeln bestehen.
Verfahren zum Verfolgen des Ortes eines sich bewegenden Objektes durch Berechnen einer Korrelation zwischen zwei Bildern sind zum Beispiel in den ungeprüften japanischen Patentanmeldungen 135587/1982 und 135588/1982 offenbart. Herkömmliche Vorrichtungen, die solche Verfahren verwenden, berechnen die Korrelation durch Umwandeln eines analogen Signales jeweiliger Pixel in ein digitales Signal, Speichern des umgewandelten digitalen Signals, und Veranlassen ihrer digitalen Betriebseinheit, ein digitales Signal ihrer entsprechenden Pixel direkt zu multiplizieren/addieren.
Für die Multiplikation werden gewöhnlich anstelle der Verwendung eines Mikrocomputers, der langsam ist, eine Vielzahl von benachbarten digitalen Schaltkreisen, die jeweils für Multiplikation ausgelegt sind, verwendet, um Produkte auszugeben, die einer weiteren Addition unterworfen werden. Insbesondere sei angenommen, daß zwei Bilder A, B Pixel in m-Reihen und m-Spalten enthalten, und daß die Größen eines jeden Pixelsignales in den Bildern A, B als pÿ bzw. qÿ dargestellt werden, wie in Fig. 2 gezeigt ist. Dann kann die Korrelation C der beiden Bilder durch die folgende Gleichung (1) berechnet werden:
Anstelle der obigen Berechnung kann mittels der folgenden Gleichung (2) die Summe D der Absolutbeträge der Unterschiede zwischen den jeweiligen Pixels berechnet werden:
Bei solchen Berechnungen werden die jeweiligen, mittels Analog/Digitalwandlern 1, 2 digitalisierten Pixelsignale in Speichern 3, 4 gespeichert. Die gespeicherten Signaldaten werden sequentiell auf eine Vielzahl von Multiplizierern 5, 6, 7, 8 mittels eines Taktsignales für Multiplikation gegeben, und jedes erhaltene Produkt wird mittels eines Addierers 9 addiert, so daß die Summe in einem Register 10 gespeichert werden kann.
Aus DE 27 02 934 C2 ist ein Korrelationsdetektor für Bilder bekannt, mit Einrichtungen zum Umwandeln von Pixelsignalen zweier Bilder in digitale Daten, Einrichtungen zum Gewinnen eines Absolutwertes einer Differenz zwischen den zwei Pixelsignalen sowie einem Speicher zum Speichern dieses Vergleichswertes.
Weil die herkömmlichen Korrelationsberechner wie oben beschrieben konstruiert sind, ist ihr Multiplikationsvorgang zeitaufwendig. Für Echtzeitvorgänge muß die Vielzahl von Multiplikationsschaltkreisen nebeneinander betrieben werden, und die Produkte werden danach addiert, was erfordert, daß die Berechner nicht nur eine große Struktur aufweisen, sondern darüber hinaus teuer sind.
Die Erfindung wurde im Hinblick auf die obigen Umstände gemacht. Dementsprechend ist es eine Aufgabe der Erfindung, einen preiswerten Korrelationsdetektor für Bilder vorzusehen, welcher aus einfachen Schaltkreisen besteht und in der Lage ist, Korrelationsberechnungen auf einer Echtzeitbasis durchzuführen.
Zur Lösung dieser Aufgabe offenbart die Erfindung einen Korrelationsdetektor zum Berechnen eines Korrelationswertes zwischen zwei Bildern, die jeweils aus einer Vielzahl von Pixeln bestehen, umfassend:
  • a) eine Look-up-Tabelle zur Bereitstellung von digitalen Absolutwerten von Differenzen oder von digitalen Produktwerten von entsprechenden digitalen Pixeldatenwerten eines ersten und eines zweiten Bildes;
  • b) eine Einrichtung zum Auslesen aus der Look-up Tabelle entweder eines digitalen Absolutwertes oder eines digitalen Produktes mittels Adressierung auf der Grundlage der entsprechenden digitalen Pixeldatenwerte des ersten und zweiten Bildes;
  • c) eine Wandlereinrichtung zum Umwandeln eines ausgelesenen digitalen Absolutwertes oder Produktes in einen analogen Wert; und
  • d) eine Einrichtung zum Aufaddieren der erhaltenen analogen Werte mittels einer Ladungsspeichereinrichtung.
Gemäß der Erfindung wird die Korrelation zwischen den zwei Bildern unter Verwendung einer Tabelle durchgeführt und die Addition wird mittels Speicherung elektrischer Ladung durchgeführt. Deshalb kann die Multiplikation so schnell wie mit einem einzigen Takt durchgeführt werden. Zusätzlich kann der Schaltkreis zum Umwandeln des Ausgabewertes in analoge Daten und zum Speichern der analogen Daten als elektrische Ladungen auch bei einer Schaltgeschwindigkeit betrieben werden, die so hoch ist wie ein einziger Takt.
Im folgenden wird die vorliegende Erfindung detaillierter mit Bezug auf die begleitenden Zeichnungen beschrieben, in welchen
Fig. 1 ein Blockdiagramm ist, welches einen Korrelationsdetektor für Bilder zeigt, der ein Ausführungsbeispiel der Erfindung ist;
Fig. 2 ist ein Diagramm, welches die Korrelationsberechnung für zwei Bilder erläutert; und
Fig. 3 ist ein Blockdiagramm, welches einen herkömmlichen Korrelationsberechner zeigt.
Nun wird ein Ausführungsbeispiel der Erfindung mit Bezug auf die begleitenden Zeichnungen beschrieben. Fig. 1 ist ein Blockdiagramm, das einen Korrelationsdetektor für Bilder gemäß der Erfindung zeigt. In Fig. 1 bezeichnen Bezugsziffern 1 bis 4 dieselben Teile des herkömmlichen Korrelationsdetektors, der in Fig. 3 gezeigt ist, und ihre Beschreibung wird deshalb ausgelassen. Bezugsziffer 11 bezeichnet einen Nur-Lese-Speicher (ROM), der eine Tabelle speichert; 12 bezeichnet einen Digital/Analog- Wandler; und 13 bezeichnet eine elektrische Ladungs­ speichereinheit.
Als nächstes wird der Betrieb dieses Korrelations­ detektors beschrieben. Pixelsignale zweier Bilder werden auf Analog-Digital-Wandler 1, 2 gegeben, um von analogen Daten in digitale Daten umgewandelt zu werden und die erhaltenen digitalen Daten werden in Speichern 3 bzw. 4 gespeichert. Es sei angenommen, daß zum Beispiel die jeweiligen Pixelsignale, von denen jedes in 8-Bit-Form digitalisiert ist, in Speichern 3, 4 gespeichert sind. Dann wird für die Berechnung des Pixelsignals als Daten zum Beispiel ein Produkt, welches durch Multiplizieren zweier 8-Bit-Werte erhalten wird, oder ein Absolutwert einer Differenz zwischen den beiden Werten in dem ROM 11 als eine Tabelle gespeichert, und irgendein berechnetes Ergebnis wird aus diesem gelesen.
Hier sei angenommen, daß die Größe pj in einer i-ten Zeile und j-ten Spalte eines Bildes A als 8-Bit hexadezimaler Digitalwert XA, YA angegeben wird und daß die Größe qÿ an einer i-ten Zeile und einer j-ten Spalte eines Bildes B als ein 8-Bit hexadezimaler Digitalwert XB, YB angegeben wird. Wenn auf den ROM 11 mit einer 16-Bit-Adresse zugegriffen wird, die aus XA, YA als die höheren 8 Bit und XB, YB als die niedrigeren 8 Bit besteht, dann wird ein Produkt von XA, YA und XB, YB unter einer solchen Adresse als 16 Bit-Daten gespeichert.
Wenn ferner die Tabelle einen Absolutwert einer Differenz zwischen zwei Werten enthält, können 8-Bit-Daten in den ROM gespeichert werden, und somit wird der Absolutwert der Differenz zwischen XA, YA und XB, YB gespeichert. Diese Daten werden sequentiell gemäß der Größe eines Pixelsignales gelesen, in ein Analogsignal mittels des Digital/Analog-Wandlers 12 umgewandelt, und ferner in Strom umgewandelt, der proportional zu dem umgewandelten Analogsignal ist, so daß die elektrische Ladung mittels der elektrischen Ladungsspeichereinheit 13 gespeichert wird. Dementsprechend bedeutet der Abschluß des Abtastens aller Pixel eines einzelnen Bildes, daß die Korrelation des Bildes berechnet worden ist. Falls der Betrag der gespeicherten elektrischen Ladung in eine Spannung oder einen Strom umgewandelt wird, kann der obige Wert gelesen werden. Kondensatoren können als Einrichtungen zum Speichern der elektrischen Ladung verwendet werden.
Wie vorangehend beschrieben, wird gemäß der Erfindung die Korrelation zwischen zwei Bildern unter Verwendung einer Tabelle berechnet und die Addition wird durch Speichern der elektrischen Ladung durchgeführt. Deshalb kann der Korrelationsdetektor kleiner und mit einfachen Schaltkreisen ausgelegt werden, und zusätzlich wird die Arbeits­ geschwindigkeit verbessert.

Claims (5)

1. Korrelationsdetektor zum Berechnen eines Korrelationswertes zwischen zwei Bildern (A, B), die jeweils aus einer Vielzahl von Pixeln bestehen, umfassend:
  • a) eine Look-up-Tabelle (11) zur Bereitstellung von digitalen Absolutwerten von Differenzen (pÿ-qÿ) oder von digitalen Produktwerten (pÿ x qÿ) von entsprechenden digitalen Pixeldatenwerten eines ersten und eines zweiten Bildes;
  • b) eine Einrichtung zum Auslesen aus der Look-up Tabelle (11) entweder eines digitalen Absolutwertes oder eines digitalen Produktes mittels Adressierung auf der Grundlage der entsprechenden digitalen Pixeldatenwerte des ersten und zweiten Bildes (A, B);
  • c) eine Wandlereinrichtung (12) zum Umwandeln eines ausgelesenen digitalen Absolutwertes oder Produktes in einen analogen Wert; und
  • d) eine Einrichtung (13) zum Aufaddieren der erhaltenen analogen Werte mittels einer Ladungsspeichereinrichtung.
2. Korrelationsdetektor nach Anspruch 1, dadurch gekennzeichnet, daß die Look-up Tabelle (11) ein Nur-Lese-Speicher ist.
3. Korrelationsdetektor nach Anspruch 1, dadurch gekennzeichnet, daß die Ladungsspeichereinrichtung (13) ein Kondensator ist.
4. Korrelationsdetektor nach Anspruch 1, dadurch gekennzeichnet, daß die ersten und zweiten digitalen Pixeldaten jeweils aus einem 8-Bit- Datenwort bestehen und die in der Tabelle gespeicherten digitalen Absolutwerte oder digitalen Produktwerte (pÿ x qÿ) 16-bit-Datenwörter sind.
5. Korrelationsdetektor nach Anspruch 4, dadurch gekennzeichnet, daß die Look-up Tabelle (11) durch ein 16-Bit-Adressenwort zum Auslesen eines digitalen Wertes adressierbar ist.
DE4123713A 1990-07-17 1991-07-17 Korrelationsdetektor für Bilder Expired - Fee Related DE4123713C2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2191658A JPH0475183A (ja) 1990-07-17 1990-07-17 画像の相関度検出装置

Publications (2)

Publication Number Publication Date
DE4123713A1 DE4123713A1 (de) 1992-02-06
DE4123713C2 true DE4123713C2 (de) 1995-04-27

Family

ID=16278311

Family Applications (1)

Application Number Title Priority Date Filing Date
DE4123713A Expired - Fee Related DE4123713C2 (de) 1990-07-17 1991-07-17 Korrelationsdetektor für Bilder

Country Status (3)

Country Link
US (1) US5189712A (de)
JP (1) JPH0475183A (de)
DE (1) DE4123713C2 (de)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6067379A (en) * 1988-12-09 2000-05-23 Cognex Corporation Method and apparatus for locating patterns in an optical image
WO1993023816A1 (en) * 1992-05-18 1993-11-25 Silicon Engines Inc. System and method for cross correlation with application to video motion vector estimation
JPH0778251A (ja) * 1993-07-22 1995-03-20 Xerox Corp ソースベリファイ方法
US5583954A (en) * 1994-03-01 1996-12-10 Cognex Corporation Methods and apparatus for fast correlation
WO1996003716A1 (en) * 1994-07-21 1996-02-08 Kabushiki Kaisha Toshiba Image identifying apparatus
US6026176A (en) 1995-07-25 2000-02-15 Cognex Corporation Machine vision methods and articles of manufacture for ball grid array inspection
DE19603935A1 (de) * 1996-02-03 1997-08-07 Bosch Gmbh Robert Verfahren zum Erkennen von Änderungen in einem Überwachungsbereich
US5872870A (en) * 1996-02-16 1999-02-16 Cognex Corporation Machine vision methods for identifying extrema of objects in rotated reference frames
US5909504A (en) * 1996-03-15 1999-06-01 Cognex Corporation Method of testing a machine vision inspection system
US6259827B1 (en) 1996-03-21 2001-07-10 Cognex Corporation Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images
US6298149B1 (en) 1996-03-21 2001-10-02 Cognex Corporation Semiconductor device image inspection with contrast enhancement
US5978502A (en) * 1996-04-01 1999-11-02 Cognex Corporation Machine vision methods for determining characteristics of three-dimensional objects
US6137893A (en) * 1996-10-07 2000-10-24 Cognex Corporation Machine vision calibration targets and methods of determining their location and orientation in an image
US5960125A (en) 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US5953130A (en) * 1997-01-06 1999-09-14 Cognex Corporation Machine vision methods and apparatus for machine vision illumination of an object
US6075881A (en) * 1997-03-18 2000-06-13 Cognex Corporation Machine vision methods for identifying collinear sets of points from an image
US5974169A (en) * 1997-03-20 1999-10-26 Cognex Corporation Machine vision methods for determining characteristics of an object using boundary points and bounding regions
US6141033A (en) * 1997-05-15 2000-10-31 Cognex Corporation Bandwidth reduction of multichannel images for machine vision
US6608647B1 (en) 1997-06-24 2003-08-19 Cognex Corporation Methods and apparatus for charge coupled device image acquisition with independent integration and readout
US5978080A (en) * 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine an orientation, pixel width and pixel height of a field of view
US6025854A (en) * 1997-12-31 2000-02-15 Cognex Corporation Method and apparatus for high speed image acquisition
US6282328B1 (en) 1998-01-28 2001-08-28 Cognex Corporation Machine vision systems and methods for morphological transformation of an image with non-uniform offsets
US6236769B1 (en) 1998-01-28 2001-05-22 Cognex Corporation Machine vision systems and methods for morphological transformation of an image with zero or other uniform offsets
US6215915B1 (en) 1998-02-20 2001-04-10 Cognex Corporation Image processing methods and apparatus for separable, general affine transformation of an image
US6381375B1 (en) 1998-02-20 2002-04-30 Cognex Corporation Methods and apparatus for generating a projection of an image
US6552723B1 (en) 1998-08-20 2003-04-22 Apple Computer, Inc. System, apparatus and method for spatially sorting image data in a three-dimensional graphics pipeline
US6771264B1 (en) * 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
US6687402B1 (en) 1998-12-18 2004-02-03 Cognex Corporation Machine vision methods and systems for boundary feature comparison of patterns and images
US6381366B1 (en) 1998-12-18 2002-04-30 Cognex Corporation Machine vision methods and system for boundary point-based comparison of patterns and images
US6684402B1 (en) 1999-12-01 2004-01-27 Cognex Technology And Investment Corporation Control methods and apparatus for coupling multiple image acquisition devices to a digital data processor
JP3874985B2 (ja) * 2000-02-18 2007-01-31 富士通株式会社 画像演算装置
US6748104B1 (en) 2000-03-24 2004-06-08 Cognex Corporation Methods and apparatus for machine vision inspection using single and multiple templates or patterns
US7599044B2 (en) 2005-06-23 2009-10-06 Apple Inc. Method and apparatus for remotely detecting presence
US7242169B2 (en) * 2005-03-01 2007-07-10 Apple Inc. Method and apparatus for voltage compensation for parasitic impedance
US9298311B2 (en) * 2005-06-23 2016-03-29 Apple Inc. Trackpad sensitivity compensation
US7577930B2 (en) 2005-06-23 2009-08-18 Apple Inc. Method and apparatus for analyzing integrated circuit operations
US7433191B2 (en) * 2005-09-30 2008-10-07 Apple Inc. Thermal contact arrangement
US8111904B2 (en) * 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US7598711B2 (en) * 2005-11-23 2009-10-06 Apple Inc. Power source switchover apparatus and method
US8162584B2 (en) * 2006-08-23 2012-04-24 Cognex Corporation Method and apparatus for semiconductor wafer alignment
US9807971B1 (en) * 2016-08-17 2017-11-07 Technologies Holdings Corp. Vision system with automatic teat detection

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5371563A (en) * 1976-12-08 1978-06-26 Hitachi Ltd Automatic inspection correcting method for mask
JPS58115492A (ja) * 1981-12-29 1983-07-09 シャープ株式会社 パタ−ン認識用自己相関器
US4623923A (en) * 1983-03-14 1986-11-18 Honeywell Inc. Real-time video image enhancement system
US4574357A (en) * 1984-02-21 1986-03-04 Pitney Bowes Inc. Real time character thinning system
US4998286A (en) * 1987-02-13 1991-03-05 Olympus Optical Co., Ltd. Correlation operational apparatus for multi-dimensional images
US4939575A (en) * 1987-11-13 1990-07-03 Texas Instruments Incorporated Fault-tolerant serial video processor device

Also Published As

Publication number Publication date
DE4123713A1 (de) 1992-02-06
JPH0475183A (ja) 1992-03-10
US5189712A (en) 1993-02-23

Similar Documents

Publication Publication Date Title
DE4123713C2 (de) Korrelationsdetektor für Bilder
DE2726746C3 (de) Verfahren und Einrichtung zur Fehlerkontrolle des Oberflächenmusters eines Objektes
DE2008663C3 (de) Datenspeicher- und Datenspeicheransteuerschaltung
DE3546337C2 (de)
DE3249233C2 (de)
DE2640157A1 (de) Verfahren und anordnung zum redundanzvermindernden codieren von bildern
DE3318303C2 (de)
DE2746969C2 (de) Einrichtung zum Vergleichen von Mustern
DE2340597A1 (de) Bildverarbeitungsanordnung
DE4234985C2 (de) Verfahren zum Transformieren von Farbsignalen und Vorrichtung zur Durchführung des Verfahrens
DE3632639C2 (de) Einrichtung zum Hochgeschwindigkeitsverarbeiten von Bilddaten durch Faltung
DE19704881A1 (de) Bildverfolgungsgerät zum Verfolgen eines Bildes innerhalb einer lokalen Region
DE3721074A1 (de) Schaltungsanordnung zur verschiebungsvektorsuche in der digitalen bildanalyse
EP0036418A1 (de) Verfahren zur umwandlung von digitalen chrominanz-signalen eines rechtwinkligen farbkoordinaten-systems in digitale farbton-signale und sättigungs-signale eines polaren farbkoordinaten-systems und tranformationsschaltung.
EP0625762A1 (de) Verfahren zum Entzerren von Röntgenaufnahmen und Anordnung zur Durchführung des Verfahrens
DE3818534C2 (de)
DE3612231C2 (de)
DE69636352T2 (de) Hierarchische Kodierungs-Vorrichtung und -Verfahren mit Speicher für ein digitales Bildsignal
DE3110471C2 (de) Verfahren und Schaltungsanordnung zur partiellen elektronischen Retusche bei der Farbbildreproduktion
EP0039882A2 (de) Verfahren und Vorrichtung zum automatischen Erkennen eines Bildmusters, insbesondere eines Linienmusters
DE4406837A1 (de) Bildkorrekturvorrichtung und -verfahren für einen Camcorder
DE3018607C2 (de) Navigationsgerät für Flugkörper
DE2508141A1 (de) Verfahren zur transformation von reellen zahlen
DE3007381A1 (de) Verfahren und system zum verarbeiten von videodaten
EP0951695B1 (de) Verfahren und vorrichtung zur analogen signalverarbeitung

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
D2 Grant after examination
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee