DE69720306T2

DE69720306T2 - Verfahren und Vorrichtung zur Verfolgung einer relativen Bewegung

Info

Publication number: DE69720306T2
Application number: DE69720306T
Authority: DE
Inventors: Travis N. Blalock; Richard A. Baumgartner; Thomas Hornak; Mark T. Smith
Original assignee: Agilent Technologies Inc; Hewlett Packard Co
Current assignee: Agilent Technologies Inc; Hewlett Packard Development Co LP
Priority date: 1996-01-25
Filing date: 1997-01-10
Publication date: 2004-03-04
Anticipated expiration: 2017-01-11
Also published as: EP0786892A2; JPH09214691A; US5729008A; EP0786892B1; DE69720306D1; EP0786892A3

Description

Die Erfindung bezieht sich allgemein auf ein Verfahren und eine Vorrichtung zum Nachverfolgen einer relativen Bewegung zwischen der Vorrichtung und einer interessierenden Region, beispielsweise zum Nachverfolgen einer relativen Bewegung anhand von Signalen von einem Array aus Photoelementen.
Bei einer Vielzahl von Anwendungen ist eine genaue Bestimmung des Weges einer Bewegung einer Vorrichtung relativ zu einer interessierenden Oberfläche wichtig. Falls beispielsweise eine getreue Darstellung eines Bildes eines gescanntenOriginals gewonnen werden soll, müssen genaue Informationen bezüglich der Bewegung der Scanvorrichtung entlang demOriginal vorliegen. In der Regel ist das durch einen Scanner bereitgestellte aufgenommene Bild ein Pixeldatenarray, das in einem digitalen Format in einem Speicher gespeichert ist. Ein verzerrungsfreies Bild erfordert eine getreue Abbildung des Originalbildes auf das Pixeldatenarray.
In der US-A-5.149.980 ist die Verwendung einer Kreuzkorrelationsfunktion zum Bestimmen der relativen Bewegung zwischen einem riginal und einem Array aus Photoelementen in einer gegebenen Richtung beschrieben. Die Patentschrift merkt an, daß der eindimensionale Lösungsansatz erweitert werden kann, um den Vektor einer zweidimensionalen relativen Bewegung zwischen dem riginal und dem Array zu bestimmen, um eine Translation, Drehung und Skalierung in einer zweidimensionalen Ebene nachzuverfolgen. Die Patentschrift beschreibt die Verwendung eines optischen Sensorarrays, um eine „Signatur" einzuholen. Die Signatur kann durch ein Beleuchten und Bilderfassen der berflächentextur oder anderer optischer Charakteristika des riginals bereitgestellt werden. Die Lichtintensität schwankt auf einer Pixel-Um-Pixel-Basis mit Schwankungen der berflächentextur. Durch ein Kreuzkorrelieren von Bildern der berfläche desriginals kann eine relative Bewegung zwischen dem Array und dem riginal festgestellt werden.
Die Kreuzkorrelation der US-A-5.149.980 umfaßt ein Bilden eines ersten Arrays aus Lichtstärkewerten s₁(k) (k = 1, 2, ..., N), die vor einer Bewegung eines riginals, beispielsweise eines Blatts Papier, bestimmt werden. Das Blatt wird dann bewegt, und ein zweites Array aus Lichtstärkewerten s₂(k) (k = 1, 2,..., N) wird für das Blatt bestimmt. Eine Kreuzkorrelationsfunktion wird aus der Summe einer Sequenz von Kreuzkorrelationsausdrücken s₁(k + i – 1) s₂(k + k – 1) für eine ausgewählte Ganzzahl K gebildet. Der Kreuzkorrelationsfunktionswert wird anschließend durch die Wahl von K oder seines entsprechenden Kontinuumwerts, z. B. K = K₀, maximiert, und die Entfernung D, die das Blatt in der gegebenen Richtung zurückgelegt hat, wird als D ≈ (MF) (K₀– i)d bestimmt, wobei d die Entfernung zwischen zwei aufeinanderfolgenden Photoelementen, einschließlich jeglicher optischer Vergrößerungseffekte (MF), ist und i eine Ganzzahl ist, die eine Anfangsposition einer Sensorgruppe zum Überwachen des Blatts „Signatur" darstellt.
Während der Kreuzkorrelationsprozeß der US-A-5.149.980 für seinen beabsichtigten Zweck gut funktioniert, erfordert seine Anwendung auf eine Bestimmung einer Bewegung innerhalb eines zweidimensionalen Schemas eine sequentielle Maximierung zweier oder dreier Kreuzkorrelationsfunktionen, wobei jede zwei oder drei Variablen aufweist, bezüglicher derer eine Maximierung durchgeführt wird. Die Patentschrift selbst merkt an, daß die rechentechnische Komplexität der zweidimensionalen Erweiterung im Vergleich zu der rechentechnischen Komplexität des eindimensionalen Lösungsansatzes beträchtlich ist.
Bei einem verwandten Lösungsansatz beschreibt die U.S.-Patentschrift Nr. 4.270.143 einen Kreuzkorrelationsvideonachverfolger und ein Verfahren zum Nachverfolgen einer Bewegungsszene durch ein Speichern von Pixelinformationen eines Referenzrahmens und ein Vergleichen des Referenzrahmens mit Pixelinformationen eines nachfolgend gewonnenen Rahmens. Der Vergleich leitet Signale ab, die die Richtung und die winkelmäßige Entfernung der relativen Szenenbewegung angeben. Für jede der beiden orthogonalen Achsen werden lediglich zwei Kreuzkorrelationen berechnet. Eine Kreuzkorrelation für eine bestimmte Achse liegt für den Referenzrahmen und den nachfolgenden Rahmen, der um einen feststehenden Betrag in einer Richtung relativ verschoben ist, vor, während die andere Kreuzkorrelation für diese Achse für den Referenzrahmen und den nachfolgenden Rahmen, der um denselben Betrag in der entgegengesetzten Richtung relativ verschoben ist, vorliegt.
Die vorliegende Erfindung schafft ein verbessertes Nachverfolgen einer Vorrichtung.
Gemäß einem Aspekt der vorliegenden Erfindung ist ein Verfahren zum Nachverfolgen einer relativen Bewegung zwischen einer Vorrichtung und einer interessierenden Region bereitgestellt, wie in Patentanspruch 1 spezifiziert ist.
Gemäß einem anderen Aspekt der vorliegenden Erfindung ist eine Vorrichtung gemäß Patentanspruch 7 geschaffen.
Die bevorzugten Ausführungsbeispiele können ein Verfahren und eine Vorrichtung zum Nachverfolgen einer relativen Bewegung der Vorrichtung bezüglich einer interessierenden Region unter Berücksichtigung einer krummlinigen relativen Bewegung ohne ein hohes Maß an rechentechnischer Komplexität schaffen.
Das bevorzugte System zum Nachverfolgen einer relativen Bewegung zwischen einer Vorrichtung und einer interessierenden Region, beispielsweise der berfläche eines gescannten Substrats, umfaßt ein Befestigen zumindest eines zweidimensionalen Arrays aus Photoelementen an der Vorrichtung, derart, daß die Photoelemente Ausgangssignale erzeugen, die auf eine von der interessierenden Region empfangene Lichtenergie ansprechen, und umfaßt ferner ein Verwenden eines Nächster-Nachbar-Lösungsansatzes beim Korrelieren von Ausgaben des Arrays. Es werden Rahmen von Signalen, die eine empfangene Lichtenergie angeben, aufgenommen, wobei jedes Signal in einem Rahmen wirksam einem einzelnen Photoelement in dem Array zugeordnet ist. Eine relative Bewegung wird durch ein Bestimmen einer Korrelation zwischen den Signalen eines ersten Rahmens und den Signalen eines zweiten Rahmens nachverfolgt. Eine Gesamtkorrelation wird durch Summenbildungen an einzelnen Korrelationen für jedes der Signale in dem ersten Rahmen bestimmt. Die Summenbildungen einzelner Korrelationen erfolgen entlang acht Bewegungsrichtungen in einer Ebene, die jeweils um 45 Grad in bezug auf die vorherige gedreht sind. Eine neunte Summe gilt für den Fall einer fehlenden Bewegung. Einzelne Korrelationen sprechen auf ein bestimmtes Signal an dem ersten Rahmen und entweder auf das jeweilige Signal des zweiten Rahmens oder einen nächsten Nachbarn des jeweiligen Signals in dem zweiten Rahmen an.
Vorzugsweise umfaßt die Korrelation von Signalen des ersten und des zweiten Rahmens eine Anzahl von Teilschritten. Erstens wird ein einzelnes Signal des ersten Rahmens ausgewählt. Das Verarbeiten kann ein analoges Verarbeiten sein, und die Signal der Rahmen können aufgenommene Pixelwerte sein, dies ist jedoch nicht kritisch. Das ausgewählte einzelne Signal des ersten Rahmens entspricht einem einzelnen Photoelement des Arrays aus Photoelementen. Zweitens wird eine Anzahl von Signalen in dem zweiten Rahmen ausgewählt. Bei dem bevorzugten Ausführungsbeispiel sind die ausgewählten Zweitrahmensignale diejenigen, die dem einzelnen Photoelement, das bezüglich des ersten Rahmens identifiziert ist, und den Photoelementen, die die einzelnen Photoelemente umgeben, d. h. den Nächster-Nachbar-Photoelementen, entsprechen. Neun Signale werden aus dem zweiten Rahmen ausgewählt, wobei acht der Zweitrahmensignale den Nächster-Nachbar-Photoelementen entsprechen und das neunte Signal das entsprechende Signal bezüglich des ausgewählten einzelnen Signals des ersten Rahmens ist, obwohl dies nicht kritisch ist.
Vorteilhafterweise werden bei dem nächsten Teilschritt des Korrelationsprozesses die Korrelationsausgaben erzeugt. Die Korrelationsausgaben sprechen auf das ausgewählte einzelne Signal des ersten Rahmens und eines der Signale des zweiten Rahmens an. Wiederum unter Bezugnahme auf das bevorzugte Ausführungsbeispiel werden neun Korrelationsausgaben auf das ausgewählte einzelne Signal des ersten Rahmens bezogen sein.
Vorzugsweise werden die Teilschritte zum Erzeugen von Korrelationsausgaben für andere ausgewählte Signale des ersten Rahmens ausgeführt. Das bevorzugte Ausführungsbeispiel ist eines, bei dem Korrelationsausgaben für jedes Signal in dem ersten Rahmen erzeugt werden, wobei die Ausführung der Teilschritte in bezug auf das Nächster-Nachbar-Verarbeiten gleichzeitig und in derselben Reihenfolge bewerkstelligt wird. Eine Summenbildungsschaltung kann verbunden sein, um Summenbildungen der Korrelationsausgaben zu liefern.
Bei dem bevorzugten Ausführungsbeispiel kann jede Korrelationsausgabe das Quadrat des Unterschieds zwischen einem Pixelwert des ersten Rahmens und einem der neun relevanten Pixelwerte des zweiten Rahmens sein. Statt dessen können jedoch auch andere Algorithmen zum Erzeugen von Korrelationsausgaben verwendet werden.
Der Korrelationsprozeß kann verwendet werden, um eine Bewegung während des Zeitraums zwischen einem Gewinnen des ersten Rahmens von Signalen und einem Gewinnen des zweiten Rahmens von Signalen zu bestimmen. Die Rahmen werden ausreichend schnell aufgenommen, so daß die relative Bewegung geringer ist als eine Pixellänge zwischen aufeinanderfolgenden Rahmen. Ein wesentlicher Vorteil des Analogsignal verarbeitungsverfahrens besteht darin, daß es die Fähigkeit liefert, die Datengewinnung und Signalverarbeitung schnell genug auszuführen, um es dem Benutzer zu ermöglichen, die Vorrichtung, z. B. einen in der Hand zu haltenden Scanner, bei einer angemessen hohen Geschwindigkeit zu bewegen, ohne Verarbeitungsvorgänge beeinträchtigen.
Anschließend an die Korrelation des ersten und des zweiten Rahmens von Signalen kann der zweite Rahmen gespeichert werden, und der Korrelationsprozeß kann durch ein Verwenden des zweiten Rahmens und eines dritten Rahmens, der anschließend an den zweiten Rahmen gewonnen wird, fortgesetzt werden. Alternativ dazu können die Signale des ersten Rahmens einheitlich verschoben werden, was das Bild der interessierenden Region effektiv translatiert. Die Signale der translatierten Rahmen werden anschließend zu Signalen des anschließend gewonnenen dritten Rahmens korreliert.
Das Verfahren und die Vorrichtung können in einer breiten Vielfalt von Anwendungen verwendet werden. Bei dem bevorzugten Ausführungsbeispiel ist die Vorrichtung ein in der Hand zu haltender Scanner, und das zweidimensionale Array aus Photoelementen ist ein Navigationssensor, der zu einem Bildsensor benachbart ist. Die während des Korrelationsprozesses gewonnenen Navigationsdaten werden verwendet, um Bilddaten von dem Bildsensor anzuordnen, um eine Entsprechung zwischen einem gescannten riginal und einem ausgegebenen Bild zu erhöhen.
Ein Vorteil des bevorzugten Systems besteht darin, daß die Nächster-Nachbar-Architektur verwendet werden kann, um Kreuzkorrelationen mit relativen Verlagerungen einer Entfernung eines einzelnen Pixels zu bestimmen. Ein weiterer Vorteil besteht darin, daß durch ein Ermöglichen, daß das Referenzbild translatiert wird, Kreuzkorrelationen über Entfernungen von mehreren Pixeln zwischen einem Referenzbild und einem Vergleichsbild nachverfolgt werden können. Das bevorzugte Verfahren und die bevorzugte Vorrichtung können Nächster-Nachbar-Bildkreuzkorrelationen in zwei Dimensionen für eine optische Navigation eines gescannten riginals erzeugen. Das Array weist die Fähigkeit des Ladens und Speicherns eines Referenzbildes und eines Vergleichsbildes in der analogen Domain auf. Ferner kann eine Kreuzkorrelation mit sehr wenig Strom und einer hohen Geschwindigkeit erreicht werden.
Durch ein Anwenden des bevorzugten Verfahrens in der Scannerbranche werden einem Scanner drei Bewegungsfreiheitsgrade gewährt. Falls das riginal planar ist, sind zwei der Freiheitsgrade translatorisch und in der Ebene des riginals zueinander senkrecht, während der dritte Freiheitsgrad um die Senkrechte zu der Ebene des riginals umlaufend ist. Die Genauigkeit eines Rotationsnachverfolgens kann durch die Verwendung von zwei Navigationsarrays verstärkt werden, wobei sich die Arrays an gegenüberliegenden Enden des Bildsensors befinden.
Nachfolgend wird unter Bezugnahme auf die beiliegenden Zeichnungen lediglich beispielhaft ein Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Es zeigen:
1 eine perspektivische Ansicht einer in der Hand zu haltenden Scanvorrichtung, die einem mäanderartig verlaufenden Weg auf einem riginal folgt;
2 eine rückwärtige Ansicht von Bilderfassungs- und Navigationssensoren der Scanvorrichtung der 1;
3 ein Blockdiagramm eines bevorzugten Ausführungsbeispiels eines Photoempfängerarrays und einer Verarbeitungsschaltungsanordnung;
4 ein Blockdiagramm eines Arrays aus Photoelementen und Transferverstärkern der Verarbeitungsschaltungsanordnung der 3;
5 eine Betriebsansicht eines Ausführungsbeispiels der Navigationsverarbeitung der Scanvorrichtung der 1;
6 eine schematische Ansicht von ausgewählten Schritten der 5; und
7 ein Ausführungsbeispiel einer Rechenzelle des Rechenarrays der 3.
Unter Bezugnahme auf 1 ist eine tragbare, in der Hand zu haltende Scanvorrichtung 10 gezeigt, wie sie einem mäanderartig verlaufenden Weg 12 entlang eines riginals 14 gefolgt ist. Das riginal kann ein Stück Papier sein, die Erfindung kann jedoch auch mit anderen bildtragenden riginalen verwendet werden. Im Gebrauch der in der Hand zu haltenden Scanvorrichtung können die Positionen von inhärenten strukturellen Merkmalen, beispielsweise Papierfasern, nachverfolgt werden, und die sich ergebenden positionsbezogenen Informationen können verwendet werden, um Bilddaten zu berichtigen. Jedoch kann das System auch bei anderen Anwendungen, einschließlich der Herstellung integrierter Schaltungen, verwendet werden.
Die Scanvorrichtung 10 ist vorzugsweise in sich geschlossen und batteriebetrieben. Jedoch kann die Vorrichtung eine Verbindung mit einer externen Leistungsquelle oder mit Datentoren von Computern oder Netzwerken umfassen. Die Scanvorrichtung umfaßt eine Bildanzeige 16. Die Anzeige kann ein fast unmittelbares Betrachten eines aufgenommenen Bildes liefern. Die Anzeige ist nicht kritisch.
Die Scanvorrichtung 10 ermöglicht drei Freiheitsgrade, wobei sich zwei auf eine Translation und eine auf eine Drehung beziehen. Wie in 1 gezeigt ist, ist der erste Grad die Seite-An-Seite-Bewegung (X-Achse-Bewegung) entlang desriginals 14. Der zweite Freiheitsgrad ist eine Bewe gung nach oben und nach unten entlang dem riginal (Y-Achse-Bewegung). Der dritte Freiheitsgrad ist die Fähigkeit, die Vorrichtung mit einer rotationsmäßigen Fehlausrichtung eines linearen Arrays aus Bildsensorelementen relativ zu der Kante des riginals 14 (P-Fehlausrichtung infolge einer Z-Achse-Bewegung) zu betreiben. Das heißt, daß es nicht notwendig ist, das lineare Array aus Bilderfassungselementen senkrecht zu der Richtung der Vorrichtungstranslation beizubehalten.
Unter Bezugnahme auf 1 und 2 umfaßt die Unterseite 18 der Scanvorrichtung 10 ein Schwenkbauglied 20, das dazu beiträgt, einen ordnungsgemäßen Kontakt zwischen dem riginal 14 und einem Bilderfassungssensor 22 aufrechtzuerhalten. Navigationssensoren 24 und 26 sind an den gegenüberliegenden Enden des Bilderfassungssensors angeordnet. Da die Navigationssensoren an dem Schwenkbauglied angebracht sind, befinden sich die Navigationssensoren in einer feststehenden Position relativ zu dem Bilderfassungssensor.
Aus Gründen der physischen Kompaktheit ist der Bilderfassungssensor 22 vorzugsweise eine Kontaktbildvorrichtung, jedoch können für Anwendungen, bei denen Kompaktheit ein geringeres Anliegen ist oder bei denen ein kleineres Bild erwünscht ist, Sensoren, die eine Projektionsoptik einsetzen, verwendet werden, mit einer Vergrößerung von weniger als Eins. Kontaktbilderfassungsvorrichtungen verwenden in der Regel Linsen, die unter dem Markenzeichen SELFC verkauft werden, das ein nationsweit eingetragenes Markenzeichen von Nippon Sheet Glass Company Limited ist. In weniger herkömmlichen Fällen kann ein Kontaktbilderfassen unter Verwendung verschachtelter Arrayelemente von Quellen und proximalen Sensoren ohne Bilderfassungslinsen erhalten werden. Es können herkömmliche Bilderfassungssensoren für Scananwendungen verwendet werden. Der Bilderfassungssensor kann Teil einer Einheit sein, die ferner eine Beleuchtungsquelle, eine Beleuchtungsoptik und eine Bildübertragungsoptik umfaßt.
Bei 1 ist der mäanderartig verlaufende Weg 12 mit vier und einer Bruchzahl von Bändern, d. h. Seite-An-Seite-Durchläufen über das riginal 14, gezeigt. Ein für die meisten Anwendungen nützlicher Bilderfassungssensor 22 weist eine Länge im Bereich zwischen 25 mm und 100 mm auf. Die Bänder sollten Überlappungsregionen umfassen, so daß ein Schaltprozeß verwendet werden kann, um eine getreue Darstellung des gescannten riginals zu erzeugen.
NAVIGATINSSENSREN
Die Scanvorrichtung 10 umfaßt zumindest einen Navigationssensor 24 oder 26. Bei dem bevorzugten Ausführungsbeispiel umfaßt die Vorrichtung ein Paar von Navigationssensoren, wobei sich die Sensoren an gegenüberliegenden Enden des Bilderfassungssensors 22 befinden. Die Navigationssensoren 24 und 26 werden verwendet, um eine Bewegung der Scanvorrichtung 10 relativ zu dem riginal nachzuverfolgen.
Jeder Navigationssensor ist ein Array aus Photoelementen, das auf einem Integrierte-Schaltung-Substrat gebildet ist, das eine Auslese- und Signalverarbeitungsschaltungsanordnung umfaßt. Die über den Bereich eines Pixelabstands von 40 μm notwenige Positionsgenauigkeit beträgt 2,0 μm. Die sehr hohe positionsmäßige Genauigkeit erfordert einzelne Photoelemente, die eine Länge von nicht mehr als Zehntel Mikrometer aufweisen, um von Element zu Element ausreichend unterschiedliche Signale zu gewinnen. Bei dem bevorzugten Ausführungsbeispiel beträgt die auf dem Papieroriginal 14 gewünschte Pixelgröße 40 μm, und durch die Bilderzeugungsoptik wird eine Vergrößerung von 1,5 erreicht, so daß die Photorezeptorelemente der Navigationssensoren 24 und 26 60 μm × 60 μm betragen.
3 ist ein Blockdiagramm einer Schaltungsanordnung, die vorzugsweise in einem einzelnen Integrierte-Schaltung-Chip gebildet werden soll. Der Chip ist ein Analogsignalverarbeitungschip, der entworfen ist, um zweidimensionale Bilder zu gewinnen und zu verarbeiten, wobei Kreuzkorrelationsinformationen an eine externe Steuerung, nicht gezeigt, geliefert werden. Bei dem oben beschriebenen Ausführungsbeispiel verwendet die Steuerung die Bildkreuzkorrelationswerte, um X-Y-Positionsinformationen abzuleiten. Die X-Y-Positionsinformationen werden dann verwendet, um ein lineares Bild aus den unter Verwendung des Bilderfassungssensors 22 in 2 gewonnenen Bilddaten genau zu rekonstruieren.
Bei dem Ausführungsbeispiel der 3 ist der Navigationssensor 24 ein Array, das zweiunddreißig Reihen und achtundsechzig Spalten von Photoelementen aufweist. Ein Array aus achtundsechzig Spalten-Transferverstärkern 17 transferiert Signale Reihe um Reihe von dem Navigationssensor 24 an ein Array aus vierundsechzig Gleichsignal-Entfernungsschaltungen 19. Bei einem kostengünstigen Bildaufnahmesystem ist es schwierig, eine Zielfläche mit einer ganz und gar gleichmäßigen Lichtintensität über die gesamte abzubildende Fläche zu beleuchten. Die Fähigkeit, eine gleichmäßige Beleuchtung zu liefern, ist oft proportional zu den Kosten der ptikeinrichtung und der Lichtquelle. Überdies treten in der Abwesenheit einer Zelle-Um-Zelle-Kalibrierung eines herkömmlichen integrierten Lichtsensors infolge von Einschränkungen einer Integrierte-Schaltung-Verarbeitungstechnologie gewisse Empfindlichkeitsschwankungen auf. Bei dem Navigationssystem zur Verwendung mit dem Analogsignalverarbeitungschip der 3 ist es erforderlich, daß Kreuzkorrelationen zwischen einem einfallenden Bild und einem Bild, das zuvor an einer relativ zu einem Bilderfassungsarray anderen Stelle aufgenommen wurde, berechnet werden. Etwaige Schwankungen der Beleuchtung und der Photoelementempfindlichkeit verschlechtern das Korrelationssignal. Folglich wurden die räumlichen Gleichsignal-Entfernungsschaltungen 19 der 3 entworfen, um die Integrität der Korrelationssignale aufrechtzuerhalten, während die Kosten des Systems relativ niedrig gehalten werden. Änderungen einer niedrigen Raumfrequenz in Bezug auf die Beleuchtung und Photoelementempfindlichkeit, die das Korrelationssignal ansonsten verfälschen würden, werden aus dem Navigationsbild entfernt. Ein Rechenarray 21 empfängt Daten von den Gleichsignal-Entfernungsschaltungen 19 und führt Berechnungen an den Daten durch, bevor es eine Korrelationsausgabe 23 an die chipexterne Steuerung transferiert. Ebenfalls in 3 gezeigt ist eine Quelle 25 einer Steuerlogik für die verschiedenen Komponenten des Chip.
Ein Verständnis der Funktionsweise der Gleichsignal-Entfernungsschaltungen 19 ist für ein vollkommenes Verständnis der Funktionsweise des Rechenarrays 21 nicht kritisch und wird daher nicht ausführlich beschrieben. Es ist jedoch nützlich, die grundlegende Funktionsweise der Spaltentransferverstärker 17 zu verstehen.
SPALTENTRANSFERS VN PHTELEMENTSIGNALEN
Unter Bezugnahme auf 4 sind fünf Spalten 28, 30, 32, 34 und 36 der achtundsechzig Spalten von Photoelementen gezeigt. Für jede der Spalten sind sechs der zweiunddreißig Reihen 38, 40, 42, 44, 46 und 48 dargestellt. Jede Spalte ist einem separaten Transferverstärker 50, 52, 54, 56 und 58 wirksam zugeordnet. Ein Photoelement in einer Spalte wird durch Schließen eines Leseschalters 60 mit dem wirksam zugeordneten Transferverstärker verbunden. Bei dem Betrieb der Schaltungsanordnung der 4 sind keine zwei Photoelemente gleichzeitig mit demselben Transferverstärker verbunden.
Jeder Transferverstärker 50–58 arbeitet als Integrator und umfaßt einen Eingang 62, der mit einer Quelle einer feststehenden Spannung verbunden ist. Ein zweiter Eingang 64 ist durch einen Transferkondensator 68 kapazitiv mit dem Ausgang 66 des Transferverstärkers verbunden.
Bei dem Betrieb der Schaltung der 4 können die Leseschalter der ersten Reihe 38 von Photoelementen geschlossen sein, so daß jeder Transferkondensator 68 eine Ladung empfängt, die der Lichtenergie entspricht, die an dem zugeordneten Photoelement in der ersten Reihe empfangen wird. Die empfangene Ladung wird über die Ausgangsleitungen 66 an eine nachfolgende Verarbeitungsschaltungsanordnung transferiert. Die Ablesung einer einzelnen Reihe liegt schätzungsweise zwischen 200 ns und 300 ns. Anschließend an die Ablesung der ersten Reihe werden die Leseschalter der ersten Reihe geöffnet, und die Transferverstärker werden zurückgesetzt. Die Leseschalter der zweiten Reihe 40 werden anschließend geschlossen, um die Signale von den Photoelementen der zweiten Reihe zu transferieren. Der Prozeß wird wiederholt, bis jede Reihe von Photoelementen gelesen ist.
Durch den Betrieb der Transferverstärker 50–58 der 4 werden Photoelementsignale Reihe um Reihe an eine nachfolgende Schaltungsanordnung transferiert. Die Gleichsignal-Entfernungsschaltungen 19 der 3 setzen das parallele Verarbeiten von Photoelementsignalen fort, wie es durch die Spaltentransferverstärker eingerichtet ist. Die Gleichsignal-Entfernungsschaltungen geben vierundsechzig Signale aus und sind für eine Lichtenergie, die an dem Navigationssensor 24 empfangen wird, repräsentativ. Bei dem Ausführungsbeispiel der 3 besteht ein Rahmen von Signalen aus Pixelwerten an dem Rechenarray, wobei die Pixelwerte durch zweiunddreißig Transfers von vierundsechzig Signalen von den Gleichsignal-Entfernungsschaltungen gewonnen werden.
NAVIGATINSVERARBEITUNG
5 veranschaulicht die Schritte zum Durchführen der Erfindung zum Nachverfolgen einer relativen Bewegung zwischen einer Vorrichtung und einer interessierenden Region.
Während die Erfindung unter Bezugnahme auf ein Verarbeiten von Photoelementsignalen beschrieben wird, die Bilder von inhärenten strukturellen Merkmalen, beispielsweise Papierfasern eines Blatt Papiers, angeben, ist das Verfahren nicht auf eine bestimmte Anwendung beschränkt.
Die Schritte der 5 werden durchgeführt, um aufeinanderfolgende Rahmen von Navigationsinformationen zu korrelieren. Tatsächlich vergleichen die Korrelationen die Positionen von abgebildeten Merkmalen in aufeinanderfolgenden Rahmen, um Informationen zu liefern, die auf die Position des Navigationssensors zu einem bestimmten Zeitpunkt bezogen sind. Bei der Anwendung des Prozesses auf Scanner wird die Erfassung von Korrelationen anschließend verwendet, um Bilddaten, die durch den Bilderfassungssensor 22 erzeugt werden, so zu verarbeiten, daß sie das riginal genau repräsentieren.
Bei einem ersten Schritt 70 wird ein Referenzrahmen von Signalen gewonnen. Der Referenzrahmen kann als eine Startposition angesehen werden. Die Position eines Navigationssensors relativ zu einer abgebildeten Region zu einem späteren Zeitpunkt kann durch ein Gewinnen 72 eines Musterrahmens von Signalen von dem Navigationssensor zu dem späteren Zeitpunkt und ein anschließendes Berechnen von Korrelationswerten 74 in Bezug auf den Referenzrahmen und den später gewonnenen Musterrahmen bestimmt werden.
Ein Gewinnen des anfänglichen Referenzrahmens 70 kann auf eine Initiierung des Bilderfassungsprozesses hin stattfinden. Beispielsweise kann die Gewinnung alleine dadurch ausgelöst werden, daß die Scanvorrichtung mit dem riginal in Kontakt gebracht wird. Alternativ dazu kann die Scanvorrichtung eine Starttaste umfassen, die den Bilderfassungsprozeß und den Navigationsprozeß initiiert.
Während das Navigationsverarbeiten rechentechnisch durchgeführt wird, können die Konzepte dieses Ausführungsbeispiels unter Bezugnahme auf die konzeptionelle Ansicht der 6 beschrieben werden. Ein Referenzrahmen 76 von 7 × 7 Pixeln weist in der Figur ein Bild eines T-förmigen inhärenten strukturellen Merkmals 78 auf. Zu einem späteren Zeitpunkt (dt) gewinnt ein Navigationssensor einen Musterrahmen 80, der bezüglich des Rahmens 76 verlagert ist, der jedoch im wesentlichen dieselben inhärenten strukturellen Merkmale zeigt. Die Dauer dt ist vorzugsweise derart eingestellt, daß die relative Verlagerung des T-förmigen Merkmals 78 weniger als ein Pixel des Navigationssensors bei der Translationsgeschwindigkeit der Scanvorrichtung beträgt. Diese relative Verlagerung wird hierin als „Mikroschritt" bezeichnet.
Falls sich die Scanvorrichtung während des Zeitraums zwischen dem Gewinnen des Referenzrahmens 76 von Signalen und dem Gewinnen des Musterrahmens 80 von Signalen bewegt hat, wird das T-förmige Merkmal verschoben. Während dt bei dem bevorzugten Ausführungsbeispiel weniger als die Zeit ist, die eine Ganzes-Pixel-Bewegung ermöglicht, zeigt die konzeptionelle Darstellung der 6, daß sich das Merkmal 78 um ein ganzes Pixel nach oben und nach rechts verschoben hat. Diese Ganzes-Pixel-Verschiebung wird lediglich angenommen, um die Darstellung zu vereinfachen.
Ein Bauglied 82 in 6 stellt sequentielle Verschiebungen eines Pixelwerts eines bestimmen Pixels in dem 7 × 7-Array des Rahmens 80 dar. Die sequentiellen Verschiebungen sind individuelle Versätze in die acht Nächster-Nachbar-Pixel. Das heißt, daß Schritt „0" keine Verschiebung umfaßt, Schritt „1" eine diagonale Verschiebung nach oben und links ist, Schritt „2" eine Verschiebung nach oben ist, usw. Die Verschiebungen werden für alle Pixel des Musterrahmens 80 gleichzeitig durchgeführt. Auf diese Weise können die neun pixelverschobenen Rahmen mit dem Referenzrahmen 76 kombiniert werden, um das Array 84 aus Positionsrahmen zu erzeugen. Der als „Position 0" bezeichnete Positionsrahmen umfaßt keine Verschiebung, so daß das Ergebnis lediglich eine Kombination der Rahmen 76 und 80 ist. Die „Position 7" weist die minimale Anzahl an schattierten Pixeln auf und ist somit der Rahmen mit der höchsten Korrelation. Auf der Basis der Korrelationsergebnisse wird bestimmt, daß die Position des T-förmigen Merkmals 78 in dem Musterrahmen 80 eine diagonale Verschiebung nach rechts und nach oben relativ zu der Position desselben Merkmals bei dem zu einem früheren Zeitpunkt gewonnenen Referenzrahmen 76 ist, was bedeutet, daß sich die Scanvorrichtung während der Zeit dt nach links und nach unten bewegt hat.
Während auch andere Korrelationsansätze verwendet werden können, ist ein akzeptabler Ansatz eine Korrelation der „Summe der quadrierten Differenzen". Für das Ausführungsbeispiel der 6 liegen neun Korrelationskoeffizienten (C_k = C₀, C₁,..., C₈) vor, die aus den neun Versätzen bei dem Bauglied 82 gebildet sind. Eine andere ption bezieht sich auf das Verschieben des Musterrahmens 80, da die Korrelation durch ein Versetzen des Referenzrahmens 76 und des Unverschobenlassens des Musterrahmens gleichermaßen gut funktioniert.
Korrelationen werden verwendet, um die Positionen von identischen Merkmalen 78 in aufeinanderfolgenden Rahmen 76 und 80 zu finden, um die Verlagerungen der Merkmale von Rahmen zu Rahmen zu ermitteln. Ein Summieren oder Integrieren dieser Verlagerungen ermittelt die Verlagerungen des Bilderfassungssensors, während eine Scanprozedur fortschreitet.
Wie zuvor erwähnt wurde, werden die Rahmen-Zu-Rahmen-Korrelationen als „Mikroschritte" bezeichnet, da Rahmengewinnungsraten ausreichend hoch gewählt werden, um zu gewährleisten, daß die Verlagerungen nicht die Abmessung eines einzelnen Pixels übersteigen. Unter Bezugnahme auf 5 wird anschließend an jede Berechnung der Korrelationswerte bei Schritt 74 eine Bestimmung 86 durchgeführt, ob der Referenzrahmen vor einer nachfolgenden Korrelationsver arbeitung ersetzt werden soll. Falls bestimmt wird, daß der Referenzrahmen nicht ersetzt werden soll, wird bei Schritt 88 eine Bestimmung durchgeführt, ob die Signale, d. h. die Pixelwerte, des Referenzrahmens translatiert werden sollen. Falls das T-förmige Merkmal 78 der 6 von der Gewinnung des Referenzrahmens 76 bis zu der Gewinnung des Musterrahmens 80 um einen vollen Pixelwert verlagert wurde, können die Pixelwerte des Referenzrahmens 76 nach oben und nach rechts verschoben werden, um einen translatierten Referenzrahmen zu bilden. Dies ist bei Schritt 90 in 5 gezeigt. Der verschobene Referenzrahmen kann dann mit einem bei Schritt 72 gewonnenen neuen Musterrahmen verglichen werden. Die Entscheidung, die Pixelwerte nicht zu translatieren, wird getroffen, wenn das abgebildete Merkmal eine relative Verlagerung lediglich eines kleinen Abschnitts der Pixelentfernung durchlaufen hat.
Wenn, unter erneuter Bezugnahme auf Schritt 86, die Bestimmung getroffen wird, den Referenzrahmen zu ersetzen, wird der Musterreferenzrahmen 80 in 6 zu dem neuen Referenzrahmen, wie bei Schritt 92 in 5 gezeigt ist. Bei Schritt 72 wird dann ein neuer Musterrahmen gewonnen, und der Prozeß setzt sich fort. Während der Prozeß ein hohes Maß einer Korrelationsübereinstimmung liefert, akkumulieren etwaige trotzdem auftretende Fehler, falls der Referenzrahmen nicht periodisch ersetzt wird, sondern statt dessen bei Schritt 90 periodisch verschoben wird. Um der Wachstumsrate dieses „Zufällige-Bewegung"-Fehlers eine Beschränkung aufzuerlegen, wird bei Schritt 92 ein neuer Referenzrahmen gewonnen. Lediglich beispielhaft kann der Referenzrahmen systematisch ersetzt werden, bevor eine etwaige fünfte Verschiebung bei Schritt 90 stattfinden kann.
Auf der Basis der Nachverfolgung einer Bewegung der abgebildeten Merkmale kann die relative Bewegung zwischen dem Photoempfängerarray und der abgebildeten Region nachverfolgt werden. Bei der Anwendung des Systems auf eine Scanvorrichtung 10, wie sie in 1 und 2 gezeigt ist, können diese Navigationsinformationen dann verwendet werden, um die Bildinformationen von dem Bilderfassungssensor 22 anzuordnen, um eine treue Darstellung des Bildes des riginals zu liefern. Bei einer Form des Anordnens der Bildinformationen können die Navigationsinformationen verwendet werden, um die Bildinformationen mit einer Positionsmarkierung zu versehen.
RECHENZELLE
7 ist ein schematisches Diagramm einer einzelnen Zelle in dem Rechenarray 21 der 3. Fachleute werden jedoch verstehen, daß auch andere Schaltungen verwendet werden können, um die unter Bezugnahme auf 5 und 6 beschriebenen Prozeßschritte durchzuführen.
Bilddaten WDATEN(i) sind repräsentativ für eine Lichtenergie von einem bestimmten Photoelement, das bei einer Leitung 96 in die Rechenzelle 94 geladen wird, wobei ein ladungskompensierter Transistorschalter 98 der Steuerung eines WR(j)-Signals unterliegt. Nachdem das WR(j)-Signal deaktiviert ist, werden die neuen Daten an dem Kondensator 100 gehalten und durch einen Verstärker 102 gepuffert. Die Rechenzelle ist eine Datenzelle in einem zweidimensionalen Array aus Zellen. Unter kurzer Bezugnahme auf 6 kann die Zelle verwendet werden, um Pixelwerte zu speichern und um die Pixelwerte um ein einziges Pixel in dem 7 × 7-Array, das die Rahmen 76 und 80 umfaßt, zu verschieben. Der CDA-TEN-Knoten 104 der 7 ist ein CDATEN-Knoten in dem Rechenarray, der eine gleichzeitige Signalverarbeitung aller Pixel eines Rahmens von Signalen erlaubt. Anfänglich bildet das Array aus CDATEN-Knoten kollektiv das Vergleichsbild bzw. den „Referenzrahmen". Wie nachfolgend erläutert wird, bilden die CDATEN-Knoten anschließend den Musterrahmen. Ein Steuereingang CDUT 106 wählt Signal-CDATEN, Vergleichsdaten aus oder wählt REFUT für den Nächster-Nachbar-Ausgangsknoten NN(0) 108 aus.
Die Nächster-Nachbar-Eingänge NN(0)-NN(8) 108, 112, 114, 116, 118, 120, 122, 124 und 126 werden mittels Schaltsteuersignalen S(0)-S (8) auf Leitungen 128 separat ausgewählt. Die NN(0)-NN(8)-Eingänge 108–126 sind die Ausgänge der Nächster-Nachbar-Zellen gemäß der Pixelabbildung 82 der 6. Folglich ist der Knoten 108 sowohl als ein Ausgang, der für eine Verbindung mit Nächster-Nachbar-Zellen aufgefächert ist, als auch als ein Eingang für die Zelle 94 gezeigt. Die Schaltsteuersignale werden durch einen nicht gezeigten 4–9-Codierer erzeugt, der sich außerhalb des Rechenarrays befindet. Die 4-Bit-Eingabe in den Codierer wird als die Nächster-Nachbar-Adresse bezeichnet und weist binäre Werte von 0000(0) bis 1000(8) auf.
Der Nächster-Nachbar-Eingangsknoten (NNINPUT-Knoten) 130 wird durch ein Pulsieren von REFLD 132 abgetastet, wodurch der NNINPUT an einem Knoten REFH 134 gespeichert wird. Desgleichen können REFDATEN 136 durch ein Pulsieren von REFSFT 140 abgetastet und an REFSH 138 gehalten werden.
Zum Testen kann RWTSTB 142 aktiviert werden, was es dem NN(0)-Signal ermöglicht, sich zu dem TEST-Ausgang 144 auszubreiten. Die TEST-Signale von jeder Zelle in einer Reihe von Zellen sind mit gemeinsamen vertikalen Bussen in jeder Spalte des Rechenarrays verbunden und werden am unteren Ende des Arrays multiplexiert und von dem Chip weggetrieben. Ein Standardreihendecodierer entlang der linken Kante des Arrays ermöglicht eine Auswahl einer bestimmten Reihe zum Test. Das Testmerkmal ist für das System jedoch nicht kritisch.
Jede Rechenzelle 94 in dem Array aus Zellen weist eine Schaltung 146 auf, die die in 5 unter Bezugnahme auf Schritt 74 identifizierten Korrelationswerte bestimmt. Ein erster Eingang 148 empfängt die Referenzdaten von dem REFDATEN-Knoten 136. Ein zweiter Eingang 150 liefert den durch das geeignete Schaltsteuersignal bei Leitungen 128 ausgewählten Nächster-Nachbar-Eingang NNINPUT. Der Ausgang 152 der Korrelationszelle ist ein Strom. Alle Korrelationsausgänge in dem Rechenarray werden in einem einzelnen chipexternen Summierungswiderstand einer Nachverfolgungsschaltung 154 zusammenaddiert. Die Spannung, die sich über den Summierungswiderstand entwickelt, wird in 5 als die Korrelationswerte bezeichnet.
Bei dem Ausführungsbeispiel der 7 beruht die Schaltung 146 auf einer Quadrierte-Differenz-Berechnung. Die Zelle 94 kann modifiziert werden, um produktbasierte Korrelationen zu liefern, ohne die grundlegende Architektur des Arrays zu modifizieren. Steuereingänge S(0)-S(8), REFLD, REFSFT und CDUT sind für das gesamte Array gleich.
Es ist wichtig, die Beziehung zwischen der in 6 durch 82 dargestellten Nächster-Nachbar-Abbildung für eine einzelne Zelle und für das Array als Ganzes zu verstehen. Die Position 0 eines Bildes bezieht sich auf die derzeitige Position des Bildes. Wenn auf die Bewegung eines Bildes von der Position 0 zu einer Position 1 Bezug genommen wird, lautet die Darstellung, daß die Bildsignale in allen Zellen des Arrays zu der Nachbarzelle, die sich zur Linken und oben befindet, bewegt werden. Das heißt, daß die Bewegung für eine einzelne Zelle in dem Rechenarray relevant ist und für jede Zelle in dem Array relevant ist.
Die Rechenarrayfunktionalität kann am besten anhand von vier grundlegenden perationen beschrieben werden: Bildgewinnung, Referenzbildladung, Korrelationsberechnung und Referenzbildtranslation. Die Bildgewinnung bezieht sich auf das Laden neuer Bildsignale über die WDATA-Leitung 96 jeder Rechenzelle 94. Bei der bevorzugten Implementierung wird alle 40 Ts ein neuer Rahmen von Signalen, d. h. Pixelwerten, über die Spaltentransferverstärker und die Gleichstromentfernungsverstärker von dem Photoelementarray gewonnen.
Der Prozeß des Ladens eines neuen Bildes wird als „Rahmentransfer" bezeichnet. Es dauert ungefähr 10 Ts, einen Rahmentransfer zu vollenden. Die Rahmentransfersteuerschaltung aktiviert ein Signal FTB, nicht gezeigt, während eines Rahmentransfers. Die unten beschriebenen perationen des Rechenarrays werden durch ein Beobachten und Synchronisieren mit dem FTB-Signal mit dem Rahmentransferprozeß koordiniert. Die Gültigkeit eines neuen Vergleichsbildes wird durch die abfallende Flanke des FTB-Signals signalisiert. Die nachfolgend beschriebenen perationen sind nur dann angebracht, wenn FTB nicht aktiviert ist.
Bevor Bildkorrelationen berechnet werden können, ist ein Laden eines Referenzrahmens von Pixelwerten erforderlich. Um den Referenzrahmen zu laden, müssen alle Signale an den CDATEN-Knoten 104 in dem Rechenarray zu den REFH-Knoten 134 transferiert werden. Dies wird dadurch bewerkstelligt, daß CDUT 106 und S(0) auf Hoch eingestellt werden und das REFLD-Signal auf der Leitung 132 pulsiert wird. Der Referenzrahmen kann auch von einer anderen Nächster-Nachbar-Position geladen werden, indem statt S(0) eines der S(1)-S(8)-Eingangssignale aktiviert wird. Ein Verstärker 156 puffert den REFH-Knoten 134 von den REFDATEN-Knoten 136. Das zweidimensionale Array aus REFDATEN-Knoten 136 in dem Rechenarray wird anschließend kollektiv als der Referenzrahmen bezeichnet.
Nachdem ein Referenzrahmen geladen wurde, ist das Rechenarray bereit, Korrelationen zu berechnen. Korrelationen zwischen dem Referenzrahmen von Pixelwerten und dem nachfolgenden Musterrahmen werden berechnet, indem die Nächster-Nachbar-Adresse auf den gewünschten Wert eingestellt wird und die sich ergebende Spannung, die sich über den Summierungswiderstand der Verlagerungsnachverfolgungsschaltung 154 entwickelt, aufgezeichnet wird. Wenn sich das Photoempfängerarray um eine Entfernung eines einzigen Pixels von der Position, an der der Referenzrahmen gewonnen wurde, wegbewegt hat, wird an einer der Nächster-Nachbar- Positionen eine starke Korrelation erfaßt, da dort ein minimaler Pegel eines Ausgangsstroms vorliegt. Bei 6 wird die Korrelation als an einer PSITIN 7 in dem Array 84 befindlich erfaßt. Bewegungen von Teilpixeln können bestimmt werden, indem von mehreren Stromausgabeablesungen in einem zweidimensionalen Korrelationsraum interpoliert wird.
Es sollte erwähnt werden, daß Korrelationen zwischen dem Referenzrahmen und sich selbst berechnet werden können, indem CDUT 106 auf Niedrig eingestellt wird und REFSFT 140 pulsiert wird. Dies bewirkt, daß die Nächster-Nachbar-Eingänge von dem Referenzrahmen und nicht von dem Musterrahmen kommen.
5 bezog sich auf den Schritt 90 des Verschiebens des Referenzrahmens. Die Navigationsgenauigkeit kann verbessert werden, falls ein einziger Referenzrahmen für mehrere Pixelbewegungen des Photoempfängerarrays relativ zu der abgebildeten interessierenden Region verwendet werden kann. Aufgrund von Einschränkungen der Verfügbarkeit eines Leitwegbereichs in dem Rechenarray ist es unpraktisch, eine Verbindbarkeit zwischen Zellen mit anderen Zellen als Nächster-Nachbar-Rechenzellen bereitzustellen. Eine Verwendung desselben Referenzrahmens für mehrere Pixelbewegungen erfordert jedoch die Fähigkeit, über die Nächster-Nachbar-Zellen „hinauszureichen". Dieses Problem wird mit der Referenzrahmenverschiebung bei Schritt 90 gelöst.
Auf eine Erfassung, daß die relative Bewegung zwischen dem Navigationssensor und der interessierenden abgebildeten Region eine Entfernung eines Pixels beträgt oder übersteigt, wird der Referenzrahmen zu der neuen Position in dem Rechenarray verschoben. Die Verschiebung zu der neuen Position fällt mit der erfaßten relativen Bewegung zusammen. Wenn sich der Referenzrahmen nun in der neuen Position befindet, werden Nächster-Nachbar-Korrelationen zu Korrelationen zwischen dem translatierten Referenzrahmen und einem neu gewonnenen Musterrahmen. Durch ein Translatieren der Pixelwerte des Referenzrahmens zu neuen Positionen wird eine Verbindbarkeit zwischen Zellen auf einem Minimum gehalten, ohne die Navigationsgenauigkeit zu beeinträchtigen.
Die Translation des Referenzrahmens, der bei Schritt 90 in 5 identifiziert wird, wird unter den einzelnen Rechenzellen des Rechenarrays bewerkstelligt. Unter Bezugnahme auf die Rechenzelle 94 der 7 besteht ein erster Schritt darin, REFSFT 140 Hoch zu pulsieren, um das REFDA-TEN-Signal 136 bei REFSH 138 abzutasten und zu halten. Ein dritter Pufferverstärker 158 treibt REFUT 160 mit dem REFSH-Signal. CDUT 106 wird Niedrig getrieben, was ermöglicht, daß REFUT 160 an dem NN(0)-Knoten 108 aus der Rechenzelle 94 ausgeben wird.
Anschließend wird die Nächster-Nachbar-Adresse eingestellt, um das geeignete S(0)-S(8)-Eingangssignal von den Schaltsteuersignalleitungen 128 auszuwählen. Falls beispielsweise erfaßt wird, daß sich das T-förmige Merkmal 78 in 6 von dem Zeitpunkt, zu dem der Referenzrahmen 76 gewonnen wird, bis zu dem Zeitpunkt, zu dem Musterrahmen 80 gewonnen wird, nach rechts und nach oben bewegt hat, müssen die Pixelwerte, die den Referenzrahmen umfassen, von Zelle zu Zelle nach rechts und nach oben verschoben werden. Da die S(0)-S(8)-Signale die Adresse des Zelleingangs NNINPUT 130 schalten, muß S(7) Hoch getrieben werden, um eine Bewegung des Pixelwerts von der Position 7 von 82 in 6 zu der Position 0 zu ermöglichen. Dies findet in jeder Rechenzelle des Rechenarrays statt. Nachdem sich REFUT 160 auf den NNINPUT 130 der entsprechenden Nachbarzelle eingestellt hat, wird REFLD 132 Hoch pulsiert, um die translatierten Referenzwerte bei REFH 134 abzutasten und zu halten. Nachdem diese peration in jeder der Rechenzellen des Arrays stattgefunden hat, ist das Rechenarray wieder bereit, Korrelationen zu berechnen.

Claims

Ein Verfahren zum Nachverfolgen einer relativen Bewegung zwischen einer Vorrichtung (10) und einer interessierenden Region (14), wobei das Verfahren folgende Schritte umfaßt: Befestigen eines zweidimensionalen Arrays (24) aus Photoelementen an der Vorrichtung, derart, daß jedes Photoelement eine Ausgabe erzeugt, die auf eine an dem Photoelement von der interessierenden Region empfangene Lichtenergie anspricht; Ableiten (70 und 72) von Rahmen von Signalen von den Ausgaben von dem Array aus Photoelementen zu bestimmten Zeitpunkten, derart, daß die Signale in jedem der Rahmen eine Entsprechung mit den Photoelementen in dem Array aufweisen, einschließlich eines Begrenzens einer Dauer zwischen einem Ableiten aufeinanderfolgender Rahmen auf eine Zeitspanne, in der die erwartete relative Bewegung geringer ist als eine Länge eines der Photoelemente, wobei der Schritt des Ableitens ein aufeinanderfolgendes Ableiten eines ersten Rahmens (76) der Signale zu einem ersten bestimmten Zeitpunkt und Ableiten eines zweiten Rahmens (80) der Signale zu einem zweiten bestimmten Zeitpunkt umfaßt; Befähigen von Korrelationssignale erzeugenden Schaltungen zum Korrelieren (74) der Signale des ersten Rahmens mit den Signalen des zweiten Rahmens, um eine relative Bewegung zwischen der Vorrichtung und der interessierenden Region zu bestimmen, einschließlich der folgenden Teilschritte: (a) Auswählen (82) von Signalen aus dem ersten Rahmen in einer verschobenen Beziehung (84) zu einem bestimmten Signal des zweiten Rahmens, derart, daß jedes der aus dem ersten Rahmen ausgewählten Signale von dem bestimmten Signal des zweiten Rahmens um einen Verschiebungsbetrag versetzt ist, wobei der Verschiebungsbetrag eine Entsprechung mit einer Verschiebung eines einzelnen Photoelements in dem Array aus Photoelementen aufweist, so daß die Signale aus dem ersten Rahmen denjenigen Photoelementen des Arrays entsprechen, die zu dem Photoelement, das dem bestimmten Signal des zweiten Rahmens entspricht, unmittelbar benachbart sind, (b) Erzeugen von Korrelationsausgaben (152), ansprechend auf Korrelationen zwischen den Signalen, die im Teilschritt (a) aus dem ersten Rahmen ausgewählt sind, und dem bestimmten Signal, einschließlich eines Erzeugens jeder der Korrelationsausgaben aus einer unterschiedlichen der ein Korrelationssignal erzeugenden Schaltung, wodurch eine Korrelationsausgabe für eine Mehrzahl von Verschiebungsrichtungen relativ zu dem Photoelement erzeugt wird, das dem bestimmten Signal des zweiten Rahmens entspricht, und (c) wiederholtes Ausführen der Teilschritte (a) und (b), um Korrelationsausgaben für jedes einer Mehrzahl der Signale aus dem zweiten Rahmen zu erzeugen; und auf der Basis der in dem Korrelationsschritt erzeugten Korrelationsausgaben, Bestimmen (154) einer relativen Bewegung zwischen der Vorrichtung und der interessierenden Region zwischen dem ersten bestimmten Zeitpunkt und dem zweiten bestimmten Zeitpunkt.
Ein Verfahren gemäß Anspruch 1, bei dem der Teilschritt (c) des wiederholten Ausführens der Teilschritte (a) und (b) ein Auswählen (82) von acht Verschiebungsrichtungen relativ zu einer nicht verschobenen Position umfaßt, wodurch zumindest acht Korrelationsausgaben erzeugt (74) werden.
Ein Verfahren gemäß Anspruch 1 oder 2, bei dem der Schritt des Ableitens (70 und 74) der Rahmen (76 und 80) ein Schritt eines Aufnehmens von Rahmen von Pixelwerten ist, die eine zu den bestimmten Zeitpunkten an den Photoelementen empfangene Lichtenergie angeben.
Ein Verfahren gemäß Anspruch 3, bei dem der Schritt des Korrelierens (74) der Signale des ersten und des zweiten Rahmens ein wiederholtes Translatieren des aufgenommenen zweiten Rahmens (80) von Pixelwerten relativ zu dem aufgenommenen ersten Rahmen (76) von Pixelwerten umfaßt, wodurch eine Erzeugung (74) einer der Korrelationsausgaben für jede Translation ermöglicht wird.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, das die Schritte des Speicherns des ersten Rahmens (76) und des Korrelierens der Signale des gespeicherten ersten Rahmens bezüglich Signalen einer Mehrzahl von Rahmen (80), die nach dem ersten Rahmen abgeleitet wurden, umfaßt, wobei jeder der Teilschritte (a), (b) und (c) für jede Korrelation ausgeführt wird.
Ein Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem der Schritt des Befestigens des zweidimensionalen Arrays an der Vorrichtung ein Schritt des Befestigens eines Navigationssensorarrays (24) an einem Scanner (10) ist, der ein Bildarray (22) aus Photoelementen aufweist.
Eine Vorrichtung, die in der Lage ist, ihre Bewegung relativ zu einer interessierenden Region nachzuverfolgen, und die folgende Merkmale aufweist: einen Navigationssensor (24), der ein zweidimensionales Array aus Photoelementen aufweist, die auf einen Empfang einer Lichtenergie ansprechen; eine erste Schaltungseinrichtung (50, 52, 54, 56 und 58) zum Ableiten von Rahmen (76 und 80) von Signalen, wobei jedes Signal in einem Rahmen eine zu einem bestimmten Zeitpunkt an einem einzelnen Photoelement empfangene Lichtenergie angibt, und die wirksam ist, um die Signale auszugeben, wobei jedes der Signale einem Photoelement des Arrays entspricht; und eine mit der ersten Schaltungseinrichtung verbundene zweite Schaltungseinrichtung (94) zum Korrelieren eines ersten und eines zweiten Rahmens der aus der ersten Schaltungseinrichtung ausgegebenen Signale, um eine relative Bewegung zwischen der Vorrichtung und der interessierenden Region zu bestimmen, wobei die zweite Schaltungseinrichtung ein Array aus Korrelationssignale erzeugenden Schaltungen (146) in einer Eins-Zu-Eins-Entsprechung mit den Signalen umfaßt, wobei jede Korrelationssignale erzeugende Schaltung wirksam ist, um das einem einzelnen Photoelement des Arrays entsprechende Signal zu empfangen (148), und selektiv verbindbar ist, um die Signale, die anderen Photoelementen entsprechen, die zu dem einzelnen Photoelement in dem Array unmittelbar benachbart sind, zu empfangen (150), wobei jede Korrelationssignale erzeugende Schaltung wirksam ist, um eine Korrelationssignalausgabe (152) ansprechend auf das Signal, das dem einzelnen Photoelement entspricht, und auf die Signale, die den andere Photoelementen entsprechen, zu erzeugen.
Eine Vorrichtung gemäß Anspruch 7, die einen Bildsensor (22) in einer festen Beziehung zu dem Navigationssensor (24) aufweist, wobei der Bildsensor eine Mehrzahl von Photoelementen zum Bilden von Bildinformationen der interessierenden Region umfaßt.
Eine Vorrichtung gemäß Anspruch 8, die eine Einrichtung (154) zum positionsmäßigen Markieren der Bildinformationen auf der Basis der Ausgaben (152) von den Korrelationsausgabeschaltungen (146) aufweist.
Eine Vorrichtung gemäß Anspruch 7, 8 oder 9, bei der die Korrelationssignale erzeugenden Schaltungen (146) differenzquadrierte Schaltungen umfassen, die jeweils eine erste Eingabe (148) von dem einzelnen Photoelement des Arrays und eine zweite Eingabe (150), die mit den anderen Photoelementen sequentiell verbunden ist, umfassen.