WO2003088649A1 - Verfahren und vorrichtung zur fpn-korrektur von bildsignalwerten eines bildsensors - Google Patents

Verfahren und vorrichtung zur fpn-korrektur von bildsignalwerten eines bildsensors Download PDF

Info

Publication number
WO2003088649A1
WO2003088649A1 PCT/EP2003/003660 EP0303660W WO03088649A1 WO 2003088649 A1 WO2003088649 A1 WO 2003088649A1 EP 0303660 W EP0303660 W EP 0303660W WO 03088649 A1 WO03088649 A1 WO 03088649A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
values
correction
image signal
transfer function
Prior art date
Application number
PCT/EP2003/003660
Other languages
English (en)
French (fr)
Inventor
Bernd Hoefflinger
Markus Strobel
Original Assignee
Institut Für Mikroelektronik Stuttgart
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut Für Mikroelektronik Stuttgart filed Critical Institut Für Mikroelektronik Stuttgart
Priority to JP2003585425A priority Critical patent/JP4313215B2/ja
Priority to EP03722424A priority patent/EP1495634A1/de
Publication of WO2003088649A1 publication Critical patent/WO2003088649A1/de
Priority to US10/959,027 priority patent/US7224848B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response

Definitions

  • the present invention relates to a method for FPN correction of image signal values of an image sensor having a plurality of image cells, with the steps
  • correction values being added to the image signal values as analog quantities via a signal path with a defined transfer function.
  • the invention further relates to a device for FPN correction of image signals of an image sensor having a plurality of image cells, with a device for reading out the image signal values from the image cells, with a first memory for recording individual correction values and with an adder for analog addition of the individual correction values for the image signal values, the first memory and the adder being connected to a defined transfer function via a signal path.
  • Modern image sensors for taking pictures have a large number of individual picture cells (pixels) which are made up of light-sensitive electronic components. Depending on the incident light, the picture cells generate analog picture signal values which are converted into digital picture signal values in a subsequent processing stage using an A / D converter.
  • the digital image signal values of all image cells represent a digital image of the recorded scene, which can later be displayed on a monitor, a printer and the like.
  • a known problem with such image sensors is the so-called fixed pattern noise (fixed pattern noise, FPN). This refers to inhomogeneities in an actually homogeneous image, which are caused primarily by the manufacturing tolerances of the individual image cells.
  • FPN fixed pattern noise
  • a uniform (static) correction value was specified for all image cells of the image sensor. Then a homogeneous reference image was recorded with the image sensor. For example, a uniformly illuminated surface (known from so-called white balance in cameras) is suitable as a reference image. In this case, since the correction values of all picture cells are identical when this reference picture is taken, the picture signal values of the individual picture cells exactly reflect the fixed pattern noise.
  • an average over all image cells was formed from the recorded image signal values of the reference image. This mean value was then used as the uniform target image value for all image cells.
  • all correction values from the set of all possible correction values for all image cells were run through on a test basis. With correction values with a width of 8 bits, 256 loop runs per image cell were therefore required. As a suitable individual correction value, that correction value was selected for each image cell in which the associated image signal value came closest to the uniform target image value.
  • the method represents a simple possibility of finding suitable individual correction values with low demands on the determine the hardware used.
  • the fixed pattern noise can be considerably reduced with the correction values found in this way.
  • the object is achieved with a device of the type mentioned at the outset, in which a second memory and a correction value calculation unit are provided, the second memory being designed to provide parameters which are characteristic of the defined transfer function, and the correction value calculation unit being designed for this purpose is the to calculate individual correction values using the provided parameters.
  • the new method and the corresponding device are based on a calculation of the suitable correction values in the mathematical sense, whereas the correction values in the previous method were rather determined by a search process.
  • the new procedure makes it necessary to first determine, at least approximately, the transfer function, according to which the correction values are influenced when feeding into the correction value signal path. This measure is not necessary with the approach practiced so far.
  • the effort involved is compensated for by the achievable accuracy and speed of the new method. This applies in particular if the FPN correction is carried out repeatedly for an image sensor, for example in order to achieve an optimal adaptation to new environmental conditions.
  • the parameters that characterize the defined transfer function do not necessarily have to be determined again, so that the corresponding additional outlay is incurred only once.
  • the new method allows iterative application, so that negative influences due to inaccurate parameter determination and / or due to dynamic effects when setting the correction values can be reduced very successfully. This also enables an improvement in the correction quality to be achieved.
  • the speed with which the individual correction values are determined in the new method depends much less on the data width of the correction used. values. Increasing the data width to further improve the correction quality therefore results in a smaller increase in the duration of the procedure than in the previously pursued approach. If you assume a correction value width of 8 bits and do without iterative loop runs, the new method enables acceleration up to a factor of 256, because the individual correction values are due to the. analytical calculation can be determined directly.
  • At least two different correction values from a set are possibly used to determine the parameters. rather correction values are added with a constant image signal value and a corrected image signal value is recorded for each of these correction values.
  • the image signal value in complete darkness or with homogeneous lighting is preferably used as the constant image signal value.
  • the transfer function to which the individual correction values are subjected is measured to a certain extent.
  • Various correction values are set and then the result is recorded at the output for each of the set correction values.
  • the transfer function recorded in this way includes not only the path of the correction values to the adder, but also the subsequent signal path which is traversed together with the image signal values. As has been shown, however, this does not represent a disadvantage.
  • the functional relationships to which the correction values are subject during the intended signal processing can be determined very easily and with sufficient accuracy. In the simplest case, it is sufficient to determine two different correction values and the two corrected image signal values associated with them, so that the transfer function can then be approximated by a straight line.
  • the associated inaccuracies are offset by an enormous speed advantage when determining the transfer function. Higher accuracies in determining the transfer function can be achieved if the transfer function is measured at more than just two places.
  • the applied correction values and the respectively associated output values can be stored in a table as parameters of the transfer function.
  • the measured function values are then support points of the actual ones Transfer function. If, on the other hand, you are satisfied with a linear approximation of the transfer function, it is sufficient to calculate the slope of the approximation line and to store it as a parameter in the memory.
  • the memory can also be a register of an existing microcontroller.
  • all correction values from the set of possible correction values are added to the constant image signal value.
  • the transfer function is completely measured, which is the most precise method of determination.
  • all the correction values that have been created can then be stored in a table as parameters of the transfer function with the respectively associated output values.
  • the transfer function is tabulated.
  • the correction value calculation unit can access the table and thus very easily determine the suitable individual correction values.
  • the parameters are determined on the basis of selected image cells, preferably on the basis of an individual image cell.
  • the transfer function to which the individual correction values are subject, is largely independent of the manufacturing tolerances of the individual image cells, the computational effort can be considerably reduced by picking out one or a few image cells as an example. If you draw several image cells for loading Mood of the transfer function can be reduced by averaging negative influences of statistical fluctuations. Overall, the implementation speed of the new method is further optimized in this embodiment.
  • the parameters are provided on the basis of reference data of image sensors of the same type.
  • the parameters of a mathematical inverse function of the defined transfer function are made available in the memory.
  • the quantities that are required for the determination of the correction values are measured.
  • the existing fixed pattern noise of the image sensor is measured here by recording the homogeneous reference image.
  • the calculation of the individual correction values can then be limited to performing a few arithmetic operations, as is explained in more detail below with reference to the exemplary embodiments.
  • the first correction value is made available uniformly for all image cells.
  • the existing fixed pattern noise of the image sensor is not distorted when the Image signal values recorded in step b). This means that the one-off implementation of the new method already gives good results in the FPN correction. Due to the possibility that the method can be carried out iteratively, it is in principle also possible to start with different first correction values.
  • the uniform target image value is determined as the mean value of the image signal values read out in method step b).
  • the target image value can be determined as an arithmetic mean between the maximum and the minimum image signal value of the image signal values read out in method step b). However, averaging is even more preferred, taking into account all the image signal values read out.
  • the measure has the advantage that the correction range determined by the data width of the correction values is optimally used and that on average only comparatively minor corrections are required.
  • FIG. 1 is a schematic representation of a device according to the invention for correcting the fixed pattern noise in an image sensor
  • Fig. 2 is a flow chart for explaining the method according to the invention.
  • FIG. 3 shows a further flow chart for an exemplary explanation of how the transfer function can be determined.
  • the device 10 here contains an image sensor 12 known per se with a large number of image cells 14.
  • the image sensor here is a CMOS image sensor.
  • the method can also be used with image sensors of other technologies, for example CCD image sensors.
  • the reference number 16 denotes an addressing unit which is controlled by a microcontroller 18.
  • the ad The addressing unit 16 addresses individual image cells 14 of the image sensor 12 for reading out the corresponding image signal values.
  • the reference number 20 denotes the light source.
  • a diffuser 22 is arranged between the light source 20 and the image sensor 12, so that homogeneous light illuminates the image sensor 12.
  • the homogeneous light is indicated here by an arrow with the reference number 24. It represents a homogeneous reference image for the implementation of the method described below.
  • homogeneous illumination is also possible, for example, with the help of an integrating sphere or another homogeneous illumination device.
  • Reference numeral 26 denotes an analog adder which is connected on the input side to the addressing unit 16 via a signal line 28.
  • a second input is connected to a D / A converter 32 via a signal line 30.
  • the output of the adder 26 is connected to an amplifier 34 which, according to a preferred exemplary embodiment, has a variable gain factor v. In this way, the signal level of the image signal values read out can be optimally adapted to the working range of an A / D converter 36 arranged at the output of the amplifier.
  • the output of the A / D converter 36 is connected to the microcontroller 18.
  • Reference number 38 denotes a memory, for example a flash EPROM or an SRAM.
  • the memory 38 is also controlled by the microcontroller 18. It is used to record individual correction values, which are added to the read out image signal values of the image sensor 12 in order to reduce or eliminate the fixed pattern noise. Since the According to a preferred exemplary embodiment, memory 38 stores the correction values in digital form, it is connected to adder 26 via D / A converter 32.
  • the reference numeral 40 denotes a further memory in which the microcontroller 18 stores FPN-corrected image signal values for further processing.
  • Reference numeral 42 denotes a further memory which, in accordance with the preferred exemplary embodiment, serves to store parameters of the transfer function, according to which the correction values from the memory 38 are influenced here during signal processing.
  • the transfer function here essentially corresponds to the transfer characteristic of the D / A converter 32.
  • the memory 42 can also be a register of the microcontroller 18.
  • Reference numeral 44 denotes an external unit, which is only indicated schematically here and from which the parameters of the transfer function can be loaded into the memory 42. In one embodiment of the invention, this takes place during the manufacture of the device 10.
  • the components shown here can be integrated in a single microchip. Alternatively, some or more of the components shown can also be implemented separately from the image sensor 12.
  • the microcontroller 18 is a computer that is independent of the image sensor 12, for example a PC, in which the processing of the image signal values and the calculation of the correction values are carried out.
  • FIG. 2 A preferred exemplary embodiment of the method according to the invention is shown in FIG. 2 using a flow chart.
  • Correction values less than 128 lead to negative analog values in the D / A converter 32, so that in this case a correction value is subtracted from the associated image signal value.
  • Correction values greater than 128 lead to positive analog values, which results in an addition in the actual mathematical sense.
  • the image signal values IM FPN (x, y) of the image cells 14 are read into the memory 40.
  • the variables x and y designate the row and column position of the individual image cells 14 on the image sensor 12. Since the image signal values of the image cells 14 are not corrected here with individual correction values during reading in, the image signal values IM FPN (x, y) reflect the fixed Pattern noise from the image sensor 12 again.
  • a uniform target image value IM target a ⁇ - s is determined as the mean value of all image signal values IM PPN (x, y).
  • the image signal values of all image cells 14 are used for averaging.
  • a representative selection of a plurality of image cells 14 can also be used, which are arranged distributed over the entire image area of the image sensor 12.
  • the individual correction values FPC (x, y) for the individual image cells 14 are calculated using the following formula:
  • the inverse function g -1 of the transfer function is determined separately in a block 58 here.
  • parameters of the reversing function are then stored in the memory 42 of the device 10.
  • the microcontroller 18 functions here as a correction value calculation unit.
  • each calculated individual correction value FPC (x, y) is stored in the memory 38.
  • step 62 method steps 52 to 60 can be carried out iteratively here, as a result of which the calculated correction correction values can be further optimized. Even without these iterations, however, the new method already achieves the same correction value quality as the previously described method previously used.
  • Step 54 can be skipped during the iteration if the target image value IM target from the first pass is still used. The same applies to the determination of the parameters of the transfer function g or their inverse function g "1 according to step 58.
  • the transfer function which is determined in particular by the characteristic curve of the D / A converter 32, is approximated by a straight line.
  • the slope m of the approximation line is sufficient as the parameter of the transfer function.
  • the correction values FPC (x, y) are calculated here using the following formula, indices for multiple iterations being added:
  • FPC n + 1 (x, y) FPC n + 1 / m [IM target - IM FPN , n (x, y)].
  • IM FPN (x, y) the read image signal values, m the slope of the approximation line of the transfer function g and n the number of iterations.
  • 3 shows a preferred exemplary embodiment with the aid of a further flowchart in order to determine the transfer function g or its inverse function g "1.
  • the transfer function g is recorded here by measurement, by going through all the correction values once and the associated function values being recorded.
  • the associated image signal value IM (x 0 / y 0 ) is then read in by the microcontroller 18 in accordance with step 72. If the image sensor 12 is completely darkened, the smallest possible corrected image signal value is obtained. If the image sensor 12 is illuminated homogeneously, an additional additive constant is obtained which, however, can easily be corrected by calculation.
  • the additive constant is reflected in the term "g (128) ⁇ in the general calculation formula given above.
  • step 74 the "70 and 72 in certain steps pair of values is stored in memory 42 of the device 10 degrees.
  • step 76 the set correction value FPC (x 0 , y 0 ) is incremented, in steps of 1.
  • an approximation line is used to determine the transfer function g or its inverse function g ′′ 1.
  • the transfer function or its inverse function is determined on the basis of the image signal values of a plurality of image cells. Furthermore, instead of a single image signal value per image cell, a plurality of image signal values per image cell, for example 16, can be recorded in succession. Then their time average for determining the transfer function or their Reverse function used. This eliminates statistical fluctuations in the image signal values over time. In a preferred modification of the exemplary embodiment shown in FIG. 2, averaging over time is also carried out in steps 52 and 56 and optionally also 54.

Abstract

Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur FPN-Korrektur von Bildsignalwerten eines Bildsensors (12), der eine Vielzahl von Bildzellen (14) aufweist. Die Bildsignalwerte werden aus den Bildzellen (14) ausgelesen. Individuelle Korrekturwerte werden als analoge Grössen über einem Signalpfad mit einer definierten Transferfunktion zu den Bildsignalwerten addiert. Erfindungsgemäss sind Parameter, die für die definierte Transferfunktion charakteristisch sind, in einem Speicher (42) bereitgestellt und die individuellen Korrekturwerte werden unter Verwendung der bereitgestellten Parameter in einer Korrekturwerteberechnungseinheit (18) zumindest einmal berechnet.

Description

Verfahren und Vorrichtung zur FPN-Korrektur von Bildsiqnalwer- ten eines Bildsensors
Die vorliegende Erfindung betrifft ein Verfahren zur FPN- Korrektur von Bildsignalwerten eines Bildsensors , der eine Vielzahl von Bildzellen aufweist, mit den Schritten
Auslesen der Bildsignalwerte aus den Bildzellen
Addieren von individuellen Korrekturwerten zu den Bildsig- nalwerten.
wobei die Korrekturwerte als analoge Größen über einen Signalpfad mit einer definierten Transferfunktion zu den Bildsignalwerten addiert werden.
Die Erfindung betrifft weiterhin eine Vorrichtung zur FPN- Korrektur von Bildsignalen eines Bildsensors, der eine Vielzahl von Bildzellen aufweist, mit einer Einrichtung zum Auslesen der Bildsignalwerte aus den Bildzellen, mit einem ersten Speicher zum Aufnehmen von individuellen Korrekturwerten und mit einem Addierer zum analogen Addieren der individuellen Korrekturwerte zu den Bildsignalwerten, wobei der erste Speicher und der Addierer über einen Signalpfad mit einer definierten Transferfunktion verbunden sind.
Ein solches Verfahren und eine solche Vorrichtung sind beispielsweise aus einer Veröffentlichung der vorliegenden Anmelderin mit dem Titel "HDRC VGA Imager and Camera Data and Features" bekannt.
Moderne Bildsensoren zum Aufnehmen von Bildern besitzen eine Vielzahl einzelner Bildzellen (Pixel) , die aus zum Teil lichtempfindlichen elektronischen Bauelementen aufgebaut sind. Die Bildzellen erzeugen in Abhängigkeit des auftreffenden Lichtes analoge Bildsignalwerte, die in einer nachfolgenden Verarbeitungsstufe mit einem A/D- andler in digitale Bildsignalwerte umgesetzt werden. Die digitalen Bildsignalwerte aller Bildzellen stellen ein digitales Abbild der aufgenommenen Szene dar, das später auf einem Monitor, einem Drucker und dergleichen wiedergegeben werden kann. Ein bekanntes Problem bei derartigen Bildsensoren ist das sogenannte Fixed-Pattern-Rauschen (Fixed-Pattern-Noise, FPN). Damit werden Inhomogenitäten bei einem eigentlich homogenen Bild bezeichnet, die vor allem durch Fertigungstoleranzen der einzelnen Bildzellen hervorgerufen werden. Beispielsweise lassen sich bei der Herstellung von CMOS-Bildsensoren mit logarithmischer Kennlinie Variationen hinsichtlich der Schwellspannungen der Logarithmiertransistoren nicht vermeiden. Das durch derartige Fertigungstoleranzen hervorgerufene Fixed-Pattern-Rauschen äußert sich beim Betrachten eines aufgenommen Bildes darin, daß an sich gleichmäßige (homogene) Flächen ein in der Realität nicht vorhandenes Muster aufweisen.
Zur Reduzierung bzw. Beseitigung des Fixed-Pattern-Rauschens ist es bekannt, zu den Bildsignalwerten der einzelnen Bildzellen individuelle Korrekturwerte zu addieren. Durch Addition negativer Korrekturwerte kann auch eine Subtraktion im mathematischen Sinne durchgeführt werden. Ziel der Maßnahme ist es, die infolge der Fertigungstoleranzen bestehenden Unterschiede zwischen den Bildsignalwerten der einzelnen Bildzellen durch Addition geeigneter Korrekturwerte auszugleichen. Die Korrekturwerte können dabei für den Bildsignalwert jeder Bildzelle aus einem Speicher entnommen werden. Eine solche FPN-Korrektur ist beispielsweise auch aus der JP 5-137073 A bekannt, wobei nach dieser Druckschrift eine Korrektur der bereits digitalisierten Bildsignalwerte stattfindet.
Wie leicht nachzuvollziehen ist, hängt die Qualität der FPN- Korrektur entscheidend von der Auswahl und Bestimmung der individuellen Korrekturwerte ab. Es stellt sich daher das Problem, für einen bestimmten Bildsensor geeignete individuelle Korrek- turwerte zu bestimmen. Für die in der eingangs genannten Veröffentlichung beschriebenen Bildsensoren ist die Anmelderin der vorliegenden Erfindung dabei bislang folgendermaßen vorgegangen:
Zunächst wurde ein einheitlicher (statischer) Korrekturwert für alle Bildzellen des Bildsensors vorgegeben. Anschließend wurde ein homogenes Referenzbild mit dem Bildsensor aufgenommen. Als Referenzbild eignet sich beispielsweise eine gleichmäßig beleuchtete Fläche (bekannt vom sogenannten Weißabgleich bei Kameras ) . Da die Korrekturwerte aller Bildzellen bei der Aufnahme dieses Referenzbildes identisch sind, spiegeln die Bildsignalwerte der einzelnen Bildzellen in diesem Fall das Fixed- Pattern-Rauschen exakt wieder.
Im nächsten Schritt wurde aus den aufgenommenen Bildsignalwerten des Referenzbildes ein Mittelwert über alle Bildzellen gebildet. Dieser Mittelwert wurde anschließend als einheitlicher Zielbildwert für alle Bildzellen zugrunde gelegt. Um nun die geeigneten individuellen Korrekturwerte für alle Bildzellen zu bestimmen, wurden sämtliche Korrekturwerte aus der Menge aller möglichen Korrekturwerte für alle Bildzellen testweise durchlaufen. Bei Korrekturwerten mit einer Breite von 8 Bit waren somit 256 Schleifendurchläufe pro Bildzelle erforderlich. Als geeigneter individueller Korrekturwert wurde für jede Bildzelle jeweils derjenige Korrekturwert ausgewählt, bei dem der zugehörige Bildsignalwert dem einheitlichen Zielbildwert am nächsten kam.
Das Verfahren stellt eine einfache Möglichkeit dar, geeignete individuelle Korrekturwerte mit geringen Anforderungen an die verwendete Hardware zu bestimmen. Das Fixed-Pattern-Rauschen läßt sich mit den auf diese Weise gefundenen Korrekturwerten beträchtlich reduzieren.
Die Durchführung dieses Verfahrens erfordert jedoch aufgrund der zahlreichen Schleifendurchläufe eine gewisse Verarbeitungszeit. Die Verarbeitungszeit ist um so höher, je größer die Menge an möglichen Korrekturwerten, d.h. die Datenbreite der einzelnen Korrekturwerte, ist. Dies hat zur Folge, daß eine Verbesserung der FPN-Korrektur durch Erhöhung der Datenbreite der Korrekturwerte zu noch sehr viel längeren Verarbeitungs Zeiten führt .
Es ist eine Aufgabe der vorliegenden Erfindung, ein alternatives Verfahren und eine entsprechende Vorrichtung anzugeben, die eine genaue und schnelle FPN-Korrektur ermöglichen.
Diese Aufgabe wird mit einem Verfahren der eingangs genannten Art gelöst, bei dem Parameter, die für die definierte Transferfunktion charakteristisch sind, in einem Speicher bereitgestellt werden und bei dem die individuellen Korrekturwerte unter Verwendung der bereitgestellten Parameter in einer Korrek- turwerteberechnungseinheit zumindest einmal berechnet werden.
Die Aufgabe wird mit einer Vorrichtung der eingangs genannten Art gelöst, bei der ein zweiter Speicher sowie eine Korrektur- werteberechnungseinheit vorgesehen sind, wobei der zweite Speicher zum Bereitstellen von Parametern, die für die definierte Transferfunktion charakteristisch sind, ausgelegt ist und wobei die Korrekturwerteberechnungseinheit dazu ausgelegt ist, die individuellen Korrekturwerte unter Verwendung der bereitgestellten Parameter zu berechnen.
Das neue Verfahren und die entsprechende Vorrichtung beruhen auf einer Berechnung der geeigneten Korrekturwerte im mathematischen Sinne, wohingegen die Korrekturwerte beim bisherigen Verfahren eher durch einen Suchprozeß bestimmt wurden. Die neue Vorgehensweise macht es allerdings erforderlich, zunächst die Transferfunktion zumindest näherungsweise zu bestimmen, nach der die Korrekturwerte beim Einspeisen in den Korrekturwerte- signalpfad beeinflußt werden. Diese Maßnahme ist bei dem bisher praktizierten Ansatz nicht erforderlich. Überraschenderweise hat sich gezeigt, daß der hiermit verbundene Aufwand durch die erreichbare Genauigkeit und Geschwindigkeit des neuen Verfahrens kompensiert wird. Dies gilt insbesondere dann, wenn die FPN-Korrektur für einen Bildsensor wiederholt durchgeführt wird, beispielsweise um eine optimale Anpassung an neue Umgebungsverhältnisse zu erreichen. Die Parameter, die die definierte Transferfunktion charakterisieren, müssen in einem solchen Fall nicht unbedingt erneut bestimmt werden, so daß der entsprechende Zusatzaufwand hier nur einmal anfällt. Darüber hinaus erlaubt das neue Verfahren eine iterative Anwendung, so daß negative Einflüsse aufgrund einer ungenauen Parameterbestimmung und/oder aufgrund dynamischer Effekte beim Einstellen der Korrekturwerte sehr erfogreich reduziert werden können. Damit läßt sich auch eine Verbesserung der Korrekturqualität erreichen.
Darüber hinaus hängt die Geschwindigkeit, mit der die individuellen Korrekturwerte bestimmt werden, bei dem neuen Verfahren sehr viel weniger von der Datenbreite der verwendeten Korrek- turwerte ab. Eine Erhöhung der Datenbreite zur weiteren Verbesserung der Korrekturqualität hat daher einen geringeren Anstieg der Verfahrensdauer zur Folge als bei dem bisher verfolgten Ansatz. Geht man von einer Korrekturwertbreite von 8 Bit aus und verzichtet man auf iterative Schleifendurchläufe, ermöglicht das neue Verfahren eine Beschleunigung bis zum Faktor 256, da die individuellen Korrekturwerte durch die. analytische Berechnung direkt ermittelt werden.
Die bei einer Korrekturwertbreite von 8 Bit bislang erforderlichen 256 Schleifendurchläufe, mit denen der beste Korrekturwert gesucht wurde, sind hier nicht mehr erforderlich. Der Geschwindigkeitsvorteil reduziert sich zwar etwas durch die zusätzliche Bestimmung der Parameter der Transferfunktion. Überraschenderweise bleibt jedoch auch unter ungünstigen Bedingungen ein Geschwindigkeitsvorteil bestehen. Wenn die Parameter einmal zur Verfügung stehen, kommt der Geschwindigkeitsvorteil voll zum Tragen.
Wie im Folgenden näher ausgeführt wird, haben sich vergleichsweise einfache Möglichkeiten gefunden, bei einem bestimmten Bildsensor geeignete Parameter der Transferfunktion zu bestimmen. Insgesamt ermöglichen das neue Verfahren und die daran angepaßte Vorrichtung daher eine schnelle Bestimmung der Korrekturwerte, wobei Geschwindigkeitsvorteile gegenüber dem bisherigen Verfahren selbst bei einer Erhöhung der Korrekturqualität erhalten bleiben. Die genannte Aufgabe ist daher vollständig gelöst.
In einer Ausgestaltung werden zur Bestimmung der Parameter zumindest zwei verschiedene Korrekturwerte aus einer Menge ögli- eher Korrekturwerte mit einem konstanten Bildsignalwert addiert und zu jedem dieser Korrekturwerte wird ein korrigierter Bildsignalwert aufgenommen. Als konstanter Bildsignalwert wird hier bevorzugt der Bildsignalwert bei völliger Dunkelheit oder bei einer homogenen Beleuchtung verwendet.
In dieser Ausgestaltung wird die Transferfunktion, der die einzelnen Korrekturwerte unterworfen sind, gewissermaßen ausgemessen. Es werden verschiedene Korrekturwerte eingestellt und anschließend wird zu jedem der eingestellten Korrekturwerte das Ergebnis am Ausgang aufgenommen. Dabei umfaßt die auf diese Weise aufgenommene Transferfunktion nicht nur den Weg der Korrekturwerte bis zu dem Addierer, sondern auch den nachfolgenden Signalpfad, der gemeinsam mit den Bildsignalwerten durchlaufen wird. Wie sich gezeigt hat, stellt dies jedoch keinen Nachteil dar. Ganz im Gegenteil, in dieser Ausgestaltung lassen sich die funktionalen Zusammenhänge, denen die Korrekturwerte bei der bestimmungsgemäßen Signalverarbeitung unterworfen sind, sehr einfach und mit hinreichender Genauigkeit bestimmen. Im einfachsten Fall genügt es, zwei verschiedene Korrekturwerte und die mit ihnen verbundenen zwei korrigierten Bildsignalwerte zu bestimmen, so daß die Transferfunktion anschließend durch eine Gerade angenähert werden kann. Den hiermit verbundenen Ungenau- igkeiten steht ein enormer Geschwindigkeitsvorteil bei der Bestimmung der Transferfunktion gegenüber. Höhere Genauigkeiten bei der Bestimmung der Transferfunktion lassen sich erreichen, wenn man die Transferfunktion an mehr als nur zwei Stellen ausmißt. Als Parameter der Transferfunktion können im einfachsten Fall die angelegten Korrekturwerte und die jeweils zugehörigen Ausgangswerte in einer Tabelle abgespeichert werden. Die gemessenen Funktionswerte sind dann Stützstellen der tatsächlichen Transferfunktion. Begnügt man sich demgegenüber mit einer linearen Näherung der Transferfunktion, genügt es, die Steigung der Näherungsgeraden zu berechnen und als Parameter in dem Speicher abzulegen. Der Speicher kann in diesem Fall auch ein Register eines vorhandenen Mikrocontrollers sein.
In einer weiteren Ausgestaltung werden alle Korrekturwerte aus der Menge möglicher Korrekturwerte mit dem konstanten Bildsignalwert addiert.
In dieser Ausgestaltung wird die Transferfunktion vollständig ausgemessen, was die exakteste Bestimmungsmethode darstellt. Wie bereits erwähnt, können als Parameter der Transferfunktion dann alle angelegten Korrekturwerte mit den jeweils zugehörigen Ausgangswerten in einer Tabelle abgelegt werden. Die Transferfunktion ist in diesem Fall tabellarisch erfaßt. Die Korrektur- werteberechnungseinheit kann auf die Tabelle zugreifen und die geeigneten individuellen Korrekturwerte dadurch sehr einfach bestimmen.
In einer weiteren Ausgestaltung werden die Parameter anhand ausgewählter Bildzellen, bevorzugt anhand einer einzelnen Bildzelle, bestimmt.
Alternativ hierzu ist es auch möglich, die Parameter der Transferfunktion für jede Bildzelle einzeln zu bestimmen. Da die Transferfunktion, der die individuellen Korrekturwerte unterliegen, jedoch von den Fertigungstoleranzen der einzelnen Bildzellen weitgehend unabhängig ist, kann man den Rechenaufwand erheblich reduzieren, indem man eine oder wenige Bildzellen exemplarisch herausgreift. Zieht man mehrere Bildzellen zur Be- Stimmung der Transferfunktion heran, lassen sich durch Mittelwertbildung negative Einflüsse statistischer Schwankungen reduzieren. Insgesamt wird die Durchführungsgeschwindigkeit des neuen Verfahrens in dieser Ausgestaltung weiter optimiert.
In einer weiteren Ausgestaltung werden die Parameter anhand von Referenzdaten typgleicher Bildsensoren bereitgestellt.
In dieser Ausgestaltung wird auf eine individuelle Bestimmung der Transferfunktion bzw. deren Parametern gänzlich verzichtet. Statt dessen werden die Parameter typgleicher Bildsensoren, beispielsweise bei der Produktion der Bildsensoren, hersteller- seitig eingespeichert. Die sich hieraus ergebenden Nachteile, daß nämlich die Transferfunktion nicht anhand des konkret vorliegenden Bildsensors bestimmt wurde, können durch eine iterative Wiederholung des Verfahrens, wie sie nachfolgend näher erläutert ist, zumindest soweit reduziert werden, daß der Geschwindigkeitsvorteil überwiegt.
In einer weiteren Ausgestaltung werden die Parameter einer mathematischen Umkehrfunktion der definierten Transferfunktion in dem Speicher bereitgestellt.
Diese Maßnahme führt zu einer weiteren Beschleunigung des Verfahrens, da nicht die Transferfunktion selbst, sondern deren mathematische Umkehrung für die Berechnung der geeigneten Korrekturwerte benötigt wird. Indem bereits die Parameter der Umkehrfunktion in dem Speicher abgelegt werden, wird die Korrek- turwerteberechnungseinheit von der Aufgabe, die Umkehrfunktion zu bilden, entlastet. Dementsprechend reduziert sich auch der Hardwareaufwand bezüglich der Korrekturwerteberechnungseinheit . In einer weiteren Ausgestaltung werden zum Berechnen der individuellen Korrekturwerte folgende Verfahrensschritte zumindest einmal durchgeführt:
a) Bereitstellen eines ersten Korrekturwertes für die Bildsignalwerte der Bildzellen,
b) Aufnehmen eines homogenen Referenzbildes und Auslesen der zugehörigen Bildsignalwerte,
c) Bestimmen eines einheitlichen Zielbildwertes und
d) Berechnen der individuellen Korrekturwerte unter Verwendung der Bildsignalwerte des homogenen Referenzbildes, des einheitlichen Zielbildwertes sowie der Parameter der Transferfunktion.
In dieser Ausgestaltung werden die Größen, die für die Bestimmung der Korrekturwerte benötigt werden, meßtechnisch erfaßt. Insbesondere wird das vorhandene Fixed-Pattern-Rauschen des Bildsensors hier durch Aufnahme des homogenen Referenzbildes meßtechnisch erfaßt. Die Berechnung der individuellen Korrekturwerte kann sich dann auf die Durchführung weniger Rechenoperationen beschränken, wie nachfolgend anhand der Ausführungsbeispiele näher erläutert ist.
In einer weiteren Ausgestaltung wird der erste Korrekturwert für alle Bildzellen einheitlich bereitgestellt.
In dieser Ausgestaltung wird das vorhandene Fixed-Pattern- Rauschen des Bildsensors unverfälscht bei der Aufnahme der Bildsignalwerte in Schritt b) aufgenommen. Dies führt dazu, daß bereits die einmalige Durchführung des neuen Verfahrens gute Ergebnisse bei der FPN-Korrektur liefert. Aufgrund der Möglichkeit, daß Verfahren iterativ durchzuführen, ist es jedoch grundsätzlich auch möglich, mit unterschiedlichen ersten Korrekturwerten zu beginnen.
In einer weiteren Ausgestaltung werden zumindest die Verfahrensschritte b) und d) iterativ durchlaufen.
Diese Ausgestaltung führt zu einer weiteren Steigerung der Korrekturqualität, da durch die Iterationen dynamische Effekte, insbesondere Einschwingvorgänge im analogen Signalpfad, Berücksichtigung finden.
In einer weiteren Ausgestaltung wird der einheitliche Zielbildwert als Mittelwert der in Verfahrensschritt b) ausgelesenen Bildsignalwerte bestimmt.
Der Zielbildwert kann als arithmetisches Mittel zwischen dem maximalen und dem minimalen Bildsignalwert der im Verfahrensschritt b) ausgelesenen Bildsignalwerte bestimmt werden. Noch mehr bevorzugt ist allerdings eine Mittelwertbildung unter Einbeziehung aller ausgelesenen Bildsignalwerte. Die Maßnahme besitzt den Vorteil, daß der durch die Datenbreite der Korrekturwerte bestimmte Korrekturbereich optimal ausgenutzt wird und daß im Mittel nur vergleichsweise geringfügige Korrekturen erforderlich sind.
Es versteht sich, daß die vorstehend genannten und die nachstehenden noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zur Korrektur des Fixed-Pattern-Rauschens bei einem Bildsensor,
Fig. 2 ein Flußdiagramm zur Erläuterung des erfindungsgemäßen Verfahrens und
Fig. 3 ein weiteres Flußdiagramm zur beispielhaften Erläuterung, wie die Transferfunktion bestimmt werden kann.
In Fig. 1 ist eine erfindungsgemäße Vorrichtung in ihrer Gesamtheit mit der Bezugsziffer 10 bezeichnet.
Die Vorrichtung 10 beinhaltet hier einen an sich bekannten Bildsensor 12 mit einer Vielzahl von Bildzellen 14. Entsprechend dem bevorzugten Tätigkeitsgebiet der Anmelderin handelt es sich bei dem Bildsensor hier um einen CMOS-Bildsensor. Das Verfahren ist jedoch grundsätzlich auch bei Bildsensoren anderer Technologie, beispielsweise CCD-Bildsensoren anwendbar.
Mit der Bezugsziffer 16 ist eine Adressierungseinheit bezeichnet, die von einem Mikrocontroller 18 angesteuert wird. Die Ad- ressierungseinheit 16 adressiert einzelne Bildzellen 14 des Bildsensors 12 zum Auslesen der entsprechenden Bildsignalwerte.
Mit der Bezugsziffer 20 ist Lichtquelle bezeichnet. Zwischen der Lichtquelle 20 und dem Bildsensor 12 ist ein Diffusor 22 angeordnet, so daß homogenes Licht den Bildsensor 12 beleuchtet. Das homogene Licht ist hier durch einen Pfeil mit der Bezugsziffer 24 angedeutet. Es stellt ein homogenes Referenzbild für die Durchführung des nachfolgend beschriebenen Verfahrens dar. Alternativ ist eine homogene Beleuchtung beispielsweise auch mit Hilfe einer Ulbrichtkugel oder einer sonstigen homogenen Beleuchtungseinrichtung möglich.
Mit der Bezugsziffer 26 ist ein analoger Addierer bezeichnet, der eingangsseitig über eine Signalleitung 28 mit der Adressierungseinheit 16 verbunden ist. Ein zweiter Eingang ist über eine Signalleitung 30 mit einem D/A-Wandler 32 verbunden. Der Ausgang der Addierers 26 ist mit einem Verstärker 34 verbunden, der gemäß einer bevorzugten Ausführungsbeispiel einen variablen Verstärkungsfaktor v besitzt. Hierdurch kann der Signalpegel der ausgelesenen Bildsignalwerte optimal an den Arbeitsbereich eines am Ausgang des Verstärkers angeordneten A/D-Wandlers 36 angepaßt werden. Der Ausgang des A/D-Wandlers 36 ist mit dem Mikrocontroller 18 verbunden.
Mit der Bezugsziffer 38 ist ein Speicher bezeichnet, beispielsweise ein Flash-EPROM oder ein SRAM. Der Speicher 38 wird ebenfalls von dem Mikrocontroller 18 angesteuert. Er dient zur Aufnahme von individuellen Korrekturwerten, die zur Reduzierung bzw. Beseitigung des Fixed-Pattern-Rauschens zu den ausgelesenen Bildsignalwerten des Bildsensors 12 addiert werden. Da der Speicher 38 entsprechend einem bevorzugten Ausführungsbeispiel die Korrekturwerte in digitaler Form speichert, ist er über den D/A-Wandler 32 mit dem Addierer 26 verbunden.
Mit der Bezugsziffer 40 ist ein weiterer Speicher bezeichnet, in dem der Mikrocontroller 18 FPN-korrigierte Bildsignalwerte für eine weitere Verarbeitung abspeichert. Mit der Bezugsziffer 42 ist ein weiterer Speicher bezeichnet, der gemäß dem hier bevorzugten Ausführungsbeispiel zum Abspeichern von Parametern der Transferfunktion dient, nach der die Korrekturwerte aus dem Speicher 38 bei der Signalverarbeitung hier beeinflußt werden. Im wesentlichen entspricht die Transferfunktion hier der Übertragungskennlinie des D/A-Wandlers 32. Der Speicher 42 kann in einem bevorzugten Ausführungsbeispiel auch ein Register des Mikrocontrollers 18 sein.
Mit der BezugsZiffer 44 ist eine hier nur schematisch angedeutete externe Einheit bezeichnet, von der die Parameter der Transferfunktion in den Speicher 42 geladen werden können. In einem Ausführungsbeispiel der Erfindung geschieht dies bei der Herstellung der Vorrichtung 10.
Der Vollständigkeit halber sei erwähnt, daß die hier gezeigten Komponenten mit Ausnahme der Lichtquelle 20 und des Diffusors 22 in einem einzigen Mikrochip integriert sein können. Alternativ können einige oder mehrere der gezeigten Komponenten auch separat vom Bildsensor 12 realisiert sein. In einigen Anwendungen ist der Mikrocontroller 18 ein vom Bildsensor 12 unabhängiger Rechner, beispielsweise ein PC, in dem die Aufbereitung der Bildsignalwerte und die Berechnung der Korrekturwerte durchgeführt wird. In Fig. 2 ist ein bevorzugtes Ausführungsbeispiel des erfindungsgemäßen Verfahrens anhand eines Flußdiagramms dargestellt.
Zu Beginn des Verfahrens wird in Verfahrensschritt 50 zunächst ein einheitlicher Korrekturwert FPC(x,y) = 128 für alle Bildzellen eingestellt. Der Korrekturwert FPC = 128 entspricht einer Korrektur mit 0, da 128 bei der hier verwendeten Korrekturwertbreite von 8 Bit (=256 Korrekturwerte) in etwa den symmetrischen Mittelwert darstellt. Korrekturwerte kleiner als 128 führen im D/A-Wandler 32 zu negativen analogen Größen, so daß in diesem Fall ein Korrekturwert von dem zugehörigen Bildsignalwert subtrahiert wird. Korrekturwerte größer als 128 führen zu positiven analogen Größen, was eine Addition im eigentlichen mathematischen Sinne zur Folge hat.
Im Verfahrensschritt 52 werden die Bildsignalwerte IMFPN (x,y) der Bildzellen 14 in den Speicher 40 eingelesen. Die Variablen x und y bezeichnen dabei die Zeilen- und Spaltenposition der einzelnen Bildzellen 14 auf dem Bildsensor 12. Da die Bildsignalwerte der Bildzellen 14 beim Einlesen hier nicht mit individuellen Korrekturwerten korrigiert werden, spiegeln die Bildsignalwerte IMFPN (x,y) das Fixed-Pattern-Rauschen des Bildsensors 12 wieder.
Im Verfahrensschritt 54 wird ein einheitlicher Zielbildwert IM- targe a^-s Mittelwert aller Bildsignalwerte IMPPN (x,y) bestimmt. Entsprechend einem bevorzugten Ausführungsbeispiel werden dabei für die Mittelwertbildung die Bildsignalwerte aller Bildzellen 14 herangezogen. Alternativ kann auch eine repräsentative Auswahl von mehreren Bildzellen 14 verwendet werden, die über die gesamte Bildfläche des Bildsensors 12 verteilt angeordnet sind. In Verfahrenschritt 56 werden die individuellen Korrekturwerte FPC (x,y) für die einzelnen Bildzellen 14 nach folgender Formel berechnet:
FPC (x,y) = g-^IM,^ - IMFPN(x,y) + g(128)].
Darin bezeichnen:
FPC (x,y) die individuellen Korrekturwerte,
IMtarget den einheitlichen Zielbildwert,
IMPPN(x,y) die eingelesenen Bildsignalwerte g"1 die Umkehrfunktion der Transferfunktion g, der die Korrekturwerte FPC (x,y) auf ihrem Weg vom Speicher 38 bis zum Mikrocontroller 18 unterliegen, und g(128) den Funktionswert der Transferfunktion g für den Korre turwert 128
Die Umkehrfunktion g-1 der Transferfunktion wird hier separat in einem Block 58 bestimmt. Parameter der Umkehrfunktion sind dann gemäß einem bevorzugten Ausführungsbeispiel der Erfindung im Speicher 42 der Vorrichtung 10 abgelegt. Alternativ und/oder ergänzend ist es auch möglich, die Umkehrfunktion g"1 bzw. die Transferfunktion g als funktionale Rechenregel in dem Mikrocontroller 18 abzulegen. Der Mikrocontroller 18 fungiert hier als Korrekturwerteberechnungseinheit .
Im Verfahrensschritt 60 wird jeder berechnete individuelle Korrekturwert FPC (x,y) im Speicher 38 abgespeichert.
Gemäß der Schleife 62 können die Verfahrensschritte 52 bis 60 hier iterativ durchgeführt werden, wodurch die berechneten Kor- rekturwerte weiter optimiert werden. Auch ohne diese Iterationen erreicht das neue Verfahren jedoch bereits dieselbe Korrekturwertqualität wie das eingangs beschriebene, bislang verwend- te Verfahren. Schritt 54 kann bei der Iteration übergangen werden, wenn man weiterhin den Zielbildwert IMtarget aus dem ersten Durchlauf verwendet. Dasselbe gilt für die Bestimmung der Parameter der Transferfunktion g bzw. deren Umkehrfunktion g"1 gemäß Schritt 58.
In einem anderen bevorzugten Ausführungsbeispiel wird die Transferfunktion, die insbesondere durch die Kennlinie des D/AWandlers 32 bestimmt wird, durch eine Gerade angenähert. In diesem Fall genügt als Parameter der Transferfunktion die Steigung m der Näherungsgeraden. Die Berechnung der Korrekturwerte FPC (x,y) erfolgt hier nach folgender Formel, wobei hier außerdem Indizes für mehrfache Iterationsdurchläufe angefügt sind:
FPCn+1 (x,y) = FPCn + 1/m [ IMtarget - IMFPN,n(x,y) ] .
Darin bezeichnen:
FPCn+1 (x,y) die berechneten Korrekturwerte im Iterationsdurchgang n+1,
IMtarget den einheitlichen Zielbildwert,
IMFPN(x,y) die eingelesenen Bildsignalwerte, m die Steigung der Näherungsgeraden der Transferfunktion g und n die Anzahl der Iterationen.
Als Startwert wird hier bei einer Korrekturwertbreite von 8 Bit bevorzugt FPC0 = 128 gesetzt. In Fig. 3 ist anhand eines weiteren Flußdiagramms ein bevorzugtes Ausführungsbeispiel dargestellt, um die Transferfunktion g bzw. deren Umkehrfunktion g"1 zu bestimmen. Dabei wird die Transferfunktion g hier meßtechnisch erfaßt, indem alle Korrekturwerte einmal durchlaufen und die zugehörigen Funktionswerte aufgenommen werden.
In Verfahrensschritt 70 wird zunächst der Korrekturwert einer ausgewählten Bildzellen mit den Koordinaten x0,y0 auf den niedrigsten Wert FPC (x0cyo) = 0 (negativer Korrekturwert) eingestellt. Anschließend wird gemäß Schritt 72 der zugehörige Bildsignalwert IM (x0/y0) vom Mikrocontroller 18 eingelesen. Wenn der Bildsensor 12 dabei vollständig abgedunkelt ist, erhält man den kleinstmöglichen korrigierten Bildsignalwert. Wenn der Bildsensor 12 homogen beleuchtet ist, erhält man eine zusätzliche additive Konstante, die sich jedoch rechnerisch leicht korrigieren läßt. Die additive Konstante spiegelt sich in dem Term "g(128)π in der weiter oben angegebenen allgemeinen Berechnungsformel wider.
In Schritt 74 wird das in den Schritten' 70 und 72 bestimmte Wertepaar im Speicher 42 der Vorrichtung 10 abgespeichert. Im Schritt 76 wird der eingestellte Korrekturwert FPC (x0,y0) in- krementiert, und zwar in Schritten von 1. Gemäß Schritt 78 erfolgt sodann eine Abfrage, ob der maximale Korrekturwert FPC (x0,y0) = 255 (bei 8 Bit Korrekturwertbreite) erreicht ist. Wenn ja, sind sämtliche Wertepaare der Transferfunktion im Speicher 42 abgespeichert. Zur Bildung der Umkehrfunktion genügt es dann, die erhaltenen Koordinatenpaare jeweils zu vertauschen. Dadurch erhält man gemäß Schritt 80 die Umkehrfunktion g"1 der Transferfunktion g. Ist der maximale Korrekturwert noch nicht erreicht, erfolgt gemäß Schleife 82 ein neuer Schleifendurchlauf.
In einem ebenfalls bevorzugten Ausführungsbeispiel wird zur Bestimmung der Transferfunktion g bzw. deren Umkehrfunktion g"1 eine Näherungsgerade herangezogen. In diesem Fall genügt es, zwei Wertepaare der Transferfunktion in der anhand Fig. 3 beschriebenen Art und Weise einzulesen. Anschließend wird durch an sich bekannte Differenz- und Quotientenbildung die Steigung m der Näherungsgeraden bestimmt. Bei einer Korrekturwertbreite von 8 Bit werden bevorzugt die Funktionswerte zu den Korrekturwerten 178 (= 128 + 50) und 78 (= 128 - 50) aufgenommen, da dies zu einer Näherungsgeraden führt, die die Transferfunktion sehr gut annähert. Anschaulich wird die Transferfunktion hierdurch um ihren symmetrischen Nullpunkt herum linearisiert .
Je genauer die Steigung m der Transferfunktion im Bereich der Linearisierung bekannt ist, desto schneller erreicht das in Fig. 2 beschriebene Verfahren die optimalen Korrekturwerte. Mit den angegebene Werten konnten Korrekturwerte, die dem herkömmlichen Verfahren entsprechen, bereits im ersten Iterationsschritt erreicht werden. Bereits nach zwei Iterationsschritten waren sehr gute Ergebnisse erreicht.
In bevorzugten Abwandlungen der beschriebenen Ausführungsbeispiele wird die Transferfunktion bzw. deren Umkehrfunktion anhand der Bildsignalwerte mehrerer Bildzellen bestimmt. Des weiteren können anstelle eines einzelnen Bildsignalwertes pro Bildzelle mehrere Bildsignalwerte pro Bildzelle hintereinander, beispielsweise 16, aufgenommen werden. Dann wird deren zeitlicher Mittelwert zur Bestimmung der Transferfunktion bzw. deren Umkehrfunktion verwendet. Dadurch werden statistische Schwankungen der Bildsignalwerte über der Zeit eliminiert. In einer bevorzugten Abwandlung des anhand Fig. 2 dargestellten Ausführungsbeispiels wird eine zeitliche Mittelung auch in den Schritten 52 und 56 sowie gegebenenfalls auch 54 durchgeführt.
Wenn man die Bestimmung der Transferfunktion, insbesondere die Bestimmung der Steigung m, für jeden Bildsensor 12 und zu Beginn jeder Aufnahme ermittelt, wird der Einfluß des variablen Verstärkers 34 auf die FPN-Korrektur eliminiert. Man erhält dadurch eine gleichbleibend optimale Bildqualität.

Claims

Patentansprüche
Verfahren zur FPN-Korrektur von Bildsignalwerten eines Bildsensors (12), der eine Vielzahl von Bildzellen (14) aufweist, mit den Schritten:
Auslesen der Bildsignalwerte aus den Bildzellen (14) und
Addieren (26) von individuellen Korrekturwerten zu den Bildsignalwerten,
wobei die Korrekturwerte als analoge Größen über einen Signalpfad (30) mit einer definierten Transferfunktion zu den Bildsignalwerten addiert werden,
dadurch gekennzeichnet, daß Parameter, die für die definierte Transferfunktion charakteristisch sind, in einem Speicher (42) bereitgestellt werden und daß die individuellen Korrekturwerte unter Verwendung der bereitgestellten Parameter in einer Korrekturwerteberechnungseinheit (18) zumindest einmal berechnet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zum Bestimmen der Parameter zumindest zwei verschiedene Korrekturwerte aus einer Menge möglicher Korrekturwerte mit einem konstanten Bildsignalwert addiert werden und daß zu jedem dieser Korrekturwerte ein korrigierter Bildsignalwert aufgenommen wird (74).
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß alle Korrekturwerte aus der Menge möglicher Korrekturwerte mit dem konstanten Bildsignalwert addiert werden (78, 82).
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Parameter anhand ausgewählter Bildzellen, bevorzugt anhand einer einzelnen Bildzelle (70), bestimmt werden.
5. Verfahren nach einem der Ansprüche 1 bis 4 , dadurch gekennzeichnet, daß die Parameter anhand von Referenzdaten (44) typgleicher Bildsensoren bereitgestellt werden.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß die Parameter einer mathematischen Umkehrfunktion der definierten Transferfunktion in dem Speicher bereitgestellt werden (80).
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß zum Berechnen der individuellen Korrekturwerte folgende Verfahrensschritte zumindest einmal durchgeführt werden:
a) Bereitstellen (50) eines ersten Korrekturwertes für die Bildsignalwerte der Bildzellen (14),
b) Aufnehmen (52) eines homogenen Referenzbildes und Auslesen der zugehörigen Bildsignalwerte,
c) Bestimmen (54) eines einheitlichen Zielbildwertes, und d) Berechnen (56) der individuellen Korrekturwerte unter Verwendung der Bildsignalwerte des homogenen Referenzbildes, des einheitlichen Zielbildwertes sowie der Parameter der Transferfunktion (58).
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß der erste Korrekturwert für alle Bildzellen einheitlich bereitgestellt wird (50).
9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, daß zumindest die Verfahrensschritte b) und d) iterativ durchlaufen werden (62).
10. Verfahren nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, daß der einheitliche Zielbildwert als Mittelwert der in Verfahrensschritt b) ausgelesenen Bildsignalwerte bestimmt wird (54).
11. Vorrichtung zur FPN-Korrektur von Bildsignalwerten eines Bildsensors (12), der eine Vielzahl von Bildzellen (14) aufweist, mit einer Einrichtung (16) zum Auslesen der Bildsignalwerte aus den Bildzellen (14), mit einem ersten Speicher (38) zum Aufnehmen von individuellen Korrekturwerten und mit einem Addierer (26) zum analogen Addieren der individuellen Korrekturwerte zu den Bildsignalwerten, wobei der erste Speicher (38) und der Addierer (26) über einen Signalpfad (30) mit einer definierten Transferfunktion verbunden sind, dadurch gekennzeichnet, daß ein zweiter Speicher (42) sowie eine Korrekturwerteberechnungsein- heit (18) vorhanden sind, wobei der zweite Speicher (42) zum Bereitstellen von Parametern, die für die definierte Transferfunktion charakteristisch sind, ausgelegt ist und wobei die Korrekturwerteberechnungseinheit (18) dazu ausgelegt ist, die individuellen Korrekturwerte unter Verwendung der bereitgestelltOen Parameter zu berechnen.
PCT/EP2003/003660 2002-04-16 2003-04-09 Verfahren und vorrichtung zur fpn-korrektur von bildsignalwerten eines bildsensors WO2003088649A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003585425A JP4313215B2 (ja) 2002-04-16 2003-04-09 画像センサからの画像信号値をｆｐｎ補正する方法および装置
EP03722424A EP1495634A1 (de) 2002-04-16 2003-04-09 Verfahren und vorrichtung zur fpn-korrektur von bildsignalwerten eines bildsensors
US10/959,027 US7224848B2 (en) 2002-04-16 2004-10-05 Method and arrangement for FPN correction in an image signal from an image sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10216806.7 2002-04-16
DE10216806A DE10216806B4 (de) 2002-04-16 2002-04-16 Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalwerten eines Bildsensors

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US10/959,027 Continuation US7224848B2 (en) 2002-04-16 2004-10-05 Method and arrangement for FPN correction in an image signal from an image sensor

Publications (1)

Publication Number Publication Date
WO2003088649A1 true WO2003088649A1 (de) 2003-10-23

Family

ID=29224498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2003/003660 WO2003088649A1 (de) 2002-04-16 2003-04-09 Verfahren und vorrichtung zur fpn-korrektur von bildsignalwerten eines bildsensors

Country Status (5)

Country Link
US (1) US7224848B2 (de)
EP (1) EP1495634A1 (de)
JP (1) JP4313215B2 (de)
DE (1) DE10216806B4 (de)
WO (1) WO2003088649A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060292A (ja) * 2004-08-17 2006-03-02 Konica Minolta Holdings Inc 撮像装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710472B2 (en) * 2006-05-01 2010-05-04 Warner Bros. Entertainment Inc. Detection and/or correction of suppressed signal defects in moving images
JP4245045B2 (ja) * 2006-12-26 2009-03-25 ソニー株式会社 撮像装置、撮像信号処理方法及びプログラム
JP4285555B2 (ja) * 2007-03-28 2009-06-24 ソニー株式会社 固定パターンノイズ除去回路、固定パターンノイズ除去方法、プログラムおよび撮像装置
US9544516B2 (en) 2008-12-26 2017-01-10 Digimarc Corporation Method and apparatus for sensor characterization
JP5567692B2 (ja) * 2010-01-22 2014-08-06 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア
US9854138B2 (en) 2012-09-20 2017-12-26 Gyrus Acmi, Inc. Fixed pattern noise reduction
DE102013016837A1 (de) 2013-10-10 2015-04-16 Daimler Ag Verfahren zum Herstellen eines Aktivteils für eine elektrische Maschine
US9332235B2 (en) * 2013-12-10 2016-05-03 Visera Technologies Company Limited Imaging capture apparatus having plurality of image sensors generating respective image signals based on emitted light areas
US9426395B2 (en) 2014-03-25 2016-08-23 Samsung Electronics Co., Ltd. Methods of calibrating knee-point and logarithmic slope in linear-logarithmic image sensors
KR20150146308A (ko) 2014-06-23 2015-12-31 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4680723A (en) * 1983-10-14 1987-07-14 British Aerospace Plc Signal processor for matrix arrays
EP0295873A2 (de) * 1987-06-15 1988-12-21 Xerox Corporation Kalibrierung eines Rastereingangsabtasters
WO1999003262A1 (de) * 1997-07-07 1999-01-21 Institut Für Mikroelektronik Stuttgart Verfahren und schaltungsanordnung zur kompensation temperatur-, spannungs- sowie herstellungsbedingter schwankungen bei cmos-bildsensoren

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4771267A (en) * 1986-12-24 1988-09-13 Hughes Aircraft Company Analog offset compensation technique
JPH05137073A (ja) * 1991-11-11 1993-06-01 Canon Inc 固体撮像素子の固定パターン補正装置
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
GB2296147B (en) * 1994-11-29 1999-06-16 Marconi Gec Ltd A signal processor
US5631466A (en) * 1995-06-16 1997-05-20 Hughes Electronics Apparatus and methods of closed loop calibration of infrared focal plane arrays
WO1997040621A1 (en) * 1996-04-23 1997-10-30 Silicon Vision, Inc. A digital video camera system
DE19715983C1 (de) * 1997-04-17 1998-09-24 Aeg Infrarot Module Gmbh Verfahren zum Korrigieren der Grauwerte von Bildern einer digitalen Infrarot-Kamera
US6587142B1 (en) * 1998-09-09 2003-07-01 Pictos Technologies, Inc. Low-noise active-pixel sensor for imaging arrays with high speed row reset
US6285410B1 (en) * 1998-09-11 2001-09-04 Mgi Software Corporation Method and system for removal of flash artifacts from digital images
US6741725B2 (en) * 1999-05-26 2004-05-25 Princeton Video Image, Inc. Motion tracking using image-texture templates
US6859565B2 (en) * 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4680723A (en) * 1983-10-14 1987-07-14 British Aerospace Plc Signal processor for matrix arrays
EP0295873A2 (de) * 1987-06-15 1988-12-21 Xerox Corporation Kalibrierung eines Rastereingangsabtasters
WO1999003262A1 (de) * 1997-07-07 1999-01-21 Institut Für Mikroelektronik Stuttgart Verfahren und schaltungsanordnung zur kompensation temperatur-, spannungs- sowie herstellungsbedingter schwankungen bei cmos-bildsensoren

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OGIERS W ET AL: "AN ANALOGUE-DOMAIN FPN COMPENSATION CIRCUIT FOR RANDOM ACCESS CMOS IMAGERS", PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US, vol. 3100, 16 June 1997 (1997-06-16), pages 381 - 387, XP001039889 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060292A (ja) * 2004-08-17 2006-03-02 Konica Minolta Holdings Inc 撮像装置
JP4725052B2 (ja) * 2004-08-17 2011-07-13 コニカミノルタホールディングス株式会社 撮像装置

Also Published As

Publication number Publication date
US7224848B2 (en) 2007-05-29
JP2005528025A (ja) 2005-09-15
DE10216806A1 (de) 2003-11-13
DE10216806B4 (de) 2006-11-23
JP4313215B2 (ja) 2009-08-12
US20050117035A1 (en) 2005-06-02
EP1495634A1 (de) 2005-01-12

Similar Documents

Publication Publication Date Title
DE3535753C1 (de) Signalprozessor
DE4411179A1 (de) Bildeinfangvorrichtung
DE3520405C2 (de)
DE10216806B4 (de) Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalwerten eines Bildsensors
EP2393286B1 (de) Verfahren und Vorrichtung zur Korrektur einer uneinheitlichen Sensitivität von Detektorelementen bei Wärmebildkameras
EP2312864B1 (de) Bildsensor und Betriebsverfahren
DE102010017604B4 (de) Verfahren zum optischen Messen von Strukturen eines Objekts
EP1346561B1 (de) Verfahren und vorrichtung zur bilderzeugung unter verwendung mehrerer belichtungszeiten
DE19536691B4 (de) Verfahren und Anordnung zur Korrektur von Bildstandsfehlern bei der fernsehmäßigen Filmabtastung
DE112004002663T5 (de) Bildsubtraktion von Beleuchtungsartefakten
DE102005010986B4 (de) Verfahren und Vorrichtung zum Aufnehmen eines Wärmebildes
EP1252757A2 (de) Verfahren und vorrichtung zur veränderung der farbsättigung elektronisch erfasster bilder
DE102006003596A1 (de) Verfahren und Vorrichtung zur Korrektur der Helligkeit eines durch eine Sensormatrix erzeugten Rohbilds
DE19930745A1 (de) Verfahren und System zur Biegewinkelbestimmung
EP0753231B1 (de) Verfahren und vorrichtung zum binarisieren von pixel-daten
DE102006004060A1 (de) Verfahren und Vorrichtung zum Messen der Höhe und/oder des Höhenverlaufs eines Objekts
DE69630074T2 (de) Videoapparat mit einem einzigen Multiporthalbbildspeicher
DE10117833C1 (de) Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalen
DE102016104043A1 (de) Verfahren zum Erzeugen eines rauschreduzierten Bilds anhand eines Rauschmodells von mehreren Bildern, sowie Kamerasystem und Kraftfahrzeug
DE2838121A1 (de) Verfahren zum feststellen der scharfeinstellung einer optik
DE19961906C2 (de) Digitale Abtast-Messeinrichtung
EP1422930A2 (de) Verfahren und Vorrichtung zum Erzeugen von homogenisierten Bilddaten bei scannenden Bildgebern
DE3844874C2 (de) Automatische Scharfeinstellvorrichtung
DE3010559A1 (de) Ueberpruefungssystem zur ermittlung von fehlern in regelmaessigen mustern
DE19730257A1 (de) Gestaltmeßvorrichtung und Bildeingabeeinheit zur Verwendung in dieser

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10959027

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003585425

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2003722424

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2003722424

Country of ref document: EP