DE102009029868A1

DE102009029868A1 - Image pickup device and method for generating a recording

Info

Publication number: DE102009029868A1
Application number: DE102009029868A
Authority: DE
Inventors: Michael Schöberl; André Prof. Dr. Kaup
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2009-06-22
Filing date: 2009-06-22
Publication date: 2010-12-30
Anticipated expiration: 2029-06-23
Also published as: DE102009029868B4; WO2010149591A1

Abstract

Es wird eine Bildaufnahmevorrichtung beschrieben, die ausgebildet ist, eine Aufnahme in einem Belichtungszeitfenster zu erzeugen, und einen optoelektrischen Sensor, einen Ausleser zum im Wesentlichen lückenlosen Auslesen und Zurücksetzen des optoelektrischen Sensors zumindest einmal innerhalb des Belichtungszeitfensters und Auslesen des optoelektrischen Sensors am Ende des Belichtungszeitfensters, um zumindest zwei Auslesewerte für das Belichtungszeitfenster zu erhalten, und einen Kombinierer zum Erzeugen der Aufnahme durch Bilden einer Summe über die zumindest zwei Auslesewerte und Verkleinern der Summe um einen Faktor kleiner 1, so dass eine Empfindlichkeit der Digitalkamera neutraldichtereduziert ist, aufweist.Disclosed is an image recording device which is designed to produce a photograph in an exposure time window and an optoelectric sensor, a readout for reading and resetting the optoelectrical sensor at least once within the exposure time window and reading out the optoelectronic sensor at the end of the exposure time window. in order to obtain at least two readout values for the exposure time window, and a combiner for generating the image by forming a sum over the at least two readout values and reducing the sum by a factor of less than 1 so that a sensitivity of the digital camera is neutral density reduced.

Description

Die vorliegende Erfindung bezieht sich auf Bildaufnahmevorrichtungen, wie z. B. Digitalkameras, wie z. B. wiederum digitale Standbild- oder Videokameras sowie ein Verfahren zum Erzeugen einer Aufnahme.The The present invention relates to image pickup devices, such as B. digital cameras, such. B. again digital still picture or video cameras as well as a method for creating a recording.

In der digitalen Bilderzeugung spielt die korrekte Belichtung eine entscheidende Rolle während der Bildaufnahme. Die empfangene Lichtmenge bzw. Lichtenergie Q_v sollte sich innerhalb eines bestimmten Bereiches befinden, denn elektronische Schaltungen erlauben lediglich einen bestimmten minimalen Wert (min) und einen maximalen Wert (max), die durch das Gesamtrauschen in dem System bzw. die Sättigungsladung (full well capacity) eines Sensors bestimmt sind. Objekte unterhalb eines bestimmten Pegels werden in dem Kamerarauschen nicht sichtbar sein und für Objekte Oberhalb des Maximums werden die entsprechenden Pixel geclippte bzw. abgeschnittene Werte liefern. In beiden Fällen werden alle Details dieser Bildbereiche verloren sein und es ist keine Wiederherstellung mittels Bildnachverarbeitung möglich. Das Verhältnis zwischen Dynamikbereich 900 einer Digitalkamera, der oberen Grenze max und der unteren Grenze min desselben sowie die Folgen für Bereiche eines Bilder, bei denen die entsprechenden Pixel zu hell oder zu dunkel ausgeleuchtet sind, für den Fall einer herkömmlichen Belichtung über ein Belichtungszeitfenster einer bestimmten Zeitdauer bzw. Belichtungszeit bezogen auf die Lichtenergie Q_v ist noch einmal in 12 gezeigt. Der Bereich 900 zwischen minimaler und maximaler Lichtenergie, der weder zu einer Sättigung des Energiespeichers bzw. Ladungsspeichers des Sensors führt noch zu einem nicht-sichtbaren, da im Rauschen untergehenden Ausschlag führt, wird Dynamikbereich 900 eines Kamerasystems genannt.In digital imaging, correct exposure plays a crucial role during image acquisition. The amount of light or light energy Q _v received should be within a certain range, because electronic circuits only allow a certain minimum value (min) and a maximum value (max), the (by the total noise in the system or the saturation charge full well Capacity) of a sensor are determined. Objects below a certain level will not be visible in the camera noise, and for objects above the maximum, the corresponding pixels will provide clipped or truncated values. In both cases, all details of these image areas will be lost and no image postprocessing will be possible. The relationship between dynamic range 900 a digital camera, the upper limit max and the lower limit min thereof, and the sequences for areas of an image in which the respective pixels are illuminated too brightly or too dark, in the case of a conventional exposure over a shutter speed window of a certain period of time or exposure time to the light energy Q _v is again in 12 shown. The area 900 between minimum and maximum light energy, which leads neither to saturation of the energy storage or charge storage of the sensor nor to a non-visible, as in the noise sinking rash leads is dynamic range 900 called a camera system.

Für das Aufnehmen eines Bildes integriert ein Sensor den Lichtfluss F während der Belichtungszeit. Anders ausgedrückt, akkumuliert der Sensor eine dem einfallenden Lichtstrom F entsprechende Energiemenge, wie z. B. eine Ladungsmenge. Die so akkumulierte Lichtmenge ergibt sich zu Qv = ∫Fdt (1) For taking a picture, a sensor integrates the light flux F during the exposure time. In other words, the sensor accumulates an amount of energy corresponding to the incident luminous flux F, such as. B. a charge amount. The amount of light thus accumulated becomes too Q v = ∫Fdt (1)

Steht die Belichtungszeit fest, legen die Lichtenergiedynamikbereichsgrenzen max und min unmittelbar die Dynamikbereichsgrenzen bezogen auf den Lichtfluss fest. 13 zeigt die Lichtstromdynamikbereichsgrenzen bzw. den Dynamikbereich bezogen auf den Lichtstrom F am Beispiel einer kurzen und einer langen Belichtungszeit. Für eine gegebene Szene kann folglich eine korrekte Belichtung durch die Belichtungszeit gesteuert werden. Der Lichtfluss ist durch geeignetes Anpassen der Szene, durch zusätzliches optisches Filtern oder durch Einstellen der Apertur der Linse steuerbar.If the exposure time is fixed, the dynamic range limits max and min immediately set the dynamic range limits with respect to the light flux. 13 shows the luminous flux dynamic range limits or the dynamic range with respect to the luminous flux F for the example of a short and a long exposure time. Thus, for a given scene, correct exposure can be controlled by the exposure time. The light flux is controllable by suitably adjusting the scene, by additional optical filtering or by adjusting the aperture of the lens.

Unglücklicherweise sind in dem Fall einer High-End-Bewegungsbildaufnahme viele dieser Faktoren zumeist festgelegt: die Linsenapertur stellt nämlich gleichzeitig den Tiefenschärfenbereich ein, der wiederum wichtig für die Szenenkomposition ist. Umgekehrt bestimmt die Belichtungszeit die Bewegungsverschmierung, die für eine natürlich aussehende Szene bei der Bewegungsbildaufzeichnung erforderlich ist. Eine „ISO-Einstellung” einer Kamera liefert Bilder mit unterschiedlicher Helligkeit, aber lediglich unter Verwendung einer internen Verstärkung, die die Bilddatenwerte umskaliert. Die zugrunde liegende Sensorempfindlichkeit bleibt bestehen, oder zumindest bleibt der Dynamikbereich unverändert, denn verlorengegangene Informationen aufgrund einer Über- und Unterbelichtung bleiben auch weiterhin verloren.Unfortunately are many of these in the case of high-end motion capture Factors are usually fixed: the lens aperture is in fact at the same time the depth of field range, which in turn important for the scene composition. Conversely, the exposure time determines the movement smear that for a natural Looking scene required for motion picture recording is. An "ISO setting" of a camera provides Pictures with different brightness, but only with use an internal gain that resizes the image data values. The underlying sensor sensitivity persists, or at least the dynamic range remains unchanged, because lost Information due to overexposure and underexposure remain lost.

Es bleibt also lediglich die Menge an Licht aus der Szene, die für eine korrekte Belichtung einstellbar wäre. In einem Studio ist die Helligkeit des Lichtes vielleicht einstellbar. Bei Außenaufnahmen ist dies aber bereits nicht mehr möglich. Am häufigsten wird eine zusätzliche optische Filterung verwendet, um die Empfindlichkeit der Digitalkamera zu reduzieren. Spezielle Neutraldichte-(ND)Filter können verwendet werden, um eine bestimmte Menge des einfallenden Lichtes zu entfernen. Echt farbneutrale und homogene optische Filter sind aber teuer und stellen einen empfindlichen bzw. zerbrechlichen Ausrüstungsgegenstand dar. Solche Filter erhöhen das Gewicht und die Größe des Kamerasystems. Bisher existiert keine elektronische Option zum Einstellen der Empfindlichkeit auf eine neutraldichte Art und Weise.It So only the amount of light from the scene that remains for a correct exposure would be adjustable. In a studio the brightness of the light may be adjustable. When shooting outdoors but this is already no longer possible. Most frequently An additional optical filtering is used to to reduce the sensitivity of the digital camera. Special neutral density (ND) filters Can be used to a certain amount of the incident To remove light. True color neutral and homogeneous optical filters are but expensive and make a delicate or fragile piece of equipment Such filters increase weight and size of the camera system. So far there is no electronic option for Adjust the sensitivity in a neutral density manner.

Abgesehen von der optischen Filterung existieren einige andere Optionen zur Erfassung von Szenen mit einem höheren Dynamikbereich. Z. B. wird eine Kombination von Frames verwendet:
In MANN, Steve; MANDERS, Corey; FUNG, James: Painting with looks: photographic images from video using quantimetric processing. In: Proceedings of the tenth ACM international conference on Multimedia, New York, NY, USA: ACM, 2002, S. 117–126 wird beispielsweise die Kombination mehrerer linearer Aufnahmen zur Erzeugung von Stand bildern mit einem höheren Dynamikbereich beschrieben. Dieses Vorgehen funktioniert allerdings lediglich für statische Szenen, da jedes sich bewegende Objekt ansonsten an unterschiedlichen Positionen aufgenommen wird. Dies würde wiederum zu Bildartefakten führen, wenn auf diese Art und Weise Bilder sich bewegender Szenen erzeugt werden würden.Apart from optical filtering, there are several other options for capturing scenes with a higher dynamic range. For example, a combination of frames is used:
In MAN, Steve; MANDERS, Corey; FUNG, James: Painting with looks: photographic images from video using quantimetric processing. In: Proceedings of the tenth ACM International Conference on Multimedia, New York, NY, USA: ACM, 2002, pp. 117-126 For example, the combination of multiple linear images to produce still images with a higher dynamic range is described. However, this procedure works only for static scenes, since each moving object is otherwise recorded at different positions. This would in turn lead to image artifacts if in this way Bil which would be generated from moving scenes.

In LIU, Xinqiao; Gamal, Abbas E.: Synthosis of high dynamic range motion blur free image from multiple captures. In: IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications 50 (2003), April, Nr. 4, S. 530–539 und KANG, S. B.; UYTTENDAELE, M.; WINDER, S.; SZELISKI, R.: High dynamic range video. In: ACM Transactions on Graphics 22 (2003), Nr. 3, S. 319–325 wird beispielsweise eine Nachverarbeitung von Videosequenzen zur Verbesserung bzw. Erhöhung des Dynamikbereiches beschrieben, wobei diese Verfahren auf eine Rekonstruktion ohne Bewegungsverschmierung abzielen. Dies ist aber für Bewegungsbilder nicht wünschenswert, da die korrekte Erzeugung der Bewegungsverschmierung für die wahrgenommene Natürlichkeit einer Szene essentiell ist.In LIU, Xinqiao; Gamal, Abbas E .: Synthesis of high dynamic motion blur free image from multiple captures. In: IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications 50 (2003), April, No. 4, pp. 530-539 and KANG, SB; UYTTENDAELE, M .; WINDER, S .; SZELISKI, R .: High dynamic range video. In: ACM Transactions on Graphics 22 (2003), No. 3, pp. 319-325 For example, a post-processing of video sequences to improve or increase the dynamic range is described, these methods are aimed at a reconstruction without Bewegungsverschmierung. However, this is not desirable for moving pictures because the correct generation of motion blur is essential to the perceived naturalness of a scene.

In WANG, Hongcheng; RASKAR, Ramesh; AHUJA, Narendra: High dynamic range video using split aperture camera. In: IEEE 6th Workshop on Omnidirectional Vision, Camera Networks and Non-classical Cameras OMNIVIS, 2005 werden wiederum Lösungsansätze beschrieben, die die Bewegungsverschmierung zwar bewahren, aber zumindest zwei Kameras, zusätzliche Optiken und eine Ausrichtung erfordern.In WANG, Hongcheng; RASKAR, Ramesh; AHUJA, Narendra: High dynamic range video using split aperture camera. In: IEEE 6th Workshop on Omnidirectional Vision, Camera Networks and Non-classical Cameras OMNIVIS, 2005 again solution approaches are described, which preserve the Bewegungsverschmierung, but require at least two cameras, additional optics and alignment.

Spezielle Architekturen für Bildsensoren zum Erfassen eines höheren Dynamikbereiches einer Szene sind ebenfalls bereits bekannt.Specific Architectures for image sensors to capture a higher Dynamic range of a scene are also already known.

In KAVUSI, Sam; GAMAL, Abbas E.: Quantitative study of high-dynamic-range image sensor architectures. In: SPIE Sensors and Camer Systems for Scientific, Industrial, and Digital Photography Applications V Bd. 5301, SPIE, 2004, S. 264–275 werden beispielsweise spezialisierte Sensoren zur Erfassung eines erhöhten Dynamikbereiches miteinander verglichen, darunter auch spezielle logarithmische Bildsensoren, die eine Szene direkt mit einem großen Dynamikbereich erfassen können. Leider lassen sich allerdings bei solchen Sensoren der Dunkelbildfehler bzw. das Festmusterrauschen (fixed pattern noise = FPN) nur schwer kompensieren.In KAVUSI, Sam; GAMAL, Abbas E .: Quantitative study of high-dynamic-range image sensor architectures. In: SPIE Sensors and Camer Systems for Scientific, Industrial, and Digital Photography Applications V Vol. 5301, SPIE, 2004, pp. 264-275 For example, specialized sensors for detecting increased dynamic range are compared with each other, including special logarithmic image sensors that can capture a scene directly with a large dynamic range. Unfortunately, dark sensors and fixed pattern noise (FPN) are difficult to compensate for such sensors.

Die Einstellung der fotoseitigen Ladungskapazität, wie sie in DECKER, S.; MCGRATH, D.; BREHMER, K.; SODINI, C. G.: A 256 × 256 CMOS imaging array with wide dynamic range Pixels and column-parallel digital Output. In: IEEE Journal of Solid-State Circuits 33 (1995), Dec, Nr. 12, S. 2081–2091 beschrieben wird, erzeugt ein ähnliches Verhalten. Eine solche Vorgehensweise erfordert modifizierte Sensoren und kann aufgrund des ungleichmäßigen Ansprechverhaltens auf Licht für unterschiedliche Belichtungszeiten zu zusätzlichen Artefakten bei sich bewegenden Objekten führen.The setting of the photo-side charge capacity as shown in DECKER, S .; MCGRATH, D .; BREHMER, K .; SODINI, CG: A 256x256 CMOS imaging array with wide dynamic range Pixels and column-parallel digital output. In: IEEE Journal of Solid-State Circuits 33 (1995), Dec, No. 12, pp. 2081-2091 described, produces a similar behavior. Such an approach requires modified sensors and, because of the uneven response to light for different exposure times, may lead to additional artifacts on moving objects.

Räumlich variierende Belichtungen, wie sie in NAVAR, S. K.; MITSUNAGA, T.: High dynamic range imaging: spatially varying Pixel exposures. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Bd. 1, 2000, S. 472–479 und US 5,789,737 beschrieben wird, reduziert die Empfindlichkeit für einige Pixel. Dies wiederum reduziert die Auflösung für alle Betriebsbedingungen und erfordert wiederum eine spezialisierte Sensorhardware und Einstellungen des Bildrekonstruktionsalgorithmus.Spatially varying exposures, as in NAVAR, SK; MITSUNAGA, T .: High dynamic range imaging: spatially varying pixel exposures. In: Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Vol. 1, 2000, pp. 472-479 and US 5,789,737 described reduces the sensitivity for some pixels. This in turn reduces resolution for all operating conditions and in turn requires specialized sensor hardware and image reconstruction algorithm settings.

Wünschenswert wäre deshalb eine Möglichkeit zur Empfindlichkeitsverminderung oder Empfindlichkeitseinstellung, das eine breitere Einsatzmöglichkeit bezogen auf Sensortechnologie, anwendbare Bildnachverarbeitung und/oder Szenentyp liefert, eventuell sogar zu qualitativ besseren Aufnahmen führt, eine Empfindlichkeitseinstellung liefert, die weniger oder überhaupt nicht abhängig ist von Blenden-, Szenenhelligkeits- und/oder Belichtungszeiteinstellung und dabei leicht implementierbar ist.Desirable would therefore be a possibility for sensitivity reduction or sensitivity adjustment, the broader use based on sensor technology, applicable image post-processing and / or Scene type provides, possibly even better quality recordings leads, providing a sensitivity setting that is less or not at all dependent on aperture, Scene brightness and / or exposure time setting and thereby easy to implement.

Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, eine Bildaufnahmevorrichtung und ein entsprechendes Verfahren zur Erzeugung von Aufnahmen zu schaffen, die diesem Wunsch nachkommen.The It is therefore an object of the present invention to provide an image pickup device and a corresponding method for the production of recordings create that fulfill this desire.

Diese Aufgabe wird durch eine Bildaufnahmevorrichtung gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 14 gelöst.These Object is achieved by an image pickup device according to claim 1 and a method according to claim 14 solved.

Ein Kerngedanke der vorliegenden Erfindung besteht darin, dass eine Empfindlichkeitsverringerung relativ unaufwendig, mit Dynamikbereichsvorteilen und mit wenig Auswirkungen auf restliche Bildaufnahmeeinstellungen durchgeführt werden kann, indem Auslesewerte durch mehrmaliges Auslesen des optoelektrischen Sensors, nämlich lückenloses Auslesen und Zurücksetzen des optoelektrischen Sensors der Bildaufnahmevorrichtung zumindest einmal während eines Belichtungszeitfensters und einmal Auslesen am Ende des Belichtungszeitfensters, zur Erzeugung einer Aufnahme verwendet werden, eine Summe über diese zumindest zwei Auslesewerte gebildet wird und die Summe um einen Faktor kleiner 1 verkleinert wird, so dass eine Empfindlichkeit der Bildaufnahmevorrichtung neutraldichtereduziert wird. Die Lückenlosigkeit garantiert, dass das Ergebnis der Aufnahme einer herkömmlichen Aufnahme mit kontinuierlicher Akkumulation innerhalb des Belichtungszeitfensters im Wesentlichen entspricht, da im Wesentlichen der gesamte Lichtstrom während der Belichtungszeitdauer zum Ergebnis beiträgt. Das FPN-Rauschen ist aufgrund der kürzeren Teilbelichtungsintervalle zwischen den Auslese/Rücksetz-Zeitpunkten reduziert. Es bleibt zudem korrigierbar. Das dynamische Rauschen wird aufgrund der eintretenden Mittelung über die Auslesewerte ebenfalls reduziert. Das Ergebnis ist eine reduzierte untere Schranke für den Lichtfluss, der noch in den Dynamikbereich fällt. Umgekehrt ist auch die obere Lichtstromschranke aufgrund der kürzeren Teilbelichtungsintervalle erhöht. Der Aufwand zur Implementierung ist einfach, da lediglich wenige Additionen und eine Multiplikation pro Bildpunkt ausreichend sind.A key concept of the present invention is that sensitivity reduction can be performed relatively inexpensively, with dynamic range advantages and with little effect on residual image pickup settings, by reading readings by reading the optoelectric sensor several times, namely reading and resetting the optoelectric sensor of the image pickup device at least once during a scan Exposure time window and once read at the end of the exposure time window, are used to produce a shot, a sum is formed over these at least two read-out values and the sum is reduced by a factor of less than 1, so that a sensitivity of the image pickup device is neutral density-reduced. The gaplessness guarantees, that the result of the recording of a conventional recording with continuous accumulation within the exposure time window substantially corresponds, since substantially the entire luminous flux during the exposure period contributes to the result. The FPN noise is reduced due to the shorter partial exposure intervals between the read / reset times. It also remains correctable. The dynamic noise is also reduced due to the incoming averaging via the readings. The result is a reduced lower limit to the flow of light that still falls within the dynamic range. Conversely, the upper photocurrent barrier is increased due to the shorter Teilbelichtungsintervalle. The effort for implementation is simple, since only a few additions and one multiplication per pixel are sufficient.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:preferred Embodiments of the present invention will be with reference to the accompanying drawings explained. Show it:

1 ein schematisches Blockschaltbild einer Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel; 1 a schematic block diagram of an image pickup device according to an embodiment;

2 eine schematische Darstellung zum Vergleich einer durchgehenden Belichtung und einer Aufteilung einer Belichtung in Belichtungsteilintervalle gemäß einem Ausführungsbeispiel; 2 a schematic representation for comparing a continuous exposure and a division of an exposure in exposure subintervals according to an embodiment;

3 eine schematische Darstellung der sich ergebenden Dynamikbereiche für eine durchgehende Belichtung über ein langes Belichtungszeitfenster, eine durchgehende Belichtung über ein kurzes Belichtungszeitfenster und eine Unterteilung des langen Belichtungszeitfensters in kürzere Teilintervalle gemäß einem Ausführungsbeispiel; 3 a schematic representation of the resulting dynamic ranges for a continuous exposure over a long exposure time window, a continuous exposure over a short exposure time window and a division of the long exposure time window into shorter sub-intervals according to an embodiment;

4 ein Blockschaltbild einer Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel; 4 a block diagram of an image pickup device according to an embodiment;

5 einen Graphen zum Vergleich des dynamischen Rauschens kontinuierlicher Belichtung und Belichtung mit Einteilung des Belichtungszeitfensters in Teilintervalle; 5 a graph comparing the dynamic noise of continuous exposure and exposure with the division of the exposure time window into sub-intervals;

6 einen Graphen zum Vergleich des FPN-Rauschens bei kontinuierlicher Belichtung und Einteilung des Belichtungszeitfensters in Teilintervalle; 6 a graph comparing the FPN noise with continuous exposure and dividing the exposure time window into subintervals;

7, 8 und 9 jeweils ein Frame von Testaufnahmen mit kontinuierlicher Belichtung in langen Belichtungszeitfenstern, kontinuierlicher Belichtung in kurzen Be lichtungszeitfenstern bzw. mit Belichtung in Teilintervallen eines Belichtungszeitfensters; 7 . 8th and 9 one frame of test exposures with continuous exposure in long exposure time windows, continuous exposure in short exposure time windows or with exposure in subintervals of an exposure time window;

10 eine schematische Darstellung einer Standbildkamera gemäß einem Ausführungsbeispiel; 10 a schematic representation of a still camera according to an embodiment;

11 eine schematische Darstellung einer Videokamera gemäß einem Ausführungsbeispiel; 11 a schematic representation of a video camera according to an embodiment;

12 eine schematische Darstellung zur Veranschaulichung eines Dynamikbereiches bei kontinuierlicher Belichtung; und 12 a schematic representation illustrating a dynamic range in continuous exposure; and

13 eine schematische Darstellung zum Vergleich der Dynamikbereiche bei langer und kurzer kontinuierlicher Belichtung. 13 a schematic representation for comparing the dynamic ranges with long and short continuous exposure.

Bezug nehmend auf 1 wird zunächst eine Bildaufnahmevorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Die Bildaufnahmevorrichtung von 1 umfasst einen optoelektrischen Sensor 12, einen Ausleser 14 und einen Kombinierer 16. Die Bildaufnahmevorrichtung von 1 ist dazu da, in einem Belichtungszeitfenster eine Aufnahme 18 zu erzeugen und an einem Ausgang 20 auszugeben. Dazu sind der Ausleser 14 und der Kombinierer 16 in der genannten Reihenfolge zwischen den optoelektrischen Sensor 12 und den Ausgang 20 geschaltet.Referring to 1 First, an image pickup apparatus according to an embodiment of the present invention will be described. The image pickup device of 1 includes an opto-electrical sensor 12 , a read-out 14 and a combiner 16 , The image pickup device of 1 is there to take a shot in a shutter speed window 18 to produce and at an exit 20 issue. These are the readers 14 and the combiner 16 in the order mentioned between the opto-electrical sensor 12 and the exit 20 connected.

Der optoelektrische Sensor 12 ist beispielsweise ein Bildsensor mit einem Array von Pixeln 22. Der optoelektrische Sensor 12 bzw. dessen Bildpunkte oder Pixel 22 sind dazu ausgelegt, während einer Belichtungszeit einfallendes Licht zu inegrieren, und zwar durch Umwandlung des Lichts in elektrische Energie und Akkumulation letzterer. Beispielsweise werden Elektronen-Loch-Paare in pn-Übergängen der Bildpunkte 22 erzeugt und kapazitiv gespeichert. Die Beziehung zwischen akkumulierter Ladung und eingefallener Lichtmenge kann linear sein oder eine andere Funktion aufweisen. Vorzugsweise ist die vorerwähnte Beziehung für alle Bildpunkte 22 gleich. Fertigungsbedingt bestehen aber zwischen den einzelnen Bildpunkten 22 Unterschiede, die zu einem für den optoelektrischen Sensor 12 typischen Dunkelbild oder FPN-Rauschen führen. Daneben tritt ein dynamisches Rauschen auf, das bei aufeinanderfolgenden Belichtungen im Wesentlichen statistisch unabhängig voneinander ist.The optoelectric sensor 12 is, for example, an image sensor with an array of pixels 22 , The optoelectric sensor 12 or its pixels or pixels 22 are designed to integrate incident light during an exposure time by converting the light into electrical energy and accumulating the latter. For example, electron-hole pairs become pn-junctions of the pixels 22 generated and stored capacitively. The relationship between accumulated charge and amount of incident light may be linear or have another function. Preferably, the aforementioned relationship is for all pixels 22 equal. Due to production reasons, however, there are between the individual pixels 22 Differences, the one to the opto-electrical sensor 12 typical dark picture or FPN noise. In addition, dynamic noise occurs, which is essentially statistically independent of each other during successive exposures.

Die Bildaufnahmevorrichtung von 1 ist dazu ausgelegt, die Aufnahme 18 in einem vorbestimmten Belichtungszeitfenster zu erzeugen. Das Belichtungszeitfenster kann bei spielsweise durch einen Shutter bzw. Verschluss 24 jenseits des optoelektrischen Sensors 12 festgelegt werden als ein Zeitraum, bei dem in die Bildaufnahmevorrichtung einfallendes Licht 26 auf den optoelektrischen Sensor 12 treffen kann, wohingegen der Shutter 24 dieses Auftreffen ansonsten verhindert. Der Shutter 24 kann beispielsweise ein mechanischer Verschluss sein, wie z. B. ein Spiegel in dem Fall einer digitalen Spiegelreflexkamera oder eine Umlaufblende in dem Fall einer Videokamera. Ein solcher zu dem optoelektrischen Sensor 12 externer Verschluss 24 ist aber nicht notwendigerweise vorhanden. Der optoelektrische Sensor 12 selbst kann so steuerbar sein, dass die Bildpunkte 22 während des Belichtungszeitfensters ihre Lichtempfindlichkeit aufweisen und ansonsten lichtunempfindlich sind.The image pickup device of 1 is designed to take the picture 18 in a predetermined exposure time window. The shutter speed window can, for example, by a shutter or shutter 24 beyond the opto-electrical sensor 12 be set as a period of time in which light incident on the image pickup device 26 on the optoelectric sensor 12 can meet, whereas the shutter 24 otherwise prevents this impact. The shutter 24 For example, may be a mechanical closure, such. A mirror in the case of a digital SLR camera or a rotary shutter in the case of a video camera. Such to the opto-electrical sensor 12 external shutter 24 but is not necessarily present. The optoelectric sensor 12 itself can be so controllable that the pixels 22 during the exposure time window have their photosensitivity and are otherwise insensitive to light.

Der Ausleser 14 ist dazu ausgebildet, den optoelektrischen Sensor innerhalb des Belichtungszeitfensters mehrmals einem im Wesentlichen lückenlosen Auslese- und Zurücksetzvorgang zu unterziehen, um zumindest zwei Auslesewerte pro Belichtungszeitfenster und für jeden Bildpunkt 22 zu erhalten. Anders ausgedrückt, ist der Ausleser 14 dazu ausgebildet, das Belichtungszeitfenster in Teilbelichtungsintervalle zu unterteilen, und den optoelektrischen Sensor 12 am Ende jedes Teilbelichtungsintervalles auszulesen und im Anschluss daran wieder zurückzusetzen. Für das Auslesen und Zurücksetzen benötigt der Ausleser 14 eine gewisse Zeit, während der keine Akkumulation lichtinduzierter elektrischer Energie stattfindet. Da der Ausleser 14 allerdings im Wesentlichen lückenlos ausliest und rücksetzt, liegt das Verhältnis zwischen einer Summe der Zeitdauer der Teilbelichtungsintervalle und einer Zeitdauer des gesamten Belichtungszeitintervalls, das sich vom Anfang des ersten Teilbelichtungsintervalls bis zum Ende des letzten Teilbelichtungsintervalls erstreckt, beispielsweise zwischen 1 einschließlich und 0,9 einschließlich.The reader 14 is designed to subject the optoelectronic sensor to a substantially complete readout and reset operation several times within the exposure time window, in order to obtain at least two readout values per exposure time window and for each pixel 22 to obtain. In other words, the reader is 14 configured to divide the exposure time window into sub-exposure intervals, and the opto-electrical sensor 12 at the end of each partial exposure interval read out and then reset it again. The reader needs reading and resetting 14 a certain amount of time during which there is no accumulation of light-induced electrical energy. Because the reader 14 however, read and reset substantially completely, the ratio lies between a sum of the time duration of the partial exposure intervals and a time duration of the entire exposure time interval extending from the beginning of the first partial exposure interval to the end of the last partial exposure interval, for example between 1 and 0.9 inclusive inclusive.

Der Kombinierer 16 ist dazu ausgebildet, die Aufnahme 18 und durch Bilden einer Summe über die zumindest zwei Auslesewerte pro Bildpunkt 22 und Verkleinern der Summe um einen Faktor kleiner 1 zu erzeugen, so dass eine Empfindlichkeit der Bildaufnahmevorrichtung neutraldichtereduziert ist. Es kann sein, dass der Kombinierer 16 die Auslesewerte von dem Ausleser 14 in analoger Form erhält, digitalisiert und anschließend addiert, um die Summe in digitaler Form zu erhalten, und zwar verkleinert um den Faktor kleiner 1 durch beispielsweise wiederum anschließendes Multiplizieren mit dem Faktor. Ein Beispiel dafür wird später noch Bezug nehmend auf 4 erläutert. Der Kombinierer 16 kann die Summe in der digitalen Form durch den zuvor erwähnten Faktor verkleinern und beim Ausgang 20 ausgeben. Alternativ könnte der Kombinierer 16 ausgebildet sein, um die Addition bzw. Summe in analoger Form zu bilden und die Digitalisierung erst später vorzunehmen.The combiner 16 is trained to take the picture 18 and by forming a sum over the at least two readings per pixel 22 and reducing the sum by a factor less than 1 so that sensitivity of the image pickup device is neutral density reduced. It may be that the combiner 16 the readings from the reader 14 is obtained in analog form, digitized and then added to obtain the sum in digital form, namely reduced by the factor smaller than 1 by, for example, then again multiplying by the factor. An example of this will be made later on 4 explained. The combiner 16 can reduce the sum in the digital form by the factor mentioned above and at the output 20 output. Alternatively, the combiner could 16 be formed to form the addition or sum in analog form and make the digitization later.

Aufgrund der Einteilung des Belichtungszeitraums in Teilbelichtungsintervalle gerät, wie es im Folgenden noch näher erläutert werden wird, jeder Auslesewert verglichen zu einer Aufintegration über den gesamten Belichtungszeitraum hinweg erst später, d. h. bei einem höheren Lichtstrom, an einen Sättigungsschwellwert, der beispielsweise durch den Analog/Digital-Wandler zur Digitalisierung der Auslesewerte in dem Kombinierer 16 (nicht gezeigt in 1) festgelegt sein kann oder durch die Größe der Kapazität zur Akkumulation der der einfallenden Lichtmenge entsprechenden elektrischen Energie bzw. elektrischen Ladung innerhalb des optoelektrischen Sensors 12 oder Auslesers 14. Bei dieser Gelegenheit wird darauf hingewiesen, dass sich der zuvor erwähnte Energiespeicher wahlweise in dem optoelektrischen Sensor 12 befinden kann oder im Ausleser 14, oder aber dass sich in beiden ein entsprechender Energiespeicher befindet, wobei eine Umspeicherung bzw. Umladung an den Auslese/Rücksetz-Vorgängen stattfindet.Due to the division of the exposure period into partial exposure intervals, as will be explained in more detail below, each readout compared to an integration over the entire exposure period later, ie at a higher luminous flux, to a saturation threshold, for example by the analog / digital Converter to digitize the readings in the combiner 16 (not shown in 1 ) or by the size of the capacitance for accumulating the amount of electric energy corresponding to the amount of incident light or electric charge within the optoelectric sensor 12 or readout 14 , On this occasion, it should be noted that the aforementioned energy storage is optional in the opto-electrical sensor 12 can be located or in the reader 14 , Or else that in both a corresponding energy storage is, with a re-storage or transhipment takes place at the read / reset operations.

Aufgrund der kürzeren Teilbelichtungsintervalle macht sich auch das FPN-Rauschen des optoelektrischen Sensors 12 weniger bemerkbar. Ferner wird aufgrund der mittelwertartigen Berechnung der Auslesewerte in dem Kombinierer 16 das dynamische bzw. statistische Rauschen verringert. Dies wiederum lasst die entstehende Aufnahme 18 empfindlicher sein für lichtschwache Signale. Insgesamt ist die Empfindlichkeit der Bildaufnahmevorrichtung von 1 reduziert gegenüber einer durchgängigen Belichtung in dem Belichtungszeitfenster. Eine solche Neutraldichtereduzierung der Empfindlichkeit hätte ansonsten eine der komplizierteren Maßnahmen aus der Beschreibungseinleitung erforderlich gemacht, wie z. B. das Verbauen eines optischen Neutraldichtefilters. Umgekehrt sind die anderen Bildeigenschaften, wie z. B. die Bewegungsverschmierung, in der aus den Teilbelichtungswerten gewonnenen Aufnahme die gleichen wie bei einer Aufnahme mit kontinuierlicher Belichtung über das Belichtungszeitfenster hinweg, da im Wesentlichen die gesamte Lichtmenge verwendet wird.Due to the shorter partial exposure intervals, the FPN noise of the opto-electrical sensor also makes itself 12 less noticeable. Further, due to the averaging-like calculation of the readings in the combiner 16 reduces the dynamic or statistical noise. This in turn leaves the resulting recording 18 be more sensitive to faint signals. Overall, the sensitivity of the image pickup device is 1 reduced compared to a continuous exposure in the exposure time window. Such a neutral density reduction of the sensitivity otherwise would have required one of the more complicated measures from the introduction to the description, such. B. the installation of a neutral optical density filter. Conversely, the other image properties, such. For example, motion blur in the shot obtained from the split exposure values is the same as in a continuous exposure shot over the exposure time window because substantially the entire amount of light is used.

Die Bildaufnahmevorrichtung von 1 kann beispielsweise eine Standbildkamera sein, wobei ein Beispiel hierfür in 10 gezeigt ist, oder eine Videokamera, was Bezug nehmend auf 11 beschrieben wird. Allerdings kann die Bildaufnahmevorrichtung von 1 natürlich auch in anderen elektronischen Geräten integriert sein, wie z. B. in ein Handy, einen Laptop, einen PDA, eine Spielekonsole usw., oder aber in optischem oder medizinischen Messgeräten.The image pickup device of 1 may for example be a still camera, an example of this in 10 is shown, or a video camera, referring to 11 is described. However, the image pickup device of 1 Of course, be integrated into other electronic devices, such. B. in a cell phone, a laptop, a PDA, a game console, etc., or in optical or medical gauges.

Es wurde in 1 noch nicht darauf eingegangen, dass die Anzahl der Auslesevorgänge pro Belichtungszeitfenster natürlich auch einstellbar sein könnte. Auf diese Weise wäre es möglich, für die Bildaufnahmevorrichtung von 1 eine Einstellbarkeit ihrer Empfindlichkeit zu realisieren, wobei die Einstellbarkweit kaum Zusatzmaßnahmen erfordert, da die erforderlichen Operationen im Wesentlichen die gleichen bleiben, wie z. B. Summenbildung und Verkleinerung um einen Faktor. Der Faktor, um den die Summe der Auslesewerte verkleinert wird, fällt vorzugsweise monoton mit der Anzahl der Auslesevorgänge. Gemäß einem Beispiel beträgt der Faktor beispielsweise 1/x, wobei x = N ± 5% von N oder x = √N ± 5% von wobei √N die Anzahl der Auslesevorgänge ist.It was in 1 not yet understood that the number of read-outs per shutter speed window could of course also be adjustable. In this way it would be possible for the image pickup device of 1 adjustability of their sensitivity, the Einstellbarkweit hardly requires additional measures, since the required operations remain essentially the same, such. B. Summation and reduction by a factor. The factor by which the sum of the read-out values is reduced preferably falls monotonously with the number of read-out processes. For example, in one example, the factor is 1 / x, where x = N ± 5% of N or x = √ N ± 5% from where √ N the number of reads is.

Nachdem nun im Vorhergehenden ein Ausführungsbeispiel für eine Bildaufnahmevorrichtung beschrieben worden ist, werden im Folgenden Ausführungen zum zugrunde liegenden Prinzip, den resultierenden Vorteilen und zu den zugrunde liegenden physikalischen Gegebenheiten gemacht, die ein Verständnis der Vorteile und der nachfolgend beschriebenen Ausführungsbeispiele erleichtern.After this now in the foregoing an embodiment of An image pickup device has been described below Remarks on the underlying principle, the resulting Advantages and the underlying physical conditions made an understanding of the benefits and the following facilitate described embodiments.

Wie in Bezug auf 1 beschrieben, ist es möglich, eine Neutraldichtereduzierung auf elektronischem Wege zu realisieren, wie z. B. sogar rein digital, wenn man annimmt, dass die Digitalisierung der Auslesewerte in Bildaufnahmevorrichtungen zumeist ohnehin schon vorgesehen ist. Die in 1 beschriebene Unterteilung eines Belichtungszeitfensters in Teilbelichtungsintervalle mit anschließender Summenbildung und Verkleinerung der Summe ermöglicht eine Reduktion der Empfindlichkeit der Bildaufnahmevorrichtung, während der dynamische Bereich verschoben und ggf. sogar erhöht wird, wie es im Folgenden noch erörtert wird. Im Folgenden wird kurz erläutert, wieso sich eine Verschiebung der oberen sowie der unteren Grenze des dynamischen Bereiches ergibt. Insbesondere ergibt aus den folgenden Erläuterungen, dass sich
eine reduzierte Sensorempfindlichkeit,
ein reduziertes dynamisches Rauschen mit demzufolge vergrößertem Dynamikbereich,
ein reduziertes FPN-Rauschen mit dementsprechend vergrößertem Dynamikbereich,
eine korrekte Wiedergabe einer Bewegungsverschmierung von sich bewegenden Objekten in der Aufnahme,
eine gleichmäßige Empfindlichkeit für verschiedene Belichtungszeiten,
im Wesentlichen keine zusätzlichen Artefakte, sowie
Realisierungsmöglichkeiten unter Verwendung ganz normaler, herkömmlicher Bildsensoren ergeben.As for 1 described, it is possible to realize a neutral density reduction by electronic means, such. B. even purely digital, if one assumes that the digitization of the readings in image pickup devices is usually already provided anyway. In the 1 The subdivision of an exposure time window into partial exposure intervals with subsequent summation and reduction of the sum described makes it possible to reduce the sensitivity of the image recording device while the dynamic range is shifted and possibly even increased, as will be discussed below. In the following it is briefly explained why a shift of the upper and the lower limit of the dynamic range results. In particular, it follows from the following explanations that
a reduced sensor sensitivity,
a reduced dynamic noise with consequently increased dynamic range,
a reduced FPN noise with correspondingly increased dynamic range,
a correct reproduction of a movement smearing of moving objects in the recording,
a uniform sensitivity for different exposure times,
essentially no additional artifacts, as well
Realize possibilities of realization using normal, conventional image sensors.

All diese Vorteile lassen sich, wie im Vorhergehenden und im Folgenden noch beschrieben, durch Einstellung des Sensorauslesemusters und Durchführen zusätzlicher Pixelbasierter Bildverarbeitung erzielen. Um das zu erläutern, wird auf 2 Bezug genommen. Bei a) ist in 2 die Aufnahme eines einzelnen Frames mit ununterbrochener Belichtung im Belichtungszeitfenster 30 gezeigt. Die Belichtung startet bei dem Zeitpunkt t₁ und endet nach einer Zeitdauer τ_exp bei dem Zeitpunkt t₂. D. h., vor dem Zeitpunkt t₁ ist beispielsweise der Bildshutter 24 der Bildaufnahmevorrichtung geschlossen, zwischen den Zeitpunkten t₁ und t₂ geöffnet und nach dem Zeitpunkt t₂ wieder geschlossen. Während des Belichtungszeitfensters 30 ergibt die Lichtintegration den Pixelwert I.All of these advantages can be achieved by adjusting the sensor read pattern and performing additional pixel-based image processing, as described above and below. To explain this, it will open 2 Referenced. In a) is in 2 recording a single frame with continuous exposure in the shutter speed window 30 shown. The exposure starts at time t ₁ and ends after a time period τ _exp at time t ₂ . That is, before time t ₁ , for example, the image shutter 24 the image pickup device closed, opened between the times t ₁ and t ₂ and closed again after the time t ₂ . During the shutter speed window 30 the light integration gives the pixel value I.

Bei b) ist in 2 ein Vorgehen gezeigt, wonach während des Belichtungszeitfensters 30 vier im Wesentlichen lückenlose Auslese/Rücksetz-Vorgänge 32₁ –32₄ durchgeführt werden, und zwar um genau zu sein drei innerhalb des Belichtungszeitfensters 30 und einer am Ende beim Zeitpunkt t₂, wodurch das Belichtungszeitfenster 30 in vier Teilbelichtungsintervalle τ_N unterteilt wird. Wie es zu sehen ist, kann der letzte Vorgang auf ein Auslesen begrenzt sein und zu Beginn des Belichtungszeitfensters zum Zeitpunkt t₁ wird oder ist des Sensor noch zurückgesetzt. Das Zurücksetzen bewirkt ein Voreinstellen des vorerwähnten Akkumulationsspeichers des optoelektrischen Sensors, der dann mit einer Rate, die dem momentan einfallenden Lichtstrom entspricht, entladen oder aufgeladen wird. Das Auslesen ergibt einen Auslesewert des momentanen Ladezustands des Akkumulationsspeichers. Das Auslesen kann destruktiv sein, d. h. den Ladezustand verändern, da ja im Anschluss wieder ein Zurücksetzen erfolgt.At b) is in 2 a procedure is shown, according to which during the exposure time window 30 four essentially complete readout / reset operations 32 ₁ - 32 ₄ to be precise, to be precise, three within the shutter speed window 30 and one at the end at time t ₂ , which causes the shutter speed window 30 is divided into four partial exposure intervals τ _N. As can be seen, the last operation may be limited to reading and at the beginning of the exposure time window at time t ₁ , the sensor will still be reset or reset. The resetting causes a presetting of the aforementioned accumulation memory of the opto-electrical sensor, which is then discharged or charged at a rate corresponding to the instantaneous incident luminous flux. The read results in a readout of the current state of charge of the accumulation memory. The reading out can be destructive, ie change the state of charge, since then again a reset takes place.

In 2 wird das Belichtungszeitfenster 30 exemplarisch in vier Teilbelichtungsintervalle 34₁ –34₄ der Länge τ_N unterteilt, aber natürlich ist auch eine feinere oder gröbere Unterteilung mit N ≥ 2 möglich.In 2 becomes the shutter speed window 30 exemplary in four Teilbelichtungsintervalle 34 ₁ - 34 ₄ The length τ _{N is} divided, but of course, a finer or coarser subdivision with N ≥ 2 is possible.

Zwischen den Teilbelichtungen 34₁ –34₄ wird jeweils der Auslese/Rücksetz-Vorgang 32₁ –32₃ durchgeführt. Die Auslesevorgänge können dabei destruktiv sein, d. h. den Inhalt des vorerwähnten Energiespeichers bzw. Ladungsspeichers zerstören. Die Auslese/Rücksetz-Vorgänge 32₁ –32₃ im Inneren des Belichtungszeitfensters 30 weisen, wie es in 2 gezeigt ist, jeweils einen Auslesevorgang und einen Rücksetzvorgang auf, die im Wesentlichen unmittelbar aufeinander stattfinden. Zwischen denselben tritt keine Lichtakkumulation auf. Das Verhältnis zwischen der Summe dieser zeitlichen Lücken und der Zeitdauer t_exp beträgt beispielsweise gleich oder weniger als 9/10 oder sogar noch bevorzugter weniger als 99/100. Wie es ferner in 2 gezeigt ist, sind die Teilbelichtungsintervalle 34₁ – 34₄ vorzugsweise gleichlang, nämlich τ_N = 1/N·τ_exp. Der schließliche Wert Ī für das augenblickliche Frame ergibt sich dann beispielsweise gemäß Mittelwertbildung auf einer pro-Pixel-Basis gemäß

Between the partial exposures 34 ₁ - 34 ₄ in each case the readout / reset process 32 ₁ - 32 ₃ Runaway leads. The readings can be destructive, ie destroy the contents of the aforementioned energy storage or charge storage. The readout / reset operations 32 ₁ - 32 ₃ inside the shutter speed window 30 wise, as is in 2 is shown, each a read operation and a reset operation, which take place substantially directly on each other. There is no accumulation of light between them. For example, the ratio between the sum of these time gaps and the time duration t _exp is equal to or less than 9/10 or even more preferably less than 99/100. As it is further in 2 are shown, are the Teilbelichtungsintervalle 34 ₁ - 34 ₄ preferably the same length, namely τ _N = 1 / N · τ _exp . The final value Ī for the current frame then results according to averaging on a per-pixel basis, for example

Die Einstellung von N benötigt vorteilhafterweise keine Einstellung irgendeiner Kameramechanik. Es ändern sich auch keine optischen Eigenschaften der Kameras durch eine Verstellung von N. Das gilt sowohl für die Tiefenschärfe, die durch die Linse und die Apertur der Bildaufnahmevorrichtung bestimmt ist sowie die Farbcharakteristik und Auflösung der Kamera bzw. der Bildaufnahmevorrichtung. Folglich wirkt die Intervallunterteilung des Belichtungszeitfensters 30 mit Summenbildung und Verkleinerung wie im Vorhergehenden beschrieben wie ein digitales Neutraldichtefilter mit echtem Neutralverhalten.The adjustment of N advantageously requires no adjustment of any camera mechanics. Also, no optical properties of the cameras are changed by an adjustment of N. This applies both to the depth of field, which is determined by the lens and the aperture of the image recording device and the color characteristics and resolution of the camera or the image recording device. Consequently, the interval division of the shutter speed window works 30 with summation and reduction as described above like a neutral neutral density filter with true neutral behavior.

Im Folgenden wird kurz auf physikalische Grundlagen bei der Bilderfassung eingegangen, die zum Verständnis der Vorteile der Ausführungsbeispiele der vorliegenden Erfindung beitragen. Der Vorgang der Bilderfassung ist nicht-ideal und unterschiedliche Typen von Bildstörungen werden das Signal unweigerlich verschlechtern. Insbesondere kann zwischen zwei Typen von Rauschen unterschieden werden, die das Erfassen eines Pixelwertes I beeinflussen:

In the following, a brief description will be made of physical fundamentals in image acquisition that contribute to understanding the advantages of the embodiments of the present invention. The process of image capture is non-ideal and different types of image noise will inevitably degrade the signal. In particular, a distinction can be made between two types of noise which influence the detection of a pixel value I:

Die eigentliche Bildinformation wird beispielsweise durch Integration eines dem einfallenden Lichtstrom entsprechenden Photostrom i_ph über die Belichtungszeit τ_exp erfasst. Sich bewegende Objekte werden verschmiert erscheinen, was für eine natürliche Szenenerscheinung wesentlich ist. Die Entstehung bzw. naturgetreue Wiedergabe der korrekten Bewegungsverschmierung ist wesentlich für hochqualitative Bewegungsbildaufnahmen.The actual image information is detected, for example, by integrating a photocurrent i _ph corresponding to the incident luminous flux over the exposure time τ _exp . Moving objects will appear smeared, which is essential for a natural scene appearance. The emergence or lifelike reproduction of the correct Bewegungsverschmierung is essential for high quality motion picture recordings.

Das statische oder FPN-Rauschen N_FPN beschreibt systematische Störungen, die in einem gewissen Rahmen prädiziert und nachträglich wieder entfernt bzw. subtrahiert werden können, wie es beispielsweise im MALUEC, R. M.: Detector Array Fixed-Pattern Noise Compensation. April 6 1976. – US Patent 3,949,162 beschrieben wird. Dieses Rauschen besteht hauptsächlich aus Offset-Rauschen N_offset und Dunkelstromrauschen N_dunkel. Die Belichtungszeitabhängigkeit kann mit einem konstanten Wert für den Dunkelstrom i_dunkel für jedes Pixel moduliert werden, wie es beispielsweise in US 7,092,017 beschrieben wird.The static or FPN noise N _FPN describes systematic interference that can be predicted within a certain range and subsequently removed or subtracted again, as for example in the MALUEC, RM: Detector Array Fixed-Pattern Noise Compensation. April 6, 1976. - U.S. Patent 3,949,162 is described. This noise consists mainly of offset noise N _offset and dark noise N _dark . The exposure time dependency can be modulated with a constant value for the dark current i _dark for each pixel, as shown in FIG US 7,092,017 is described.

Die lineare Abhängigkeit des Dunkelstromes von der Belichtungszeit resultiert in erheblichen Bildstörungen in dem Fall von langen Belichtungszeiten. Selbst unter Kompensation des FPN-Rauschens und der FPN-Kompensation gemäß Gleichung (4) für jedes Pixel mit Pixel-individuellem Dunkelstrom i_dunkel verbleiben zwei Probleme: selbst mit einer perfekten Schätzung und Entfernung des FPN-Rauschens wird der Dynamikbereich des Bildes reduziert sein. Dies limitiert wiederum die maximal zugelassene Belichtungszeit. Zweitens ist bei einer echten Kamera die Schätzung von i_dunkel für jedes Pixel sehr wahrscheinlich nicht perfekt, was weiterhin dazu führt, dass ein erhöhtes Rauschen bei langen Belichtungszeiten auftritt. In der Praxis wird sich deshalb das FPN-Rauschen trotz einer FPN-Kompensation mit der Länge der Belichtungszeit erhöhen.The linear dependence of the dark current on the exposure time results in significant image disturbances in the case of long exposure times. Even under compensation of the FPN noise and FPN-compensation in accordance with equation (4) for each pixel with pixel individual dark current i _dark remain two problems: even with a perfect estimation and removal of FPN noise, the dynamic range of the image will be reduced. This in turn limits the maximum allowed exposure time. Second, in a real camera, the estimate of i _{dark is} very likely not perfect for each pixel, which further causes increased noise to occur at long exposure times. In practice, therefore, the FPN noise will increase with the length of the exposure time despite FPN compensation.

Theoretisch ergibt sich also durch die beschriebene Maßnahme der Intervallteilung des Belichtungszeitfensters kombiniert mit der Summe über die resultierenden Auslesewerte und der Verkleinerung der Summe eine Bildaufnahme mit einer reduzierten Empfindlichkeit, reduziertem dynamischen Rauschen sowie reduziertem FPN-Rauschen. Das zeigt auch die Tabelle (1), die im Folgenden erläutert wird. Eine um den Faktor N kürzere Belichtungszeit bewirkt, dass lediglich 1/N des einfallenden Lichtes bei der Belichtung wirksam ist. Dies verringert die Empfindlichkeit effektiv um einen Faktor 1/N. Eine Mittelung über die Abtastwerte ändert nichts an der Menge des Lichtes. Werden alle Bildinformationen aller Belichtungsteilintervalle 34₁ –34₄ verwertet bzw. bei der Summenbildung umfasst und dabei gleich gewichtet, so garantiert dies ein gleichmäßiges Verhalten über die Belichtungszeit. Insbesondere wird die erzeugte Bewegungsverschmierung zu derjenigen einer einzelnen ununterbrochenen langen Belichtung gleich sein.Theoretically, therefore, the described measure of the interval division of the exposure time window combined with the sum of the resulting read values and the reduction of the sum results in an image acquisition with a reduced sensitivity, reduced dynamic noise and reduced FPN noise. This is also shown in Table (1), which is explained below. An exposure time that is shorter by the factor N causes only 1 / N of the incident light to be effective during the exposure. This effectively reduces the sensitivity by a factor of 1 / N. Averaging over the samples does not change the amount of light. Will all picture information of all exposure subintervals 34 ₁ - 34 ₄ utilized or weighted in the summation and thus weighted, this guarantees a uniform behavior over the exposure time. In particular, the generated motion blur will be equal to that of a single uninterrupted long exposure.

3 zeigt beispielsweise bezogen auf den Lichtstrom F, der während des Belichtungszeitfensters auf den optoelektrischen Sensor fällt, den Dynamikbereich 40 in dem Fall einer durchgehenden langen Belichtung, den Dynamikbereich 42 in dem Fall einer durchgehenden kurzen Belichtung und verglichen dazu den Dynamikbereich 44 in dem Fall eines Dynamikbereiches, wie er sich durch das beschriebene digitale ND-Filter, d. h. durch Aufteilung des Belichtungszeitfensters in mehrere Teilbelichtungsintervalle mit Summenbildung über die Teilbelichtungswerte und Verkleinerung der Summe um die Anzahl der Teilbelichtungsintervalle ergibt. 3 shows the dynamic range, for example, based on the luminous flux F, which falls on the optoelectrical sensor during the exposure time window 40 in the case of a continuous long exposure, the dynamic range 42 in the case of a continuous short exposure and compared to the dynamic range 44 in the case of a dynamic range as obtained by the described digital LP filter, ie by dividing the exposure time window into several partial exposure intervals with summation over the partial exposure values and decreasing the sum by the number of partial exposure intervals.

Das dynamische Rauschen bei ununterbrochener Belichtung über das Belichtungszeitfenster hinweg betrage beispielsweise σ_a. Wenn eine Mittelung über N unkorrelierte Zufallsvariablen a durchgeführt wird, wird der Mittelwert ā den Wert

annehmen. Dies reduziert direkt das dynamische Rauschen um √N , wie es in der Tabelle 1 gezeigt ist.For example, the dynamic noise with continuous exposure over the exposure window would be σ _a . When averaging over N uncorrelated random variables a is performed, the mean value ā becomes the value

accept. This directly reduces the dynamic noise √ N as shown in Table 1.

Das FPN-Rauschen für eine kurze Belichtungszeit ergibt eine Reduktion des Dunkelstrom-FPN-Rauschens N_dunkel um einen Faktor 1/N. Das Offset-Rauschen N_offset bleibt hingegen konstant, was aber lediglich die Gesamtreduktion des FPN-Rauschens limitiert. Eine Mittelung über den resultierenden gleichen Betrag des FPN-Rauschens bei den einzelnen Teilbelichtungswerten beeinflusst den Rauschpegel nicht.The FPN noise for a short exposure time results in a reduction of the dark current FPN noise N _dark by a factor of 1 / N. The offset noise N _offset, however, remains constant, but merely limits the total reduction of the FPN noise. Averaging over the resulting same amount of FPN noise at each partial exposure value does not affect the noise level.

Das Ergebnis dieser theoretischen Betrachtungen ist in Tabelle (1) gezeigt.The Result of these theoretical considerations is shown in Table (1).

Table 1: Erwartetes Verhalten

Table 1: Expected behavior

D. h., eine Unterteilung des Belichtungszeitfensters in N gleichgroße Teilbelichtungsintervalle mit Bildung einer Summe über die Teilbelichtungswerte und Reduktion der Summe um einen Faktor 1/N, mit N der Anzahl der Teilbelichtungsintervalle, führt relativ zu einer durchgehenden Belichtung mit der Belichtungszeitdauer N mal der Teilbelichtungszeitdauern zu einer um 1/N reduzierten Empfindlichkeit, einem um 1/√N reduzierten dynamischen Rauschen N_dyn und einem um 1/N reduzierten Dunkelstrom-FPN-Rauschen N_dunkel.That is, subdividing the exposure time window into N equally sized partial exposure intervals forming a sum over the partial exposure values and reducing the sum by a factor of 1 / N, where N is the number of partial exposure intervals, results in continuous exposure with the exposure period N times that Partial exposure time to a reduced by 1 / N sensitivity, a 1 / √ N reduced dynamic noise N _dyn and a dark N FPN noise N _darkened by 1 / N.

Die Anwendbarkeit dieser Vorgehensweise ist sogar für große Werte von N unbegrenzt. Allerdings ist die Zunahme der Bildqualität durch die Reduktion des dynamischen Rauschens durch das konstante Offset-FPN-Rauschen begrenzt.The Applicability of this approach is even great Values of N unlimited. However, the increase in image quality by the reduction of the dynamic noise by the constant Offset FPN noise limited.

Bezug nehmend auf 1 wurde bereits auf ein paar Möglichkeiten der Integration in ein existierendes Kamerasystem eingegangen. Im Grunde ist eine Ergänzung eines existierenden Kamerasystems um eine Vorrichtung gemäß 1 nicht schwierig. Die Aufteilung des Belichtungszeitfensters in Teilbelichtungsintervalle mit anschließender mittelwertartiger Verarbeitung der Teilbelichtungswerte bedarf lediglich einer sehr geringen Rechenkomplexität und kann einfach in ein existierendes Kamerasystem integriert werden. N-1 Additionen und eine einzige Multiplikation pro Pixel pro erzeugtes Frame bzw. pro erzeugter Aufnahme sind beispielsweise ausreichend. Zur Integration in ein existierendes Kamerasystem ist lediglich die Existenz einer intern höheren Framerate als die eigentliche Kameraframerate erforderlich und der Sensor muss zu einem im Wesentlichen lückenlosen Auslese/Rücksetz-Modus in der Lage sein.Referring to 1 has already been discussed a few ways of integration into an existing camera system. Basically, a supplement to an existing camera system is a device according to 1 not difficult. The division of the exposure time window into partial exposure intervals with subsequent average processing of the partial exposure values requires only a very low computational complexity and can be easily integrated into an existing camera system. For example, N-1 additions and a single multiplication per pixel per generated frame or per shot are sufficient. For integration into an existing camera system, only the existence of an internally higher frame rate than the actual camera frame rate is required, and the sensor must be capable of a substantially gapless readout / reset mode.

Beispielsweise müssen alle Komponenten in Verarbeitungsrichtung vor der Summenbildung, wie z. B. der Sensor und der Analog/Digital-Konverter, zu einer N-mal höheren Verarbeitungsrate in der Lage sein als die Framerate. Bei einem typischen Kamerasystem ist eine erhöhte interne Framerate unmittelbar möglich: ein Kamerasystem arbeitet nicht immer bei der höchstmöglichen Framerate. Das ist insbesondere wahr, falls eine reguläre Kamera zur Zeitrafferaufzeichnung verwendet wird oder falls eine Hochgeschwindigkeitskamera für reguläre Frameraten verwendet wird. Zweitens erzeugen einige Kamerasysteme eine Ausgabeframerate, die niedriger als die maximale interne Sensorauslesegeschwindigkeit ist. Dies wird beispielsweise bei Drehshutterkameras verwendet, wo eine Auslese so schnell wie möglich durchgeführt wird. Dies reduziert Shutterartefakte ohne das Erhöhen der erforderlichen Verarbeitungsleistung und Speicherdatenrate.For example, all components in the processing direction before the summation, such. B. the sensor and the analog-to-digital converter are capable of processing at a rate n times higher than the frame rate. In a typical camera system, an increased internal frame rate is immediately possible: a camera system does not always work at the highest possible frame rate. This is especially true if a regular camera is used for time-lapse recording or if a high-speed camera is used for regular frame rates. Second, some camera systems produce an output frame rate that is lower than the maximum internal sensor readout rate. This is used, for example, in rotary-shutter cameras where read-out is performed as quickly as possible. This reduces shutter artifacts without increasing the required processing power and memory data rate.

Die Art und Weise, wie ein lückenloser und verschachtelter Auslese/Rücksetz-Sensorauslesemodus realisiert ist, hängt bezüglich seiner Details von dem Sensortyp ab. Typische High-End-Sensoren unterstützen aber diesen Modus. Für einige Sensoren erfordert das lückenlose Auslesen einen Betriebsmodus, der ein höheres dynamisches Rauschen nach sich zieht. Sogar in diesen Fällen ist aber das hier beschriebene Aufteilen des Belichtungszeitfensters in mehrere Teilbelichtungsintervalle mit anschließender mittelwertartiger Verarbeitung der Teilbelichtungswerte vorteilhaft, da eine äquivalente Rauschreduktion auch bei N = 2 erzielbar ist.The Way, like a gapless and nested Readout / reset sensor readout mode is suspended in terms of its details of the sensor type. typical High-end sensors support this mode. For some sensors require the complete reading one Operating mode, which is a higher dynamic noise after pulls. Even in these cases, however, is the one described here Splitting the shutter speed window into several partial exposure intervals with subsequent average processing of the partial exposure values advantageous, since an equivalent noise reduction also at N = 2 is achievable.

Für eine korrekte Bewegungsverschmierungsrekonstruktion wird die Mittelwertbildung oder allgemeiner die mittelwertartige, da nicht unbedingt mit der Summenteilung mittels N durchgeführte Verarbeitung der Teilbelichtungswerte vorzugsweise in einem linearen Datenraum durchgeführt. Dies kann beispielsweise dadurch bewerkstelligt werden, dass die Teilbelichtungsbilder kurz nach der A/D-Wandlung addiert bzw. der Summenbildung unterzogen werden. Eine mögliche Ausführung ist in 4 gezeigt.For proper motion blur reconstruction, the averaging, or more generally the midspecific, because not necessarily the sum division by N performed processing of the partial exposure values is preferably performed in a linear data space. This can be accomplished, for example, by summing the sub-exposure images shortly after the A / D conversion or subjecting them to summation. One possible implementation is in 4 shown.

4 zeigt eine Bildaufnahmevorrichtung mit einem Sensor 52, einen A/D-Wandler (Analo-to-digital converter = ADC) 54, einen Teilbelichtungswertzwischenspeicher 56, wie z. B. einen RAM, wie es in 4 exemplarisch gezeigt ist, einen Addierer 58, einen Multiplizierer 60 und eine Weiter- bzw. Nachverarbeitungseinrichtung 62. Einander entsprechende Komponenten aus 4 und 1 sind in 4 entsprechend gekennzeichnet. Demnach umfasst der Sensor 52 von 4 intern einen optoelektrischen Sensor 12 und einen entsprechenden Ausleser 14. Die von dem Ausleser 14 pro Pixel und Belichtungszeitintervall sequenziell ausgegebenen Teilbelichtungswerte 64 werden von dem A/D-Wandler 54 digitalisiert. Die so digitalisierten Teilbelichtungswerte 66 werden von dem Addierer 58 der Reihe nach mit dem in dem Zwischenspeicher 56 zwischengespeicherten Zwischenergebnis verrechnet bzw. summiert, wobei das Summenergebnis wieder in dem Zwischenspeicher 56 abgelegt wird bzw. der Inhalt des Zwischenspeichers 56 mit dem Ergebnis der aktuellen Addition aktualisiert wird, wie es mit dem Pfeil 68 angezeigt ist. Sobald die N Teilbelichtungswerte summiert worden sind, gelangt die Summe, wie es mit dem Pfeil 70 gezeigt ist, zu dem Multiplizierer 60. Dort wird die Summe mit dem Faktor 1/N 72 multipliziert bzw. reduziert. Das Ergebnis der Multiplikation stellt den entsprechenden Pixelwert 74 dar, der dann zusammen mit den anderen Pixelwerten das Rohbild darstellt, das der Weiterverarbeitung 62 zugeführt wird, um an dem Rohbild beispielsweise eine FPN-Kompensation mit Pixel-individueller FPN-Korrekturfunktion durchzuführen, eine Farbkorrektur durchzuführen und/oder eine Farbinterpolation durchzuführen. Also wird gemäß 4 jegliche Weiterverarbeitung, wie z. B. die FPN-Entfernung oder eine Bayer-Farbrekonstruktion, erst dann durchgeführt, wenn für jedes Pixel die Summenbildung der Teilbelichtungswerte und der Reduktion mit einem Faktor kleiner 1 durchgeführt worden ist. Die Operationen der Einrichtung 62 müssen also nur einmal durchgeführt werden für das Rohbild bzw. bei der Integration der Vorrichtung von 4 in ein existierendes Kamerasystem müssen diese Operationen weiterhin nur einmal pro erzeugtes Frame durchgeführt werden und nicht etwa N mal. Die Integration bleibt also hinsichtlich seiner Komplexität gering. 4 shows an image pickup device with a sensor 52 , an analog-to-digital converter (ADC) 54 , a partial exposure value buffer 56 , such as B. a RAM, as in 4 is shown as an example, an adder 58 , a multiplier 60 and a post-processing device 62 , Corresponding components from 4 and 1 are in 4 marked accordingly. Accordingly, the sensor includes 52 from 4 internally an opto-electrical sensor 12 and a corresponding reader 14 , The from the reader 14 sequentially output partial exposure values per pixel and exposure time interval 64 be from the A / D converter 54 digitized. The thus digitized partial exposure values 66 be from the adder 58 in turn with the one in the cache 56 cached intermediate result is calculated or summed, the sum result again in the cache 56 is stored or the contents of the cache 56 is updated with the result of the current addition, as with the arrow 68 is displayed. Once the N partial exposure values have been summed, the sum passes as indicated by the arrow 70 is shown to the multiplier 60 , There, the sum with the factor 1 / N 72 multiplied or reduced. The result of the multiplication represents the corresponding pixel value 74 which, together with the other pixel values, then represents the raw image, that of further processing 62 is supplied to perform on the raw image, for example, an FPN compensation with pixel-individual FPN correction function to perform a color correction and / or perform color interpolation. So according to 4 any further processing, such as As the FPN removal or a Bayer color reconstruction, carried out only when for each pixel, the summation of the partial exposure values and the reduction has been performed with a factor less than 1. The operations of the institution 62 must therefore be performed only once for the raw image or in the integration of the device of 4 in an existing camera system, these operations still need to be done only once per generated frame and not about N times. The integration therefore remains low in terms of its complexity.

Zur Simulation bzw. zum experimentellen Test des oben skizzierten digitalen ND-Filters wurden Testsequenzen mit verschiedenen Frameraten und Kameramodi aufgenommen. Die Testszene umfasste eine rotierende Scheibe mit einem schmalen Schlitz zur Überprüfung der Bewegungsartefakte und zur Überprüfung des lückenlosen Auslesens. Zur Bewahrung des originären Kamerarauschens wurden unkomprimierte Sequenzen in Voll-AD-Auflösung, d. h. 1920×1080 Pixel, von einem High-End-Kamerasystem aufgezeichnet.to Simulation or experimental test of the above outlined digital ND filters were test sequences with different frame rates and Camera modes recorded. The test scene included a rotating disk with a narrow slot for checking the Motion artifacts and to check the gapless Reading. To preserve the original camera noise were uncompressed sequences in full AD resolution, d. H. 1920 × 1080 pixels, recorded by a high-end camera system.

Zur Auswertung der wahren Leistungsfähigkeit des digitalen ND-Filters wurde eine FPN-Kompensation gemäß US 7,092,017 , ein Demosaiking bzw. eine Farbinterpolation durchgeführt und eine Sicht-Gamma-Korrektur angewendet.To evaluate the true performance of the digital ND filter, an FPN compensation according to US 7,092,017 , a demosaiking or a color interpolation performed and a visual gamma correction applied.

Insbesondere wurde eine Bildsequenz mit τ_exp = 16.6 Millisekunden bei durchgängiger Belichtung über die Belichtungszeitfenster pro Frame hinweg aufgezeichnet. Anschließend wurde die Belichtungszeit verdoppelt, wobei eine äquivalente Lichtreduktion in dem optischen Pfad durchgeführt wurde. Für die Digital-ND-Sequenzen wurde eine einzige Bildsequenz mit lückenloser Auslese/Rücksetzung mit Belichtungsintervallen τ_N = 16,6 Millisekunden aufgezeichnet, wobei aus den Bildern dieser Bildsequenz Digital-ND-Sequenzen mit N = 2, 3, 4, ..., 8 erzeugt wurden.In particular, an image sequence with τ _exp = 16.6 milliseconds was recorded with continuous exposure over the exposure windows per frame. Subsequently, the exposure time was doubled, whereby equivalent light reduction was performed in the optical path. For digital ND sequences, a single image sequence with gapless readout / reset with exposure intervals was τ _N = 16.6 milliseconds recorded, wherein from the images of this image sequence digital ND sequences with N = 2, 3, 4, ..., 8 were generated.

In allen aufgezeichneten und erzeugten Sequenzen wurde das FPN-Rauschen und das dynamische Rauschen in einem homogen Bereich des Bildes analysiert. Das Ergebnis der Analyse des dynamischen Rauschens ist in 5 gezeigt. Es ist zu erkennen, dass die herkömmliche Auslese mit ununterbrochener Belichtung während des Belichtungszeitfensters ein im Wesentlichen konstantes dynamisches Rauschen zeigt. Für die lückenlose Auslese benötigt der verwendete Sensor in etwa 2 dB mehr dynamisches Rauschen. Mit größer werdendem N ist unmittelbar eine Reduktion der Rauschpegel verbunden, und zwar nahe an der erwarteten idealen Kurve. Das Ergebnis der Analyse des FPN-Rauschens ist in 6 gezeigt. Für die herkömmliche Belichtung mit ununterbrochener Belichtung während des Belichtungszeitfensters ist eine Erhöhung des FPN-Rauschens mit größer werdender Belichtungszeit erkennbar, und das trotz der verwendeten linearen FPN-Kompensation. Eine in SCHÖBERL, Michael; SENEL, Cihan; BLOSS, Hans; FOESSEL, Siegfried; KAUF, André;: Non-linear Dark Current Fixed Pattern Noise Compensation for Variable Frame Rate Moving Picture Cameras. In: 17th European Signal Processing Conference EUSIPCO 2009, Glasgow, Scotland, United Kingdom, 8 2009 postulierte Ungenauigkeit des linearen Modells wird hier also bestätigt. Mit der Digital-ND-Bildaufnahme mit Unterteilung des Belichtungszeitfensters in Teilbelichtungsintervalle und anschließender Mittelwertbildung der Teilbelichtungswerte bleibt, wie es in 6 zu sehen ist, das FPN-Rauschen sowohl niedrig als auch konstant. Auch hier folgt der Rauschpegel der erzeugten Sequenzen eng der idealen Kurve.In all recorded and generated sequences, FPN noise and dynamic noise were analyzed in a homogeneous area of the image. The result of dynamic noise analysis is in 5 shown. It can be seen that the conventional continuous exposure readout during the exposure time window shows substantially constant dynamic noise. For seamless reading, the sensor used requires about 2 dB more dynamic noise. As N increases, there is a direct reduction in noise levels close to the expected ideal curve. The result of the FPN noise analysis is in 6 shown. For the conventional exposure with continuous exposure during the exposure time window, an increase in the FPN noise with increasing exposure time can be seen, despite the linear FPN compensation used. An in SCHOBERL, Michael; SENEL, Cihan; BLOSS, Hans; FOESSEL, Siegfried; BUY, André ;: Non-linear Dark Current Fixed Pattern Noise Compensation for Variable Frame Rate Moving Picture Cameras. In: 17th European Signal Processing Conference EUSIPCO 2009, Glasgow, Scotland, United Kingdom, 8 2009 postulated inaccuracy of the linear model is thus confirmed here. With digital ND image acquisition, subdividing the shutter speed window into sub-exposure intervals and then averaging the partial exposure values, as shown in 6 You can see FPN noise both low and constant. Again, the noise level of the generated sequences closely follows the ideal curve.

Die Beispiele in den 7, 8 und 9 zeigen ein einzelnes Bild aus der Sequenz für τ_exp = Millisekunden mit N = 4. Die oberen Bilder dieser Figuren zeigen jeweils die vollständige aufgenommene Szene, wohingegen in den jeweiligen Figuren die unteren Bilder eine vergrößerte Region der Testschablone aus der linken Seite der Szene zeigen. Die herkömmliche Bildaufnahme mit durchgehender Belichtung im Belichtungszeitfenster ist in 7 dargestellt. Sie zeigt viel Rauschen. Eine optische Filterung wurde verwendet, um die Lichtmenge um einen Faktor von 4 zu reduzieren. In 8 ist das Ergebnis mit einer einzelnen kurzen Belichtung gezeigt. Die Bildaufnahme weist ein niedrigeres FPN-Rauschen auf. In 9 ist das Ergebnis unter Verwendung der Einteilung in vier Teilbelichtungsintervalle mit Mittelwertbildung über die Teilbelichtungswerte gezeigt. Wie es in 9 zu sehen ist, ist auch zusätzlich zu dem Fall von 8 auch das dynamische Rauschen reduziert, also zusätzlich zu der Reduktion des FPN-Rauschens. Das erzeugte Bild weist zudem die gleiche Bewegungsverschmierung auf wie die herkömmliche Belichtung mit durchgehender Belichtung im Belichtungszeitfenster. Die Szenenhelligkeit in dem Fall der digitalen ND-Filterung gemäß 9 ist identisch zu dem Ergebnis durch die optische Filterung, wie sie bei 7 verwendet worden ist. D. h., die Empfindlichkeit konnte um einen Faktor von 4 reduziert werden, wobei sowohl das dynamische als auch das statische Rauschen um 4 dB bzw. 9 dB verbessert worden ist. Diese Reduktion des Rauschens entspricht einer Erhöhung des Dynamikbereiches, wie es im Vorhergehenden beschrieben worden ist.The examples in the 7 . 8th and 9 show a single image from the sequence for τ _exp = milliseconds with N = 4. The upper images of these figures respectively show the complete recorded scene, whereas in the respective figures the lower images show an enlarged region of the test template from the left side of the scene. Conventional image exposure with continuous exposure in the exposure time window is in 7 shown. It shows a lot of noise. Optical filtering was used to reduce the amount of light by a factor of 4. In 8th the result is shown with a single short exposure. Image capture has lower FPN noise. In 9 the result is shown using the division into four sub-exposure intervals with averaging over the subexposure values. As it is in 9 is also seen in addition to the case of 8th also reduces the dynamic noise, in addition to the reduction of the FPN noise. The generated image also has the same motion blur as the conventional continuous exposure exposure in the exposure time window. The scene brightness in the case of digital ND filtering according to 9 is identical to the result of the optical filtering, as with 7 has been used. That is, the sensitivity could be reduced by a factor of 4, with both dynamic and static noise improved by 4 dB and 9 dB, respectively. This reduction in noise corresponds to an increase in the dynamic range, as described above.

Die im Vorhergehenden beschriebene digitale ND-Filterung weist also gegenüber der herkömmlichen langen ununterbrochenen Belichtung eine Vielzahl von Vorteilen auf: zur Reduzierung der Lichtmenge ist kein optisches Filter nötig. Die Handhabung, das Gewicht der Ausrüstung und schließlich die Kosten eines Kamerapaketes können verbessert werden. Die digitale Implementierung ist zudem rechenunaufwendig und kann einfach in ein Kamerasystem integriert werden und bedarf keiner spezialisierten Sensoren. Die beschriebene Auslese kann auch für Standbildphotokameras im Consumer-Bereich verwendet werden und ermöglicht noch eine weitere Option zur Einstellung der Lichtmenge in einer Szene. Dies könnte direkt eine Langbelichtungsphotographie während Tageslicht ermöglichen, wo eine typische Aperturblende immer noch zu viel Licht durchlässt.The Thus, the above-described digital ND filtering has over the conventional long uninterrupted Exposing a variety of benefits: to reduce the Amount of light is no optical filter needed. The handling, the weight of the equipment and finally the Cost of a camera package can be improved. The digital implementation is also computationally simple and can be simple integrated into a camera system and requires no specialized Sensors. The described readout can also be used for still picture cameras used in the consumer field and still allows one another option for adjusting the amount of light in a scene. This could directly take a long exposure photograph Allow daylight where a typical aperture stop still lets in too much light.

Die Bildrauschpegel werden zudem reduziert, anstatt wie bei der herkömmlichen Belichtung sich zu erhöhen. Dies liefert schließlich einen höheren Dynamikbereich. Ein FPN-Kompensationsalgorithmus ist lediglich im Hinblick auf einen kleineren Bereich von Belichtungszeitdauern erforderlich. Die Kalibrierungs- und Kompensationsanforderungen bezüglich des Dunkelstromes sind folglich geringer als bezüglich der breiten Bandbreite von Belichtungszeitdauern. Die aufeinanderfolgenden kurzen Belichtungen leiden nicht an den dynamischen Bereichsgrenzen durch Dunkelstrom und Belichtungszeitdauern sogar über die maximal nützliche Belichtung des Sensors können erzeugt werden.The Image noise levels are also reduced instead of the conventional ones Exposure increase. This finally delivers a higher dynamic range. An FPN compensation algorithm is only in view of a smaller range of exposure times required. The calibration and compensation requirements with respect to the dark current are consequently less than concerning the wide range of exposure times. The successive short exposures do not suffer from the dynamic range limits by dark current and exposure time periods even about the maximum useful exposure of the Sensors can be generated.

Die beschriebenen Ausführungsbeispiele können somit durch Kombination eines lückenlosen Sensorauslesemodus mit der Bildverarbeitung realisiert werden, und zwar unter Reduktion einer Bildsensorempfindlichkeit. Die erzeugten Bilder können eine erhöhte Bild qualität und die korrekte Bewegungsverschmierung zeigen. Diese Verschiebung des Dynamikbereiches ist ohne die Notwendigkeit einer zusätzlichen Mechanik möglich. Die erzeugten Bilder liefern zudem einzigartige Eigenschaften, wie z. B. die Bewahrung der Bewegungsverschmierung, eine reduzierte Empfindlichkeit ohne Hardwaremodifikation und/oder eine verbesserte Bildqualität.The described embodiments can thus be realized by combining a gap-free sensor readout mode with the image processing, with reduction of an image sensor sensitivity. The generated images can show an increased image quality and the correct motion smearing. This dynamic range shift is possible without the need for additional mechanics. The generated images also provide unique features such. B. the preservation of the movement smearing, reduced sensitivity without hardware modification, and / or improved image quality.

Eine Bildaufnahmevorrichtung gemäß 1 oder 4 mit den Abwandlungen, wie sie im Vorhergehenden beschrieben worden sind, können sowohl für Videos bzw. Bewegungsbilder als auch Standbilder eingesetzt werden. Für Videokameras bieten die Ausführungsbeispiele eine Möglichkeit für einen Benutzer-auswählbaren Betriebsmodus zur Reduktion der Empfindlichkeit der Kamera. Die Implementierung ist lediglich Firmware-basiert und stört nicht den regulären Kamerabetrieb. Dies ermöglicht die Aufzeichnung von Zeitrafferszenen sogar während Sonnenlichtes. Die beschriebene Bildaufnahme kann auch für Hochgeschwindigkeitskameras verwendet werden, die bei niedrigeren Frameraten betrieben werden. Eine optische Filterung ist nicht notwendig, und trotzdem können jedwede Belichtungszeiten und Linsenaperturen verwendet werden.An image pickup device according to 1 or 4 with the modifications as described above can be used for both motion pictures and still pictures. For video cameras, the embodiments provide a way for a user-selectable mode of operation to reduce the sensitivity of the camera. The implementation is just firmware-based and does not interfere with regular camera operation. This allows the recording of time-lapse scenes even during sunlight. The described image acquisition can also be used for high speed cameras operating at lower frame rates. Optical filtering is not necessary and nevertheless any exposure times and lens apertures can be used.

Für digitale Standbildkameras kann die vorgestellte digitale ND-Filterung auch verwendet werden. Sie liefert eine noch weitere Möglichkeit zur Bestimmung der besten Belichtungseinstellung, zusätzlich zur Einstellung vermittels der Linsenapertur und der Belichtungszeit. Falls beispielsweise die durch die Linsenapertur und Belichtungszeit einstellbare Sensitivitätsspanne nicht ausreicht, kann die Variation der Anzahl der vorbeschriebenen Teilintervalle zur Einstellung der Belichtung verwendet werden. Die Spanne von Aperturstopps für eine Linse könnte sogar reduziert werden, was Kosten einsparen würde, und die digitale Empfindlichkeitsreduktion, wie sie im Vorhergehenden beschrieben wurde, könnte stattdessen verwendet werden.For Digital still cameras can use the presented digital ND filtering also be used. It provides another possibility to determine the best exposure setting, in addition for adjustment by means of the lens aperture and the exposure time. For example, if through the lens aperture and exposure time adjustable sensitivity range is insufficient the variation of the number of the previously described subintervals Setting the exposure to be used. The span of aperture stops for a lens could even be reduced which would save costs, and the digital sensitivity reduction, such as as described above could instead be used.

In 10 ist exemplarisch eine digitale Standbildkamera 80 gezeigt, in die die Vorrichtung von 1 oder 4 integriert sein soll, wobei diese Komponenten in 10 der Übersichtlichkeit halber aber nicht dargestellt sind. Die Kamera 80 kann eine Spiegelreflexkamera oder eine Sucherkamera sein. Sie weist ein Objektiv 82, eine Blende 84, wie z. B. eine Lamellenblende, und eine Steuerung zur manuellen und/oder automatischen Einstellung der Blendenöffnung bzw. Blendenzahl, der Belichtungszeit τ_exp und der Anzahl N der Teilbelichtungsintervalle und somit zur Einstellung der Empfindlichkeit auf. In dem Fall von 10 weist die Steuerung exemplarisch drei vom Benutzer bedienbare Drehregler 86, 88 und 90 als Eingabeschnittstellen auf. Über die Regler 86 und 88 könnte der Benutzer beispielsweise manuell Blendenöffnung und Belichtungszeitdauer τ_exp einstellen, wobei es ihm über den Regler 90 möglich wäre, unabhängig von diesen Einstellungen die Kameraempfindlichkeit einzustellen, indem er über den Regler 90 die Anzahl N einstellt. Zusätzlich oder alternativ könnte die Kamera 80 einen oder mehrere der folgenden Automatikprogramme aufweisen. Gemäß einer ersten Art von Automatikprogramm ist es dem Benutzer über einen Drehregler oder einer alternativen Eingabe möglich, einen der Parameter Blendenöffnung, Belichtungszeitdauer τ_exp und Anzahl von Teilbelichtungsintervallen N einzustellen, wobei die Steuerung die anderen beiden Parameter automatisch einstellt. Gemäß einer zweiten Art von Automatikprogramm ist das Verhältnis zwischen automatisch eingestellten Parametern und manuell eingestelltem Parameter umgekehrt, d. h. zwei stellt der Benutzer manuell ein und der verbleibende wird von der Steuerung automatisch eingestellt. Gemäß einer Vollautomatik würden alle drei Parameter von der Steuerung automatisch eingestellt werden. Wie es in 10 ferner gezeigt ist, weist die Kamera 80 einen Auslöser 92 auf, bei Betätigung dessen der Benutzer die Belichtung auslöst bzw. den Beginn des Belichtungszeitfensters festlegt.In 10 is an example of a digital still camera 80 shown in the device of 1 or 4 should be integrated, these components in 10 but not shown for clarity. The camera 80 can be a SLR camera or a viewfinder camera. She has a lens 82 , a panel 84 , such as As a louver aperture, and a controller for manual and / or automatic adjustment of the aperture or f-number, the exposure time τ _exp and the number N of Teilbelichtungsintervalle and thus to adjust the sensitivity. In the case of 10 the controller has three user-definable rotary control as an example 86 . 88 and 90 as input interfaces. About the regulators 86 and 88 For example, the user could manually adjust aperture and exposure time τ _exp , giving it the regulator 90 It would be possible, regardless of these settings to adjust the camera sensitivity, by using the controller 90 the number N is set. Additionally or alternatively, the camera could 80 have one or more of the following automatic programs. According to a first type of automatic program, the user is able to set one of the parameters aperture, exposure time τ _exp and number of partial exposure intervals N via a rotary control or an alternative input, the controller automatically adjusting the other two parameters. According to a second type of automatic program, the ratio between automatically set parameters and manually set parameter is reversed, ie, the user adjusts two manually and the remaining is set automatically by the controller. According to fully automatic, all three parameters would be set automatically by the controller. As it is in 10 Further, the camera points 80 a trigger 92 upon actuation of which the user initiates the exposure or sets the beginning of the exposure time window.

Natürlich existieren zu den in 10 gezeigten Drehreglern verschiedenste Alternativen, wie z. B. Kippschalter oder andere Benutzereingabeschnittstellen. Insbesondere bei einer Vollautomatikkamera können die Regler gänzlich fehlen und die Steuerung umfasste lediglich einen in 10 nicht näher gezeigten Prozessor zur automatischen Einstellung der drei Parameter Blendenöffnung, Belichtungszeitdauer und Anzahl an Teilbelichtungsintervallen.Of course, there are those in 10 Rotary controls shown various alternatives, such. As toggle switches or other user input interfaces. In particular, in a full automatic camera, the controller can be completely absent and the control included only one in 10 not shown in detail processor for automatically setting the three parameters aperture, exposure time and number of partial exposure intervals.

11 zeigt eine Videokamera 100, in die eine Vorrichtung gemäß 1 oder 9 integriert ist, wobei wiederum die Komponenten aus diesen Figuren in 11 der Übersichtlichkeit halber nicht gezeigt sind. In 11 wurden aber die gleichen Bezugszeichen wie diejenigen aus 10 für Elemente verwendet, die eine gleiche Funktion ausüben. So umfasst die Digitalkamera 100 ein Objektiv 82, eine Blende 84, und eine Steuerung zur Steuerung der Blendenöffnung, Belichtungszeit τ_exp und der Anzahl N, wozu die Steuerung wiederum Benutzereingabeschnittstellen 86, 88 und 90 aufweisen kann. 11 shows a video camera 100 in which a device according to 1 or 9 is integrated, again the components of these figures in 11 for the sake of clarity are not shown. In 11 but were the same reference numerals as those 10 used for elements that perform the same function. So includes the digital camera 100 a lens 82 , a panel 84 , and a controller for controlling the aperture, exposure time τ _exp and the number N, to which the controller in turn user input interfaces 86 . 88 and 90 can have.

In den 10 und 11 ist jeweils durch gestrichelte Linien angedeutet, dass Blendenöffnung, Belichtungszeitdauer τ_exp und Anzahl an Teilbelichtungsintervallen N manuell einstellbar sein könnten. Wie oben erwähnt, wäre auch eine automatische oder gemischt automatisch-manuelle Einstellbarkeit dieser drei Parameter möglich. In dem Fall von 11 ist dargestellt, dass die Belichtungszeitdauer τ_exp kleiner sein kann als die Bild- bzw. Framewiederholzeitdauer t_frame, so dass zwischen den Belichtungszeitfenstern Dunkelphasen bzw. belichtungsfreie Phasen 102 vorliegen. Ggf. kann bei der Kamera 100 auch die Bildwiederholzeitdauer bzw. die Framerate bzw. Bildfrequenz einstellbar sein.In the 10 and 11 is indicated by dashed lines that aperture, exposure time τ _exp and number of Teilbelichtungsintervallen N could be manually adjustable. As mentioned above, automatic or mixed auto-manual adjustability of these three parameters would also be possible. In the case of 11 It is shown that the exposure time period τ _exp can be smaller than the _frame repetition time t _frame , so that between the exposure time windows dark phases or exposure-free phases 102 available. Possibly. can at the camera 100 also the picture repetition time or the frame rate or frame rate be adjustable.

Bezogen auf beide Ausführungsbeispiele von 10 und 11 kann die Kamera beispielsweise eine automatische Einstellung auf die Helligkeit der Szene vornehmen. Dazu stellt eine Vollautomatik beispielsweise nicht nur Belichtungszeit und Blende geeignet ein, sondern Belichtungszeit, Blende und Zahl N bzw. den Faktor 1/x, mit dem die Summe der Teilbelichtungswerte multipliziert wird.Based on both embodiments of 10 and 11 For example, the camera can automatically adjust the brightness of the scene. For example, a fully automatic system not only adjusts the exposure time and aperture suitably, but rather the exposure time, aperture and number N or the factor 1 / x with which the sum of the partial exposure values is multiplied.

Bei einer manuellen Veränderung einer der Werte, wie z. B. eine Änderung der Belichtungszeit oder der Framerate, könnten die anderen Werte durch die Steuerung (nicht gezeigt) so angepasst werden, dass die Bildhelligkeit gleich bleibt. Bei einer Geschwindigkeitsrampe beim Filmen mit der Videokamera von 11, d. h. einer kontinuierlichen Veränderung der Framerate, könnte somit die Bildhelligkeit konstant gehalten werden. Wird beispielsweise die Framerate verringert und somit inhärent die Belichtungszeit τ_exp vergrößert, sorgt beispielsweise die Steuerung (nicht gezeigt) für eine automatische Anpassung der Blende. Ebenso ist es denkbar, dass bei einem Photoapparat, wie z. B. demjenigen von 10, ein Parameter durch den Benutzer auswählbar ist, wie z. B. Belichtungszeit oder Blende, wobei die anderen dann durch die Steuerung angepasst werden. Eine automatische Anpassung von N und 1/x in Abhängigkeit der manuell gewählten anderen Parameter ist ebenfalls denkbar. Ebenso andere Kombinationen, wie z. B. die manuelle Auswahl einer der Parameter und Anpassung der anderen.In a manual change of one of the values, such. For example, if the exposure time or frame rate is changed, the other values could be adjusted by the controller (not shown) so that the image brightness remains the same. At a speed ramp when shooting with the video camera from 11 , ie a continuous change in the frame rate, thus the image brightness could be kept constant. For example, if the frame rate is reduced, thus inherently increasing the exposure time τ _exp , for example, the controller (not shown) will automatically adjust the aperture. It is also conceivable that in a camera, such as. B. that of 10 , a parameter is selectable by the user, such as. B. exposure time or aperture, the others are then adapted by the controller. An automatic adaptation of N and 1 / x depending on the manually selected other parameters is also conceivable. Likewise, other combinations, such. For example, manually selecting one of the parameters and adjusting the others.

Zu den 10 und 11 wird noch darauf hingewiesen, dass einige der oben als variabel beschriebenen Einstellungen auch fest sein könnten, wie z. B. Blende und/oder Blendenzeit.To the 10 and 11 It should also be noted that some of the settings described above as variable could also be fixed, such as: B. Aperture and / or aperture.

Vergleicht man die oben präsentierten Ausführungsbeispiele mit optischen ND-Filtern ergibt sich Folgendes. Typische optische ND-Filter weisen Dichten von d = 0,3 und größer auf. Diese erzielen eine Lichtdämpfung um einen Faktor von 10^d. Die Lichtreduktion wird auch manchmal in f-Stopps gemessen. Jede Reduktion um einen Faktor von 2 entspricht einer Reduktion um einen f-Stopp. Die Tabelle (2) zeigt für den Fall einer digitalen ND-Filterung mit Aufteilung des Belichtungszeitfensters in N gleichgroße Teilbelichtungsintervalle und Mittelwertbildung der entstehenden Teilbelichtungswerte, welches N für ein zu bestimmten optischen ND-Filtern äquivalentes Digital-ND-Verhalten notwendig ist.Comparing the above-presented embodiments with optical ND filters, the following results. Typical optical ND filters have densities of d = 0.3 and greater. These achieve a light attenuation by a factor of 10 ^d. The light reduction is also sometimes measured in f-stops. Each reduction by a factor of 2 corresponds to a reduction by one f-stop. Table (2) shows, in the case of ND digital filtering with the exposure time window divided into N, equal partial exposure intervals and averaging of the resulting fractional exposure values, which N is necessary for a digital ND response equivalent to certain ND optical filters.

Zusätzlich zu diesen optischen Standarddichten ist es möglich, eine Reduktion um jeglichen ganzzahligen Faktor zu erzielen. Beispielsweise ergibt sich eine optische Dichte von 0,48, wenn bei dem digitalen ND-Filter N = 3 eingestellt wird. Zusätzlich ist es möglich, Zwischenwerte der Dämpfung zu erzielen: die Multiplikation der Teilbelichtungswertsumme mit einem Faktor von 1/N, wie sie bei dem vorhergehenden Ausführungsbeispielen größtenteils verwendet worden ist, kann beispielsweise mit einer Multiplikation von 1/√N ersetzt werden. Dies führt zu einem konstanten Rauschpegel und einer Dämpfung von lediglich √N . Der Dynamikbereichgewinn geht aufgrund des Clippens verloren, aber dieses Vorgehen würde auf der anderen Seite eine Dämpfung von 1,41, 1,73, 2,33, 2,45 usw. ermöglichen. Die folgende Tabelle (2) fasst die typischen optischen Dichten und die entsprechend erforderlichen Einstellungen von N für das digitale ND-Filter zusammen. optische Dichte Dämpfungsfaktor N für digitales-ND-Filter f-Stopp-Reduktion 0,3 2 2 1 0,6 4 4 2 0,9 8 8 3 1,8 64 64 6 2 100 100 6,66 3 1000 1000 10 In addition to these standard optical densities, it is possible to achieve a reduction by any integer factor. For example, an optical density of 0.48 results when N = 3 is set in the digital ND filter. In addition, it is possible to obtain intermediate values of the attenuation: the multiplication of the partial exposure value sum by a factor of 1 / N, as used to a large extent in the preceding embodiments, can be achieved, for example, by multiplying 1 / √ N be replaced. This leads to a constant noise level and a damping of only √ N , The dynamic range gain is lost due to clipping, but this approach would allow 1.41, 1.73, 2.33, 2.45, and so on. The following table (2) summarizes the typical optical densities and N settings necessary for the digital ND filter. optical density damping factor N for digital ND filter f-stop reduction 0.3 2 2 1 0.6 4 4 2 0.9 8th 8th 3 1.8 64 64 6 2 100 100 6.66 3 1000 1000 10

Die obigen Ausführungsbeispiele liefern also viele Vorteile: sie lassen sich digital in bestehende Systeme einbauen und erfordern nicht zusätzlich Hardware oder Optiken. Zudem lasst sich die realisierte Empfindlichkeitsreduktion an- und ausschalten. Die Farb- bzw. Helligkeitsabhängigkeit ist rein neutral: anders als optische Filter, die eine Verschiebung der Farben vom infraroten Licht erzeugen können, besitzt das digitale Filter, wie es im Vorhergehenden beschrieben worden ist, keines dieser Probleme. Schließlich sind die obigen Ausführungsbeispiele für jeden Typ von integrierenden Sensor einsetzbar, also auch für Anwendungen ohne optische Abbildung, vorausgesetzt, das lückenlose Auslesen ist möglich.The The above embodiments thus provide many advantages: they can be installed and required digitally in existing systems not additional hardware or optics. In addition, let yourself turn on and off the realized sensitivity reduction. The Color or brightness dependence is purely neutral: different as optical filters that shift the colors from the infrared Can generate light owns the digital filter, such as it has been described above, none of these problems. Finally, the above embodiments are can be used for every type of integrating sensor, ie also for applications without optical imaging, provided The complete readout is possible.

Im vorhergehenden wurde ohne gesonderte Erwähnung davon ausgegangen, dass es sich bei den Auslesewerten um lineare Auslesewerte handelt, also solche, die linear von der integrierten Menge einfallenden Lichtstromes abhängen. Vorzugsweise weisen der optoelektrische Sensor 12, der Ausleser 14 und, wenn vorhanden, der ADC innerhalb des Kombinierers deshalb im wesentlichen lineare Kennlinien auf, d. h. eine lineare Abhängigkeit zwischen Eingangsvariable, nämlich Lichtstrom, integrierte Lichtmenge bzw. analoger Auslesewert, und Ausgangsvariable, nämlich analoger elektrischer Auslesewert bzw. digitalisierter Wert, zumindest soweit der Wertebereich betroffen ist, der in dem resultierenden Dynamikbereich liegt. Sie können auch nicht-lineare Kenninien aufweisen, die sich einan der zu einer linearen Gesamtkennlinie ausgleichen, die einen integrierten Lichtstrom auf den zu summierenden Auslesewert abbildet. Der Kombinierer könnte zudem ein eigens vorgesehenes nichtlineares Modul zur Linearisierung aufweisen, wie z. B. einen Abbilder (nicht gezeigt) zwischen ADC 54 und Addierer 58 in 4. Er könnte in Form einer Nachschlagtabelle gebildet sein oder die Linearisierung analytisch vornehmen. Die Linearisierung könnte für alle Pixel identisch sein, wohingegen die Weiterverarbeitungseinrichtung beispielsweise noch eine pixelindividuelle und von τ_N abhängige FPN-Korrektur vornimmt, wie es bereits beschrieben wurde. Allerdings ist es nicht unbedingt zwingend erforderlich, dass lineare Auslesewerte im Gesamten Dynamikbereich vorliegen. Durch die Anwendung könnte von extern, wie z. B. durch den Benutzer, sichergestellt werden, dass die einfallende Lichtmenge nicht nur in einem Maße variiert, so dass innerhalb dieser Variation die resultierende Kennlinie der Bilderzeugungsvorrichtung mit digitalem ND Filter annähernd linear ist.In the foregoing, it has been assumed without separate mention that the readings are linear readings, that is, those which are linearly incident on the integrated quantity depend on the luminous flux. Preferably, the optoelectric sensor 12 , the reader 14 and, if present, the ADC within the combiner therefore has substantially linear characteristics, ie a linear dependence between input variable, namely luminous flux, integrated light quantity or analogue readout value, and output variable, namely analog electrical readout value or digitized value, at least as far as the value range is affected, which lies in the resulting dynamic range. They may also have non-linear characteristics which balance one another in to a linear overall characteristic which maps an integrated luminous flux to the reading to be summed. The combiner could also have a dedicated non-linear module for linearization, such as. An image (not shown) between ADCs 54 and adders 58 in 4 , It could be formed in the form of a look-up table or perform the linearization analytically. The linearization could be identical for all pixels, whereas the further processing device, for example, still performs a pixel-individual and τ _N- dependent FPN correction, as has already been described. However, it is not absolutely necessary that linear readings are available in the entire dynamic range. Through the application could externally, such. By the user, it is ensured that the amount of incident light does not vary only to an extent such that, within this variation, the resulting characteristic of the digital ND filter imaging apparatus is approximately linear.

Insbesondere wird darauf hingewiesen, dass abhängig von den Gegebenheiten das erfindungsgemäße Schema auch in Software implementiert sein kann. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder einer CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerprogrammprodukt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computerprogramm auf einem Computer abläuft.Especially It is noted that depending on the circumstances the inventive scheme also implemented in software can be. The implementation may be on a digital storage medium, in particular a floppy disk or a CD with electronically readable Control signals are made that way with a programmable computer system can cooperate that the appropriate procedure is performed. Generally, the invention thus consists also in a computer program product with on a machine-readable Carrier stored program code to carry out the inventive method, when the computer program product runs on a computer. In other words, can the invention thus as a computer program with a program code to implement the method, if the computer program runs on a computer.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 5789737 [0013]
US 3949162 [0048]
US 7092017 [0048, 0063]

Zitierte Nicht-PatentliteraturCited non-patent literature

- MAN, Steve; MANDERS, Corey; FUNG, James: Painting with looks: photographic images from video using quantimetric processing. In: Proceedings of the tenth ACM International Conference on Multimedia, New York, NY, USA: ACM, 2002, pp. 117-126 [0007]
- Liu, Xinqiao; Gamal, Abbas E .: Synthesis of high dynamic motion blur free image from multiple captures. In: IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications 50 (2003), April, No. 4, pp. 530-539 [0008]
- KANG, SB; UYTTENDAELE, M .; WINDER, S .; SZELISKI, R .: High dynamic range video. In: ACM Transactions on Graphics 22 (2003), No. 3, pp. 319-325 [0008]
- WANG, Hongcheng; RASKAR, Ramesh; AHUJA, Narendra: High dynamic range video using split aperture camera. In: IEEE 6th Workshop on Omnidirectional Vision, Camera Networks and Non-classical Cameras OMNIVIS, 2005 [0009]
- KAVUSI, Sam; GAMAL, Abbas E .: Quantitative study of high-dynamic-range image sensor architectures. In: SPIE Sensors and Camer Systems for Scientific, Industrial, and Digital Photography Applications V Vol. 5301, SPIE, 2004, pp. 264-275 [0011]
DECKER, S .; MCGRATH, D .; BREHMER, K .; SODINI, CG: A 256x256 CMOS imaging array with wide dynamic range Pixels and column-parallel digital output. In: IEEE Journal of Solid-State Circuits 33 (1995), Dec, No. 12, pp. 2081-2091 [0012]
- NAVAR, SK; MITSUNAGA, T .: High dynamic range imaging: spatially varying pixel exposures. In. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition Vol 1, 2000, pp 472-479 [0013]
- SCHOBERL, Michael; SENEL, Cihan; BLOSS, Hans; FOESSEL, Siegfried; BUY, André ;: Non-linear Dark Current Fixed Pattern Noise Compensation for Variable Frame Rate Moving Picture Cameras. In: 17th European Signal Processing Conference EUSIPCO 2009, Glasgow, Scotland, United Kingdom, 8 2009 [0065]

Claims

Image recording device, which is designed to produce a photograph in an exposure time window, with an optoelectronic sensor ( 12 ); a read-out ( 14 ) for reading and resetting the optoelectrical sensor substantially completely ( 12 ) at least once within the exposure time window ( 30 ) and reading out the optoelectronic sensor at the end of the exposure time window ( 30 ) to obtain at least two readout values for the exposure time window; and a combiner ( 16 ) for generating the image by forming a sum over the at least two readout values and decreasing the sum by a factor smaller than 1, so that a sensitivity of the image pickup device is neutral density-reduced.

Imaging apparatus according to claim 1, wherein the read-out ( 14 ) is designed to output the at least two readout values in analog form, and the combiner ( 16 ) is designed to digitize the at least two readout values ( 54 ) and then to add ( 58 ) to obtain the sum in digital form and to reduce the sum in the digital form by the factor ( 60 ).

Image recording apparatus according to claim 1 or 2, wherein the opto-electric sensor ( 12 ), the reader ( 14 ) and the combiner ( 16 ) are formed so that the sum of the at least two readings substantially linearly depends on an incident on the optoelectric sensor luminous flux.

Image pickup device according to a of claims 1 to 3, further comprising a further processor which is adapted to be attached to the receptacle by the reduced total has been obtained an FPN compensation, a Color interpolation, and / or to perform a color correction.

An imaging device according to any one of the preceding claims, wherein the readout is adapted to provide substantially gapless read / reset and read at the end of the exposure time window (Fig. 30 ) with equal intervals (τ _N ) between them and at the beginning of the exposure time window ( 30 ).

Image pickup device according to a of claims 1 to 5, wherein a number of at least two readings is adjustable and the combiner so formed is that the factor is 1 / x, where x is dependent from and monotone increasing with the number.

Image pickup device according to a of claims 1 to 6, wherein the combiner is configured that the factor is 1 / x, where x is within a range of ± 5% by a number of at least two readings or ± 5% lies around the root of the number of at least two readings.

An image pickup device according to any one of claims 1 to 7, wherein said image pickup device is a still camera ( 80 ) and a controller for manually and / or automatically adjusting at least one of an aperture of the image pickup device and a time duration of the exposure time window that is formed, a manual and manual and / or automatic adjustment of the at least one of the aperture and the time duration the exposure time window to independently set the number of at least two readings by a user of the image pickup device, or to perform an automatic adjustment of the number of at least two readout values.

An image pickup device according to any one of claims 1 to 7, wherein the image pickup device is a video camera ( 100 ) and a controller for manually and / or automatically adjusting at least one of an aperture of the image pickup device and a time period of the exposure time window in frames of the video camera, which is adapted to manual and manual and / or automatic adjustment of the at least one of the aperture and the duration of the exposure time window to allow independent adjustment of the number of at least two readings by a user of the image pickup device, or to perform an automatic adjustment of the number of at least two readings.

An image pickup device according to any one of claims 1 to 7 and 9, wherein the image pickup is a video camera ( 100 ), which is configured to generate a sequence of images in a sequence of frames, wherein a time duration of the exposure time window in each frame is smaller than a frame repeat time, such that a dark phase (in each case between the exposure time window of the frames) ( 102 ) lies.

Image pickup device according to a of the preceding claims, wherein a ratio between a sum of the time duration of partial exposure intervals between the at least one, essentially gapless one Read out and reset the optoelectric sensor within the shutter speed window and the beginning and the end the exposure time window relative to a period of the exposure time window between 1 inclusive and 9/10 inclusive lies.

Image recording device according to one of the preceding claims, with a shutter ( 24 ) to set the shutter speed window.

Computer or cellphone with an image capture device according to one of claims 1 to 12.

Method for producing a picture in an exposure time window, which has the following steps: essentially complete Read out and reset the optoelectric sensor at least once within the shutter speed window and reading out of the opto-electrical sensor at the end of the exposure time window, by at least two readout values for the exposure time window to obtain; and Generating the recording by forming a sum over the at least two readings and reducing the sum by one Factor less than 1, allowing a sensitivity of recording production Neutral density is reduced.

Computer program with a program code for execution The method of claim 14 when the computer program is run on a computer Computer expires.