WO2001063557A2 - Procede et dispositif de perception automatique - Google Patents

Procede et dispositif de perception automatique Download PDF

Info

Publication number
WO2001063557A2
WO2001063557A2 PCT/FR2001/000546 FR0100546W WO0163557A2 WO 2001063557 A2 WO2001063557 A2 WO 2001063557A2 FR 0100546 W FR0100546 W FR 0100546W WO 0163557 A2 WO0163557 A2 WO 0163557A2
Authority
WO
WIPO (PCT)
Prior art keywords
signal
data
output
unit
parameter
Prior art date
Application number
PCT/FR2001/000546
Other languages
English (en)
Other versions
WO2001063557A3 (fr
Inventor
Patrick Pirim
Original Assignee
Holding B.E.V. S.A.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8847380&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2001063557(A2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Holding B.E.V. S.A. filed Critical Holding B.E.V. S.A.
Priority to US10/204,825 priority Critical patent/US7212669B2/en
Priority to CA002401422A priority patent/CA2401422A1/fr
Priority to JP2001562445A priority patent/JP2004526214A/ja
Priority to AT01909896T priority patent/ATE266232T1/de
Priority to AU2001237493A priority patent/AU2001237493A1/en
Priority to EP01909896A priority patent/EP1259939B1/fr
Priority to DE60103131T priority patent/DE60103131T2/de
Publication of WO2001063557A2 publication Critical patent/WO2001063557A2/fr
Publication of WO2001063557A3 publication Critical patent/WO2001063557A3/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the invention relates to a method and an automatic collection device.
  • the device includes a histogram calculation unit also called an electronic space-time neuron, preferably self-adaptive possibly with anticipation and learning. They are more particularly intended for the perception and processing of images.
  • Methods and devices are known for processing images making it possible, in real time, to recognize, locate and / or extract objects corresponding to certain criteria from their context.
  • the selection criteria can be extremely varied. It can be a speed, a shape, a color ... or a combination of these criteria.
  • These methods and devices can be used to facilitate the apprehension of a scene or a phenomenon by an observer or to control an automation from the information thus extracted.
  • Some of these methods and devices implement a spatial and temporal processing unit which, receiving a video type signal S (PI), produces a certain number of parameters for each pixel. These are for example the speed V, the direction DL, a time constant CO, and a binary validation parameter VL in addition to the delayed video signal VR and the various frame synchronization signals, line and pixel grouped under the name F.
  • PI video type signal S
  • the object of the invention is to propose a method and a device for rapid and efficient automatic perception and to improve for such a device the units for constituting histograms by ensuring self-adaptation functions and, in modes of preferred achievement of anticipation and learning.
  • the present invention relates to a device for automatically perceiving an event occurring in a space with respect to at least one parameter.
  • this device comprises a control unit, a data bus, a feedback bus and at least one histogram calculation unit for processing the parameter.
  • the present invention also relates to the characteristics which will emerge during the description which follows and which will have to be considered in isolation or according to all their possible technical combinations:
  • the device comprises, for processing several parameters, several histogram calculation units organized in a matrix
  • the histogram calculation units process data a- ⁇ associated with pixels together forming a multidimensional space evolving over time and represented at a succession of moments, the data arriving at the calculation unit in the form of a digital DATA (A) signal in the form of a sequence a ijt of binary number of n bits associated with synchronization signals making it possible to define the given moment of space and the position of the pixel in this space, at which the signal has ijt received at a given time is associated, comprising:
  • an analysis memory comprising a memory with addresses, each associated with possible values of the numbers of n bits of the signal
  • a classifier comprising a memory intended to receive a criterion C for selecting the DATA (A) parameter, receiving the DATA (A) signal as input and supplying, at output, a binary classification signal whose value depends on the result of the comparison of the DATA signal (A) with the selection criterion C,
  • a retroannotation unit receiving the output signal from the classifier and, from outside the histogram calculation unit, individual classification binary signals relating to parameters other than DATA (A), said retroannotation unit providing at output a positive global validation signal when all the individual retroannotation signals are valid,
  • an increment validation unit the counter of each address of the memory corresponding to the value d of a ijt at a given instant, being incremented by one when the retro-annotation unit provides an output of a global validation signal positive, the unit for calculating and storing statistical data using, at the end of the reception of the data a ij corresponding to the space at a time, the content of the memory to update the analysis output unit, the memory being erased before the start of each frame for a space at a time by an initialization signal "INIT”, and in addition:
  • the classifier memory is an addressable memory allowing the selection criterion to be updated in real time and having a DATA IN data input, an ADRESS address command and a WR write command, receiving on its input the output analysis memory and an END signal on its write command,
  • the histogram processing units further comprise a data input multiplexer having two inputs and one output, receiving on one of its inputs a COUNTER counting signal and, on the other of its inputs, the data sequence a ⁇ and outputting the data sequence a iJt to the address control of the classifier memory and an OR operator controlling the address multiplexer and receiving on its inputs an initialization signal INIT and the signal END END; - the space is two-dimensional and the DATA signal (A) is associated with the pixels of a succession of images;
  • the histogram processing units include means for anticipating the value of the selection criterion; the means for anticipating the value of the selection criterion include memories intended to contain the values of statistical parameters relating to two successive frames;
  • the statistical parameters are the average values of the data a ijt validated;
  • the analysis output register of the histogram calculation units constitutes and keeps in memory at least one of the following values: the minimum value "MIN”, the maximum value "MAX”, the maximum number of pixels for which the signal V ijt has a particular value "RMAX”, the corresponding particular value POSRMAX, the total number of validated pixels "NBPTS";
  • the statistical comparison parameter used by the classifier is RMAX / 2;
  • It comprises a controlled multiplexer, which can receive as input several statistical parameters and the nature of the comparison made by the classifier depends on the control of this multiplexer;
  • certain histogram calculation units at least, comprise a learning multiplexer intended to receive an external control signal and producing an operation according to a learning mode in which the registers of the classifier and of the retroannotation unit are erased at the start of the exploitation of a frame and the analysis output register provides values characteristic of the sequence for each of these registers;
  • the classifier's memory consists of a set of independent registers each comprising an input, an output and a write command, the number of these registers being equal to the number n of bits of the numbers of the sequence V ijt , and it includes a decoder making it possible to output a write command signal corresponding to the associated input value (address) and a multiplexer controlled by this input value, making it possible to read the register chosen;
  • - at least some histogram calculation units include multiplexers, one of them being associated with the input of each register and combinatorial modules connecting the registers together, the multiplexers allowing the choice between sequential writing and a writing common to all the registers linked together by the combinatorial modules;
  • the combinatorial modules include a morphological dilation operator comprising a logical unit “OR” with three inputs, the first of which receives the output signal from the rank register "Q", the second is connected to the output of a logic unit “AND” with two inputs receiving respectively the output signal of the row register "Q + 1" and a positive expansion signal, the third is connected to the output of a logic unit " AND “with two inputs receiving respectively the output signal from the rank register” Q-1 "and a negative expansion signal;
  • the combinatorial modules include a morphological erosion operator comprising a logical unit "AND” with three inputs, the first of which receives the output signal from the rank register "Q”, the second is connected to the output of a "AND” logic unit, one of which is inverted with four inputs respectively receiving the output signal from the rank register "Q", the output signal from the rank register "Q-1", the signal from output of the range register "Q + 1" and
  • each combinatorial module comprises a multiplexer associating a morphological erosion operator and a morphological erosion operator;
  • the invention relates to a method for automatically perceiving an event occurring in a space with respect to at least one parameter, consisting in digitizing it and providing it as input to a histogram calculation unit to form a histogram representative of the parameter and deduce the desired result.
  • the invention also relates to a method for analyzing a parameter representative of an event in an electronic device comprising a histogram calculation on data a ijt associated with pixels together forming a multidimensional space evolving in time and represented at a succession of moments, the data arriving at the calculation unit in the form of a digital DATA (A) signal in the form of a sequence a iJt of binary number of n bits associated with synchronization signals making it possible to define the given moment of space and the position of the pixel in this space, to which the signal has ⁇ received at a given instant is associated in which - we associate with each data a ⁇ a binary classification signal whose value depends on the result of the comparison of the DATA signal (A) with the selection criterion C,
  • a statistical distribution is made of the data a ⁇ for a given moment for which a global validation signal is positive, said global validation signal consisting of a set of individual retroannotation signals each corresponding to a DATA parameter (A), DATA (B), ..., DATA (E), resulting from the comparison between a retroannotation criterion R and its classification signal and being positive.
  • FIG. 1 is a representation of the histogram calculation unit according to the invention, in its context
  • FIG. 2 is a representation of the input video signal, processed by the device and method of the invention and the control signals generated by a sequencer;
  • FIG. 3 is a diagram showing a passive histogram calculation unit
  • FIG. 4 is a diagram representing a self-adaptive histogram calculation unit according to the invention with the anticipation and learning functionalities;
  • FIG. 5 is a diagram representing signals used by the calculation unit of Figure 4.
  • - Figure 6 is the flow diagram of the control software of the calculation unit of Figure 4 in master mode
  • - Figure 7 is the flow diagram of the software for controlling the calculation unit of Figure 4 in slave mode
  • - Figure 8 is the flowchart of the software for inserting the curve area
  • - Figure 9 is the flowchart of the initialization software (generation of the command "INIT");
  • FIG. 12 is a representation of the essential elements of the histogram calculation unit having a self-adaptation functionality
  • FIG. 13 and 13b are representations of a validation computer having several functions of self-adaptation;
  • FIG. 13a and 13b are representations of statistical distributions of a parameter and classification criteria;
  • FIG. 14 is a representation of the elements of a histogram calculation unit producing POSMOY values
  • FIG. 15 is a diagram representing the essential elements of the self-adaptive histogram unit with anticipation according to a first method
  • Figure 15a is a representation similar to Figure 15 implementing a first generalized anticipation method
  • FIG. 16 is a diagram of the memory of the classifier
  • FIG. 17 is a diagram representing the essential elements of the self-adaptive histogram unit with anticipation according to a second method
  • FIG. 18 is a detailed representation of the memory of the classifier with an elementary automatic calculator per bit; - Figure 19 is a representation of an elementary automaton for calculating anticipation;
  • FIG. 21 is the flowchart of the anticipation implementation software
  • - Figure 22 is a representation of the retroannotation unit
  • FIG. 23 is a block diagram of a logic reprogrammable unit (FPGA) used as a retroannotation unit
  • - Figure 24 is the representation by register, limited to one row of the circuit, of Figure 23;
  • - Figure 25 is a representation of the essential elements of a histogram calculation unit for learning;
  • FIG. 26 and 27 are schematic representations of a particular choice of axis
  • FIG. 28 is a schematic representation of the statistical display device
  • FIG. 29 is an example of the result of the display produced by the device of Figure 28;
  • - Figure 30 is the representation of the implementation of a plurality of histogram calculation units
  • - Figure 31 is the representation of the use of a single programmable histogram calculation unit with a multiplexer allowing its exploitation for a plurality of parameters
  • FIG. 31a is the representation of a histogram calculation unit also called electronic space-time neuron
  • FIG. 32 represents a set of histogram calculation units with programmable input control in their context of use constituting a functional unit
  • - Figure 33 is a synthetic representation of a functional unit with the associated signal generator;
  • - Figure 34 corresponds to Figure 32 in the case of a two-source acquisition;
  • Figure 35 corresponds to Figure 33 in the case of a binocular acquisition
  • FIG. 36 shows schematically a signal generator equipped with a controlled optics
  • FIG. 38 is a representation of the application management interface (API);
  • - Figure 39 shows a device for processing a sound signal according to the invention
  • - Figure 40 is a simplified representation of a device according to the invention.
  • the invention can be the subject of numerous embodiments.
  • the information used can be of various natures and represent multiple data or parameters.
  • its first application is the processing of images, these constituting the space considered. It is of course, then, two-dimensional. The detailed description which follows corresponds to this particular embodiment.
  • the histogram calculation unit 1 of the invention is represented in context by Figures 1 and 2.
  • This histogram calculation unit 1 is part of a visual perception unit 13 which receives and uses a signal S (t) or S (PI).
  • the histogram calculation unit uses and generates information known as retroannotation S '(t) on a bus 111. More specifically, FIG. 1 represents several histogram calculation units 1A, 1B, ..., 1 E associated in the same unit of visual perception.
  • the visual perception unit 13 processes different signals relating to one or more visual scenes.
  • the perception unit 13 processes other perception parameters, for example sounds, smells, etc.
  • the description which follows mainly relates to visual perception, adaptation to other parameters is possible.
  • a sequencer 9 generates, from synchronization signals ST, SL, CLOCK, sequence signals INIT, WRITE and COUNTER which control the histogram calculation units.
  • the input signals of the sequencer 9 can come from a signal generator assembly 2 comprising a camera 22 or from a signal generator assembly 3 comprising a CMOS imager 32.
  • a signal generator assembly 2 comprising a camera 22
  • a signal generator assembly 3 comprising a CMOS imager 32.
  • the input signals come from a set 2 comprising a camera
  • this set imposes frame and line synchronization signals so that the histogram calculation unit and its sequencer 9 operate in slave mode or - slave synchronization -.
  • the sequencer 9 operates in master mode and generates the synchronization signals itself.
  • the assembly 2 allows the acquisition of data coming from a scene 21 by a camera 22.
  • the camera 22 produces a signal S (PI) whose shape, of the type shown in FIG. 2, will be described in detail later.
  • the electronic control unit 23 of the camera 22 then supplies the signals S (t) resulting from the extraction of the synchronization signals from S (PI), ST, SL and the clock signal CLOCK from a loop to phase lock, which are used by the histogram calculation unit.
  • this imager 32 is used for the acquisition of scene data 31, it supplies S (t) and is controlled by a synchronization unit 33 which produces the synchronization signals of frames ST and of line synchronization SL, as well as the clock signal CLOCK used both by the CMOS imager 32 and by the other elements of the visual perception unit 13.
  • the histogram calculation units 1 are advantageously coordinated with a spatial 6 and temporal 5 processing unit which has been described in patent application WO-98/05002, and with a delay line 7.
  • the spatial processing unit and temporal 5, 6 corresponds to the device referenced 11 in the cited patent application. It receives the signal S (PI) and generates parameters V (speed), Dl (direction) each corresponding to one of the data identified by DATA (A) ... DATA (E) in the present application.
  • This set consisting of a histogram calculation unit 1, the spatial and temporal processing unit 5, 6 and the delay line 7, provides either information, generally in digital form, called - retroannotation - usable by a downstream device, i.e. a signal allowing the display of information on a screen 8 via bus 111.
  • - video signal S - a signal which is composed of a succession of frames, each frame consisting of a succession of pixels the whole of which forms a space, for example an image for a two-dimensional space .
  • the frames are themselves broken down into rows and columns.
  • the succession of frames therefore represents the succession of images over time.
  • T represents the frame
  • i is the number of a line in the frame T
  • j is the number of the column of the pixel in this line
  • a is the value of the parameter A associated with the pixel IJT.
  • the signal S can be an analog signal. However, it is preferably digital and composed, as shown in FIG. 2, of a succession of frames J ⁇ and T 2 , each being formed of a succession of swept horizontal lines such as l ⁇ , I ⁇ , 2 ,. ..,. 17 for Ti and l 2 . ⁇ ... for T 2 .
  • Each line consists of a succession of pixels or PI image points.
  • S (PI) comprises a frame synchronization signal (ST) at the start of each frame, a line synchronization signal (SL) at the start of each line which is not also a start of frame.
  • S (PI) comprises a succession of frames which represents the time domain and, inside each frame, a series of lines and pixels in columns which are representative of the spatial domain.
  • successive frames denote successive frames in time and "successive pixels at the same position” denote the successive values ay associated respectively with the pixels (i, j) placed in the same place in the successive frames , that is to say for example (1, 1) of l 1 # ⁇ in the frame Ti and (1, 1) of l 2 . ⁇ in the following corresponding frame T 2 ...
  • the spatial 6 and temporal processing unit 5 From the S (PI), as indicated above with reference to the request PCT / FR-97/01354, the spatial 6 and temporal processing unit 5 generates one or more DATA (A) ... DATA signals (E).
  • the passive histogram calculation unit without anticipation uses a DATA signal (A) whose structure is represented in FIG. 2.
  • This signal can come either directly from a camera or from '' any image acquisition system, or having previously undergone a first treatment, for example a spatial and / or temporal treatment. It generates a signal 101s of the same structure which carries for each pixel significant information of the result of the application of the recognition or selection criteria.
  • the histogram calculation unit 1 comprises an analysis memory 100, an address multiplexer 105, a data input multiplexer 106, an increment validation unit 107, a classifier 101, a retroannotation unit 102 and a test unit 103 whose operations will be described later.
  • This histogram calculation unit 1 includes an analysis memory 100.
  • This analysis memory 100 is preferably a conventional synchronous or asynchronous digital memory such as a DRAM or an SDRAM.
  • This memory has a number n of addresses d equal to the number of possible levels for the values of parameter A which must be discriminated.
  • Each of these addresses can store at least the number of pixels contained in a frame (that is to say in an image).
  • a WRITE signal validates, throughout the frame, the processing of the DATA (A) data.
  • the memory 100 comprises, each of its addresses d, the number of pixels which are validated and for which the parameter A has a value d.
  • the histogram calculation unit 1 also includes an address multiplexer 105, a data input multiplexer 106.
  • Each of these multiplexers has a binary selection command, two inputs and one output.
  • the output of the multiplexer has the value of one of the inputs when the selection command is worth 1 and the other when it is zero.
  • the address multiplexer 105 selects an address in the analysis memory 100 as a function of the level d of the signal (ay-r) received, the data input multiplexer 106 transfers incrementing the value contained in this memory as a function of the state of its selection command.
  • the address multiplexer 105 transfers the signal from the counter which increments the address from zero to the maximum value of DATA (A).
  • the data input multiplexer 106 forces zero on the input of memory 100.
  • the histogram calculation unit also includes an increment unit 107. It is a controlled incrementer comprising an input, a command and an output.
  • the output of the incrementing unit is equal to the output of the analysis memory 100 if the validation signal 102s is equal to zero, it is equal to this same value increased by 1 otherwise. IV.
  • the passive histogram calculation unit also includes a passive classifier 101 which includes a register 101 r capable of storing some of the possible level values (d ⁇ d 2 , ...) of the levels of parameter A.
  • the classifier 101 receives the signal DATA (A) and performs a sorting of the pixels providing, on its output 101 s, a value 1 when the parameter A associated with said pixel has a level corresponding to that contained in the register 101r (di, d 2 , ...) and the value zero otherwise.
  • the output of the classifier 101 is connected to a bus 111.
  • the histogram calculation unit also includes a retroannotation unit 102.
  • This retroannotation unit 102 is connected to the bus 111. It comprises at least one register 102r and receives for each pixel of the DATA (A) signals, the values (in E , ..., in B , in A ) of the classifiers output. 101 of the different self-adaptive histogram calculation units connected to the bus 111.
  • the histogram calculation unit also includes a test unit 103 receiving the information leaving the analysis memory 100 and connected to analysis output registers 104.
  • the analysis output registers 104 are intended to receive detailed statistical information on the values of the parameter A of the signal DATA (A) for each frame. These may for example be the minimum (MIN) and maximum values
  • the test unit 103 updates the analysis output registers 104 according to the information it receives.
  • the increment validation unit 107 also outputs a signal addressed to the test unit 103 allowing it to increment the analysis output register 104 in the favorable hypothesis.
  • the histogram calculation unit 1 has produced statistical information representative of this frame, available in the analysis output register 104 and usable for all useful purposes , either for viewing accessible to the operator, or for operation by any other program or automaton.
  • the analysis output registers 104 include memories for each of the key characteristics which include the minimum (MIN) of the histogram, the maximum (MAX) of the histogram, the number of points (NBPTS) of the histogram , the position (POSRMAX) of the maximum of the histogram and the number of points (RMAX) of the maximum of the histogram. These characteristics are determined in parallel with the formation of the histogram by the test unit 103, in the following manner:
  • histogram calculation units 1A, 1 B ... 1 E are therefore connected to the same retroannotation bus 111.
  • the present description is made with reference to five histogram calculation units A to E. It is understood that the generalization to any number of units can be made.
  • each of them supplies the bus, for each pixel, with the output signal 101s from its classifier 101 and they each receive all of these signals on the input in Al ..., in E of their retro-annotation unit 102.
  • the value of the parameter, for example DATA (A) for the unit 1A, is compared with the content of the register 101 r of the classifier 101.
  • the result inA 101s of this comparison is a binary signal which is addressed at the same time as its counterparts inB ... inE from other units
  • the retroannotation unit 102 compares these values taken together with the content of its register 102r constituting a retroannotation criterion R and generates, on its output 102s, a binary signal whose value depends on the result of the comparison.
  • This signal 102s controls the incrementer 107. When it is equal to 1, it produces, by means of the data multiplexer 106, the incrementation of a unit of the content of the register of memory 100 corresponding to the value of DATA parameter (A), simultaneously the test unit 103 ensures the statistical exploitation of the content of the memory 100 and transfers the content to the analysis output register 104.
  • the registers of the memory 100 each contain for value d, the number of pixels for which the signal DATA (A) had the corresponding value d and that the retroannotation unit has validated.
  • the COUNTER signal which scans the values from 0 to n, ensures the reset of the registers of memory 100.
  • the memory of the classifier 101 is a register 101 r whose content determined from outside the system is fixed. This classifier is then said to be passive. Self-adaptation consists of the automatic updating, by the system itself, of the content of the memory of the classifier, this content then being a transcoding table (LUT - Look Up Table). We thus obtain a self-adaptive histogram calculation unit 1.
  • the histogram calculation unit of FIG. 3 is improved in accordance with FIG. 4.
  • the classifier 101 has an addressable memory the writing of which is controlled by an END signal.
  • the sequencer 9 generates this signal END shown in FIG. 5.
  • the histogram calculation unit comprises an OR selection operator 110 receiving the signals INIT and END at the input and connected at the output to the control of the address multiplexer 105.
  • the memory of the classifier 101 is controlled by the system itself. Its content can be modified, it includes a DATA IN data entry, a WR write command and an ADRESS address entry.
  • This address input is connected to the output of an anticipation multiplexer 108.
  • This multiplexer 108 of the "two to one" type includes a anticipation command connected to the output of an OR operator 112 receiving the signals as an input INIT and END.
  • the inputs of the anticipation multiplexer receive the same signals as the inputs of the address multiplexer 105 (DATA (A) and COUNTER).
  • the memory of the classifier is written by a signal resulting from the comparison between the value of the histogram memory 100 and a value coming from the analysis output register 104 (RMAX 2) for all the values DATA (A)).
  • the classifier provides a classification function f A which is the relationship it establishes between the DATA data (A) it receives and the binary output value (101s) A it produces, through the memory of the classifier. 118. The representation of the information occupying a single bit has thus been reduced.
  • the classifier 101 ensuring the self-adaptation comprises a memory 118 whose write input WR receives the signal END, the address input ADRESS receives the output signal from the address multiplexer 108. It further comprises a comparator 119 comprising two inputs and an output, the latter being connected to the data input DATA IN of the memory 118. The first input of the comparator 119 receives the value RMAX / 2 produced by an output register 104 and its second input receives the output from memory 100.
  • the operation of the memory 118 of the classifier is then as follows. It has the same number of words as the analysis memory 100 but in the memory 118, each word has only one bit.
  • FIG. 13 represents an alternative embodiment of the classifier in which a multiplexer 120 is controlled by a choice command 124 and allows the comparison of the parameter P with a statistical value Q, which can be developed from different ways according to the statistical parameters received on its various inputs 0, 1, 2, 3 which are selected by the choice command 124.
  • the choice command depends on the content of the register "CHOICE".
  • the input 0 of the multiplexer 120 receives the value RMAX / 2 produced from the data of the analysis output register 104 by the divider by 2, 121, the input 1 of the multiplexer 120 directly receives the value RMAX, the input 2 of the multiplexer 120 receives a threshold value contained in a "THRESHOLD" register 123 the content of which is programmed from outside the system, input 4 of this multiplexer receives the quotient of the number of NBPTS points by the THRESHOLD produced by the divider 122.
  • the parameter P can be compared with the respective values RMAX / 2, RMAX, with a threshold B entered from the outside and with the ratio of the number of NBPTS points reported to this threshold by the divider 122.
  • the content of the memory 118 is updated, as a function of the signals supplied by the comparator 119 in a manner similar to the update described in the first embodiment.
  • FIGS. 13a, 13b, 13c represent a third embodiment in which the accumulation of occurrences in the histogram is used instead of the levels of these.
  • the classification limits are defined for example by the use of an RMAX register, corresponding to the maximum number of occurrences of the parameter analyzed and by searching for the values of the parameter for RMAX / 2. On either side of the position of RMAX, these values correspond to terminal A and terminal B of the classifier.
  • the RMAX register as it is used in the second embodiment of the classifier is here replaced by the NBPTS register, corresponding to the total accumulation of occurrences (FIG. 13a).
  • the NBPTS register By removing a percentage k of NBPTS on either side of the histogram. Terminals A and B become more stable ( Figure 13b).
  • the device shown in Figure 13c performs this function.
  • the analysis memory 100 and the data input means via the multiplexer 105.
  • Analysis analysis registers 104 are used, comprising, as described above, the number of points NBPTS 1041 and generally also terminals A 1042 and terminal B 1043.
  • the learning register 117 receiving the output data from the analysis memory 100 supplies, via the register 301 supplied by the adder 300, the inputs of two comparators, respectively 1151 and 1152 of the validation calculator 115.
  • This validation calculator 115 includes a memory 1153 containing the value k, percentage of the number of points to consider.
  • a multiplier 1154 receiving the number of NBPTS points on one of its inputs and the value k on the other supplies on the one hand the second input of the comparator 1151 and on the other hand one of the inputs of a subtractor 1155 fed on its other entry by the number of points. The output of this subtractor 1155 feeds the second input of the comparator 1152.
  • comparator 1155 provides terminal A
  • the output of comparator 1152 provides terminal B
  • an inverted AND operator 1156 receiving on each of its inputs, respectively the value of terminal A and on the inverted input the value of terminal B, provides the output signal from the validation computer 115.
  • a first test consists in assigning to Terminal A, the value of increment i as long as Si is smaller than the value ⁇ previously defined.
  • a second test consists in assigning to Terminal B, the value of increment i as long as Si is smaller than the value ⁇ previously defined.
  • the classifier can be produced according to many modes, the main thing being that it makes it possible to locate the parameter DATA (A) with respect to values or limits statistically determined on a set of data DATA (A ) previous.
  • FIG. 16 is a detailed representation of the memory 118 showing a demultiplexer with input validation 130 and an output multiplexer 131.
  • the input demultiplexer 130 receiving the write signal WR is therefore able to validate the choice of memory register 118, selected by the address command ADRESS, for writing the binary value of the comparison DATA IN.
  • the output multiplexer 131 addresses the value of a particular register, selected by the ADRESS address command, on the output 101 s of the memory 118 of the classifier.
  • the input demultiplexer 130 and the output multiplexer 131 are controlled by the bus 134 coming from the anticipation multiplexer 108. More precisely, the 1 / n input demultiplexer 130, controlled by the address transmitted by the bus 134, sends the signal WR (WRITE), respectively in the form of the signals Sel 0 , Se, Sel 2 , ..., Sein to the registers 140 0 , 140 ! , 140 2 , ..., 140 n of rank 0, 1 ..., n and determines which of these registers in which the content of the information transmitted by the signal DATA IN is addressed. At the output, the information coming from these registers 140 o , 140 ⁇ 140 2 , ..., 140 n are addressed to the multiplexer 131 which directs them to its output OUT.
  • WR WRITE
  • the histogram constitution unit 1 performs a anticipation function.
  • This anticipation of the self-adaptation of the classifier 101 improves the functioning of this looped system and brings it closer to the functioning of a physiological system.
  • the aim of anticipation is, as its name suggests, to anticipate the value contained in the memory 118 of the classifier so as to speed up processing and, thereby, to facilitate the monitoring of an object or its evolution .
  • anticipation defines a anticipation function g A which, combined with the classification function f A , produces a function (f A og A ) connecting the DATA data (A) and the output value (101s ) A characterizing the histogram processing unit processing the parameter A.
  • POSMOY is the value of DATA parameter (A) with respect to which, in a given frame, said parameter has a value greater than or equal to half of the validated points of the frame and a lower value for the other half.
  • This POSMOY 0 variable is produced by a comparator 302.
  • This comparator 302 receives, on one of its Q inputs, the NBPTS parameter which is halved by the divider 303.
  • Its second input P is supplied by the output of a register 301 which is controlled by the initialization signals INIT and of end END, and receives as input the output of an adder 300 which itself receives as input, the value output of register 301 and on its second input, the output value of memory 100 which has been previously described.
  • the register 301 initially reset to zero, stores the sum of the contents of the registers of the memory which are scanned by the signal COUNTER from zero to n.
  • POSMOY 0 therefore contains the last COUNTER value for which the total is less than NBPTS / 2.
  • This first method is represented in FIG. 15.
  • the memory 118 is that described previously with reference to FIG. 16.
  • An automaton 310 called - absolute value calculation unit with sign extraction - supplies the values
  • FIG. 15a represents an alternative circuit allowing the implementation of the first method of applying the variation of the histogram to anticipation.
  • the multiplexer 127 receives as input the two POSMOY functions, i.e. k1 x (P 0 - Pi) + d and k2 x (P 0 - Pi) + c2, and provides an output based on the value of the "CLOCK" control signal.
  • the OR circuit 125 and the delay circuit 126 can be used.
  • the delay circuit is controlled by the same clock signal which controls the multiplexer 127.
  • the output values of the memory 118 connected to the two different offset functions are then supplied to the OR gate 125 whose output is the signal 102s with an improved classification area, which improves anticipation.
  • This second method is represented in FIG. 17.
  • the memory 118 is then that represented in FIG. 18.
  • Register 40i is associated with a 2/1 16 ⁇ input multiplexer ! which receives on one of its inputs, the binary signal leaving the comparator 119 and on the other of its inputs, the output signal from the anticipation calculator 50 ⁇
  • the 16 ⁇ input multiplexer ! is controlled by the ETD signal which also controls writing.
  • the write command to register 140 ⁇ is linked to an OR operator 170i which receives, on one of its inputs, the signal ETD and on the other, a signal Sel 0 .
  • an anticipation calculator 150! receives as input the three signals Q 0 , Q T and Q from the output of the registers 140 o , 140 1 t 140 2 of rank 0, 1, 2 respectively, it is controlled by the signals SM, SP and T.
  • automata 150 0 , 150- ⁇ , ... anticipation is achieved by the succession of dilation operations followed by erosion operations.
  • the anticipation calculator 150 is described in detail in FIG. 19, it comprises a multiplexer 207 comprising an output and two inputs controlled by the signal T.
  • the dilation operator 208 has an OR circuit 201 with three inputs and one output. Its output is connected to multiplexer 207.
  • the first input is supplied by the signal Q 1; its second input is supplied by the output of an AND circuit 202 with two inputs, one of the inputs is the signal Q 0 and the other input is the signal SP.
  • the third input of the OR circuit 201 is supplied by the output of an AND circuit 203 with two inputs, one of these inputs being the signal Q 2 and the other being the signal SM.
  • the erosion operator 209 has an AND circuit 204 with three inputs and one output. Its output is connected to multiplexer 207.
  • Its first input is supplied by the signal Its second input is connected to a NAND circuit with four inputs and an output 205.
  • the first input of this NAND circuit 205 is connected to the signal SP, the second to the signal Qi.
  • the third input is connected to signal Q 0 and the fourth inverted to signal Q 2 .
  • a second NAND operator 206 has four inputs and an output connected to the third input of the AND circuit 204, the first of its inputs being supplied by the signal Qi, the second by the signal SM, the third by the signal Q 2 and the fourth reversed by the signal Q 0 .
  • the signal INIT generated by the sequencer 9 starts the processing cycle of a frame. During its duration, all memories and registers are initialized.
  • the WRITE signal also generated by the sequencer 9 follows the INIT signal and controls the statistical calculations for the frame considered, the data of which are represented by the curve C, the axes of which represent the values of the parameter on the abscissa and the number of occurrences on the ordinate. .
  • the test unit 103 searches for the maximum number of RMAX occurrences. At the end of the WRITE signal, the signal END still generated by the sequencer 9 validates the updating of the memory of the classifier 118. The new data is generated by the comparator 119.
  • the content of the memory 118 is represented by the distribution R 0 .
  • the end of the signal END starts the signal ETD, the duration of which is determined by the command generator 313. This signal ETD validates the calculation of the extent in the memory 118 of the classifier.
  • the respective durations of SP and SM determine the extent and the position of the distribution R 5 at the end of the ETD signal.
  • the multiplexer 207 controlled by the command T having two inputs supplied respectively by the outputs of the expansion and erosion operators and an output makes it possible to use one or the other of these operators as a function of the command T.
  • the output of multiplexer 207 is OUTi
  • the retroannotation block 102 comprises a single register containing a single retroannotation value constituting the retroannotation criterion R.
  • the retroannotation block is a memory which can contain several values together forming the criterion R of retroannotation, one or the other of which can validate the information carried by a pixel. Each of these values is stored in a product term register 410.
  • FIG. 22 represents such a retroannotation block 102 as a whole. It is made up of a set of product terms 410 supplied by bus 425 A "PRODUCT TERM" and controlled by the Program Register bus 12.
  • Each of these product terms 410 has an output which feeds an OR operator 421 which itself outputs an incoming signal on one of the inputs of a controlled inverter 422, which receives on its second input the signals coming from the Program bus Register 12 via register 423.
  • FIGS 23 and 24 illustrate a reprogrammable memory unit (FPGA - Field Programmable Gâte Area) 400 implemented for the realization of the retroannotation unit 102.
  • a memory includes a controlled inverter 403 the output of which is the output of the reprogrammable unit 400 and one of the inputs of which is an OR operator 401 connected to the B lines 405, these lines intersecting the A columns 406 which are connected to amplifiers 402 supplying s and s signals.
  • the intersections 404 of lines 405 and columns 406 are programmable connections making it possible to determine the entire operation of the reprogrammable unit 400.
  • FIG. 24 represents a single line 410 of such a reprogrammable unit 400.
  • Such a line comprises registers 411 and 412 intended to receive programming variables Reg-aO and Reg-bO.
  • This line can be broken down into A elementary functions, each of which comprises a controlled inverter 413, an OR operator 415 and an inverter 414.
  • One of the inputs of the controlled inverter 413 is connected to input A and the other of these inputs at bit i of the Reg-aO register.
  • This controlled inverter 413 is connected to the input of the inverter 414 which supplies, by its output, one of the inputs of the OR operator 415.
  • the output of the controlled inverter 413 also supplies one of the inputs of an OR operator 417 which still receives all of the corresponding signals produced by the various outputs of the elementary functions.
  • An AND operator 416 whose output is product termO receives on the one hand the output of the operator OR 417 and on the other hand the outputs of the various elementary functions.
  • the reverse annotation block can be programmed from the outside by an instruction from an application management interface. This interface loads registers 411 and 412.
  • the histogram constitution unit 1 in addition to updating the classifier and anticipation, has a learning function.
  • the histogram constitution unit 1 comprises a learning multiplexer 108 which allows automatic programming of the retroannotation unit 102.
  • the learning multiplexer 108 selects one or the other of the two possible operating modes (operation and learning). In operating mode, the values contained in the register of the retroannotation unit 102 are fixed, on the contrary, in learning mode, these values are updated.
  • the operating mode During operation in operating mode, the learning multiplexer 109 emits, on its output, a signal of value 1 signifying that the values contained in the registers of the retroannotation block 102 are not modified during the operating sequence in operating mode.
  • the values stored in these registers were therefore either chosen and stored by the user, or were the result of a prior learning phase which we will analyze below.
  • the retroannotation unit 102 also receives, from other histogram calculation units cooperating with that described here, comparable signals inE ... inA.
  • this retroannotation unit compares the values thus received with the values stored in its memory or in its register (s) and produces as output a signal 102s equal to 1 in the event of coincidence and to zero in the opposite case.
  • This validation signal is sent to the increment validation unit and when its value is equal to 1, authorizes the taking into account of the value of the parameter DATA (A) of the pixel concerned in the analysis memory 100 and, otherwise, authorizes the processing of the next pixel.
  • the learning mode The operation of the histogram calculation unit is then controlled by signals represented in FIG. 5, that is to say an initialization signal (INIT), a write signal (WRITE), which carry the information corresponding to each pixel of the frame (or of the image) and an end signal END.
  • the learning multiplexer 109 outputs the value of the feedback signal which is then used as DATA (A).
  • a LEARNi signal validates during a whole sequence frames the processing in learning mode.
  • the training registers 116 are updated.
  • the retroannotation block 102 ensures the transparency of the signals, validating the datum DATA (A), then equal to the retroannotation signal 111 as soon as at least one of the inputs inA, ..., in E is active.
  • the histogram memory 100 represents the distribution of the retroannotation signal.
  • the test unit 103 then produces a classification of occurrences by decreasing value in number equal to B "SUM TERM".
  • the values of the feedback signal thus selected are written to registers 411 and 412 of each of the blocks 410 of the feedback block 102.
  • Register 412 corresponds to the value of the feedback signal and register 411 corresponds to its complement. In practice, two outputs from the same register can be used providing these two values.
  • learning requires, for n input parameters, n + 1 histogram calculation units.
  • the n blocks processing one of the parameters and the remaining block processing the feedback information to ensure learning.
  • the retroannotation information having a large number of digits, the learning unit is dedicated and is large.
  • the spatial processing unit 6 produces at the output signals F, SR, V, VL, Dl, CO each associated with each pixel synchronously. They are preferably digital signals.
  • the complex signal F then comprises a certain number of output signals generated by the system preferably comprising signals signifying the presence and the location of a zone or a moving object, the speed V is the direction directed by the displacement Dl of each pixel in the image.
  • an output of the system is constituted by the digital input video signal which is delayed (SR) so as to synchronize it with the output ZH of the frame, taking into account the calculation time of the data signal composite F (for a frame).
  • the delayed signal SR is used to represent the image received by the camera on a monitor or a television screen which can also be used to represent the information contained in the composite signal ZH.
  • the composite signal ZH can also be transmitted to a separate processing unit 10a which continues the processing of this signal.
  • the position of a pixel in space is represented relative to a system of axes. Depending on the shape, orientation, ... of the objects in the scene, certain axis systems provide better results than others.
  • FIGS. 26 and 27 show the method for choosing the axes making it possible to obtain optimized histograms, that is to say having a particularly marked maximum.
  • the Space transform unit receives as input the spatial data x, y which can be either Cartesian data or polar data.
  • This Space transform unit is controlled by a signal ⁇ and supplies as an output, for each of the values of ⁇ , a parameter which supplies a histogram constitution unit according to the invention.
  • the command program for this histogram unit introduced by the Program Register allows you to select the value ⁇ producing an optimized histogram.
  • a spatial filtering function producing a spatial resolution parameter (Gabor method) and a binocular function which, by a distance calculator, provides a depth parameter.
  • a curve generator 114 allows the overlay on the screen of a curve of the DATA values for the frame previously processed. Likewise, an overlay of the retro-annotation signal is possible.
  • FIGS. 28 and 29 describe more precisely the means for displaying the histogram curve.
  • the memory 100 addressed by the value of the column counter 353 supplies one of the inputs of a shift register 350, the other input of which is supplied by the parameter RMAX produced by the analysis register 104.
  • This shift register 350 feeds one of the inputs of a comparator 351, the other input of which is supplied by a line counter
  • the display control block 365 of the screen 8 receives the delayed video signal SR, a cursor command produced by the cursor block 366, a command produced by the semi-graphic memory 367.
  • FIG. 29 is the result of the sticker obtained 360 validated by the switch 16 which transfers the curved display signal to the overlay command 15 in the screen 361 which further comprises a command zone 362, a cursor 363 and a text area 364.
  • this screen and the associated mouse constitute a graphical user interface (GUI) allowing the user to generate and control the application.
  • GUI graphical user interface
  • the retroannotation function can be viewed, dynamically, in the form of pixels 365, by switching the switch 17 to the command for overlaying the retroannotation 14.
  • the respectively temporal 5 and spatial 6 processing units receive on the one hand the signal S (t), on the other hand the clock signals CLOCK and synchronization ST, synchronization of frames and SL, synchronization of lines.
  • each of the parameters A, B, C, D, E ... leaving these temporal 5 and spatial processing units 6 feeds a histogram calculation unit, respectively 1 A , 1 B ... 1 E -
  • the retroannotation produced by all the classifiers is available on bus 111 and used as a whole by each of the histogram calculation units, respectively 1 A , 1 B ... 1 E -
  • A, B, C, ..., E can respectively represent the color components of the input pixel in the form of luminance L, hue T and saturation S.
  • D and E would be the coordinates Pi and P of pixel considered in an optimized axis system.
  • each histogram calculation unit 1 A , 1 B , 1 E processes one of the data DATA (A), DATA (B) ,. .. DATA (E) by the corresponding function (fog) A ... to individually produce an output value (101s) A ... and all together the retroannotation available on the bus 111.
  • the output register 104 A is supplied.
  • the various parameters DATA (A) ... DATA (E) supply an input multiplexer 500 which is controlled by a register 501.
  • the register 501 is updated by the command SELECT referenced 502.
  • the learning controlled multiplexer 503 receives, according to the state of the learning command of the histogram calculation unit i, LEARNj, either the retroannotation information transmitted by the bus 111, or the information from input multiplexer 500.
  • the assembly 1 has thus formed by a histogram calculation unit 1, an input multiplexer 500, its associated register 501, and possibly a learning multiplexer constitutes a versatile histogram calculation unit.
  • FIG. 32 represents a complete device comprising, by way of example, a set of sixteen versatile histogram calculation units.
  • control unit 513 determines which of the parameters L, T, S, V, D, p 0 , pi ... udder which are processed at a given time by one or a group of dedicated multipurpose histogram units and, by sequencer 9.
  • FIG. 40 represents a functional diagram of an assembly comprising several histogram calculation units (as represented in FIG. 31) in accordance with an embodiment of the present invention.
  • Each histogram calculation unit 1a is connected to a data bus 510 which supplies the various parameters to be processed, and to a bus 11 which supplies the classification signal 101 s and the learning function signals to the various units 1a.
  • Each histogram calculation unit comprises a memory 100, a classifier 101 and a retroannotation unit 102.
  • Each unit 1 a is capable of having automatic classification functions of anticipation and learning as described above.
  • the set of histogram calculation units 1 can operate in processing mode while one or more of them are in learning mode.
  • a histogram calculation unit is used in timeshare by several parameters during each frame, possibly stored in a memory not shown.
  • the histogram calculation unit 1 calculates histograms and the corresponding statistics for two or more parameters (for example DATA (A) and DATA (C)) during each frame.
  • a multiplexer 500 provided in this embodiment is capable of multiplexing the different parameters. In this way, a limited number of histogram calculation units is necessary to process a larger number of parameters, which makes it possible to reduce the amount of silicon necessary to manufacture the useful number of histogram calculation units.
  • the generic visual perception processor (GVPP) 520 thus formed can be integrated on a single semiconductor substrate.
  • the number of multipurpose histogram calculation units 1a depends on the application and on the technologies for manufacturing semiconductor components available.
  • the 0.5 ⁇ m technology currently available allows the integration of 32 units economically. With advanced semiconductor techniques, it becomes impossible to manufacture more and more histogram calculation units (for example the blocks 1 a of FIG. 32) on the same component and to perform more numerous calculations on more d 'samples (i.e. more and more sampling numbers per parameter).
  • Such an increase in computing capacity can be achieved without increasing the complexity of the API, which is presented later and shown in detail in Appendix A.
  • the same set of instructions can command a set of 20 units as a set of 200 or even 2000 units without increasing its complexity.
  • a calculation unit 605 according to the present invention, that is to say similar to the calculation unit 520 of FIG. 32, is used to process the associated parameters to a domain of perception other than the visual domain.
  • the technique of the present invention is applied to oral or sound analysis, for example for speech recognition or the use of voice to enter text into a computer.
  • a device generating an audible signal supplies an audible signal to the computer 605 which produces an output signal.
  • the device generating the signal includes a microphone 600 but can also include any device capable of providing analog or digital signals, for example a CD or DVD player ...
  • the signal generating device provides preferably digital signals and can operate in a slave mode or in a master mode in the same way as the signal generator assembly 2 of FIG. 1.
  • the computer 605 receives the signals and processes various parameters of the sound signal. These parameters include frequency, amplitude and phase. The phase and amplitude parameters are respectively analogous to the spatial and temporal signals used for the processing of visual scenes.
  • the computer 605 supplies signals to the device 610 so as to allow the representation of the results.
  • the device 610 includes a printer allowing the printing of texts associated with the signals supplied by the signal generator 600.
  • the device 610 can include a monitor or any other text generator.
  • FIG. 33 is the representation of a generic visual perception processor 520 or 530 receiving information from a CMOS imager 521 comprising a retina 522 and a sequencer 523.
  • FIG. 34 represents a complete system capable of constituting a complete and functioning application with multiple CMOS imagers.
  • the association of two CMOS imagers 531, 532 shown in FIG. 35 making it possible to acquire information on the depth in the scene observed.
  • Figure 37 shows schematically a system made up of a set of multipurpose histogram calculation units capable of processing information coming from three directions, respectively V1, V2 and V3 which can represent a three-dimensional space. We can thus manage volume perception data and use it in the field of robotics.
  • FIG. 38 makes it possible to provide a complete system or generic visual perception processor composed of a number of versatile histogram calculation units, all the external parameters it needs. This ensures its dynamic configuration.
  • the annex A which is attached, is an integral part of the description of the present application, it provides a functional diagram of the spatiotemporal unit API, the graphical user interface (GUI) API, the mouse API and the I / O API , as well as the various associated API commands.
  • Each of the command mnemonics is associated with an index i corresponding to the number of the multipurpose histogram calculation unit for which it is intended. It can be accompanied by configuration parameters. It allows you to assign the DATA (A) ... DATA (E) parameters to real parameters of the observed scene.
  • SELECT allows you to assign a DATA (A) parameter to a specific unit.
  • LEARNj allows learning to be carried out for a versatile histogram calculation unit i.
  • START ensures the initialization of a versatile histogram calculation unit. This command configures the classifier memory 118 101.
  • STOP ensures that the multipurpose histogram calculation unit is stopped. It is used as soon as a histogram calculation unit is inactive. This reduces the energy consumption of the whole.
  • AFCURV is the curve display command controlling the switch 16 shown in FIG. 4. Its reverse command is CLCURV.
  • AFMAP is the retroannotation display command controlling switch 17. Its reverse command is CLRMAP.
  • MAP is the command to write registers 411 and 412 of the retroannotation unit 102.
  • GETLRN is the command ensuring the recovery of the content of the retroannotation registers 411 and 412 after learning.
  • API application programming interface
  • the interface has 4 subdivisions for GVPP:
  • Block3 equ 03 equivalence Block3 is equal to the value 3
  • Role Selection of the input signal of a block. For example luminance, hue, saturation, orientation of lines in the plane ... etc. Parameters: Number of the block concerned, signal to be selected. Prototype:
  • Parameters Number of the block concerned, parameter (s) to retrieve.
  • Role Switching of a block in learning mode.
  • Role Programming of the block according to a previous learning to change context. Search for another event or object: write the block annotation matrix. Parameters: Number of the block concerned, Logical combination of the other associated blocks; sum of terms produced (AND and OR).
  • Role Clear the screen of the block's annotation table.
  • Parameters Data to display and position on the screen.
  • Role Generate a click cursor.
  • Role Send information to the PC.
  • Parameters point to information and number of information.
  • Role Recover information from the PC.

Abstract

L'invention concerne un procédé et un dispositif de perception automatique d'un événement. Ce dispositif comporte une unité de contrôle, un bus de données, un bus de rétroannotation et au moins une unité de calcul d'histogramme.

Description

PROCEDE ET DISPOSITIF DE PERCEPTION AUTOMATIQUE
L'invention concerne un procédé et un dispositif de perception automatique. Le dispositif comporte une unité de calcul d'histogramme encore appelée neurone spatio-temporel électronique, de préférence auto-adaptative éventuellement avec anticipation et apprentissage. Ils sont plus particulièrement destinés à la perception et au traitement d'images.
On connaît des procédés et des dispositifs de traitement d'images permettant, en temps réel, de reconnaître, de localiser et/ou d'extraire des objets correspondants à certains critères de leur contexte.
Les critères de sélections peuvent être extrêmement variés. Il peut s'agir d'une vitesse, d'une forme, d'une couleur... ou d'une combinaison de ces critères.
Ces procédés et dispositifs peuvent être utilisés pour faciliter l'appréhension d'une scène ou d'un phénomène par un observateur ou pour commander un automatisme à partir des informations ainsi extraites.
De tels procédés et dispositifs sont par exemple décrits dans les publications suivantes FR-2.611.063 et WO-98/05002.
Certains de ces procédés et dispositifs mettent en œuvre une unité de traitement spatial et temporel qui, recevant un signal S(PI) de type vidéo, produit un certains nombre de paramètres pour chaque pixel. Il s'agit par exemple de la vitesse V, de la direction DL, d'une constante de temps CO, et d'un paramètre binaire de validation VL en plus du signal vidéo retardé VR et des différents signaux de synchronisation de trame, de ligne et de pixel regroupés sous la dénomination F.
Dans de tels dispositifs, on a déjà souligné l'intérêt de constituer des histogrammes de ces paramètres permettant la constitution la manipulation et l'exploitation d'informations statistiques.
Le but de ces procédés et de ces dispositifs de traitement d'images est de fournir en sortie un signal S'(t) qui porte pour chaque pixel une information significative du résultat de l'application de critères de reconnaissance ou de sélection. Ces critères sont prédéfinis ou élaborés par les procédés et dispositifs de traitements d'images eux mêmes. On connaît en particulier un tel procédé et un tel dispositif décrit dans la demande de brevet WO-98/05002, déjà citée qui est incorporée ici par référence.
Le but de l'invention est de proposer un procédé et un dispositif de perception automatique rapide et efficace et d'améliorer pour un tel dispositif les unités de constitution d'histogrammes en assurant des fonctions d'auto- adaptation et, dans des modes de réalisation préférés d'anticipation et d'apprentissage.
La présente invention concerne à cet effet un dispositif de perception automatique d'un événement intervenant dans un espace par rapport à au moins un paramètre.
Selon l'invention, ce dispositif comporte une unité de contrôle, un bus de données, un bus de rétroannotation et au moins une unité de calcul d'histogramme pour le traitement du paramètre. La présente invention concerne également les caractéristiques qui ressortiront au cours de la description qui va suivre et qui devront être considérées isolément ou selon toutes leurs combinaisons techniques possibles :
- le dispositif comporte, pour traiter plusieurs paramètres, plusieurs unités de calcul d'histogramme organisées en matrice ;
- les unités de calcul d'histogramme traitent des données a-φ associées à des pixels formant ensemble un espace multidimensionnel évoluant dans le temps et représenté à une succession de moments, les données parvenant à l'unité de calcul sous la forme d'un signal DATA(A) numérique sous forme d'une suite aijt de nombre binaire de n bits associé à des signaux de synchronisation permettant de définir le moment donné de l'espace et la position du pixel dans cet espace, auquel le signal aijt reçu à un instant donné est associé, comprenant :
- une mémoire d'analyse comportant une mémoire avec des adresses, chacune associée à des valeurs possibles des nombres de n bits du signal
DATA(A) et dont l'écriture est contrôlée par un signal " WRITE " ,
- un classifieur comportant une mémoire destinée à recevoir un critère C de sélection du paramètre DATA(A), recevant le signal DATA(A) en entrée et fournissant, en sortie, un signal binaire de classification dont la valeur dépend du résultat de la comparaison du signal DATA(A) avec le critère C de sélection,
- une unité de rétroannotation recevant le signal de sortie du classifieur et, de l'extérieur de l'unité de calcul de l'histogramme, des signaux binaires de classification individuels concernant des paramètres autres que DATA(A), ladite unité de rétroannotation fournissant en sortie un signal de validation global positif lorsque l'ensemble des signaux de rétroannotation individuels sont valides,
- une unité de test, - une unité de sortie d'analyse,
- un multiplexeur d'adresses,
- une unité de validation d'incrémentation, le compteur de chaque adresse de la mémoire correspondant à la valeur d de aijt à un instant donné, étant incrémentée d'une unité lorsque l'unité de rétroannotation fournit en sortie un signal de validation global positif, l'unité de calcul et de mémorisation de données statistiques exploitant à la fin de la réception des données aij correspondant à l'espace à un moment le contenu de la mémoire pour mettre à jour l'unité de sortie d'analyse, la mémoire étant effacée avant le début de chaque trame pour un espace à un moment par un signal d'initialisation " INIT " , et en outre :
- la mémoire du classifieur est une mémoire adressable permettant la mise à jour en temps réel du critère de sélection et ayant une entrée de données DATA IN, une commande d'adresse ADRESS et une commande d'écriture WR, recevant sur son entrée la sortie de la mémoire d'analyse et un signal END sur sa commande d'écriture,
- les unités de traitement d'histogramme comportent, de plus, un multiplexeur d'entrée de données ayant deux entrées et une sortie, recevant sur l'une de ses entrées un signal de comptage COUNTER et, sur l'autre de ses entrées, la suite de données aφ et fournissant en sortie la suite de données aiJt à la commande d'adresse de la mémoire du classifieur et un opérateur OU commandant le multiplexeur d'adresse et recevant sur ses entrées un signal d'initialisation INIT et le signal de fin END ; - l'espace est à deux dimensions et le signal DATA(A) est associé aux pixels d'une succession d'images ;
- les unités de traitements d'histogramme comportent des moyens d'anticipation de la valeur du critère de sélection ; - les moyens d'anticipation de la valeur du critère de sélection comportent des mémoires destinées à contenir les valeurs de paramètres statistiques relatives à deux trames successives ;
- les paramètres statistiques sont les valeurs moyennes des données aijt validées ; - le registre de sortie d'analyse des unités de calcul d'histogramme constitue et garde en mémoire l'une au moins des valeurs suivantes : la valeur minimum " MIN " , la valeur maximum " MAX " , le nombre maximum de pixels pour lesquels le signal Vijt a une valeur particulière " RMAX " , la valeur particulière correspondante POSRMAX, le nombre total de pixels validés " NBPTS " ;
- le paramètre statistique de comparaison utilisé par le classifieur est RMAX/2 ;
- elle comporte un multiplexeur commandé, pouvant recevoir en entrée plusieurs paramètres statistiques et la nature de la comparaison faite par le classifieur dépend de la commande de ce multiplexeur ;
- certaines unités de calcul d'histogramme, au moins, comportent un multiplexeur d'apprentissage destiné à recevoir un signal de commande extérieur et produisant un fonctionnement selon un mode d'apprentissage dans lequel les registres du classifieur et de l'unité de rétroannotation sont effacés au début de l'exploitation d'une trame et que le registre de sortie d'analyse fournit des valeurs caractéristiques de la séquence pour chacun de ces registres ;
- dans certaines unités de calcul d'histogramme, au moins, la mémoire du classifieur est constituée d'un ensemble de registres indépendants comportant chacun une entrée, une sortie et une commande d'écriture, le nombre de ces registres étant égal au nombre n de bits des nombres de la suite Vijt, et elle comporte un décodeur permettant de sortir un signal de commande d'écriture correspondant à la valeur d'entrée (adresse) associée et un multiplexeur commandé par cette valeur d'entrée, permettant de lire le registre choisi ; - certaines unités de calcul d'histogramme au moins, comportent des multiplexeurs, un d'entre eux étant associé à l'entrée de chaque registre et des modules combinatoires reliant entre eux les registres, les multiplexeurs permettant le choix entre l'écriture séquentielle et une écriture commune à tous les registres liés entre eux par les modules combinatoires ;
- dans certaines unités de calcul d'histogramme au moins, les modules combinatoires comportent un opérateur morphologique de dilatation comportant une unité logique " OU " à trois entrées dont la première reçoit le signal de sortie du registre de rang " Q " , la deuxième est reliée à la sortie d'une unité logique " ET " à deux entrées recevant respectivement le signal de sortie du registre de rang " Q+1 " et un signal de dilatation positive, la troisième est reliée à la sortie d'une unité logique " ET " à deux entrées recevant respectivement le signal de sortie du registre de rang " Q-1 " et un signal de dilatation négative ; - dans certaines unités de calcul d'histogramme au moins, les modules combinatoires comportent un opérateur morphologique d'érosion comportant une unité logique " ET " à trois entrées dont la première reçoit le signal de sortie du registre de rang " Q " , la deuxième est reliée à la sortie d'une unité logique " ET " dont une inversée à quatre entrées recevant respectivement le signal de sortie du registre de rang " Q " , le signal de sortie du registre de rang " Q-1 " , le signal de sortie du registre de rang " Q+1 " et un signal d'érosion positive, la troisième est reliée à la sortie d'une unité logique " ET " à quatre entrées dont une inversée recevant respectivement le signal de sortie du registre de rang " Q " , le signal de sortie du registre de rang " Q- 1 " , le signal de sortie du registre de rang " Q+1 " et un signal d'érosion négative ;
- dans certaines unités de calcul d'histogramme au moins, chaque module combinatoire comporte un multiplexeur associant un opérateur morphologique d'érosion et un opérateur morphologique d'érosion ; L'invention concerne un procédé de perception automatique d'un événement intervenant dans un espace par rapport à au moins un paramètre consistant à le digitaliser et à le fournir en entrée à une unité de calcul d'histogramme pour former un histogramme représentatif du paramètre et en déduire le résultat désiré. L'invention concerne également un procédé d'analyse d'un paramètre représentatif d'un événement dans un dispositif électronique comprenant un calcul d'histogramme sur des données aijt associées à des pixels formant ensemble un espace multidimensionnel évoluant dans le temps et représenté à une succession de moments, les données parvenant à l'unité de calcul sous la forme d'un signal DATA(A) numérique sous forme d'une suite aiJt de nombre binaire de n bits associé à des signaux de synchronisation permettant de définir le moment donné de l'espace et la position du pixel dans cet espace, auquel le signal a^ reçu à un instant donné est associé dans lequel - on associe à chaque donnée a^ un signal binaire de classification dont la valeur dépend du résultat de la comparaison du signal DATA(A) avec le critère C de sélection,
- on constitue une répartition statistique des données a^ pour un moment donné pour lesquelles un signal de validation global est positif, ledit signal de validation global étant constitué d'un ensemble de signaux de rétroannotation individuels chacun correspondant à un paramètre DATA(A), DATA(B),... , DATA(E), résultant de la comparaison entre un critère de rétroannotation R et de son signal de classification et étant positif.
L'invention sera décrite plus en détail en référence aux dessins annexés dans lesquels :
- la figure 1 est une représentation de l'unité de calcul d'histogramme selon l'invention, dans son contexte ;
- la figure 2 est une représentation du signal vidéo d'entrée, traité par le dispositif et le procédé de l'invention et des signaux de commande générés par un séquenceur ;
- la figure 3 est un diagramme représentant une unité passive de calcul d'histogramme ;
- la figure 4 est un diagramme représentant une unité de calcul d'histogramme autoadaptative selon l'invention avec les fonctionnalités d'anticipation et d'apprentissage ;
- la figure 5 est un diagramme représentant des signaux exploités par l'unité de calcul de la figure 4 ;
- la figure 6 est l'organigramme du logiciel de commande de l'unité de calcul de la figure 4 en mode maître ; - la figure 7 est l'organigramme du logiciel de commande de l'unité de calcul de la figure 4 en mode esclave ;
- la figure 8 est l'organigramme du logiciel d'insertion de la zone de courbe ; - la figure 9 est l'organigramme du logiciel d'initialisation (génération de la commande « INIT ») ;
- la figure 10 est l'organigramme du logiciel de calcul de statistiques (utilisation de la commande « WRITE ») ;
- la figure 11 est l'organigramme de fin de traitement (utilisation de la commande « END ») ;
- la figure 12 est une représentation des éléments essentiels de l'unité de calcul d'histogramme ayant une fonctionnalité d' autoadaptation ;
- les figures 13 et 13b sont des représentations d'un calculateur de validation ayant plusieurs fonctionnalités d' autoadaptation ; - les figures 13a et 13b sont des représentations de répartitions statistiques d'un paramètre et des critères classification ;
- la figure 14 est une représentation des éléments d'une unité de calcul d'histogramme produisant des valeurs POSMOY ;
- la figure 15 est un schéma représentant les éléments essentiels de l'unité d'histogramme autoadaptative avec anticipation selon une première méthode ;
- la figure 15a est une représentation analogue à la figure 15 mettant en œuvre une première méthode d'anticipation généralisée ;
- la figure 16 est un schéma de la mémoire du classifieur ; - la figure 17 est un schéma représentant les éléments essentiels de l'unité d'histogramme autoadaptative avec anticipation selon une deuxième méthode ;
- la figure 18 est une représentation détaillée de la mémoire du classifieur avec un automate de calcul élémentaire par bit ; - la figure 19 est une représentation d'un automate élémentaire de calcul de l'anticipation;
- la figure 20 est une représentation schématique de l'anticipation ;
- la figure 21 est l'organigramme du logiciel de mise en œuvre de l'anticipation ; - la figure 22 est une représentation de l'unité de rétroannotation ; - la figure 23 est une représentation synoptique d'une unité reprogrammable logique (FPGA) utilisée comme unité de rétroannotation ;
- la figure 24 est la représentation par registre, limitée à une rangée du circuit, de la figure 23 ; - la figure 25 est une représentation des éléments essentiels d'une unité de calcul d'histogramme permettant l'apprentissage ;
- les figures 26 et 27 sont des représentations schématiques d'un choix d'axe particulier ;
- la figure 28 est une représentation schématique du dispositif de visualisation statistique ;
- la figure 29 est un exemple du résultat de la visualisation produite par le dispositif de la figure 28 ;
- la figure 30 est la représentation de la mise en œuvre d'une pluralité d'unités de calcul d'histogramme ; - la figure 31 est la représentation de l'utilisation d'une unité de calcul d'histogramme unique programmable avec un multiplexeur permettant son exploitation pour une pluralité de paramètres ;
- la figure 31a est la représentation d'une unité de calcul d'histogramme aussi appelée neurone spatio-temporel électronique ; - la figure 32 représente un ensemble d'unités de calcul d'histogramme à contrôle d'entrée programmable dans leur contexte d'utilisation constituant une unité fonctionnelle ;
- la figure 33 est une représentation synthétique d'une unité fonctionnelle avec le générateur de signal associé ; - la figure 34 correspond à la figure 32 dans le cas d'une acquisition à deux sources ;
- la figure 35 correspond à la figure 33 dans le cas d'une acquisition binoculaire ;
- la figure 36 schématise un générateur de signal équipé d'une optique commandée ;
- la figure 37 présente le cas d'une acquisition à trois sources ;
- la figure 38 est une représentation de l'interface de gestion de l'application (API) ;
- la figure 39 représente un dispositif de traitement d'un signal sonore selon l'invention ; - la figure 40 est une représentation simplifiée d'un dispositif selon l'invention.
L'invention peut être l'objet de réalisations nombreuses. Les informations exploitées peuvent être de natures variées et représenter des données ou paramètres multiples. Toutefois, sa première application est le traitement d'images, celles-ci constituant l'espace considéré. Il est bien entendu, alors, à deux dimensions. La description détaillée qui suit correspond à ce mode de réalisation particulier.
L'unité de calcul d'histogramme 1 de l'invention est représentée dans son contexte par les figures 1 et 2.
Cette unité de calcul d'histogramme 1 fait partie d'une unité de perception visuelle 13 qui reçoit et exploite un signal S(t) ou S(PI). L'unité de calcul d'histogramme exploite et génère une information dite rétroannotation S'(t) sur un bus 111. Plus précisément, la figure 1 représente plusieurs unités de calcul d'histogramme 1A, 1B,... , 1 E associées dans une même unité de perception visuelle.
Dans un mode de réalisation, l'unité de perception visuelle 13 traite différents signaux concernant une ou des scènes visuelles. Dans d'autres modes de réalisation, l'unité de perception 13 traite d'autres paramètres de perception, par exemple des sons, des odeurs... La description qui suit concerne principalement la perception visuelle, l'adaptation à d'autres paramètres est possible.
Un séquenceur 9 génère, à partir de signaux de synchronisation ST, SL, CLOCK, des signaux de séquence INIT, WRITE et COUNTER qui commandent les unités de calcul d'histogramme.
Tels que représentés sur la figure 1, les signaux d'entrée du séquenceur 9 (SL, ST, CLOCK) peuvent provenir d'un ensemble générateur de signaux 2 comportant une caméra 22 ou d'un ensemble générateur de signaux 3 comportant un imageur CMOS 32. Lorsque les signaux d'entrée proviennent d'un ensemble 2 comportant une caméra, cet ensemble impose des signaux de synchronisation de trames et de lignes de telle sorte que l'unité de calcul d'histogramme et son séquenceur 9 fonctionnent en mode esclave ou - synchronisation esclave -. Au contraire, dans le cas où ces signaux proviennent d'un ensemble 3 comportant un imageur CMOS, le séquenceur 9 fonctionne en mode maître et génère lui-même les signaux de synchronisation.
Plus précisément, l'ensemble 2 permet l'acquisition de données provenant d'une scène 21 par une caméra 22. La caméra 22 produit un signal S(PI) dont la forme, du type de celle représentée sur la figure 2, sera décrite en détail plus loin.
L'unité électronique de commande 23 de la caméra 22 fournit alors les signaux S(t) résultant de l'extraction des signaux de synchronisation de S(PI), ST, SL et le signal d'horloge CLOCK issu d'une boucle à verrouillage de phase, qui sont utilisés par l'unité de calcul d'histogramme.
Dans le cas d'un ensemble 3 comportant un imageur CMOS, cet imageur 32 est utilisé pour l'acquisition de données de la scène 31 , il fournit S(t) et est piloté par une unité de synchronisation 33 qui produit les signaux de synchronisation de trames ST et de synchronisation de lignes SL, ainsi que le signal d'horloge CLOCK utilisé aussi bien par l'imageur CMOS 32 que par les autres éléments de l'unité de perception visuelle 13.
Les unités de calcul d'histogramme 1 sont avantageusement coordonnées à une unité de traitement spatial 6 et temporel 5 qui a été décrite dans la demande de brevet WO-98/05002, et à une ligne à retard 7. L'unité de traitement spatial et temporel 5, 6 correspond au dispositif référencé 11 dans la demande de brevet citée. Il reçoit le signal S(PI) et génère des paramètres V (vitesse), Dl (direction) correspondant chacun à l'une des données identifiées par DATA(A)... DATA(E) dans la présente demande.
Ces paramètres peuvent aussi être la résolution spatiale, la structure de l'image (variation du contraste multi-échelle en coordonnées polaires... ), tels qu'ils résultent d'une analyse par ondelettes de Gabor et décrits dans l'article de Daugman, 1988, Complète Discrète 2D Gabor Transform... , IEEE Trans. Acoust. Speech Signal Process, 36 : 1169-1179.
Cet ensemble, constitué par une unité de calcul d'histogramme 1 , l'unité de traitement spatial et temporel 5, 6 et la ligne à retard 7, fournit soit des informations, généralement sous forme numérique, dites - de rétroannotation - exploitables par un dispositif aval, soit un signal permettant la visualisation des informations sur un écran 8 par l'intermédiaire du bus 111.
Une unité de calcul d'histogramme passive (non autoadaptative) et sans anticipation est représentée sur la figure 3. Cette unité de calcul d'histogramme est destinée à traiter les valeurs d'un paramètre A qui sont affectées à chaque pixel dans un signal S(t) = {aijT} de type vidéo
Plus précisément, on appelle - signal S de type vidéo - un signal qui est composé d'une succession de trames, chaque trame consistant en une succession de pixels dont l'ensemble forme un espace, par exemple une image pour un espace à deux dimensions. Dans ce cas, les trames sont elles- mêmes décomposées en lignes et colonnes. Ce signal S(t) porte une valeur a,j du paramètre A pour chacun des pixels (i,j) exprimé sur n bits (n = 8 étant actuellement le plus souvent employé). La succession des trames représente donc la succession d'images dans le temps. Dans la notation {ay-r}, T représente la trame, i est le numéro d'une ligne dans la trame T, j est le numéro de la colonne du pixel dans cette ligne, a est la valeur du paramètre A associée au pixel ijT.
Le signal S peut être un signal analogique. Toutefois, il est de préférence numérique et composé, tel que représenté sur la figure 2 d'une succession de trames J^ et T2, chacune étant formée d'une succession de lignes horizontales balayées telles que l^, Iι,2,... , .17 pour Ti et l2.ι ... pour T2.
Chaque ligne consiste en une succession de pixels ou de points-images PI.
S(PI) comprend un signal (ST) de synchronisation de trames au début de chaque trame, un signal (SL) de synchronisation de lignes au début de chaque ligne qui n'est pas également un début de trame. Ainsi, S(PI) comprend une succession de trames qui représente le domaine temporel et, à l'intérieur de chaque trame, une série de lignes et de pixels en colonnes qui sont représentatifs du domaine spatial. Dans le domaine temporel, " des trames successives " désignent des trames se succédant dans le temps et " des pixels successifs à la même position " désignent les valeurs successives ay associées respectivement aux pixels (i, j) placés au même endroit dans les trames successives, c'est-à-dire par exemple (1, 1) de l1#ι dans la trame Ti et (1, 1 ) de l2.ι dans la trame suivante correspondante T2... A partir du S(PI), tel qu'indiqué plus haut par référence à la demande PCT/FR-97/01354, l'unité de traitement spatial 6 et temporel 5 génère un ou plusieurs signaux DATA(A)... DATA(E).
L'unité de calcul d'histogramme passive et sans anticipation, telle que représentée sur la figure 3, exploite un signal DATA(A) dont la structure est représentée sur la figure 2. Ce signal peut provenir soit directement d'une caméra ou d'un système quelconque d'acquisition d'images, ou avoir préalablement subi un premier traitement, par exemple un traitement spatial et/ou temporel. Elle génère un signal 101s de même structure qui porte pour chaque pixel une information significative du résultat de l'application des critères de reconnaissance ou de sélection.
Tel que représenté sur la figure 3, l'unité de calcul d'histogramme 1 comporte une mémoire d'analyse 100, un multiplexeur d'adresses 105, un multiplexeur d'entrées de données 106, une unité de validation d'incrémentation 107, un classifieur 101 , une unité de rétroannotation 102 et une unité de test 103 dont les fonctionnements seront décrits plus loin.
L'ensemble des éléments constituant l'unité de calcul d'histogramme sont commandés et synchronisés par un signal d'horloge ( ock). I. La mémoire d'analyse 100
Cette unité de calcul d'histogramme 1 comporte une mémoire d'analyse 100.
Cette mémoire d'analyse 100 est de préférence une mémoire numérique classique synchrone ou asynchrone telle qu'une DRAM ou une SDRAM. Cette mémoire a un nombre n d'adresses d égal au nombre de niveaux possibles pour les valeurs du paramètre A qui doivent être discriminées.
Chacune de ces adresses peut stocker au moins le nombre de pixels contenu dans une trame (c'est-à-dire dans une image). A chaque trame, après une remise à zéro rapide par le signal de commande INIT, un signal WRITE valide, pendant toute la trame, le traitement de la donnée DATA(A). Ainsi, la mémoire d'analyse 100 est susceptible de recevoir le signal DATA(A). Pour chaque trame reçue, les pixels pour lesquels la valeur du paramètre A a une valeur ay = d (s'ils sont validés par le signal de validation 102s qui sera décrit plus loin), incrémentent le contenu de l'adresse de rang d de la mémoire 100 d'une valeur 1. Ainsi, après avoir reçu une trame complète, la mémoire 100 comporte, à chacune de ses adresses d, le nombre de pixels qui sont validés et pour lesquels le paramètre A a une valeur d.
II. Les multiplexeurs d'adresses et d'entrées de données
L'unité de calcul d'histogramme 1 comprend aussi un multiplexeur d'adresses 105, un multiplexeur d'entrées de données 106.
Chacun de ces multiplexeurs comporte une commande de sélection binaire, deux entrées et une sortie.
La sortie du multiplexeur a pour valeur celle de l'une des entrées lorsque la commande de sélection vaut 1 et l'autre lorsqu'elle vaut zéro.
Lorsque le signal de commande INIT est égal à zéro, le multiplexeur d'adresses 105 sélectionne une adresse dans la mémoire d'analyse 100 en fonction du niveau d du signal (ay-r) reçu, le multiplexeur d'entrées de données 106 transfert l'incrémentation de la valeur contenue dans cette mémoire en fonction de l'état de sa commande de sélection.
Lorsque le signal de commande INIT est égal à 1 , le multiplexeur d'adresses 105 transfert le signal du compteur qui incrémente l'adresse de zéro à la valeur maximum de DATA(A). Le multiplexeur d'entrées de données 106 force zéro sur l'entrée de la mémoire 100.
III. L'unité d'incrémentation
L'unité de calcul d'histogramme comporte également une unité d'incrémentation 107. II s'agit d'un incrémenteur commandé comportant une entrée, une commande et une sortie.
La sortie de l'unité d'incrémentation est égale à la sortie de la mémoire d'analyse 100 si le signal de validation 102s est égal à zéro, elle est égale à cette même valeur augmentée de 1 dans le cas contraire. IV. Le classifieur
L'unité passive de calcul d'histogramme comporte également un classifieur passif 101 qui comporte un registre 101 r susceptible de mémoriser certaines des valeurs de niveaux possibles (d^ d2,...) des niveaux du paramètre A.
Le classifieur 101 reçoit le signal DATA(A) et effectue un tri des pixels fournissant, sur sa sortie 101 s, une valeur 1 lorsque le paramètre A associé audit pixel a un niveau correspondant à celui contenu dans le registre 101r (di, d2,... ) et la valeur zéro dans le cas contraire.
La sortie du classifieur 101 est reliée à un bus 111.
V. L'unité de rétroannotation
L'unité de calcul d'histogramme comporte encore une unité de rétroannotation 102.
Cette unité de rétroannotation 102 est reliée au bus 111. Elle comporte au moins un registre 102r et reçoit pour chaque pixel des signaux DATA(A), les valeurs (inE,... , inB, inA) de sortie des classifieurs 101 des différentes unités de calcul d'histogramme auto-adaptatives reliées au bus 111. Cette unité de rétroannotation compare les valeurs ainsi reçues à celles contenues dans son registre 102r et émet, sur sa sortie 102s, pour chaque pixel, un signal de validation égal à 1 lorsqu'il y a coïncidence entre les valeurs du registre égales à 1 et les données correspondantes reçues du bus 111 , et une valeur zéro dans le cas contraire, ce qui correspond à la fonction booléenne suivante : out = (in0 +Reg0).(in, +Reg,)...(inn +Regn)(in0 +in, +...in
VI. L'unité de test et le registre de sortie d'analyse
L'unité de calcul d'histogramme comprend également une unité de test 103 recevant les informations sortant de la mémoire d'analyse 100 et reliée à des registres de sortie d'analyse 104.
Les registres de sortie d'analyse 104 sont destinés à recevoir des informations statistiques élaborées sur les valeurs du paramètre A du signal DATA(A) pour chaque trame. II peut s'agir par exemple des valeurs minimum (MIN) et maximum
(MAX) du paramètre A, du nombre d'occurrences (RMAX) de la valeur la plus représentée et de la position (POSRMAX) de cette valeur, ainsi que du nombre (NBPTS) de points pour lesquels des informations ont été reçues. L'unité de test 103 met à jour les registres de sortie d'analyse 104 en fonction des informations qu'il reçoit.
L'unité de validation d'incrémentation 107 produit également en sortie un signal adressé sur l'unité de test 103 lui permettant d'incrémenter le registre de sortie d'analyse 104 dans l'hypothèse favorable.
On comprend ainsi qu'après l'exploitation d'une trame complète, l'unité de calcul d'histogramme 1 a produit des informations statistiques représentatives de cette trame, disponibles dans le registre de sortie d'analyse 104 et exploitables à toutes fins utiles, soit pour une visualisation accessible à l'opérateur, soit pour exploitation par tout autre programme ou automate.
Les registres de sortie d'analyse 104 comportent des mémoires pour chacune des caractéristiques-clés qui incluent le minimum (MIN) de l'histogramme, le maximum (MAX) de l'histogramme, le nombre de points (NBPTS) de l'histogramme, la position (POSRMAX) du maximum de l'histogramme et le nombre de points (RMAX) au maximum de l'histogramme. Ces caractéristiques sont déterminées en parallèle avec la formation de l'histogramme par l'unité de test 103, de la manière suivante :
Pour chaque pixel qui est validé : (a) si la valeur du paramètre DATA(A) du pixel < MIN (qui est initialement fixée à la valeur maximale de DATA(A) possible de l'histogramme), alors la valeur du paramètre est inscrite dans MIN ;
(b) si la valeur du paramètre DATA(A) du pixel > MAX (qui est initialement fixée à la valeur minimale de DATA(A) possible de l'histogramme), alors la valeur du paramètre est inscrite dans MAX ;
(c) si le contenu de la mémoire 100 à l'adresse de la valeur du paramètre du pixel > RMAX (qui est initialement fixée à la valeur minimale DATA(A) possible de l'histogramme), alors i) écrire la valeur du paramètre dans POSRMAX et ii) écrire la sortie de la mémoire dans RMAX ; (d) augmenter NBPTS (qui est initialement fixé à la valeur zéro) d'une unité. VII. Fonctionnement d'ensemble de l'unité de calcul d'histogramme passive
Plusieurs unités de calcul d'histogramme 1A, 1 B...1 E sont donc reliées au même bus de rétroannotation 111. La présente description est faite en référence à cinq unités de calcul d'histogramme A à E. On comprend que la généralisation à un nombre quelconque d'unités peut être faite.
A. Signal WRITE
Pendant chaque signal WRITE, chacune d'elles fournit au bus, pour chaque pixel, le signal de sortie 101s de son classifieur 101 et elles reçoivent chacune l'ensemble de ces signaux sur l'entrée inAl... , inE de leur unité de rétroannotation 102.
La valeur du paramètre, par exemple DATA(A) pour l'unité 1A, est comparée au contenu du registre 101 r du classifieur 101. Le résultat inA = 101s de cette comparaison est un signal binaire qui est adressé en même temps que ses homologues inB... inE provenant des autres unités
1 B...1 E.
L'unité de rétroannotation 102 compare ces valeurs prises ensemble au contenu de son registre 102r constituant un critère R de rétroannotation et génère, sur sa sortie 102s, un signal binaire dont la valeur dépend du résultat de la comparaison.
Ce signal 102s commande l'incrémenteur 107. Lorsqu'il est égal à 1 , il produit, par l'intermédiaire du multiplexeur de données 106, l'incrémentation d'une unité du contenu du registre de la mémoire 100 correspondant à la valeur du paramètre DATA(A), simultanément l'unité de test 103 assure l'exploitation statistique du contenu de la mémoire 100 et en transfert le contenu dans le registre de sortie d'analyse 104.
A la fin du signal WRITE, les registres de la mémoire 100 contiennent chacun pour valeur d, le nombre de pixels pour lesquels le signal DATA (A) avait la valeur d correspondante et que l'unité de rétroannotation a validé.
B. Signal INIT
Pendant le signal INIT, le signal COUNTER qui balaie les valeurs de 0 à n, assure la remise à zéro des registres de la mémoire 100. VIII. L'auto-adaptation
Dans la description faite jusqu'à présent, la mémoire du classifieur 101 est un registre 101 r dont le contenu déterminé de l'extérieur du système est fixe. Ce classifieur est alors dit passif. L' autoadaptation consiste en l'actualisation automatique, par le système lui-même, du contenu de la mémoire du classifieur, ce contenu étant alors une table de transcodage (LUT - Look Up Table). On obtient ainsi une unité de calcul d'histogramme 1 autoadaptative.
Pour assurer la fonction d' autoadaptation, c'est-à-dire de mise à jour en temps réel du classifieur, l'unité de calcul d'histogramme de la figure 3 est perfectionnée conformément à la figure 4.
Au lieu d'avoir un simple registre 101 r écrit de l'extérieur du système, le classifieur 101 a une mémoire adressable dont l'écriture est commandée par un signal END. Le séquenceur 9 génère ce signal END représenté sur la figure 5.
L'unité de calcul d'histogramme comporte un opérateur de sélection OU 110 recevant en entrée les signaux INIT et END et relié en sortie à la commande du multiplexeur d'adresses 105.
La mémoire du classifieur 101 est commandée par le système lui- même. Son contenu est modifiable, elle comporte une entrée de données DATA IN, une commande d'écriture WR et une entrée d'adresses ADRESS.
Cette entrée d'adresses est reliée à la sortie d'un multiplexeur d'anticipation 108. Ce multiplexeur 108 de type " deux vers un " comporte une commande d'anticipation reliée à la sortie d'un opérateur OU 112 recevant en entrée les signaux INIT et END.
Les entrées du multiplexeur d'anticipation reçoivent les mêmes signaux que les entrées du multiplexeur d'adresses 105 (DATA(A) et COUNTER).
Lorsque le signal END vaut 1 , la mémoire du classifieur est écrite par un signal résultant de la comparaison entre la valeur de la mémoire 100 d'histogramme et une valeur issue du registre de sortie d'analyse 104 (RMAX 2) pour toutes les valeurs possibles de DATA(A)).
Ainsi, le classifieur assure une fonction de classification fA qui est la relation qu'il établit entre les données DATA(A) qu'il reçoit et la valeur binaire de sortie (101s)A qu'il produit, par la mémoire du classifieur 118. On a ainsi réduit la représentation de l'information qui occupe un bit unique.
A. Classifieur premier mode de réalisation
En référence à la figure 12, le classifieur 101 assurant l'autoadaptation comporte une mémoire 118 dont l'entrée d'écriture WR reçoit le signal END, l'entrée d'adresses ADRESS reçoit le signal de sortie du multiplexeur d'adresses 108. Il comporte de plus un comparateur 119 comportant deux entrées et une sortie, celle-ci étant reliée à l'entrée de données DATA IN de la mémoire 118. La première entrée du comparateur 119 reçoit la valeur RMAX/2 produite par un registre de sortie d'analyse 104 et, sa deuxième entrée reçoit la sortie de la mémoire 100.
Le fonctionnement de la mémoire 118 du classifieur est alors le suivant. Elle comporte le même nombre de mots que la mémoire d'analyse 100 mais dans la mémoire 118, chaque mot ne comporte qu'un seul bit.
A la fin (signal END = 1 ) de la réception d'un nouveau flux de données DATA(A) d'une trame, une séquence d'écriture commence.
Lorsque pour une mémoire donnée d de la mémoire d'analyse 100, la valeur lue est supérieure à RMAX/2, une valeur 1 est inscrite dans la mémoire
118 à la position correspondante. Dans le cas contraire, la valeur 0 est inscrite à cette position. L'ensemble des mémoires d est balayé de 0 à n. La mémoire 118 du classifieur 101 a ainsi été mise à jour.
B. Classifieur deuxième mode de réalisation La figure 13 représente un mode de réalisation alternatif du classifieur dans lequel un multiplexeur 120 est commandé par une commande de choix 124 et permet la comparaison du paramètre P à une valeur statistique Q, qui peut être élaborée de différentes manières en fonction des paramètres statistiques reçus sur ses différentes entrées 0, 1 , 2, 3 qui sont sélectionnées par la commande de choix 124. La commande de choix dépend du contenu du registre " CHOIX " . L'entrée 0 du multiplexeur 120 reçoit la valeur RMAX/2 produite à partir des données du registre de sortie d'analyse 104 par le diviseur par 2, 121 , l'entrée 1 du multiplexeur 120 reçoit directement la valeur RMAX, l'entrée 2 du multiplexeur 120 reçoit une valeur de seuil contenu dans un registre " SEUIL " 123 dont le contenu est programmé de l'extérieur du système, l'entrée 4 de ce multiplexeur reçoit le quotient du nombre de points NBPTS par le SEUIL produit par le diviseur 122.
Donc tel que représenté sur la figure 13, le paramètre P peut être comparé aux valeurs respectives RMAX/2, RMAX, à un seuil B entré depuis l'extérieur et au rapport du nombre de points NBPTS rapporté à ce seuil par le diviseur 122.
Le contenu de la mémoire 118 est mis à jour, en fonction des signaux fournis par le comparateur 119 de manière analogue à la mise à jour décrite dans le premier mode de réalisation.
C. Classifieur troisième mode de réalisation
Les figures 13a, 13b, 13c représentent un troisième mode de réalisation dans lequel on utilise le cumul des occurrences dans l'histogramme au lieu des niveaux de ceux-ci. Les bornes de classification sont définies par exemple par l'utilisation d'un registre RMAX, correspondant au maximum d'occurrences du paramètre analysé et en recherchant les valeurs du paramètre pour RMAX/2. De part et d'autre de la position de RMAX, ces valeurs correspondent aux borne A et borne B du classifieur.
Ainsi, le registre RMAX tel qu'il est exploité dans le deuxième mode de réalisation du classifieur, est ici remplacé par le registre NBPTS, correspondant au cumul total des occurrences (figure 13a). En supprimant un pourcentage k de NBPTS de part et d'autre de l'histogramme. Les bornes A et B deviennent plus stables (figure 13b).
Le dispositif représenté sur la figure 13c exécute cette fonction. Sur cette figure 13c, on retrouve la mémoire d'analyse 100 et les moyens d'entrée des données par l'intermédiaire du multiplexeur 105. On exploite des registres de sortie d'analyse 104 comportant comme décrit plus haut le nombre de points NBPTS 1041 et généralement également des borne A 1042 et borne B 1043. Le registre d'apprentissage 117 recevant les données de sortie de la mémoire d'analyse 100 alimente, par l'intermédiaire du registre 301 alimenté par l'additionneur 300, les entrées de deux comparateurs, respectivement 1151 et 1152 du calculateur de validation 115. Ce calculateur de validation 115 comporte une mémoire 1153 contenant la valeur k, pourcentage du nombre de points à prendre en considération. Un multiplicateur 1154 recevant le nombre de points NBPTS sur l'une de ses entrées et la valeur k sur l'autre alimente d'une part la deuxième entrée du comparateur 1151 et d'autre part l'une des entrées d'un soustracteur 1155 alimenté sur son autre entrée par le nombre de points. La sortie de ce soustracteur 1155 alimente la deuxième entrée du comparateur 1152.
La sortie du comparateur 1155 fournit la borne A, la sortie du comparateur 1152 fournit la borne B et un opérateur ET inversé 1156 recevant sur chacune de ses entrées, respectivement la valeur de la borne A et sur l'entrée inversée la valeur de la borne B, fournit le signal de sortie du calculateur de validation 115.
En fin de calcul d'histogramme, le registre NBPTS est connu et un signal Fin-Trame permet de connaître la valeur α = k.NBPTS et une valeur β = NBPTS-α. En initialisant à zéro une fonction de cumul S, soit S0 = zéro, l'incrément i d'un compteur connecté sur l'adresse de la mémoire histogramme précédemment calculée permet de lire le contenu de cette mémoire, et d'alimenter le registre de cumul Si.
Un premier test consiste à assigner à Borne A, la valeur d'incrément i tant que Si est plus petit que la valeur α précédemment définie.
Un second test consiste à assigner à Borne B, la valeur d'incrément i tant que Si est plus petit que la valeur β précédemment définie.
De manière générale, on comprend que le classifieur peut être réalisé selon de nombreux modes, l'essentiel étant qu'il permette de situer le paramètre DATA(A) par rapport à des valeurs ou bornes statistiquement déterminées sur un ensemble de données DATA(A) précédentes.
IX. La mémoire 118 du classifieur 101
La figure 16 est une représentation détaillée de la mémoire 118 faisant apparaître un démultiplexeur avec validation d'entrée 130 et un multiplexeur de sortie 131. Le démultiplexeur d'entrée 130 recevant le signal d'écriture WR est donc à même de valider le choix du registre de la mémoire 118, sélectionné par la commande d'adresse ADRESS, pour l'écriture de la valeur binaire de la comparaison DATA IN. Le multiplexeur 131 de sortie adresse la valeur d'un registre particulier, sélectionné par la commande d'adresse ADRESS, sur la sortie 101 s de la mémoire 118 du classifieur.
Le démultiplexeur d'entrée 130 et le multiplexeur de sortie 131 sont commandés par le bus 134 issu du multiplexeur d'anticipation 108. Plus précisément, le démultiplexeur 1/n d'entrée 130, commandé par l'adresse transmise par le bus 134, envoie le signal WR (WRITE), respectivement sous la forme des signaux Sel0, Se , Sel2, ... , Sein sur les registres 1400, 140!, 1402,... , 140n de rang 0, 1... , n et détermine celui de ces registres dans lequel le contenu de l'information transmise par le signal DATA IN est adressé. En sortie, les informations provenant de ces registres 140o, 140^ 1402,... , 140n sont adressées sur le multiplexeur 131 qui les dirige sur sa sortie OUT.
X. L'anticipation
Dans une forme de réalisation préférée, en plus de la mise à jour en temps réel, l'unité 1 de constitution d'histogramme assure une fonction d'anticipation.
Cette anticipation de l'autoadaptation du classifieur 101 améliore le fonctionnement de ce système bouclé et le rapproche d'un fonctionnement d'un système physiologique. Le but de l'anticipation est, comme son nom l'indique, d'anticiper la valeur contenue dans la mémoire 118 du classifieur de façon à accélérer le traitement et, par là, à faciliter le suivi d'un objet ou de son évolution.
A cet effet on recourt d'abord à un calcul de la variation global de l'histogramme dont le résultat est, ensuite, utilisé pour appliquer l'anticipation selon l'une ou l'autre des méthodes suivantes. Dans tous les cas, l'anticipation définit une fonction d'anticipation gA qui, combinée à la fonction de classification fA, produit une fonction (fAogA) reliant les données DATA(A) et la valeur de sortie (101s)A caractérisant l'unité de traitement d'histogramme traitant le paramètre A.
A. Calcul de la variation globale de l'histogramme
L'unité de test 103 et les registres 104 de sortie d'analyse génère alors une valeur statistique POSMOY dont les valeurs POSMOYo et POSMOYi pour deux trames successives sont mémorisées. POSMOY est la valeur du paramètre DATA(A) par rapport à laquelle, dans une trame donnée, ledit paramètre a une valeur supérieure ou égale pour la moitié des points validés de la trame et une valeur inférieure pour l'autre moitié.
Préparation Lorsque le signal END vaut 1 , la nouvelle valeur POSMOY0 est calculée et la valeur précédente de POSMOY0 est sauvegardée en POSMOYL
POSMOY
En référence à la figure 14, on décrira maintenant l'élaboration de la variable POSMOYo.
Cette variable POSMOY0 est produite par un comparateur 302.
Ce comparateur 302 reçoit, sur l'une de ses entrées Q, le paramètre NBPTS qui est divisé par deux par le diviseur 303.
Sa deuxième entrée P est alimentée par la sortie d'un registre 301 qui est commandé par les signaux d'initialisation INIT et de fin END, et reçoit en entrée la sortie d'un additionneur 300 qui reçoit lui-même en entrée, la valeur de sortie du registre 301 et sur sa deuxième entrée, la valeur de sortie de la mémoire 100 qui a été précédemment décrite.
Ainsi, le registre 301 , initialement remis à zéro, mémorise le cumul du contenu des registres de la mémoire qui sont balayés par le signal COUNTER de zéro à n.
Tant que ce cumul est inférieur à NBPTS/2, la valeur du COUNTER est mémorisée dans POSMOY0. A la fin du cycle END, POSMOY0 contient donc la dernière valeur COUNTER pour laquelle le cumul est inférieur à NBPTS/2.
B. Application de la variation de l'histogramme à l'anticipation
(1ère méthode)
Cette première méthode est représentée sur la figure 15. La mémoire 118 est celle décrite précédemment en référence à la figure 16.
Un automate 310 dit - unité de calcul de valeur absolue avec extraction de signe - fournit les valeurs |POSMOY0 - POSMOYil et le signe de cette différence.
Ces paramètres commandent un translateur 311 après inversion du signe par l'inverseur 312. La valeur du paramètre alimentant la mémoire 118 est ainsi décalée de la valeur |POSMOY0 - POSMOY^ par rapport au fonctionnement passif, dans le sens opposé à la variation de POSMOY calculée dans l'unité 310.
La figure 15a représente un circuit alternatif permettant la mise en œuvre de la première méthode d'application de la variation de l'histogramme à l'anticipation. Dans ce mode de réalisation, l'unité de calcul 310a est analogue à l'unité de calcul 310 mais elle offre des possibilités plus souples de décalage de la valeur du paramètre fourni à la mémoire 118. Alors que l'unité de calcul 310 de la figure 5 produit un décalage déterminé par une fonction de la forme y = x où x est (POSMOY0 - POSMOYi), l'unité de calcul 310a fournit un décalage déterminé par des fonctions de la forme y = ax + b, dans laquelle a (par exemple k1 et k2) et b (par exemple d et c2) sont des constantes ajustables qui peuvent être fournies par un processeur.
On comprend qu'ainsi, toute autre fonction agissant sur les valeurs POSMOY peuvent être utilisées si voulu tel que y = ax2. Sur la figure 15a, le multiplexeur 127 reçoit en entrée les deux fonctions de POSMOY, c'est-à-dire k1 x (P0 - Pi) + d et k2 x (P0 - Pi) + c2, et fournit une sortie fondée sur la valeur du signal de contrôle « CLOCK ».
Pour augmenter le domaine de classification, le circuit OU 125 et le circuit de retard 126 peuvent être utilisés. Le circuit de retard est contrôlé par le même signal d'horloge qui contrôle le multiplexeur 127. Les valeurs de sortie de la mémoire 118 reliées aux deux fonctions différentes de décalage sont alors fournies à la porte OU 125 dont la sortie est le signal 102s avec un domaine de classification amélioré, ce qui améliore l'anticipation.
C. Application de la variation de l'histogramme à l'anticipation
(2ème méthode)
Cette deuxième méthode est représentée sur la figure 17. La mémoire 118 est alors celle représentée sur la figure 18.
L'architecture générale de la mémoire 118 est celle déjà décrite plus haut. Nous décrirons une séquence pour 1 bit donnée, les autres étant analogues. Les éléments communs à la figure 16 portent les mêmes références.
Le registre 40i est associé à un multiplexeur d'entrées 2/1 16Û! qui reçoit sur l'une de ses entrées, le signal binaire sortant du comparateur 119 et sur l'autre de ses entrées, le signal de sortie de l'automate de calcul d'anticipation 50^
Le multiplexeur d'entrée 16Û! est commandé par le signal ETD qui commande également l'écriture. A cet effet, la commande d'écriture du registre 140ι est reliée à un opérateur OU 170i qui reçoit, sur l'une de ses entrées, le signal ETD et sur l'autre, un signal Sel0.
En sortie du registre 140^ un automate de calcul d'anticipation 150! reçoit en entrée les trois signaux Q0, QT et Q de sortie des registres 140o, 1401 t 1402 de rang respectivement 0, 1 , 2, il est commandé par les signaux SM, SP et T.
Dans les automates 1500, 150-ι,... , l'anticipation est réalisée par la succession d'opérations de dilatation suivie d'opérations d'érosion.
L'automate de calcul d'anticipation 150 est décrit en détail sur la figure 19, il comporte un multiplexeur 207 comportant une sortie et deux entrées commandé par le signal T.
L'une de ses entrées est reliée à un opérateur de dilatation 208 qui fournit un signal A et l'autre à un opérateur d'érosion 209 qui fournit un signal Bi. L'opérateur de dilatation 208 comporte un circuit OU 201 à trois entrées et une sortie. Sa sortie est reliée au multiplexeur 207.
Sa première entrée est alimentée par le signal Q1 ; sa deuxième entrée est alimentée par la sortie d'un circuit ET 202 à deux entrées dont l'une des entrées est le signal Q0 et l'autre entrée est le signal SP. La troisième entrée du circuit OU 201 est alimentée par la sortie d'un circuit ET 203 à deux entrées, l'une de ces entrées étant le signal Q2 et l'autre étant le signal SM.
La fonction réalisée par l'opération de dilatation 208 est ainsi
Figure imgf000026_0001
L'opérateur d'érosion 209 comporte un circuit ET 204 à trois entrées et une sortie. Sa sortie est reliée au multiplexeur 207.
Sa première entrée est alimentée par le signal
Figure imgf000026_0002
Sa deuxième entrée est reliée à un circuit NON-ET à quatre entrées et une sortie 205. La première entrée de ce circuit NON-ET 205 est reliée au signal SP, la deuxième au signal Qi. La troisième entrée est reliée au signal Q0 et la quatrième inversée au signal Q2.
Un deuxième opérateur NON-ET 206 a quatre entrées et une sortie reliée à la troisième entrée du circuit ET 204, la première de ses entrées étant alimentée par le signal Qi, la deuxième par le signal SM, la troisième par le signal Q2 et la quatrième inversée par le signal Q0.
La fonction réalisée par l'opérateur d'érosion 209 est ainsi B1 = Q, x (SM x Q2 x Q x (SP x âx Qo)
Le fonctionnement de l'opérateur d'anticipation est illustré par la figure 20.
Sur cette figure, à gauche en référence à l'axe des temps t, sont représentés les signaux INIT, WRITE, END, ETD, T, SP, SM.
Le signal INIT généré par le séquenceur 9 démarre le cycle de traitement d'une trame. Pendant sa durée, tous les mémoires et registres sont initialisés.
Le signal WRITE également généré par le séquenceur 9 suit le signal INIT et commande les calculs statistiques pour la trame considérée dont les données sont représentées par la courbe C, dont les axes représentent en abscisse les valeurs du paramètre et en ordonnée le nombre d'occurrences.
L'unité de test 103 recherche le nombre d'occurrences maximum RMAX. A la fin du signal WRITE, le signal END encore généré par le séquenceur 9 valide la mise à jour de la mémoire du classifieur 118. Les nouvelles données sont générées par le comparateur 119.
A la fin du signal END au temps t0, le contenu de la mémoire 118 est représenté par la répartition R0. La fin du signal END démarre le signal ETD dont la durée est déterminée par le générateur de commande 313. Ce signal ETD valide le calcul de l'étendue dans la mémoire 118 du classifieur.
Les signaux SP (Sens Plus) et SM (Sens Moins) compris dans ETD commandent respectivement le traitement dans le sens positif (SP=1 ) et dans le sens négatif (SM=1 ) de l'étendue de la répartition R0 qui devient Ri à ti, R2 à t2 et R3 à t3...
Ainsi, les durées respectives de SP et SM déterminent l'étendue et la position de la répartition R5 à la fin du signal ETD. Le multiplexeur 207 commandé par la commande T ayant deux entrées alimentées respectivement par les sorties des opérateurs de dilatation et d'érosion et une sortie permet de mettre en oeuvre l'un ou l'autre de ces opérateurs en fonction de la commande T.
La sortie du multiplexeur 207 est OUTi
OUT, = A, x T + B, x T
XI. La rétroannotation
Dans un mode de réalisation simplifié décrit jusqu'à présent, le bloc de rétroannotation 102 comporte un seul registre contenant une seule valeur de rétroannotation constituant le critère R de rétroannotation.
A. Critères complexes de rétroannotation
Dans un mode de réalisation préféré, le bloc de rétroannotation est une mémoire pouvant contenir plusieurs valeurs formant ensemble le critère R de rétroannotation, l'une ou l'autre d'entre elles pouvant valider l'information portée par un pixel. Chacune de ces valeurs est mise en mémoire dans un registre terme produit 410.
La figure 22 représente un tel bloc de rétroannotation 102 dans son ensemble. Il est composé d'un ensemble de termes produits 410 alimentés par le bus 425 A « PRODUCT TERM » et commandés par le bus Program Register 12.
Chacun de ces termes produits 410 a une sortie qui alimente un opérateur OU 421 qui fournit lui-même en sortie un signal entrant sur l'une des entrées d'un inverseur commandé 422, qui reçoit sur sa deuxième entrée les signaux provenant du bus Program Register 12 par l'intermédiaire du registre 423.
Les figures 23 et 24 illustrent une unité mémoire (FPGA - Field Programmable Gâte Area) reprogrammable 400 mise en œuvre pour la réalisation de l'unité de rétroannotation 102. Une telle mémoire comporte un inverseur commandé 403 dont la sortie est la sortie de l'unité reprogrammable 400 et dont l'une des entrées est un opérateur OU 401 relié aux B lignes 405, ces lignes coupant les A colonnes 406 qui sont reliées à des amplificateurs 402 fournissant des signaux s et s. Les intersections 404 des lignes 405 et des colonnes 406 sont des connexions programmables permettant de déterminer l'ensemble du fonctionnement de l'unité reprogrammable 400.
La figure 24 représente une ligne unique 410 d'une telle unité reprogrammable 400. Une telle ligne comporte des registres 411 et 412 destinés à recevoir des variables Reg-aO et Reg-bO de programmation.
Cette ligne est décomposable en A fonctions élémentaires dont chacune comporte un inverseur commandé 413, un opérateur OU 415 et un inverseur 414. L'une des entrées de l'inverseur commandé 413 est reliée à l'entrée A et l'autre de ces entrées au bit i du registre Reg-aO.
La sortie de cet inverseur commandé 413 est reliée à l'entrée de l'inverseur 414 qui alimente, par sa sortie, l'une des entrées de l'opérateur OU 415.
L'autre entrée de cet opérateur OU 415 est alimentée par le bit i du registre Reg-bO.
La sortie de l'inverseur commandé 413 alimente également l'une des entrées d'un opérateur OU 417 qui reçoit encore l'ensemble des signaux correspondants produits par les différentes sorties des fonctions élémentaires. Un opérateur ET 416 dont la sortie est product termO reçoit en entrée d'une part la sortie de l'opérateur OU 417 et d'autre part les sorties des différentes fonctions élémentaires.
B. L'apprentissage
Le bloc de rétroannotation peut être programmé de l'extérieur par une instruction d'une interface de gestion d'application. Cette interface charge les registres 411 et 412.
Dans un mode de réalisation encore préféré, l'unité 1 de constitution d'histogramme, en plus de la mise à jour du classifieur et de l'anticipation a une fonction d'apprentissage. A cet effet, l'unité 1 de constitution d'histogramme comporte un multiplexeur d'apprentissage 108 qui permet la programmation automatique de l'unité de rétroannotation 102.
Le multiplexeur d'apprentissage 108 sélectionne l'un ou l'autre des deux modes de fonctionnement possibles (exploitation et apprentissage). En mode d'exploitation, les valeurs contenues dans le registre de l'unité de rétroannotation 102 sont fixées, au contraire, en mode d'apprentissage, ces valeurs sont mises à jour.
Le mode d'exploitation Lors du fonctionnement en mode d'exploitation, le multiplexeur d'apprentissage 109 émet, sur sa sortie, un signal de valeur 1 signifiant que les valeurs contenues dans les registres du bloc de rétroannotation 102 ne sont pas modifiées pendant la séquence de fonctionnement en mode d'exploitation. Les valeurs stockées dans ces registres ont donc soit été choisies et mises en mémoire par l'utilisateur, soit ont résulté d'une phase d'apprentissage préalable que nous analyserons plus loin.
L'unité de rétroannotation 102 reçoit également, des autres unités de calcul d'histogramme coopérant avec celle décrite ici, des signaux comparables inE... inA.
Remplissant son rôle déjà décrit plus haut, cette unité de rétroannotation compare les valeurs ainsi reçues aux valeurs mises en mémoire dans son ou dans ses registre(s) et produit en sortie un signal 102s égal à 1 en cas de coïncidence et à zéro dans le cas contraire. Ce signal de validation est adressé à l'unité de validation d'incrémentation et lorsque sa valeur est égale à 1 , autorise la prise en compte de la valeur du paramètre DATA(A) du pixel concerné dans la mémoire d'analyse 100 et, dans le cas contraire, autorise le traitement du pixel suivant. Le mode d'apprentissage Le fonctionnement de l'unité de calcul d'histogramme est alors commandé par des signaux représentés sur la figure 5, c'est-à-dire un signal d'initialisation (INIT), un signal d'écriture (WRITE), qui portent les informations correspondant à chaque pixel de la trame (ou de l'image) et un signal de fin END. Dans le mode d'apprentissage, le multiplexeur d'apprentissage 109 fournit en sortie la valeur du signal de rétroannotation qui est alors utilisée comme donnée DATA(A).
Lors de l'apprentissage d'une unité de calcul d'histogramme de rang i, un signal LEARNi valide durant toute une séquence trame le traitement en mode apprentissage.
Pendant cette séquence, les registres d'apprentissage 116 sont mis à jour. Simultanément, le bloc de rétroannotation 102 assure la transparence des signaux, validant la donnée DATA(A), alors égale au signal de rétroannotation 111 dès qu'une au moins des entrées inA,... , in E est active
(=1 ).
A la fin du signal WRITE, la mémoire d'histogramme 100 représente la distribution du signal de rétroannotation.
L'unité de test 103 produit alors un classement des occurrences par valeur décroissante en nombre égal au B « SUM TERM ».
Pendant le signal END, les valeurs du signal de rétroannotation ainsi sélectionnées sont écrites dans les registres 411 et 412 de chacun des blocs 410 du bloc de rétroannotation 102.
Le registre 412 correspond à la valeur du signal de rétroannotation et le registre 411 correspond à son complément. En pratique, on peut utiliser deux sorties d'un même registre fournissant ces deux valeurs.
On réalise ainsi une élaboration statistique automatique des paramètres caractéristiques dans la trame étudiée.
Ainsi, l'apprentissage nécessite, pour n paramètres d'entrée, n+1 unités calcul d'histogramme. Les n blocs traitant l'un des paramètres et le bloc restant traitant l'information de rétroannotation pour assurer l'apprentissage. En pratique, l'information de rétroannotation ayant un nombre de digits important, l'unité d'apprentissage est dédiée et est de grande dimension.
Les organigrammes des différents logiciels requis pour assurer les fonctions d' autoadaptation, d'anticipation et d'apprentissage représentés sur les figures sont lisibles en eux-mêmes et ne nécessitent pas d'explications complémentaires pour être compris de l'homme du métier. Lorsque, de manière interne, ils font appel à des variables, celles-ci ont été représentées dans un cadre. Certaines fonctions étant réalisées dans un composant particulier décrit par ailleurs, la référence numérique de ce composant a aussi été affectée à la fonction.
XII. L'unité de traitement spatial et temporel Avantageusement, l'unité de traitement spatial 6 produit en sortie des signaux F, SR, V, VL, Dl, CO associés chacun à chaque pixel de manière synchrone. Ce sont de préférence des signaux numériques. Le signal complexe F comprend alors un certain nombre de signaux de sortie générés par le système comprenant de préférence des signaux signifiant la présence et la localisation d'une zone ou d'un objet en mouvement, la vitesse V est la direction orientée du déplacement Dl de chaque pixel de l'image. Egalement, de préférence, une sortie du système est constituée par le signal vidéo numérique d'entrée qui est retardé (SR) de façon à le synchroniser avec la sortie ZH de la trame, en prenant en compte le temps de calcul du signal de données composite F (pour une trame). Le signal retardé SR est utilisé pour représenter l'image reçue par la caméra sur un moniteur ou un écran de télévision qui peut aussi être utilisé pour représenter l'information contenue dans le signal composite ZH. Le signal composite ZH peut aussi être transmis à une unité de traitement distincte 10a qui poursuit le traitement de ce signal. XIII. Traitement spatial : Choix d'axes
La position d'un pixel dans l'espace est représentée par rapport à un système d'axes. Selon la forme, l'orientation,... des objets dans la scène, certains systèmes d'axes fournissent de meilleurs résultats que les autres.
Les figures 26 et 27 présentent le procédé de choix des axes permettant d'obtenir des histogrammes optimisés, c'est-à-dire présentant un maximum particulièrement marqué.
L'unité Space transform reçoit en entrée les données spatiales x, y qui peuvent être soit des données cartésiennes, soit des données polaires. Cette unité Space transform est commandée par un signal α et fournit en sortie, pour chacune des valeurs de α, un paramètre qui alimente une unité de constitution d'histogramme selon l'invention. Le programme de commande de cette unité d'histogramme introduit par le Program Register permet de sélectionner la valeur α produisant un histogramme optimisé.
Un tel procédé de choix des axes a été décrit en détail dans la demande PCT WO-98/05002 (voir la figure 11 et la description correspondante, l'unité « Space Transform » y étant référencée 37).
XIV. Traitement temporel
Au traitement colorimétrique qui exploite les valeurs des signaux de teinte, de saturation et de luminance, aux signaux de vitesse, direction et intensité, on peut adjoindre une fonction de filtrage spatial produisant un paramètre de résolution spatiale (méthode de Gabor) et une fonction binoculaire qui, par un automate de calcul de distance, fournit un paramètre de profondeur.
Des applications complètes peuvent être réalisées en exploitant tout ou partie de l'ensemble de ces paramètres.
XV. Visu courbe statistique
Dans un mode de réalisation préféré, un générateur de courbe 114 permet l'incrustation à l'écran d'une courbe des valeurs DATA pour la trame antérieurement traitée. De même, une incrustation du signal de rétroannotation est possible.
Ces incrustations sont adressées respectivement par les lignes 14 et 15 vers un écran. Des interrupteurs 16 et 17 permettent de sélectionner une unité de calcul d'histogramme particulière parmi l'ensemble de celles-ci.
Les figures 28 et 29 décrivent plus précisément les moyens de visualisation de la courbe d'histogramme.
La mémoire 100 adressée par la valeur du compteur de colonnes 353 alimente l'une des entrées d'un registre à décalage 350 dont l'autre entrée est alimentée par le paramètre RMAX produit par le registre d'analyse 104.
La sortie de ce registre à décalage 350 alimente l'une des entrées d'un comparateur 351 dont l'autre entrée est alimentée par un compteur de lignes
352 au travers d'un inverseur 354. Un opérateur ET 355 recevant, d'une part, le résultat de la comparaison P≥Q et, d'autre part, la variable Val_Zone, fournit en sortie la variable Aff Cbe. Le compteur de colonnes 353 qui génère les variables « Col-Counter »
356 et « Col_Curve_Counter » 357, le compteur de lignes 352 qui génère les variables « Row_Curve_Counter » 358 et « Row_Counter » 359 et le générateur de la variable Val_Zone sont un sous-ensemble 91 du séquenceur 9.
De plus, le bloc de commande de visualisation 365 de l'écran 8 reçoit le signal vidéo retardé SR, une commande de curseur produite par le bloc curseur 366, une commande produite par la mémoire semi-graphique 367.
La figure 29 est le résultat de la vignette obtenue 360 validé par le commutateur 16 qui transfert le signal d'affichage courbe sur la commande d'incrustation 15 dans l'écran 361 qui comporte de plus une zone de commande 362, un curseur 363 et une zone texte 364.
Ainsi, cet écran et la souris associée constituent une interface graphique utilisateur (GUI) permettant à l'utilisateur de générer et de commander l'application.
De même, la fonction de rétroannotation peut être visualisée, en dynamique, sous forme de pixels 365, par commutation du commutateur 17 sur la commande d'incrustation de la rétroannotation 14.
XVI. Applications Sur les figures 30 et suivantes, on a représenté la mise en œuvre d'un ensemble d'unités de calcul d'histogramme permettant la gestion d'un nombre aussi grand que nécessaire de paramètres A, B, C, D, E... L'association de paramètres à la fois spatiaux (en principe au nombre de deux) et temporels (au moins un) permet de modéliser un neurone spatio- temporel. Les unités de traitement respectivement temporelles 5 et spatiales 6 reçoivent d'une part le signal S(t), d'autre part les signaux horloge CLOCK et de synchronisation ST, synchronisation de trames et SL, synchronisation de lignes.
Tel que représenté sur les figures 4 et 30, chacun des paramètres A, B, C, D, E... sortant de ces unités de traitement temporel 5 et spatial 6 alimente une unité de calcul d'histogramme, respectivement 1A, 1B... 1 E- La rétroannotation produite par l'ensemble des classifieurs est disponible sur le bus 111 et utilisée dans son ensemble par chacune des unités de calcul d'histogramme, respectivement 1A, 1B... 1 E- A titre d'exemple, A, B, C,... , E peuvent représenter respectivement les composantes couleur du pixel d'entrée sous la forme luminance L, teinte T et saturation S. D et E seraient les coordonnées Pi et P du pixel considéré dans un système d'axes optimisé. De manière synthétique, tel que représenté sur la figure 31 a, pour le paramètre A, chaque unité de calcul d'histogramme 1A, 1 B, 1 E traite l'une des données DATA(A), DATA(B),... DATA(E) par la fonction correspondante (fog)A... pour produire individuellement une valeur de sortie (101s)A... et toutes ensemble la rétroannotation disponible sur le bus 111. En même temps, le registre de sortie d'analyse 104A est alimenté.
Le choix du paramètre traité par chaque unité de calcul d'histogramme, le contenu du registre de sortie d'analyse 104 ainsi que la fonction fog qu'elle remplit, sont déterminés par l'A.P.I.
Dans le mode de réalisation de la figure 31 , les différents paramètres DATA(A)... DATA(E) alimentent un multiplexeur d'entrée 500 qui est commandé par un registre 501. Le registre 501 est mis à jour par la commande SELECT référencée 502. Le multiplexeur commandé d'apprentissage 503 reçoit, selon l'état de la commande d'apprentissage de l'unité de calcul d'histogramme i, LEARNj, soit l'information de rétroannotation transmise par le bus 111 , soit les informations provenant du multiplexeur d'entrée 500.
Il est ainsi possible d'utiliser une seule unité de calcul d'histogramme 1 pour traiter l'un quelconque des différents paramètres A, B, C,... , E qui lui sont adressés par un bus 510 en fonction de la commande SELECT. Selon l'état de la commande d'apprentissage LEARN, l'unité de calcul d'histogramme fonctionnera soit en exploitation, soit en apprentissage.
L'ensemble 1 a ainsi formé par une unité de calcul d'histogramme 1 , un multiplexeur d'entrée 500, son registre associé 501 , et éventuellement un multiplexeur d'apprentissage constitue une unité de calcul d'histogramme polyvalente.
La figure 32 représente un dispositif complet comprenant à titre d'exemple un ensemble de seize unités de calcul d'histogramme polyvalentes.
Ces unités constituent une matrice, elles sont reliées à un bus 510 sur lequel les paramètres D, V, S, T, L, pO, p1 , p2 p15 sont disponibles (pO, p1 , p2,... , p15 sont des pentes d'axes de référence). Le bus 111 porte l'information de rétroannotation.
L'ensemble de l'application est commandé par l'unité de contrôle 513 qui détermine ceux des paramètres L, T, S, V, D, p0, pi... pis qui sont traités à un instant donné par une ou un groupe d'unités d'histogramme polyvalentes dédié et, par le séquenceur 9.
La figure 40 représente un diagramme fonctionnel d'un ensemble comportant plusieurs unités de calcul d'histogramme (tel que représenté sur la figure 31 ) conformément à un mode de réalisation de la présente invention. Chaque unité 1a de calcul d'histogramme est reliée à un bus de données 510 qui fournit les différents paramètres à traiter, et à un bus 11 qui fournit le signal de classification 101 s et les signaux de fonction d'apprentissage aux différentes unités 1a. Chaque unité de calcul d'histogramme comporte une mémoire 100, un classifieur 101 et une unité de rétroannotation 102. Chaque unité 1 a est susceptible d'avoir des fonctions de classification automatique d'anticipation et d'apprentissage telles que décrites plus haut.
L'ensemble d'unités de calcul d'histogramme 1 peut fonctionner en mode de traitement pendant qu'une ou plusieurs d'entre elles sont en mode d'apprentissage. Dans un mode de réalisation particulier, une unité de calcul d'histogramme est utilisée en temps partagé par plusieurs paramètres pendant chaque trame, éventuellement mémorisés dans une mémoire non représentée.
Par exemple, en référence à la figure 31 , l'unité de calcul d'histogramme 1 calcule des histogrammes et les statistiques correspondantes pour deux ou plus paramètres (par exemple DATA(A) et DATA(C)) pendant chaque trame.
Un multiplexeur 500 prévu dans ce mode de réalisation est susceptible de multiplexer les différents paramètres. De cette façon, un nombre limité d'unités de calcul d'histogramme est nécessaire pour traiter un plus grand nombre de paramètres, ce qui permet de diminuer la quantité de silicium nécessaire pour fabriquer le nombre utile d'unités de calcul d'histogramme.
Le processeur de perception visuelle générique (GVPP) 520 ainsi constitué peut être intégré sur un seul substrat semi-conducteur. Le nombre d'unités de calcul d'histogramme polyvalentes 1 a dépend de l'application et des technologies de fabrications de composants semiconducteurs disponibles.
La technologie 0,5 μm actuellement accessible permet l'intégration de 32 unités de façon économique. Avec les techniques avancées de semiconducteurs, il devient impossible de fabriquer de plus en plus d'unités de calcul d'histogramme (par exemple les blocs 1 a de la figure 32) sur le même composant et de réaliser des calculs plus nombreux sur plus d'échantillons (c'est-à-dire des nombres de plus en plus importants d'échantillonnage par paramètre).
Une telle augmentation des capacités de calcul peut être réalisée sans augmentation de la complexité de l'API, qui est présentée plus loin et représentée en détail sur l'annexe A. Par exemple, le même ensemble d'instructions peut commander un ensemble de 20 unités comme un ensemble de 200 ou même de 2000 unités sans que sa complexité ne soit accrue.
Dans un autre mode de réalisation représenté sur la figure 39, une unité de calcul 605 conforme à la présente invention, c'est-à-dire similaire à l'unité de calcul 520 de la figure 32, est utilisée pour traiter les paramètres associés à un domaine de perception autre que le domaine visuel. Sur la figure 39, la technique de la présente invention est appliquée à l'analyse orale ou de son, par exemple pour la reconnaissance vocale ou l'utilisation de la voix pour entrer un texte dans un ordinateur. Sur la figure 39, un dispositif générant un signal sonore fournit un signal sonore au calculateur 605 qui produit un signal de sortie.
Dans un mode de réalisation, le dispositif générant le signal comporte un microphone 600 mais peut aussi comprendre n'importe quel dispositif susceptible de fournir des signaux analogues ou digitaux, par exemple un lecteur CD ou DVD... Le dispositif générateur de signal fournit de préférence des signaux digitaux et peut fonctionner dans un mode esclave ou dans un mode maître de la même manière que l'ensemble générateur de signal 2 de la figure 1. Le calculateur 605 reçoit les signaux et traite différents paramètres du signal sonore. Ces paramètres comportent la fréquence, l'amplitude et la phase. Les paramètres de phase et d'amplitude sont respectivement analogues aux signaux spatiaux et temporels exploités pour le traitement de scènes visuelles. Le calculateur 605 fournit des signaux au dispositif 610 de façon à permettre la représentation des résultats. Par exemple, dans un mode de réalisation, le dispositif 610 comporte une imprimante permettant l'impression de textes associés aux signaux fournis par le générateur de signal 600. De la même manière, le dispositif 610 peut comporter un moniteur ou n'importe quel autre dispositif générateur de texte.
La figure 33 est la représentation d'un processeur de perception visuelle générique 520 ou 530 recevant des informations d'un imageur CMOS 521 comportant une rétine 522 et un séquenceur 523. La figure 34 représente un système complet susceptible de constituer une application complète et fonctionnant avec plusieurs imageurs CMOS. L'association de deux imageurs CMOS 531 , 532 représentés sur la figure 35 permettant d'acquérir des informations sur la profondeur dans la scène observée. Dans certaines utilisations, il est souhaitable de pouvoir observer certains plans, en profondeur, d'une scène et c'est la raison pour laquelle la rétine peut être équipée d'un dispositif à focale variable tel que représenté sur la figure 36.
La figure 37 schématise un système constitué d'un ensemble d'unités de calcul d'histogramme polyvalente susceptible de traiter des informations provenant de trois directions, respectivement V1 , V2 et V3 pouvant représenter un espace tridimensionnel. On peut ainsi gérer des données de perception volumique et les utiliser dans le domaine de la robotique.
XVII. Interface de gestion de l'application (A.P.I.) L'interface de gestion de l'application (A.P.I. - Application Program
Interface) représentée sur la figure 38 permet de fournir à système complet ou processeur de perception visuelle générique composé d'un certain nombre de d'unités de calcul d'histogramme polyvalentes, l'ensemble des paramètres extérieurs dont il a besoin. On assure ainsi sa configuration dynamique. L'annexe A qui est jointe, fait partie intégrante de la description de la présente demande, elle fournit un diagramme fonctionnel de l'unité spatiotemporelle API, l'interface graphique utilisatrice (GUI) API, la souris API et le I/O API, ainsi que les différentes commandes API associées. Chacun des mnémoniques de commande est associé à un indice i correspondant au numéro de l'unité de calcul d'histogramme polyvalente à laquelle il est destiné. Il peut être accompagné de paramètres de configuration. Elle permet d'affecter les paramètres DATA(A)... DATA(E) à des paramètres réels de la scène observée.
SELECT permet d'attribuer un paramètre DATA(A) à une unité déterminée.
LEARNj permet d'effectuer l'apprentissage pour une d'unité de calcul d'histogramme polyvalente i.
START assure l'initialisation d'une unité de calcul d'histogramme polyvalente. Cette commande configure la mémoire 118 de classifieur 101.
STOP assure l'arrêt de l'unité de calcul d'histogramme polyvalente. Elle est utilisée dès qu'une unité de calcul d'histogramme est inactive. On réduit ainsi la consommation d'énergie de l'ensemble.
AFCURV est la commande d'affichage de courbe commandant le commutateur 16 représenté sur la figure 4. Sa commande inverse est CLCURV.
AFMAP est la commande d'affichage de la rétroannotation commandant le commutateur 17. Sa commande inverse est CLRMAP.
MAP est la commande d'écriture des registres 411 et 412 de l'unité de rétroannotation 102.
GETLRN est la commande assurant la récupération du contenu des registres de rétroannotation 411 et 412 après l'apprentissage.
ANNEXE A
Spécifications API
(Application Programming Interface)
interface de programmation applicative (API) pour le Processeur de Perception Visuelle Générique : (GVPP)
L'interface comporte 4 subdivisions pour GVPP :
- Une API Bloc spatio-temporel
- Une API graphique
- Une API de gestion de la souris
- Une API de gestion de la communication avec les périphériques
Figure imgf000040_0001
CLRSCR Ψ API Graphique
Interface générique
DPDATA W Utilisateur (GUI)
DPNTEF
API souris
Interface générique
BUTTOf w Utilisateur (GUI)
MVCAIv 1 4 SFNDPΓ.
API Entrées/Sorties
GETCAF w
MVMOl r — ~ k 4 GETPC
GETMO 1 Description des commandes de programmation applicatives
API Bloc Spatio-temporel
Elle regroupe l'ensemble des fonctions génériques utilisées pour initialiser, paramétrer ou apprendre et démarrer le bloc ainsi que les fonctions pour récupérer les résultats de calcul. Le nom de la commande est suivi des paramètres nécessaires écrit dans des registres définis.
Fonctions :
START :
Rôle : Démarrage du calcul d'un bloc.
Paramètres : Numéro du bloc concerné, valeur MIN, valeur MAX pour initialisation
Prototype :
Bloc3 equ 03 MIN equ 10 MAX equ 100
START Bloc3 MIN MAX Entrée - R0 numéro du bloc
R1 valeur MIN
R2 valeur MAX Sortie -
STOP :
Rôle : Arrêt du calcul d'un bloc.
Paramètres : Numéro du bloc concerné.
Prototype
Bloc3 equ 03 équivalence Bloc3 est égal à la valeur 3
STOP Bloc3 Entrée - R0 numéro du bloc Sortie -
SELECT ,
Rôle : Sélection du signal d'entrée d'un bloc. Par exemple la luminance, la teinte, la saturation, l'orientation de lignes dans le plan... etc. Paramètres : Numéro du bloc concerné, signal a sélectionner. Prototype :
Bloc3 equ 03 LUM equ 00
SELECT Bloc3 LUM
Entrée - RO Numéro du bloc R1 Paramètre d'entrée
Sortie -
GET .
Rôle : Récupération des résultats de calcul.
Paramètres : Numéro du bloc concerné, paramètre(s) a récupérer.
Prototype :
Bloc3 equ 03
MIN equ 00
MAX equ 01
RMAX equ 02
POSRMX equ 03
POSMOY equ 04
NBPTS equ 05
GET Bloc3 NBPTS
Entrée - R0 Numéro du bloc
R1 Paramètre d'entrée
Sortie - R0 valeur résultante de ce paramètre
LEARN :
Rôle : Passage d'un bloc en mode apprentissage.
Paramètres : Numéro du bloc concerné.
Prototype :
Bloc3 equ 03
LEARN Bloc3 Entrée - R0 Numéro du bloc Sortie -
MAP :
Rôle : Programmation du bloc en fonction d'un apprentissage précédent pour changer de contexte. Recherche d'un autre événement ou objet : écriture de la matrice de rétro annotation du bloc. Paramètres : Numéro du bloc concerné, Combinaison logique des autres blocs associés ; somme de termes produits (ET et OU).
Prototype
Bloc3 equ 03
MAP Bloc3 0F3 1AB 007
Entrée- RO Numéro du bloc
R1 Premier terme produit
R2 Second terme produit
R3 suite
Sortie-
GETLRN :
Rôle : Lecture des résultats de l'apprentissage .
Paramètres : Numéro du bloc concerné.
Prototype :
GETLRN
Entrée - RO Numéro du bloc
Sortie - RO MIN classification
R1 MAX Classification
R2 Première majeure association (terme produit)
R3 Seconde association
R4 suite
AFCURV :
Rôle : Affichage de la courbe d'un bloc.
Paramètres : Numéro du bloc concerné.
Prototype :
Bloc3 equ 03
AFCURV Bloc3 Entrée - R0 Numéro du bloc Sortie -
CLCURV .
Rôle : Effacement de la courbe d'un bloc.
Paramètres : Numéro du bloc concerné. Prototype :
Bloc3 equ 03
CLCURV Bloc3 Entrée - RO Numéro du bloc Sortie -
AFMAP :
Rôle : Affichage de la table de rétro-annotation d'un bloc.
Paramètres : Numéro du bloc concerné.
Prototype
Bloc3 equ 03
AFMAP Bloc3 Entrée - RO Numéro du bloc Sortie -
CLRMAP :
Rôle : Effacement de l'écran de la table de rétro-annotation d'un bloc.
Paramètres : Numéro du bloc concerné.
Prototype
Bloc3 equ 03
CLRMAP Bloc3 Entrée - RO Numéro du bloc Sortie -
API Graphique
CLRSCR :
Rôle : Effacage de l'écran.
Paramètres : Aucun.
Prototype :
CLRSCR Entrée - Sortie - DPDATA :
Rôle : Affichage des données à l'écran.
Paramètres : Donnée à afficher et position à l'écran.
Prototype :
DPDATA
Entrée- R0 Code ASCII
R1 position ligne
R2 position colonne
Sortie-
API de gestion de la souris
DPNTER :
Rôle : Déplacer et afficher curseur.
Paramètres : Coordonnées.
Prototype :
DPNTER
Entrée- RO : position ligne
R1 : position colonne
Sortie-
BUTTON :
Rôle : Générer un click curseur.
Paramètres : Boutton.
Prototype :
BUTTON
Entrée-
Sortie-RO nouvelle position des boutons
API de gestion de la communication avec les périphériques
MVCAM :
Rôle : Déplacer la caméra.
Paramètres : Position et focus.
Prototype :
MVCAM Entrée - RO X position
R1 Y position
R2 Focus
Sortie -
GETCAM :
Rôle : Récupérer la position de la caméra.
Paramètres : Aucun.
Prototype
GETCAM
Entrée-
Sortie- R0 X position R1 Y position R2 Focus
MVMOT :
Rôle : Action moteur.
Paramètre : Sens+nombre de pas.
Prototype :
MVCAM
Entrée - RO Sens+nombre
Sortie -
GETMOT :
Rôle : Récupère la position actuelle du moteur Paramètre : Non
Prototype :
GETMOT
Entrée -
Sortie - RO position
SENDPC :
Rôle : Envoyer une information au PC.
Paramètres : pointer sur l'information et nombre d'informations.
Prototype :
SENDPC Entrée- R0 pointeur information R1 nombre d'informations
Sortie- GETPC :
Rôle : Récupérer une information du PC.
Paramètres : Aucun.
Prototype :
GETPC Entrée- Sortie-RO information

Claims

REVENDICATIONS
1. Dispositif de perception automatique d'un événement intervenant dans un espace par rapport à au moins un paramètre, caractérisé en ce qu'il comporte une unité de contrôle (513), un bus de données (510), un bus de rétroannotation et au moins une unité de calcul d'histogramme pour le traitement dudit paramètre.
2. Dispositif de perception automatique selon la revendication 1 , caractérisé en ce qu'il comporte, pour traiter plusieurs paramètres, plusieurs unités de calcul d'histogramme organisées en matrice.
3. Dispositif de perception automatique selon l'une des revendications
1 et 2, caractérisé en ce que les unités de calcul d'histogramme traitent des données aijt associées à des pixels formant ensemble un espace (i, j) multidimensionnel évoluant dans le temps et représenté à une succession de moments (T), lesdites données parvenant à ladite unité de calcul sous la forme d'un signal DATA(A) numérique sous forme d'une suite aijt de nombre binaire de n bits associé à des signaux de synchronisation permettant de définir le moment donné (T) de l'espace et la position (i, j) du pixel dans cet espace, auquel le signal aijt reçu à un instant donné (t) est associé, comprenant : - une mémoire d'analyse (100) comportant une mémoire avec des adresses, chacune associée à des valeurs possibles des nombres de n bits du signal DATA(A) et dont l'écriture est contrôlée par un signal " WRITE " ,
- un classifieur (101 ) comportant une mémoire destinée à recevoir un critère C de sélection du paramètre DATA(A), recevant le signal DATA(A) en entrée et fournissant, en sortie, un signal binaire de classification dont la valeur dépend du résultat de la comparaison du signal DATA(A) avec le critère (C) de sélection,
- une unité de rétroannotation (102) recevant le signal de sortie du classifieur et, de l'extérieur de l'unité de calcul de l'histogramme, des signaux binaires de classification individuels concernant des paramètres autres que DATA(A), ladite unité de rétroannotation fournissant en sortie un signal de validation global positif lorsque l'ensemble des signaux de rétroannotation individuels sont valides,
- une unité de test (103), - une unité de sortie d'analyse (104), - un multiplexeur d'adresses (105),
- une unité de validation d'incrémentation (107), le compteur de chaque adresse de la mémoire correspondant à la valeur (d) de a^ à un instant donné, étant incrémentée d'une unité lorsque l'unité de rétroannotation fournit en sortie un signal de validation global positif, l'unité (103) de calcul et de mémorisation de données statistiques exploitant à la fin de la réception des données aijt correspondant à l'espace à un moment (T) le contenu de la mémoire (100) pour mettre à jour l'unité de sortie d' analyse 104, la mémoire (100) étant effacée avant le début de chaque trame pour un espace à un moment (T) par un signal d'initialisation " INIT " , et qu'en outre :
- la mémoire du classifieur (101 ) est une mémoire adressable permettant la mise à jour en temps réel du critère de sélection (C) et ayant une entrée de données DATA IN, une commande d'adresse ADRESS et une commande d'écriture WR, recevant sur son entrée la sortie de la mémoire d'analyse et un signal END sur sa commande d'écriture,
- les unités de traitement d'histogramme comportent, de plus, un multiplexeur d'entrées de données (108) ayant deux entrées et une sortie, recevant sur l'une de ses entrées un signal de comptage COUNTER et, sur l'autre de ses entrées, la suite de données aijt et fournissant en sortie la suite de données aiJt à la commande d'adresse de la mémoire du classifieur et un opérateur OU commandant le multiplexeur d'adresses (105) et recevant sur ses entrées un signal d'initialistion INIT et le signal de fin END.
4. Dispositif de perception automatique selon la revendication 3, caractérisé en ce que l'espace (i, j) est à deux dimensions et que le signal DATA(A) est associé aux pixels d'une succession d'images.
5. Dispositif de perception automatique selon l'une quelconque des revendications 3 et 4, caractérisé en ce que les unités de traitement d'histogramme comportent des moyens d'anticipation de la valeur du critère de sélection (C).
6. Dispositif de perception automatique selon la revendication 5, caractérisé en ce que les moyens d'anticipation de la valeur du critère de sélection (C) comportent des mémoires destinées à contenir les valeurs de paramètres statistiques relatives à deux trames successives (T0 et T ).
7. Dispositif de perception automatique selon la revendication 6, caractérisé en ce que les paramètres statistiques sont les valeurs moyennes des données aij validées.
8. Dispositif de perception automatique selon l'une quelconque des revendications 3 à 7, caractérisé en ce que le registre de sortie d'analyse (104) des unités de calcul d'histogramme constitue et garde en mémoire l'une au moins des valeurs suivantes : la valeur minimum " MIN " , la valeur maximum " MAX " , le nombre maximum de pixels pour lesquels le signal Vjjt a une valeur particulière " RMAX " , la valeur particulière correspondante POSRMAX, le nombre total de pixels validés " NBPTS " .
9. Dispositif de perception automatique selon l'une quelconque des revendications 3 à 8, caractérisé en ce que le paramètre statistique de comparaison utilisé par le classifieur est RMAX/2.
10. Dispositif de perception automatique selon l'une quelconque des revendications 3 à 8, caractérisé en ce qu'il comporte un multiplexeur commandé, pouvant recevoir en entrée plusieurs paramètres statistiques et que la nature de la comparaison faite par le classifieur dépend de la commande de ce multiplexeur.
11. Dispositif de perception automatique selon l'une quelconque des revendications 3 à 10 caractérisé en ce que certaines unités de calcul d'histogramme, au moins, comportent un multiplexeur d'apprentissage destiné à recevoir un signal de commande extérieur et produisant un fonctionnement selon un mode d'apprentissage dans lequel les registres du classifieur et de l'unité de rétroannotation sont effacés au début de l'exploitation d'une trame et que le registre de sortie d'analyse fournit des valeurs caractéristiques de la séquence pour chacun de ces registres.
12. Dispositif de perception automatique selon l'une quelconque des revendications 3 à 11 , caractérisé en ce que dans certaines unités de calcul d'histogramme, au moins, la mémoire du classifieur (101 ) est constituée d'un ensemble de registres (D) indépendants comportant chacun une entrée, une sortie et une commande d'écriture, le nombre de ces registres (D) étant égal au nombre n de bits des nombres de la suite Vijt, et qu'elle comporte un décodeur permettant de sortir un signal de commande d'écriture correspondant à la valeur d'entrée (adresse) associée et un multiplexeur commandé par cette valeur d'entrée, permettant de lire le registre choisi.
13. Dispositif de perception automatique selon l'une quelconque des revendications 3 à 12, caractérisé en ce que certaines unités de calcul d'histogramme au moins, comportent des multiplexeurs, un d'entre eux étant associé à l'entrée de chaque registre et des modules combinatoires reliant entre eux les registres, lesdits multiplexeurs permettant le choix entre l'écriture séquentielle et une écriture commune à tous les registres liés entre eux par les modules combinatoires.
14. Dispositif de perception automatique selon l'une quelconque des revendications 3 à 13, caractérisé en ce que dans certaines unités de calcul d'histogramme au moins, les modules combinatoires comportent un opérateur morphologique de dilatation comportant une unité logique " OU " à trois entrées dont la première reçoit le signal de sortie du registre de rang " Q " , la deuxième est reliée à la sortie d'une unité logique " ET " à deux entrées recevant respectivement le signal de sortie du registre de rang " Q+1 " et un signal de dilatation positive, la troisième est reliée à la sortie d'une unité logique " ET " à deux entrées recevant respectivement le signal de sortie du registre de rang " Q-1 " et un signal de dilatation négative.
15. Dispositif de perception automatique selon l'une quelconque des revendications 3 à 13, caractérisé en ce que dans certaines unités de calcul d'histogramme au moins, les modules combinatoires comportent un opérateur morphologique d'érosion comportant une unité logique " ET " à trois entrées dont la première reçoit le signal de sortie du registre de rang " Q " , la deuxième est reliée à la sortie d'une unité logique " ET " dont une inversée à quatre entrées recevant respectivement le signal de sortie du registre de rang " Q " , le signal de sortie du registre de rang " Q-1 " , le signal de sortie du registre de rang " Q+1 " et un signal d'érosion positive, la troisième est reliée à la sortie d'une unité logique " ET " à quatre entrées dont une inversée recevant respectivement le signal de sortie du registre de rang " Q " , le signal de sortie du registre de rang " Q-1 " , le signal de sortie du registre de rang " Q+1 " et un signal d'érosion négative.
16. Dispositif de perception automatique selon l'une quelconque des revendications 14 et 15, caractérisé en ce que dans certaines unités de calcul d'histogramme au moins, chaque module combinatoire comporte un multiplexeur associant un opérateur morphologique d'érosion et un opérateur morphologique d'érosion.
17. Procédé de perception automatique d'un événement intervenant dans un espace par rapport à au moins un paramètre consistant à le digitaliser et à le fournir en entrée à une unité de calcul d'histogramme pour former un histogramme représentatif du paramètre et en déduire le résultat désiré.
18. Procédé selon la revendication 17, caractérisé en ce que l'événement est représenté par plusieurs paramètres et que le résultat provient de plusieurs unités de calcul d'histogramme.
19. Procédé d'analyse conforme à l'une des revendications 17 et 18 d'un paramètre représentatif d'un événement dans un dispositif électronique comprenant un calcul d'histogramme sur des données ayt associées à des pixels formant ensemble un espace (i, j) multidimensionnel évoluant dans le temps et représenté à une succession de moments (T), lesdites données parvenant à ladite unité de calcul sous la forme d'un signal DATA(A) numérique sous forme d'une suite aij de nombre binaire de n bits associé à des signaux de synchronisation permettant de définir le moment donné (T) de l'espace et la position (i, j) du pixel dans cet espace, auquel le signal aijt reçu à un instant donné (t) est associé dans lequel
- on associe à chaque donnée aijt un signal • binaire de classification dont la valeur dépend du résultat de la comparaison du signal DATA(A) avec le critère (C) de sélection,
- on constitue une répartition statistique des données a t pour un moment (T) donné pour lesquelles un signal de validation global est positif, ledit signal de validation global étant constitué d'un ensemble de signaux de rétroannotation individuels chacun correspondant à un paramètre DATA(A), DATA(B),... DATA(E), résultant de la comparaison entre un critère de rétroannotation R et de son signal de classification et étant positif.
20. Procédé d'analyse d'un paramètre selon la revendication 19, caractérisé en ce que l'espace (i, j) est à deux dimensions et que le signal DATA(A) est associé aux pixels d'une succession d'images.
21. Procédé d'analyse d'un paramètre selon l'une des revendications 19 et 20, caractérisé en ce que le critère de classification (C) est mis à jour, en temps réel, en fonction de la répartition statistique.
22. Procédé d'analyse d'un paramètre selon la revendication 21 , caractérisé en ce que la mise à jour du critère de classification (C) dépend de l'évolution de la valeur moyenne du paramètre aijt validé entre deux trames successives (T0 et Ti).
23. Procédé d'analyse d'un paramètre selon l'une quelconque des revendications 20 à 22, caractérisé en ce que la mise à jour du critère de classification (C) est anticipée.
24. Procédé d'analyse d'un paramètre selon la revendication 23, caractérisé en ce que l'anticipation de la mise à jour du critère de classification (C) résulte d'applications successives d'un opérateur de dilatation et d'un opérateur d'érosion, chacun d'eux, un nombre de fois et dans un sens dépendant de l'évolution de la valeur moyenne du paramètre aijt validé entre deux trames successives (T0 et Ti).
25. Procédé d'analyse d'un paramètre selon l'une quelconque des revendications 19 à 24, caractérisé en ce que le critère de rétroannotation (R) est complexe.
26. Procédé d'analyse d'un paramètre selon l'une quelconque des revendications 19 à 25, caractérisé en ce que le critère de rétroannotation (R) est automatiquement proposé à la suite d'une étape d'apprentissage.
PCT/FR2001/000546 2000-02-24 2001-02-23 Procede et dispositif de perception automatique WO2001063557A2 (fr)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US10/204,825 US7212669B2 (en) 2000-02-24 2001-02-23 Automatic perception method and device
CA002401422A CA2401422A1 (fr) 2000-02-24 2001-02-23 Procede et dispositif de perception automatique
JP2001562445A JP2004526214A (ja) 2000-02-24 2001-02-23 自動視覚認識の方法及び装置
AT01909896T ATE266232T1 (de) 2000-02-24 2001-02-23 Verfahren und vorrichtung zur automatischen wahrnehmung
AU2001237493A AU2001237493A1 (en) 2000-02-24 2001-02-23 Automatic perception method and device
EP01909896A EP1259939B1 (fr) 2000-02-24 2001-02-23 Procede et dispositif de perception automatique
DE60103131T DE60103131T2 (de) 2000-02-24 2001-02-23 Verfahren und vorrichtung zur automatischen wahrnehmung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR00/02355 2000-02-24
FR0002355A FR2805629B1 (fr) 2000-02-24 2000-02-24 Procede et dispositif de perception automatique

Publications (2)

Publication Number Publication Date
WO2001063557A2 true WO2001063557A2 (fr) 2001-08-30
WO2001063557A3 WO2001063557A3 (fr) 2002-04-04

Family

ID=8847380

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2001/000546 WO2001063557A2 (fr) 2000-02-24 2001-02-23 Procede et dispositif de perception automatique

Country Status (9)

Country Link
US (2) US7212669B2 (fr)
EP (1) EP1259939B1 (fr)
JP (1) JP2004526214A (fr)
AT (1) ATE266232T1 (fr)
AU (1) AU2001237493A1 (fr)
CA (1) CA2401422A1 (fr)
DE (1) DE60103131T2 (fr)
FR (1) FR2805629B1 (fr)
WO (1) WO2001063557A2 (fr)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7043465B2 (en) 2000-02-24 2006-05-09 Holding B.E.V.S.A. Method and device for perception of an object by its shape, its size and/or its orientation
US7136842B2 (en) 2000-02-24 2006-11-14 Holding B.E.V. S.A. Method and device for adapting a signal for the detection of the movement of an object
US7181047B2 (en) 1996-07-26 2007-02-20 Patrick Pirim Methods and apparatus for identifying and localizing an area of relative movement in a scene
US7190725B2 (en) 1996-07-26 2007-03-13 Patrick Pirim System and methods for smoothing an input signal
US7212669B2 (en) 2000-02-24 2007-05-01 William J. Brown, Esq. Automatic perception method and device
US7313551B2 (en) 2001-08-10 2007-12-25 William J. Brown Processing device and method for an automatic perception system
US7650015B2 (en) 1997-07-22 2010-01-19 Image Processing Technologies. LLC Image processing method
CN107316011A (zh) * 2017-05-24 2017-11-03 杭州励飞软件技术有限公司 数据处理方法、装置及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR0309410A (pt) * 2002-04-22 2005-02-01 Nokia Corp Método, sistema de mìdia e terminal do usuário para coletar a informação sobre a audiência de um fluxo de mìdia de radiodifusão
FR2843470B1 (fr) * 2002-08-07 2004-11-05 Holding Bev Sa Procede de fonctionnement et dispositif d'analyse de parametres mono et multidimensionnels par calcul et traitement d'histogramme, application a la perception active
FR2843469B1 (fr) * 2002-08-07 2005-03-25 Holding Bev Sa Procede de fonctionnement et unite fonctionnelle multiclasse pour calcul et traitement d'histogramme, application a la perception active
WO2004015630A2 (fr) * 2002-08-07 2004-02-19 Holding B.E.V. Sa Procede et dispositif de perception visuelle active pour caracterisation et reconnaissance par analyse de parametres mono/multidimentionnels dans des unites multiclasses de calcul et traitement d'histogramme, recrutement dynamique d'unites
US8260602B1 (en) * 2006-11-02 2012-09-04 The Math Works, Inc. Timer analysis and identification
WO2008125444A2 (fr) * 2007-04-13 2008-10-23 Thomson Licensing Protocole de communication et procédés de développement et d'exploitation de réseau correspondant
US10009579B2 (en) 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9367733B2 (en) 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
US9639747B2 (en) * 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
CN108416788B (zh) * 2018-03-29 2020-06-05 河南科技大学 一种基于感受野及其明暗适应性的边缘检测方法
US10976709B1 (en) * 2020-03-30 2021-04-13 Stmicroelectronics (Research & Development) Limited Latched gray code for ToF applications

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0046110A1 (fr) * 1980-08-07 1982-02-17 Michel Urien Dispositif d'obtention de l'histogramme des distances dans le temps entre des événements successifs
FR2751772A1 (fr) * 1996-07-26 1998-01-30 Bev Bureau Etude Vision Soc Procede et dispositif fonctionnant en temps reel, pour le reperage et la localisation d'une zone en mouvement relatif dans une scene, ainsi que pour la determination de la vitesse et la direction du deplacement
US5793888A (en) * 1994-11-14 1998-08-11 Massachusetts Institute Of Technology Machine learning apparatus and method for image searching

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US101432A (en) * 1870-04-05 Improvement in brick-machines
US4783828A (en) 1986-06-02 1988-11-08 Honeywell Inc. Two-dimensional object recognition using chain codes, histogram normalization and trellis algorithm
FR2611063B1 (fr) 1987-02-13 1989-06-16 Imapply Procede et dispositif de traitement en temps reel d'un flot de donnees sequence, et application au traitement de signaux video numeriques representatifs d'une image video
JPH01158579A (ja) 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
EP0380659A4 (en) 1987-10-02 1992-07-15 Kabushiki Kaisha Komatsu Seisakusho Method of recognizing linear pattern
US5163095A (en) 1988-04-22 1992-11-10 Toa Medical Electronics Co., Ltd. Processor for extracting and memorizing cell images, and method of practicing same
US5109425A (en) 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
DE3913620A1 (de) 1989-04-25 1990-10-31 Fraunhofer Ges Forschung Verfahren zur bildauswertung
US5088488A (en) * 1989-12-22 1992-02-18 Medtronic, Inc. Method and apparatus for implementing histogram storage and trend analysis in a medical stimulator
DE69221665T2 (de) 1991-05-23 1997-12-11 Fuji Photo Film Co Ltd Verfahren zur Ermittlung einer Belichtung
KR940011881B1 (ko) 1991-12-23 1994-12-27 주식회사 금성사 움직임 검출 및 추정장치
US5712729A (en) 1992-04-17 1998-01-27 Olympus Optical Co., Ltd. Artificial retina cell, artificial retina and artificial visual apparatus
DE4213717A1 (de) * 1992-04-25 1993-10-28 Asea Brown Boveri Verfahren zur Ermittlung eines Häufigkeits-Zeitprofils von Ereignissen sowie Vorrichtung zur Durchführung des Verfahrens
US5384865A (en) 1992-06-01 1995-01-24 Eastman Kodak Company Adaptive, hybrid median filter for temporal noise suppression
JP2940317B2 (ja) 1992-06-24 1999-08-25 三菱電機株式会社 画像処理装置
JPH06205780A (ja) 1993-01-12 1994-07-26 Aloka Co Ltd 超音波画像処理装置
US5592226A (en) 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
EP0694193B1 (fr) 1994-02-16 2000-05-31 Koninklijke Philips Electronics N.V. Dispositif de segmentation d'un ensemble discret de donnees
JP2735003B2 (ja) * 1994-09-28 1998-04-02 松下電器産業株式会社 ホワイトバランス調整量演算装置
US5592237A (en) * 1994-11-04 1997-01-07 Infimed, Inc. High resolution image processor with multiple bus architecture
JPH08292998A (ja) 1995-04-20 1996-11-05 Mitsubishi Electric Corp 画像検出装置及び画像検出方法
WO2000011610A1 (fr) 1998-08-25 2000-03-02 Holding Bev S.A. Appareil et procede pour le traitement d'images
US7181047B2 (en) 1996-07-26 2007-02-20 Patrick Pirim Methods and apparatus for identifying and localizing an area of relative movement in a scene
FR2773521B1 (fr) 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
US6393054B1 (en) * 1998-04-20 2002-05-21 Hewlett-Packard Company System and method for automatically detecting shot boundary and key frame from a compressed video data
US6115689A (en) 1998-05-27 2000-09-05 Microsoft Corporation Scalable audio coder and decoder
EP0973128B1 (fr) * 1998-06-22 2003-06-11 Texas Instruments Incorporated Extension d'intensité sélective
US6473095B1 (en) * 1998-07-16 2002-10-29 Koninklijke Philips Electronics N.V. Histogram method for characterizing video content
US6597738B1 (en) 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US7136842B2 (en) 2000-02-24 2006-11-14 Holding B.E.V. S.A. Method and device for adapting a signal for the detection of the movement of an object
FR2805629B1 (fr) 2000-02-24 2002-08-30 Holding Bev Sa Procede et dispositif de perception automatique
US7043465B2 (en) 2000-02-24 2006-05-09 Holding B.E.V.S.A. Method and device for perception of an object by its shape, its size and/or its orientation
JP3796426B2 (ja) * 2001-10-04 2006-07-12 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 磁気共鳴撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0046110A1 (fr) * 1980-08-07 1982-02-17 Michel Urien Dispositif d'obtention de l'histogramme des distances dans le temps entre des événements successifs
US5793888A (en) * 1994-11-14 1998-08-11 Massachusetts Institute Of Technology Machine learning apparatus and method for image searching
FR2751772A1 (fr) * 1996-07-26 1998-01-30 Bev Bureau Etude Vision Soc Procede et dispositif fonctionnant en temps reel, pour le reperage et la localisation d'une zone en mouvement relatif dans une scene, ainsi que pour la determination de la vitesse et la direction du deplacement

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8805001B2 (en) 1996-07-22 2014-08-12 Image Processing Technologies Llc Image processing method
US8989445B2 (en) 1996-07-26 2015-03-24 Image Processing Technologies, LLC Image processing apparatus and method
US7181047B2 (en) 1996-07-26 2007-02-20 Patrick Pirim Methods and apparatus for identifying and localizing an area of relative movement in a scene
US7190725B2 (en) 1996-07-26 2007-03-13 Patrick Pirim System and methods for smoothing an input signal
US8983134B2 (en) 1996-07-26 2015-03-17 Image Processing Technologies Llc Image processing method
US7650015B2 (en) 1997-07-22 2010-01-19 Image Processing Technologies. LLC Image processing method
US9042602B2 (en) 1997-07-22 2015-05-26 Image Processing Technologies, LLC Image processing apparatus and method
US7212669B2 (en) 2000-02-24 2007-05-01 William J. Brown, Esq. Automatic perception method and device
US7136842B2 (en) 2000-02-24 2006-11-14 Holding B.E.V. S.A. Method and device for adapting a signal for the detection of the movement of an object
US7043465B2 (en) 2000-02-24 2006-05-09 Holding B.E.V.S.A. Method and device for perception of an object by its shape, its size and/or its orientation
US7313551B2 (en) 2001-08-10 2007-12-25 William J. Brown Processing device and method for an automatic perception system
CN107316011A (zh) * 2017-05-24 2017-11-03 杭州励飞软件技术有限公司 数据处理方法、装置及存储介质
CN107316011B (zh) * 2017-05-24 2021-04-06 杭州励飞软件技术有限公司 数据处理方法、装置及存储介质

Also Published As

Publication number Publication date
WO2001063557A3 (fr) 2002-04-04
DE60103131T2 (de) 2005-05-12
EP1259939B1 (fr) 2004-05-06
FR2805629B1 (fr) 2002-08-30
ATE266232T1 (de) 2004-05-15
US7212669B2 (en) 2007-05-01
DE60103131D1 (de) 2004-06-09
FR2805629A1 (fr) 2001-08-31
EP1259939A2 (fr) 2002-11-27
US6959293B2 (en) 2005-10-25
US20030152267A1 (en) 2003-08-14
US20020169732A1 (en) 2002-11-14
AU2001237493A1 (en) 2001-09-03
JP2004526214A (ja) 2004-08-26
CA2401422A1 (fr) 2001-08-30

Similar Documents

Publication Publication Date Title
EP1259939B1 (fr) Procede et dispositif de perception automatique
US11526704B2 (en) Method and system of neural network object recognition for image processing
US10997730B2 (en) Detection of moment of perception
CN111709470A (zh) 图像生成方法、装置、设备及介质
Hernandez-Ortega et al. Deepfakes detection based on heart rate estimation: Single-and multi-frame
Planamente et al. Da4event: towards bridging the sim-to-real gap for event cameras using domain adaptation
EP1364341A1 (fr) Procede et dispositif de reperage d&#39;un objet par sa forme, sa dimension et/ou son orientation
EP3712775A1 (fr) Procédé et dispositif de détermination de la taille mémoire globale d&#39;une zone mémoire globale allouée aux données d&#39;un réseau de neurones compte tenu de sa topologie
US11941080B2 (en) System and method for learning human activities from video demonstrations using video augmentation
WO2002075659A1 (fr) Procede et dispositif d&#39;adaption de la sensibilite de detection d&#39;un parametre porte par un signal
EP2022009A2 (fr) Procede de codage et systeme d&#39;affichage sur un ecran d&#39;une maquette numerique d&#39;un objet sous forme d&#39;une image de synthese
FR2938680A1 (fr) Procede de construction en temps reel de vecteurs prototypes a partir de donnees d&#39;entree d&#39;un processus neuronal
FR2968436A1 (fr) Methode de determination des mouvements d&#39;un objet a partir d&#39;un flux d&#39;images
Scheerlinck How to see with an event camera
FR2593622A1 (fr) Installation de traitement de donnees, notamment d&#39;images, et circuits generateurs d&#39;adresse et de traitement arithmetique
EP0680015A1 (fr) Dispositif d&#39;alimentation en pixels d&#39;une série d&#39;opérateurs d&#39;un circuit de compression d&#39;images mobiles
EP1419482A2 (fr) Dispositif et procede de traitement pour systeme de perception automatique
JP2023038885A (ja) 画像処理方法及び画像処理システム
EP4349002A1 (fr) Procede de traitement de données de pixels, dispositif et programme correspondant
FR3110991A1 (fr) Procédé d’apprentissage, procédé de reconnaissance associé, dispositifs correspondants.
EP1529265A2 (fr) Procede et dispositif de perception visuelle active pour caracterisation et reconnaissance par analyse de parametres mono/multidimentionnels dans des unites multiclasses de calcul et traitement d histogramme, recrutement dynamique d unites
FR3112228A1 (fr) Dispositif et procédé pour générer un masque de la silhouette du profil d’une structure
FR2620545A1 (fr) Procede et appareil de generation d&#39;une pluralite de parametres d&#39;un objet dans un champ de visee
Koli Fab Depth: A Dataset for Effective and Efficient Gesture Detection
FR2843471A1 (fr) Procede et dispositif de perception visuelle active pour caracteriser et reconnaitre un objet, notamment aux fins d&#39;identification et de localisation

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CR CU CZ DE DK DM DZ EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
AK Designated states

Kind code of ref document: A3

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CR CU CZ DE DK DM DZ EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A3

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2001909896

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2401422

Country of ref document: CA

ENP Entry into the national phase

Ref country code: JP

Ref document number: 2001 562445

Kind code of ref document: A

Format of ref document f/p: F

WWP Wipo information: published in national office

Ref document number: 2001909896

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10204825

Country of ref document: US

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

WWG Wipo information: grant in national office

Ref document number: 2001909896

Country of ref document: EP