EP0790753B1 - Système de spatialisation sonore, et procédé pour sa mise en oeuvre - Google Patents

Système de spatialisation sonore, et procédé pour sa mise en oeuvre Download PDF

Info

Publication number
EP0790753B1
EP0790753B1 EP97400248A EP97400248A EP0790753B1 EP 0790753 B1 EP0790753 B1 EP 0790753B1 EP 97400248 A EP97400248 A EP 97400248A EP 97400248 A EP97400248 A EP 97400248A EP 0790753 B1 EP0790753 B1 EP 0790753B1
Authority
EP
European Patent Office
Prior art keywords
sound
microphones
transfer functions
head
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP97400248A
Other languages
German (de)
English (en)
Other versions
EP0790753A1 (fr
Inventor
Maíté Thomson-CSF SCPI Courneau
Christian Thomson-CSF SCPI Gulli
Gérard Thomson-CSF SCPI Raynaud
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales Avionics SAS
Original Assignee
Thales Avionics SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales Avionics SAS filed Critical Thales Avionics SAS
Publication of EP0790753A1 publication Critical patent/EP0790753A1/fr
Application granted granted Critical
Publication of EP0790753B1 publication Critical patent/EP0790753B1/fr
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved

Definitions

  • the present invention relates to a personalization method of a spatialization system sound system customization of a spatialization system sound.
  • Radiocommunications can be content stereophonic, or even monophonic, while the on-board communications and alarms cannot be located by report to the pilot (or co-pilot ).
  • the subject of the present invention is a communication system audiophonic, which allows to easily discriminate the location of a determined sound source, in particular in the case of the existence of several sound sources near the user.
  • the personalization process according to the invention is a method for customizing a sound spatialization system, by estimation of the head transfer functions of the user characterized by the we measure these functions in a finite number of points in space the environment, in two series of surveys, the first consisting of spatial sampling by placing a sound source at different points a sphere in the center of which we have a pair of microphones whose mutual distance is of the order of the width of the head of the subject whose we want to collect the head transfer functions, the second series of being raised with the subject placed so that his ears are located at the location of the microphones, the subject being provided with individualized ear plugs in which are placed miniature microphones, then by interpolation of the values thus measured at calculate the head transfer functions, for each of the two ears of the user, at the point in the space where the sound source is located, and create a spatial signal from the monophonic signal to be processed by convolving it with each of the two transfer functions thus estimated.
  • the personalization system is a customization system of a source spatialization system sound each producing monophonic channels, comprising, for each monophonic channel to be spatialized, a binaural processor with two convolution filter channels combined linearly in each channel, this (s) processor (s) being connected (s) to an orienting device for calculating spatial location of sound sources, itself linked to at least one localization device, characterized in that it includes a tool for head transfer function measurement installed in a room anechoic comprising a semi-circular rail mounted on a motorized pivot, on which moves a speaker connected to a sound source, a pair microphones being placed in the center of the sphere described by the rail, the distance separating the microphones being of the order of the width of the head the system user.
  • the invention is described below with reference to a system aircraft audio, especially fighter aircraft, but it's fine understood that it is not limited to such an application, and that it can be implementation as well in other types of vehicles (land or maritime) than in fixed installations.
  • the user of this system is, in this case, the pilot of a combat aircraft, but it is of course that there can be multiple users simultaneously, especially if it is of a civil transport aircraft, specific devices for each user being provided in corresponding number.
  • the spatialization module 1 represented in FIG. 1 has for role of making audible signals (tones, speech, alarms, ...) using a stereo headset so that they are perceived by the listener as if they came from a particular point in space, this point can be the actual position of the sound source or a position arbitrary. So, for example, the pilot of a fighter jet hears the voice from his co-pilot as if it actually came from behind him, or an audible missile attack alert is spatially positioned at the point arrival of the threat.
  • the position of the sound source changes in function of the pilot's head movements and of the airplane movements: for example an alarm generated at the azimuth "3 hours" must be found at "noon" if the pilot turns his head 90 degrees to the right.
  • the module 1 is for example connected to a digital bus 2 from which it receives information provided by: a head position detector 3, a inertial unit 4 and / or a location device such as a goniometer, radar, ..., countermeasures 5 (threat detection such as missiles) and an alarm management device 6 (reporting in particular breakdowns of instruments or equipment the plane).
  • Module 1 includes an interpolator 7, the input of which is connected to bus 2 to which various sound sources are connected (microphones, alarms, ). In general, these sources are sampled at frequencies relatively weak (6, 12 or 24 kHz for example).
  • the interpolator 7 allows to raise these frequencies to a common multiple, for example 48 kHz in the present case, frequency necessary for processors located downstream.
  • This interpolator 7 is connected to n binaural processors, referenced 8 in their together, n being the maximum number of channels to be spatialized simultaneously.
  • the outputs of processors 8 are connected to an adder 9 whose output constitutes the output of module 1.
  • Module 1 also includes in the connection between at least one output of the interpolator 7 and the input of the corresponding processor of set 8 an adder 10 of which the other input is connected to the output of a sound illustration device 11 complementary.
  • This device 11 produces an audible signal covering in particular the high frequencies (for example from 5 to 16 kHz) of the audio spectrum. he thus completes the useful bandwidth of the transmission channel at which its output signal is added.
  • This transmission channel can be advantageously a radio channel, but it is understood that any other channel can be so completed, and that multiple channels can be completed in the same system, providing a corresponding number of adders such as 10. Indeed, radiocommunications use reduced bandwidths (3 to 4 kHz in general). Such a width of band is insufficient for correct spatialization of the sound signal. of the tests have shown that high frequencies (above about 14 kHz), located beyond the limit of the speech spectrum, allow better location of the source of the sound. The device 11 is then a device bandwidth expansion.
  • the additional sound signal can for example be a background noise characteristic of a radio link.
  • the device 11 can also be, for example, a device simulating the acoustic behavior of a room, a building ..., or a device simulating a Doppler effect, or even a device producing different sound symbols each corresponding to a source or an alarm determined.
  • the processors 8 each generate a signal of the type stereophonic from the monophonic signal from the interpolator 7 to which is added, where appropriate, the signal from the device 11, taking account of the data provided by the head position detector 3 of the pilot.
  • Module 1 also includes a device 12 for managing sources to be spatialized followed by an orienter 13 with n inputs (n being defined above) controlling the n different processors of set 8.
  • the device 13 is a calculator calculating, from the data supplied by the pilot's head position detector, the orientation of the airplane by report to the landmark (provided by the aircraft's inertial unit) and the location of the source, the spatial coordinates of the point from where must seem to come from the sounds emitted by this source.
  • n2 is advantageously equal to four at maximum.
  • the device 12 for managing the n sources to be spatialized is a computer which receives, via bus 2, information concerning the characteristics of the sources to be spatialized (site, deposit and distance by report to the pilot), personalization criteria at the user's choice and priority information (threats, alarms, radio communications important, ).
  • the device 12 receives information from the device 4 concerning the evolution of the localization of certain sources (or all sources, if applicable). From this information, the device 12 selects the source (or at most the n2 sources) to spatialize.
  • a card reader 15 is used.
  • memory 16 for device 1 in order to personalize the management of sources by the device 12.
  • the reader 15 is connected to the bus 2.
  • the card 16 then contains the characteristics of the filtering carried out by the pavilions of the ears of each user. In the preferred embodiment, it is a set of pairs of digital filters (i.e. coefficients representing their impulse responses) corresponding to the filtering acoustic "left ear" and "right ear” made for various points of the space surrounding the user.
  • the database thus constituted is loaded, via bus 2, into the memory associated with the various processors 8.
  • Processors 8 each essentially have two channels (say “left ear” and “right ear”) convolution filtering. More precisely, the role of each of the processors 8 is on the one hand to calculate by interpolation the head transfer functions (right and left) at the point in which the source will be placed, on the other hand to create the spatial signal on two channels from the original monophonic signal.
  • the different equipment determining the orientation of the sound source and the orientation and location of the user's head provide their respective data every 20 or 40 ms ( ⁇ T), i.e. every ⁇ A couple of transfer functions are available.
  • ⁇ T 20 or 40 ms
  • the signal to spatialize is in fact convoluted by a pair of filters obtained by "temporal" interpolation carried out between the convolution filters spatially interpolated at the instants T and T + ⁇ T. It only remains to convert the digital signals as well obtained in analog before their restitution in the headphones of the user.
  • attitude sensors On the diagram of figure 3, which relates to a track to spatialize, the different attitude (position) sensors have been represented implemented. These are: a head attitude sensor 17, a sensor 18 attitude of the sound source, and an attitude sensor 19 of the carrier mobile (plane for example).
  • the information from these sensors is provided to the orienter 13, which determines from this information the spatial position from the source relative to the user's head (in line of sight and in distance).
  • the guide 13 is connected to a database 20 (included in the card 16) which it commands to be loaded onto processors 8 of the "left" and "right” transfer functions of the four closest points the position of the source (see Figure 2), or possibly the point of measure (if the position of the source coincides with that of one of the measurement of grid G).
  • transfer functions are subject to a spatial interpolation at 21, then a temporal interpolation at 22, and the resulting values are convoluted in 23 with the signal 24 to be spatialized.
  • functions 21 and 23 are performed by the same interpolator (interpolator 7 in Figure 1), and the convolutions are performed by the binaural processor 8 corresponding to the spatialized channel.
  • a digital-analog conversion is carried out, in 25, and sound reproduction (amplification and sending to headphones stereophonic) at 26.
  • operations 20 to 23 and 25, 26 are do separately for the left track and for the right track.
  • the "personalized" convolution filters forming the basis of previously mentioned data are established from measurements making use of a method described below with reference to FIG. 4.
  • a tool is installed in an anechoic chamber automated mechanical 27 consisting of a semi-circular rail 28 mounted on a motorized pivot 29 fixed to the floor of this chamber.
  • Rail 28 is arranged vertically, so that its ends are on the same perpendicular.
  • a support 30 moves on which is mounted a broadband speaker 31.
  • This device allows to place the speaker at any point on the sphere defined by the rail when it rotates 360 degrees around a passing vertical axis by pivot 29.
  • the positioning accuracy of the loudspeaker is one degree in site and deposit, for example.
  • loudspeaker 31 is successively placed in X points of the sphere, that is to say that the space is "discretized”: it is a spatial sampling.
  • a pseudo-random code is generated and returned by the loudspeaker 31.
  • the sound signal emitted is picked up by a pair of microphones reference placed at the center 32 of the sphere (the distance separating the microphones is about the width of the head of the subject you want collect the transfer functions), in order to measure the sound pressure resulting as a function of frequency.
  • the method is the same but this time the subject is placed so that his ears are located at the location of the microphones (the subject controls the position of his head by video return).
  • the subject is provided with earplugs individual shutters in which microphones are placed thumbnails.
  • the complete sealing of the duct has the advantages following: the ear is acoustically protected, and the stapedian reflex (nonexistent in this case) does not modify the acoustic impedance of all.
  • the database transfer functions can consist of either pairs of responses in frequency (convolution by multiplication in the frequency domain) either pairs of impulse responses (temporal convolution classical), inverse Fourier transforms of the previous ones.
  • acoustic sources emitting binary signals pseudorandom tends to generalize in the technique of measuring impulse response, especially with regard to the characterization of a acoustic room by the correlation method.
  • the impulse response is obtained over the duration (2n-1) / fe where N is the order of the sequence and where fe is the sampling frequency. he it is up to the experimenter to choose a couple of values (order of the sequence, fe) sufficient in order to have all the useful decrease of the response.
  • the sound spatialization device described above allows to increase the intelligibility of the sound sources it processes, to decrease the operator reaction time to alarm and alert signals or other sound indicators, the sources of which appear to be located respectively at different points in space, therefore easier to discriminate between them and easier to rank in order of importance or emergency.

Description

La présente invention se rapporte à un procédé de personnalisation d'un système de spatialisation sonore ainsi qu'un système de personnalisation d'un système de spatialisation sonore.
Un pilote d'avion, en particulier d'avion de chasse, porte un casque stéréophonique qui lui restitue non seulement les communications radiophoniques, mais également des alarmes diverses et des communications de bord. Les radiocommunications peuvent se contenter d'une restitution stéréophonique, ou même monophonique, tandis que les alarmes et les communications de bord ne peuvent être localisées par rapport au pilote (ou au copilote...).
La présente invention a pour objet un système de communication audiophonique, qui permette de discriminer facilement la localisation d'une source sonore déterminée, en particulier dans le cas de l'existence de plusieurs sources sonores à proximité de l'utilisateur.
On connaít d'après les documents EP-A-0 664 660 et US-A-5 438 623 un dispositif de reproduction sonore stéréo et un dispositif de spatialisation sonore, mais ces documents ne décrivent aucun moyen de personnalisation pour l'optimisation de la spatialisation sonore.
Le procédé de personnalisation conforme à l'invention est un procédé de personnalisation d'un système de spatialisation sonore, par estimation des fonctions de transfert de tête de l'utilisateur caractérisé par le fait que l'on mesure ces fonctions en un nombre fini de points de l'espace l'environnant, en deux séries de relevés, la première consistant à effectuer un échantillonnage spatial en plaçant une source sonore en différents points d'une sphère au centre de laquelle on dispose une paire de microphones dont la distance mutuelle est de l'ordre de la largeur de la tête du sujet dont on désire recueillir les fonctions de transfert de tête, la seconde série de relevés étant effectuée avec le sujet placé de telle sorte que ses oreilles soient situées à l'emplacement des microphones, le sujet étant muni de bouchons d'oreilles obturateurs individualisés dans lesquels sont placés des microphones miniatures, puis par interpolation des valeurs ainsi mesurées à calculer les fonctions de transfert de tête, pour chacune des deux oreilles de l'utilisateur, au point de l'espace où se trouve la source sonore, et à créer un signal spatialisé à partir du signal monophonique à traiter en le convoluant avec chacune des deux fonctions de transfert ainsi estimées.
On peut ainsi "personnaliser" les filtres de convolution pour chaque utilisateur du système mettant en oeuvre ce procédé. Chaque utilisateur pourra alors localiser de la meilleure façon possible la source sonore virtuelle restituée par son équipement audiophonique.
Le système de personnalisation conforme à l'invention est un système de personnalisation d'un système de spatialisation de sources sonores produisant chacune des canaux monophoniques, comportant, pour chaque canal monophonique à spatialiser, un processeur binaural à deux voies de filtres de convolution combinés linéairement dans chaque voie, ce (s) processeur (s) étant relié (s) à un dispositif orienteur de calcul de localisation spatiale des sources sonores, lui-même relié à au moins un dispositif de localisation, caractérisé par le fait qu'il comporte un outillage de mesure de fonction de transfert de tête installé dans une chambre anéchoïque comprenant un rail semi-circulaire monté sur un pivot motorisé, sur lequel se déplace un haut-parleur relié à une source sonore, une paire de microphones étant placée au centre de la sphère décrite par le rail, la distance séparant les microphones étant de l'ordre de la largeur de la tête de l'utilisateur du système. signal monophonique à traiter en le convoluant avec chacune des deux fonctions de transfert ainsi estimées. On peut ainsi "personnaliser" les filtres de convolution pour chaque utilisateur du système mettant en oeuvre ce procédé. Chaque utilisateur pourra alors localiser de la meilleure façon possible la source sonore virtuelle restituée par son équipement audiophonique.
La présente invention sera mieux comprise à la lecture de la description détaillée d'un mode de réalisation, pris à titre d'exemple non limitatif et illustré par le dessin annexé sur lequel :
  • la figure 1 est un bloc-diagramme d'un système de spatialisation sonore,
  • la figure 2 est un schéma explicatif de l'interpolation spatiale réalisée suivant le procédé de l'invention
  • la figure 3 est un bloc-diagramme fonctionnel des principaux circuits de spatialisation, et
  • la figure 4 est une vue simplifiée de l'appareillage de recueil des fonctions de transfert de tête conformément au procédé de l'invention.
L'invention est décrite ci-dessous en référence à un système audiophonique d'avion, en particulier d'avion de combat, mais il est bien entendu qu'elle n'est pas limitée à une telle application, et qu'elle peut être mise en oeuvre aussi bien dans d'autres types de véhicules (terrestres ou maritimes) que dans des installations fixes. L'utilisateur de ce système est, dans le cas présent, le pilote d'un avion de combat, mais il est bien entendu qu'il peut y avoir simultanément plusieurs utilisateurs, en particulier s'il s'agit d'un avion de transport civil, des dispositifs particuliers à chaque utilisateur étant prévus en nombre correspondant.
Le module 1 de spatialisation représenté sur la figure 1 a pour rôle de faire entendre des signaux sonores (tonalités, parole, alarmes, ...) à l'aide d'un casque stéréophonique de telle sorte qu'ils soient perçus par l'auditeur comme s'ils provenaient d'un point particulier de l'espace, ce point pouvant être la position effective de la source sonore ou bien une position arbitraire. Ainsi, par exemple, le pilote d'un avion de combat entend la voix de son copilote comme si elle provenait effectivement de derrière lui, ou bien une alerte sonore d'attaque de missile est positionnée spatialement au point d'arrivée de la menace. En outre, la position de la source sonore évolue en fonction des mouvements de la tête du pilote et des mouvements de l'avion : par exemple une alarme générée à l'azimut "3 heures" doit se retrouver à "midi" si le pilote tourne la tête de 90 degrés vers la droite.
Le module 1 est par exemple relié à un bus numérique 2 duquel il reçoit des informations fournies par : un détecteur de position de tête 3, une centrale inertielle 4 et/ou un dispositif de localisation tel qu'un goniomètre, un radar, ..., des dispositifs de contre-mesures 5 (détection des menaces extérieures telles que des missiles) et un dispositif de gestion d'alarmes 6 (signalant en particulier des pannes d'instruments ou d'équipements de l'avion).
Le module 1 comporte un interpolateur 7 dont l'entrée est reliée au bus 2 auquel sont reliées différentes sources sonores (microphones, alarmes, ...). En général, ces sources sont échantillonnées à des fréquences relativement faibles (6, 12 ou 24 kHz par exemple). L'interpolateur 7 permet d'élever ces fréquences à un commun multiple, par exemple 48 kHz dans le cas présent, fréquence nécessaire aux processeurs situés en aval. Cet interpolateur 7 est relié à n processeurs binauraux, référencés 8 dans leur ensemble, n étant le nombre maximal de voies à spatialiser simultanément. Les sorties des processeurs 8 sont reliées à un additionneur 9 dont la sortie constitue la sortie du module 1. Le module 1 comporte également dans la liaison entre au moins une sortie de l'interpolateur 7 et l'entrée du processeur correspondant de l'ensemble 8 un additionneur 10 dont l'autre entrée est reliée à la sortie d'un dispositif 11 d'illustration sonore complémentaire.
Ce dispositif 11 produit un signal sonore couvrant en particulier les fréquences élevées (par exemple de 5 à 16 kHz) du spectre audio. Il complète ainsi la bande passante utile du canal de transmission auquel son signal de sortie est ajouté. Ce canal de transmission peut être avantageusement un canal radio, mais il est bien entendu que tout autre canal peut être ainsi complété, et que plusieurs canaux peuvent être complétés dans un même système, en prévoyant un nombre correspondant d'additionneurs tels que 10. En effet, les radiocommunications utilisent des bandes passantes réduites (3 à 4 kHz en général). Une telle largeur de bande est insuffisante pour une spatialisation correcte du signal sonore. Des tests ont montré que les fréquences élevées (supérieures à 14 kHz environ), situées au-delà de la limite du spectre vocal, permettent une meilleure localisation de la provenance du son. Le dispositif 11 est alors un dispositif d'élargissement de bande passante. Le signal sonore complémentaire peut par exemple être un bruit de fond caractéristique d'une liaison radio. Le dispositif 11 peut être également, par exemple, un dispositif simulant le comportement acoustique d'une salle, d'un édifice..., ou un dispositif simulant un effet Doppler, ou bien encore un dispositif produisant différents symboles sonores correspondant chacun à une source ou à une alarme déterminée.
Les processeurs 8 génèrent chacun, un signal de type stéréophonique à partir du signal monophonique provenant de l'interpolateur 7 auquel est additionné le cas échéant, le signal du dispositif 11, en tenant compte des données fournies par le détecteur 3 de position de la tête du pilote.
Le module 1 comporte également un dispositif 12 de gestion des sources à spatialiser suivi d'un orienteur 13 à n entrées (n étant défini ci-dessus) commandant les n différents processeurs de l'ensemble 8. Le dispositif 13 est un calculateur calculant, à partir des données fournies par le détecteur de position de la tête du pilote, l'orientation de l'avion par rapport au repère terrestre (fourni par la centrale inertielle de l'avion) et la localisation de la source, les coordonnées dans l'espace du point d'où doivent sembler provenir les sons émis par cette source.
Si l'on veut spatialiser simultanément, en n2 points distincts de l'espace (avec n2≤n) n2 sources distinctes, on utilise avantageusement, en tant que dispositif 13, un orienteur à n2 entrées calculant séquentiellement les coordonnées de chaque source à spatialiser. Du fait que le nombre de sources sonores que peut distinguer un observateur moyen est généralement de quatre, n2 est avantageusement égal à quatre au maximum.
A la sortie de l'additionneur 9, on obtient une seule voie à deux canaux (gauche et droit) qui est transmise via le bus 2 à des circuits d'écoute audio 14.
Le dispositif 12 de gestion des n sources à spatialiser est un calculateur qui reçoit, via le bus 2, des informations concernant les caractéristiques des sources à spatialiser (site, gisement et distance par rapport au pilote), des critères de personnalisation au choix de l'utilisateur et des informations de priorité (menaces, alarmes, communications radio importantes, ...). Le dispositif 12 reçoit du dispositif 4 des informations concernant l'évolution de la localisation de certaines sources (ou de toutes les sources, le cas échéant). A partir de ces informations, le dispositif 12 sélectionne la source (ou au maximum les n2 sources) à spatialiser.
De façon avantageuse, on utilise un lecteur 15 de carte à mémoire 16 pour le dispositif 1 afin de personnaliser la gestion des sources sonores par le dispositif 12. Le lecteur 15 est relié au bus 2. La carte 16 contient alors les caractéristiques du filtrage réalisé par les pavillons des oreilles de chaque utilisateur. Dans le mode de réalisation préféré, il s'agit d'un ensemble de couples de filtres numériques (c'est-à-dire des coefficients représentant leurs réponses impulsionnelles) correspondant aux filtrages acoustiques "oreille gauche" et "oreille droite" réalisés pour divers points de l'espace environnant l'utilisateur. La base de données ainsi constituée est chargée, via le bus 2, dans la mémoire associée aux différents processeurs 8.
Les processeurs 8 comportent chacun essentiellement deux voies (dites "oreille gauche" et "oreille droite") de filtrage par convolution. Plus précisément, le rôle de chacun des processeurs 8 est d'une part de calculer par interpolation les fonctions de transfert de tête (droite et gauche) au point en lequel sera placée la source, d'autre part de créer le signal spatialisé sur deux canaux à partir du signal monophonique original.
Le recueil des fonctions de transfert de tête impose un échantillonnage spatial : ces fonctions de transfert ne sont mesurées qu'en un nombre fini de points (de l'ordre de 100). Or pour "spatialiser" correctement un son, il faudrait connaítre les fonctions de transfert au point origine de la source, déterminé par l'orienteur 13. Il faut donc se contenter d'une estimation de ces fonctions: cette opération est réalisée par une interpolation "barycentrique" des quatre couples de fonctions associées aux quatre points de mesure les plus proches du point de l'espace calculé.
Ainsi, comme représenté schématiquement en figure 2, on effectue des mesures en différents points de l'espace régulièrement espacés en site et en gisement et situés sur une même sphère. On a représenté en figure 2 une partie de la "grille" G ainsi obtenue pour les points Pm, Pm+1, Pm+2, ... Pp, Pp+1, .... Soit un point P de ladite sphère, déterminé par l'orienteur 13 comme étant situé dans la direction de la source sonore à "spatialiser". Ce point P est à l'intérieur du quadrilatère curviligne délimité par les points Pm+1, Pm+2, Pn+1, Pn+2. On effectue donc l'interpolation barycentrique pour la position de P par rapport à ces quatre points. Les différents équipements déterminant l'orientation de la source sonore et l'orientation et l'emplacement de la tête de l'utilisateur fournissent leurs données respectives toutes les 20 ou 40 ms (ΔT), c'est-à-dire que tous les Δ T un couple de fonctions de transfert est disponible. Afin d'éviter des "sauts" audibles lors de la restitution (lorsque l'opérateur modifie l'orientation de sa tête, il doit percevoir un son sans coupure), le signal à spatialiser est en fait convolué par une paire de filtres obtenue par interpolation "temporelle" réalisée entre les filtres de convolution interpolés spatialement aux instants T et T+ΔT. Il ne reste alors qu'à convertir les signaux numériques ainsi obtenus en analogique avant leur restitution dans les écouteurs de l'utilisateur.
Sur le diagramme de la figure 3, qui se rapporte à une voie à spatialiser, on a représenté les différents capteurs d'attitude (de position) mis en oeuvre. Ce sont : un capteur 17 d'attitude de tête, un capteur 18 d'attitude de la source sonore, et un capteur 19 d'attitude du mobile porteur (avion par exemple). Les informations de ces capteurs sont fournies à l'orienteur 13, qui détermine à partir de ces informations la position spatiale de la source par rapport à la tête de l'utilisateur (en ligne de visée et en distance). L'orienteur 13 est relié à une base de données 20 (incluse dans la carte 16) dont il commande le chargement vers les processeurs 8 des fonctions de transfert "gauche" et "droite" des quatre points les plus proches de la position de la source (voir figure 2), ou éventuellement du point de mesure (si la position de la source coïncide avec celle de l'un des points de mesure de la grille G). Ces fonctions de transfert sont soumises à une interpolation spatiale en 21, puis à une interpolation temporelle en 22, et les valeurs résultantes sont convoluées en 23 avec le signal 24 à spatialiser. Bien entendu, les fonctions 21 et 23 sont réalisées par le même interpolateur (interpolateur 7 de la figure 1), et les convolutions sont réalisées par le processeur binaural 8 correspondant à la voie spatialisée. Après convolution, on effectue une conversion numérique-analogique, en 25, et la restitution sonore (amplification et envoi à un casque stéréophonique) en 26. Bien entendu, les opérations 20 à 23 et 25, 26 se font séparément pour la voie gauche et pour la voie droite.
Les filtres de convolution "personnalisés" constituant la base de données précédemment évoquée sont établis à partir de mesures faisant appel à un procédé décrit ci-dessous en référence à la figure 4.
Dans une chambre anéchoïque, est installé un outillage mécanique automatisé 27 se composant d'un rail semi-circulaire 28 monté sur un pivot motorisé 29 fixé au sol de cette chambre. Le rail 28 est disposé verticalement, de façon que ses extrémités soient sur la même perpendiculaire. Sur ce rail 28, se déplace un support 30 sur lequel est monté un haut-parleur large bande 31. Ce dispositif permet de placer le haut-parleur en n'importe quel point de la sphère définie par le rail lorsque celui-ci effectue une rotation de 360 degrés autour d'un axe vertical passant par le pivot 29. La précision du positionnement du haut-parleur est d'un degré en site et en gisement, par exemple.
Une première série de relevés est effectuée: le haut-parleur 31 est placé successivement en X points de la sphère, c'est-à-dire que l'espace est "discrétisé": il s'agit d'un échantillonnage spatial. En chaque point de mesure, un code pseudo-aléatoire est généré et restitué par le haut-parleur 31. Le signal sonore émis est capté par une paire de microphones de référence placée au centre 32 de la sphère (la distance séparant les microphones est de l'ordre de la largeur de la tête du sujet dont on désire recueillir les fonctions de transfert), afin de mesurer la pression acoustique résultante en fonction de la fréquence.
On effectue ensuite une seconde série de relevés: la méthode est la même mais cette fois, le sujet est placé de telle sorte que ses oreilles soient situées à l'emplacement des microphones (le sujet contrôle la position de sa tête par retour vidéo). Le sujet est muni de bouchons d'oreille obturateurs individualisés dans lesquels sont placés des microphones miniatures. L'obturation complète du conduit présente les avantages suivants : l'oreille est acoustiquement protégée, et le réflexe stapédien (inexistant dans ce cas) ne vient pas modifier l'impédance acoustique de l'ensemble.
Pour chaque position du haut-parleur, pour chaque oreille, après compensation des réponses des microphones miniatures et du haut-parleur, on effectue le rapport des pressions acoustiques en fonction de la fréquence, mesurées dans les deux expériences précédentes. On obtient ainsi X couples (oreille gauche, oreille droite) de fonctions de transfert.
Selon la technique de convolution utilisée, la base de données des fonctions de transfert peut être constituée soit de couples de réponses en fréquence (convolution par multiplication dans le domaine fréquentiel) soit de couples de réponses impulsionnelles (convolution temporelle classique), transformées de Fourier inverses des précédentes.
L'utilisation d'un signal obtenu par génération d'un code binaire pseudo-aléatoire permet de disposer d'une réponse impulsionnelle de grande dynamique avec un niveau sonore émis moyen (70 dBa par exemple).
L'emploi des sources acoustiques émettant des signaux binaires pseudo-aléatoires tend à se généraliser dans la technique de mesure de réponse impulsionnelle, surtout en ce qui concerne la caractérisation d'un local acoustique par la méthode de corrélation.
Outre leurs caractéristiques (fonction d'autocorrélation) et leurs propriétés particulières qui se prêtent à des optimisations (transformée d'Hadamard), ces signaux rendent acceptable l'hypothèse de linéarité du système acoustique de recueil. Ils permettent également de s'affranchir des variations d'impédance acoustique de la chaíne ossiculaire par réflexe stapédien, en limitant le niveau d'émission (70 dBa). De préférence, on produit des signaux binaires pseudo-aléatoires à séquence de longueur maximale. L'avantage des séquences à longueur maximale réside dans leurs caractéristiques spectrales (bruit blanc) et leur mode de génération qui permet une optimisation du processeur de traitement.
Les principes de mesure à l'aide de signaux binaires pseudo-aléatoires mis en oeuvre par la présente invention sont par exemple décrits dans les ouvrages suivants :
  • J.K.Holmes : "Coherent spread spectrum systems". Wiky Interscience
  • J. Borish and J. B. Angell : "An efficient algorithm for measuring the impulse response using pseudorandom noise" J. Audio Eng. Soc., Vol. 31, n° 7, July/August 1983.
  • L. Otshudi, J.P. Quilhot : "Considérations sur les propriétés énergétiques des signaux binaires pseudo-aléatoires et sur leur utilisation comme excitateurs acoustiques". Acustica Vol. 90, pp 76-81, 1990.
Ils ne sont donc rappelés que brièvement ici.
A partir de la génération des séquences pseudo-aléatoires, on réalise les fonctions principales suivantes :
  • génération d'un signal de référence et enregistrement concomitant des deux voies microphoniques,
  • calcul de la réponse impulsionnelle du trajet acoustique, (diffraction)
  • calcul de certains critères (gain de chaque voie, ordre du moyennage, niveau numérique de sortie, indicateur de stockage, mesure du retard binaural des 2 voies par corrélation, décalage pour simuler les retards géométriques, ...)
  • visualisation des résultats, échogrammes, courbe de décroissance, sortie sur imprimante.
La réponse impulsionnelle est obtenue sur la durée (2n-1)/fe où N est l'ordre de la séquence et où fe est la fréquence d'échantillonnage. Il revient à l'expérimentateur de choisir un couple de valeurs (ordre de la séquence, fe) suffisant afin d'avoir toute la décroissance utile de la réponse.
Le dispositif de spatialisation sonore décrit ci-dessus permet d'augmenter l'intelligibilité des sources sonores qu'il traite, de diminuer le temps de réaction de l'opérateur vis-à-vis des signaux d'alarmes, d'alertes ou d'autres indicateurs sonores, dont les sources semblent être situées respectivement en différents points de l'espace, donc plus faciles à discriminer entre elles et plus faciles à classer par ordre d'importance ou d'urgence.

Claims (5)

  1. Procédé de personnalisation d'un système de spatialisation sonore, par estimation des fonctions de transfert de tête de l'utilisateur caractérisé par le fait que l'on mesure ces fonctions en un nombre fini de points de l'espace l'environnant, en deux séries de relevés, la première consistant à effectuer un échantillonnage spatial en plaçant une source sonore en différents points d'une sphère au centre de laquelle on dispose une paire de microphones dont la distance mutuelle est de l'ordre de la largeur de la tête du sujet dont on désire recueillir les fonctions de transfert de tête, la seconde série de relevés étant effectuée avec le sujet placé de telle sorte que ses oreilles soient situées à l'emplacement des microphones, le sujet étant muni de bouchons d'oreilles obturateurs individualisés dans lesquels sont placés des microphones miniatures, puis par interpolation des valeurs ainsi mesurées à calculer les fonctions de transfert de tête, pour chacune des deux oreilles de l'utilisateur, au point de l'espace où se trouve la source sonore, et à créer un signal spatialisé à partir du signal monophonique à traiter en le convoluant avec chacune des deux fonctions de transfert ainsi estimées.
  2. Procédé selon la revendication 1, caractérisé en ce que l'interpolation comporte une phase d'interpolation spatiale et une phase d'interpolation temporelle.
  3. Procédé selon la revendication 1 ou 2, caractérisé en ce que la source sonore émet un signal binaire pseudo-aléatoire.
  4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que l'on estime les fonctions de transfert de tête en environ 100 points.
  5. Système de personnalisation d'un système de spatialisation de sources sonores produisant chacune des canaux monophoniques, comportant, pour chaque canal monophonique à spatialiser, un processeur binaural (8) à deux voies de filtres de convolution combinés linéairement dans chaque voie, ce (s) processeur (s) étant relié (s) à un dispositif orienteur (13) de calcul de localisation spatiale des sources sonores, lui-même relié à au moins un dispositif de localisation (3, 4, 12) caractérisé par le fait qu'il comporte un outillage de mesure de fonction de transfert de tête installé dans une chambre anéchoïque comprenant un rail semi-circulaire (28) monté sur un pivot motorisé, sur lequel se déplace un haut-parleur (31) relié à une source sonore, une paire de microphones étant placée au centre (32) de la sphère décrite par le rail, la distance séparant les microphones étant de l'ordre de la largeur de la tête de l'utilisateur du système.
EP97400248A 1996-02-13 1997-02-05 Système de spatialisation sonore, et procédé pour sa mise en oeuvre Expired - Lifetime EP0790753B1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9601740A FR2744871B1 (fr) 1996-02-13 1996-02-13 Systeme de spatialisation sonore, et procede de personnalisation pour sa mise en oeuvre
FR9601740 1996-02-13

Publications (2)

Publication Number Publication Date
EP0790753A1 EP0790753A1 (fr) 1997-08-20
EP0790753B1 true EP0790753B1 (fr) 2004-01-28

Family

ID=9489132

Family Applications (1)

Application Number Title Priority Date Filing Date
EP97400248A Expired - Lifetime EP0790753B1 (fr) 1996-02-13 1997-02-05 Système de spatialisation sonore, et procédé pour sa mise en oeuvre

Country Status (6)

Country Link
US (1) US5987142A (fr)
EP (1) EP0790753B1 (fr)
JP (1) JPH1042399A (fr)
CA (1) CA2197166C (fr)
DE (1) DE69727328T2 (fr)
FR (1) FR2744871B1 (fr)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2744277B1 (fr) * 1996-01-26 1998-03-06 Sextant Avionique Procede de reconnaissance vocale en ambiance bruitee, et dispositif de mise en oeuvre
FR2765715B1 (fr) 1997-07-04 1999-09-17 Sextant Avionique Procede de recherche d'un modele de bruit dans des signaux sonores bruites
AUPP272898A0 (en) * 1998-03-31 1998-04-23 Lake Dsp Pty Limited Time processed head related transfer functions in a headphone spatialization system
FR2786107B1 (fr) 1998-11-25 2001-02-16 Sextant Avionique Masque inhalateur d'oxygene avec dispositif de prise de son
WO2001055833A1 (fr) * 2000-01-28 2001-08-02 Lake Technology Limited Systeme audio a composante spatiale destine a etre utilise dans un environnement geographique
JP4304845B2 (ja) * 2000-08-03 2009-07-29 ソニー株式会社 音声信号処理方法及び音声信号処理装置
EP1344427A1 (fr) * 2000-12-22 2003-09-17 Harman Audio Electronic Systems GmbH Systeme d'auralisation d'un haut-parleur dans un espace d'audition pour n'importe quel type de signaux d'entree
US20030227476A1 (en) * 2001-01-29 2003-12-11 Lawrence Wilcock Distinguishing real-world sounds from audio user interface sounds
GB2374507B (en) * 2001-01-29 2004-12-29 Hewlett Packard Co Audio user interface with audio cursor
GB2374506B (en) * 2001-01-29 2004-11-17 Hewlett Packard Co Audio user interface with cylindrical audio field organisation
GB0127776D0 (en) * 2001-11-20 2002-01-09 Hewlett Packard Co Audio user interface with multiple audio sub-fields
GB2374502B (en) * 2001-01-29 2004-12-29 Hewlett Packard Co Distinguishing real-world sounds from audio user interface sounds
GB2372923B (en) * 2001-01-29 2005-05-25 Hewlett Packard Co Audio user interface with selective audio field expansion
US7346172B1 (en) * 2001-03-28 2008-03-18 The United States Of America As Represented By The United States National Aeronautics And Space Administration Auditory alert systems with enhanced detectability
US7079658B2 (en) * 2001-06-14 2006-07-18 Ati Technologies, Inc. System and method for localization of sounds in three-dimensional space
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US6956955B1 (en) * 2001-08-06 2005-10-18 The United States Of America As Represented By The Secretary Of The Air Force Speech-based auditory distance display
FR2842064B1 (fr) * 2002-07-02 2004-12-03 Thales Sa Systeme de spatialisation de sources sonores a performances ameliorees
AU2003278517A1 (en) * 2002-11-20 2004-06-15 Koninklijke Philips Electronics N.V. Audio based data representation apparatus and method
GB0419346D0 (en) * 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
US7756281B2 (en) * 2006-05-20 2010-07-13 Personics Holdings Inc. Method of modifying audio content
JP4780119B2 (ja) 2008-02-15 2011-09-28 ソニー株式会社 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
EP2255359B1 (fr) * 2008-03-20 2015-07-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Dispositif et procédé d'indication acoustique
JP5540581B2 (ja) 2009-06-23 2014-07-02 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP5163685B2 (ja) * 2010-04-08 2013-03-13 ソニー株式会社 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP5024418B2 (ja) * 2010-04-26 2012-09-12 ソニー株式会社 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP5533248B2 (ja) 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP2012004668A (ja) 2010-06-14 2012-01-05 Sony Corp 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
US8855341B2 (en) 2010-10-25 2014-10-07 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for head tracking based on recorded sound signals
US9552840B2 (en) 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
US9031256B2 (en) 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
FR2977335A1 (fr) * 2011-06-29 2013-01-04 France Telecom Procede et dispositif de restitution de contenus audios
JP6065370B2 (ja) * 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8929573B2 (en) * 2012-09-14 2015-01-06 Bose Corporation Powered headset accessory devices
WO2014073968A2 (fr) * 2012-11-09 2014-05-15 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Commande d'espacement entre véhicules
WO2014171791A1 (fr) 2013-04-19 2014-10-23 한국전자통신연구원 Appareil et procédé de traitement de signal audio multicanal
KR102150955B1 (ko) 2013-04-19 2020-09-02 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
FR3002205A1 (fr) * 2013-08-14 2014-08-22 Airbus Operations Sas Systeme indicateur d'attitude d'un aeronef par spatialisation sonore tridimensionnelle
EP3090576B1 (fr) * 2014-01-03 2017-10-18 Dolby Laboratories Licensing Corporation Procédés et dispositifs pour concevoir et appliquer des responses impulsives de salle optimisées numériquement
CN105120419B (zh) * 2015-08-27 2017-04-12 武汉大学 一种多声道系统效果增强方法及系统
WO2017135063A1 (fr) * 2016-02-04 2017-08-10 ソニー株式会社 Dispositif de traitement audio, procédé de traitement audio et programme
US9832587B1 (en) 2016-09-08 2017-11-28 Qualcomm Incorporated Assisted near-distance communication using binaural cues
KR102283964B1 (ko) * 2019-12-17 2021-07-30 주식회사 라온에이엔씨 인터콤시스템 통신명료도 향상을 위한 다채널다객체 음원 처리 장치
US11363402B2 (en) 2019-12-30 2022-06-14 Comhear Inc. Method for providing a spatialized soundfield
FR3110762B1 (fr) 2020-05-20 2022-06-24 Thales Sa Dispositif de personnalisation d'un signal audio généré automatiquement par au moins un équipement matériel avionique d'un aéronef

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4700389A (en) * 1985-02-15 1987-10-13 Pioneer Electronic Corporation Stereo sound field enlarging circuit
FR2633125A1 (fr) * 1988-06-17 1989-12-22 Sgs Thomson Microelectronics Appareil acoustique avec carte de filtrage vocal
US4959015A (en) * 1988-12-19 1990-09-25 Honeywell, Inc. System and simulator for in-flight threat and countermeasures training
FR2652164A1 (fr) * 1989-09-15 1991-03-22 Thomson Csf Procede de formation de voies pour sonar, notamment pour sonar remorque.
AU648773B2 (en) * 1990-01-19 1994-05-05 Sony Corporation Apparatus for reproduction apparatus
WO1991011080A1 (fr) * 1990-01-19 1991-07-25 Sony Corporation Appareil de reproduction de signaux acoustiques
DK0649578T3 (da) * 1992-07-07 2003-09-15 Lake Technology Ltd Digitalt filter med høj præcision og effektivitet
FR2700055B1 (fr) * 1992-12-30 1995-01-27 Sextant Avionique Procédé de débruitage vectoriel de la parole et dispositif de mise en Óoeuvre.
US5371799A (en) * 1993-06-01 1994-12-06 Qsound Labs, Inc. Stereo headphone sound source localization system
US5438623A (en) * 1993-10-04 1995-08-01 The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration Multi-channel spatialization system for audio signals
US5659619A (en) * 1994-05-11 1997-08-19 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters

Also Published As

Publication number Publication date
US5987142A (en) 1999-11-16
CA2197166A1 (fr) 1997-08-14
FR2744871B1 (fr) 1998-03-06
DE69727328T2 (de) 2004-10-21
FR2744871A1 (fr) 1997-08-14
DE69727328D1 (de) 2004-03-04
CA2197166C (fr) 2005-08-16
JPH1042399A (ja) 1998-02-13
EP0790753A1 (fr) 1997-08-20

Similar Documents

Publication Publication Date Title
EP0790753B1 (fr) Système de spatialisation sonore, et procédé pour sa mise en oeuvre
EP2898707B1 (fr) Calibration optimisee d'un systeme de restitution sonore multi haut-parleurs
US10433098B2 (en) Apparatus and method for generating a filtered audio signal realizing elevation rendering
EP3320692B1 (fr) Appareil de traitement spatial de signaux audio
US10334357B2 (en) Machine learning based sound field analysis
US20180376273A1 (en) System and method for determining audio context in augmented-reality applications
US9237398B1 (en) Motion tracked binaural sound conversion of legacy recordings
JP4051408B2 (ja) 収音・再生方法および装置
EP0813688B1 (fr) Appareil personnel de goniometrie
CN104756526A (zh) 信号处理装置、信号处理方法、测量方法及测量装置
US20150245158A1 (en) Apparatus and method for reproducing recorded audio with correct spatial directionality
EP1899954A1 (fr) Systeme et procede d'extraction de signaux acoustiques a partir de signaux emis par une pluralite de sources
EP1586220B1 (fr) Procede et dispositif de pilotage d'un ensemble de restitution a partir d'un signal multicanal
EP1502475B1 (fr) Procede et systeme de representation d un champ acoustique
FR2842064A1 (fr) Systeme de spatialisation de sources sonores a performances ameliorees
Cheinet et al. Impulse source localization in an urban environment: Time reversal versus time matching
FR2805433A1 (fr) Procede et dispositif de comparaison de signaux pour le controle de transducteurs et systeme de controle de transducteurs
JP5867799B2 (ja) 収音再生装置、プログラム及び収音再生方法
FR3065137A1 (fr) Procede de spatialisation sonore
CN111679324A (zh) 地震数据零相位化处理方法、装置、设备和存储介质
FR3112017A1 (fr) Equipement électronique comprenant un simulateur de distorsion
FR3120449A1 (fr) Procédé de détermination d’une direction de propagation d’une source sonore par création de signaux sinusoïdaux à partir des signaux sonores reçus par des microphones.
Iida et al. Acoustic VR System
FR2600163A1 (fr) Procede et dispositif de detection et de localisation de fuites dans une conduite parcourue par un fluide
EP3484185A1 (fr) Modelisation d'ensemble de fonctions de transferts acoustiques propre a un individu, carte son tridimensionnel et systeme de reproduction sonore tridimensionnelle

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): DE GB NL

17P Request for examination filed

Effective date: 19980115

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THOMSON-CSF SEXTANT

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: THALES AVIONICS S.A.

17Q First examination report despatched

Effective date: 20021203

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): DE GB NL

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REF Corresponds to:

Ref document number: 69727328

Country of ref document: DE

Date of ref document: 20040304

Kind code of ref document: P

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)
PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20041029

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20090203

Year of fee payment: 13

Ref country code: DE

Payment date: 20090129

Year of fee payment: 13

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20090204

Year of fee payment: 13

REG Reference to a national code

Ref country code: NL

Ref legal event code: V1

Effective date: 20100901

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20100205

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100901

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100901

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20100205