EP1525776A1 - Vorrichtung zum pegel-korrigieren in einem wellenfeldsynthesesystem - Google Patents

Vorrichtung zum pegel-korrigieren in einem wellenfeldsynthesesystem

Info

Publication number
EP1525776A1
EP1525776A1 EP04739176A EP04739176A EP1525776A1 EP 1525776 A1 EP1525776 A1 EP 1525776A1 EP 04739176 A EP04739176 A EP 04739176A EP 04739176 A EP04739176 A EP 04739176A EP 1525776 A1 EP1525776 A1 EP 1525776A1
Authority
EP
European Patent Office
Prior art keywords
amplitude state
virtual source
source
wave field
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP04739176A
Other languages
English (en)
French (fr)
Other versions
EP1525776B1 (de
Inventor
Thomas Röder
Thomas Sporer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP1525776A1 publication Critical patent/EP1525776A1/de
Application granted granted Critical
Publication of EP1525776B1 publication Critical patent/EP1525776B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present invention relates to wave field synthesis systems and in particular to the reduction or elimination of level artifacts in wave field synthesis systems.
  • WFS Wave-Field Synthesis
  • Every point that is captured by a wave is the starting point of an elementary wave that propagates in a spherical or circular manner.
  • a large number of loudspeakers that are arranged next to each other can be used to simulate any shape of an incoming wavefront.
  • the audio signals of each loudspeaker must be fed with a time delay and amplitude scaling in such a way that the emitted sound fields of the individual loudspeakers are superimposed correctly.
  • the contribution is calculated separately be ⁇ to each speaker and adds the resulting signals for each source.
  • reflections can also be reproduced as additional sources via the loudspeaker array . The effort involved in the calculation therefore depends heavily on the number of sound sources, the reflection properties of the recording room and the number of speakers.
  • the particular advantage of this technique is that a natural spatial sound impression is possible over a large area of the playback room.
  • the direction and distance of sound sources are reproduced very precisely.
  • virtual sound sources can even be positioned between the real speaker array and the listener.
  • wave field synthesis works well for environments whose properties are known, irregularities do occur when the nature changes or when the wave field synthesis is carried out on the basis of an environment condition that does not match the actual nature of the environment.
  • the technique of wave field synthesis can also be used advantageously to complement a visual perception with a corresponding spatial audio perception.
  • the focus in production in virtual studios has been to convey an authentic visual impression of the virtual scene.
  • the acoustic impression that goes with the image is usually imprinted on the audio signal by manual work steps in what is known as post-production, or is classified as too complex and time-consuming to implement and is therefore neglected. This usually leads to a contradiction of the individual sensations, which leads to the fact that the designed space, i. H. the designed scene, which is perceived as less authentic.
  • “Hearing with the ears of the camera” is to be made possible in order to make a scene appear more real.
  • the aim here is to achieve the highest possible correlation between the sound event location in the image and the hearing event location in the surround field.
  • Camera parameters such as Zoom, should be included in the sound design as well as a position of two loudspeakers L and R.
  • tracking data of a virtual studio are written into a file together with an associated time code by the system.
  • picture, sound and time code are recorded on a MAZ.
  • the camdump file is transferred to a computer, which generates control data for an audio workstation and outputs it via a MIDI interface in sync with the image from the MAZ.
  • the actual audio processing such as positioning the sound source in the surround field and inserting early reflections and reverberation takes place within the audio workstation.
  • the signal is processed for a 5.1 surround speaker system.
  • Camera tracking parameters as well as positions of sound sources in the recording setting can be recorded in real film sets. Such data can also be generated in virtual studios.
  • an actor or presenter stands alone in a recording room.
  • he stands in front of a blue wall, which is also known as a blue box or blue panel.
  • a pattern of blue and light blue stripes is applied to this blue wall.
  • the special thing about this pattern is that the stripes are of different widths and thus result in a multitude of stripe combinations. Due to the unique stripe combinations on the blue wall, it is possible to determine exactly in which direction the camera is looking when the post-processing is replaced by a virtual background. With the help of this information, the computer can determine the background for the current camera viewing angle. Sensors on the camera are also evaluated, which record and output additional camera parameters.
  • Typical parameters of a camera which are recorded by means of sensors, are the three degrees of translation x, y, z, the three degrees of rotation, which can also be called roll, tilt, pan. are drawn, and the focal length or the zoom, which is synonymous with the information about the opening angle of the camera.
  • a tracking system can be used that consists of several infrared cameras that determine the position of an infrared sensor attached to the camera. This also determines the position of the camera.
  • a real-time computer can now calculate the background for the current image. The blue hue that the blue background had was then removed from the image, so that the virtual background is imported instead of the blue background.
  • wave field synthesis In the audio area, the technology of wave field synthesis (WFS) can be used to achieve good spatial sound for a large range of listeners.
  • wave field synthesis is based on the principle of Huygens, according to which wave fronts can be shaped and built up by superimposing elementary waves. According to a mathematically exact theoretical description, an infinite number of sources at infinitely small distances would have to be used to generate the elementary waves. In practice, however, many loudspeakers are finally used at a finite distance apart. Each of these loudspeakers is controlled according to the WFS principle with an audio signal from a virtual source, which has a specific delay and a specific level. Levels and delays are usually different for all speakers.
  • the wave field synthesis system works on the basis of the Huygens principle and reconstructs a given waveform, for example a virtual source, which is arranged at a certain distance from a demonstration area or to a listener in the demonstration area by a large number of single waves.
  • the wave field synthesis algorithm thus receives information about the actual position of a single speaker from the speaker array, in order to then calculate a component signal for this single speaker, which this speaker must then ultimately emit so that the listener overlays the speaker signal from one speaker with the speaker signals of the other active ones Loudspeaker a reconstruction results in the listener having the impression that he is not being "sonicated" by many individual speakers, but only by a single speaker at the position of the virtual source.
  • each virtual source for each loudspeaker ie the component signal of the first virtual source for the first loudspeaker, the second virtual source for the first loudspeaker, etc.
  • the contribution from each virtual source for each loudspeaker is calculated in order to then add up the component signals to finally get the actual speaker signal.
  • the overlaying of the loudspeaker signals of all active loudspeakers at the listener would result in the listener not having the impression that he is being emitted by a large array of loudspeakers, but rather that the sound he hears only comes from three sound sources positioned at special positions, which are the same as the virtual sources.
  • the component signals are usually calculated by applying a delay and / or a scaling factor to the audio signal assigned to a virtual source, depending on the position of the virtual source and the position of the loudspeaker, at a certain point in time, in order to delay and / or scale it Obtain audio signal of the virtual source, which represents the loudspeaker signal immediately if only one virtual source is present, or which after addition with further component signals for the loudspeaker under consideration from other virtual sources then contributes to the loudspeaker signal for the loudspeaker under consideration.
  • Typical wave field synthesis algorithms work regardless of how many speakers are in the speaker array.
  • the theory underlying wave field synthesis is that any sound field can be ne infinitely high number of individual speakers can be reconstructed exactly, the individual individual speakers being arranged infinitely close to one another. In practice, however, neither the infinitely high number nor the infinitely close arrangement can be realized. Instead, there is a limited number of speakers, which are also arranged at certain predetermined distances from each other. This means that in real systems only an approximation to the actual waveform is achieved, which would take place if the virtual source were actually available, i.e. would be a real source.
  • the loudspeaker array can only be viewed when viewing a cinema, e.g. B. is arranged on the side of the cinema screen.
  • the wave field synthesis module would generate loudspeaker signals for these loudspeakers, the loudspeaker signals for these loudspeakers normally being the same as for corresponding loudspeakers in a loudspeaker array that not only extends over the side of a cinema, for example, on which the screen is arranged, but also which is also located on the left, right and behind the audience room.
  • This "360 °" speaker array will of course provide a better approximation to an exact wave field than just a one-sided array, for example in front of the audience.
  • a wave field synthesis module typically receives no feedback as to how many speakers are present or whether it is a one-sided or multi-sided or even a 360 ° array or not.
  • a wave field synthesis device calculates a speaker signal for a speaker based on the position of the speaker and regardless of which other speakers are still present or not. This is a major strength of the wave field synthesis algorithm in that it can be optimally modularly adapted to different circumstances by simply giving the coordinates of the existing loudspeakers in very different demonstration rooms.
  • it is disadvantageous that, in addition to the poorer reconstruction of the current wave field that may be acceptable, considerable level artifacts occur.
  • the level of the signal from the virtual source which results at the listener's ear is reduced has, as it were, 40 component signals of the now missing speakers "missing".
  • the alternative case can also occur in which e.g. B. are first left and right of the listener speakers that are driven in a certain constellation in phase opposition, so that the speaker signals from two opposite speakers cancel each other due to a certain delay calculated by the wave field synthesis device. Is now in a reduced system such. B. without the speakers on one side of the listener, the virtual source suddenly appears much louder than it should be.
  • Wave field synthesis devices are also able to emulate several different types of sources.
  • a prominent source form is the point source, where the level decreases proportionally 1 / r, where r is the distance between a listener and the position of the virtual source.
  • Another source form is a source that emits plane waves. Here the level remains constant regardless of the distance to the listener, since plane waves can be generated by point sources that are arranged at an infinite distance.
  • the level change in two-dimensional loudspeaker arrangements corresponds to the natural level change except for a negligible error.
  • Absolute level errors result which result from using a finite number of speakers instead of the theoretically required infinite number of speakers as set forth above.
  • the object of the present invention is to provide a concept for level correction for wave field synthesis systems which is suitable for mobile sources.
  • the present invention is based on the knowledge that the inadequacies of a wave field synthesis system with a (practically realizable) finite number of loudspeakers can at least be alleviated if a level correction is carried out, in that either the audio signal assigned to a virtual source before the wave field synthesis or the component signals for various loudspeakers, which are based on a virtual source, are manipulated after the wave field synthesis using a correction value in order to reduce a deviation between a desired amplitude state in a demonstration area and an actual amplitude state in the demonstration area.
  • the target amplitude state results from the fact that depending on the position of the virtual source, and z. B.
  • a target level is determined as an example of a target amplitude state, and that an actual level as an example of an actual amplitude state of the listener is determined. While the target amplitude state is determined independently of the actual grouping and type of the individual speakers only on the basis of the virtual source or their position, the actual situation is taken into account the positioning, type and control of the individual speakers of the speaker array are calculated.
  • the sound level at the ear of the listener can be determined at the optimum point within the demonstration area on the basis of a component signal from the virtual source, which is emitted via a single loudspeaker.
  • the level at the ear of the listener at the optimal point within the demonstration area can also be determined for the other component signals that go back to the virtual source and are emitted via other loudspeakers, in order to then summarize these levels to the actual actual level at the ear of the To receive the handset.
  • the transfer function of each individual loudspeaker as well as the level of the signal at the loudspeaker and the distance of the listener at the point under consideration within the demonstration area from the individual loudspeaker can be taken into account.
  • the transmission characteristics of the loudspeaker can be assumed to work as an ideal point source.
  • the directional characteristic of the individual loudspeaker can also be taken into account for more complex implementations.
  • a major advantage of the concept according to the invention is that in an embodiment in which sound levels are considered, only multiplicative scaling occurs, in that for a quotient between the target level and the actual level, which gives the correction value, not the absolute level of the listener or the absolute level of the virtual source is required. Instead, the correction factor depends only on the position of the virtual source (and thus on the positions of the individual speakers) and the optimal point within the demonstration area. However, these quantities are in view of the position of the optimal point and the positions and transfer characteristics of each Speakers are fixed and do not depend on a track being played.
  • the concept according to the invention can be implemented in a computing time-efficient manner as a look-up table, in that a look-up table is generated and used which comprises position correction factor value pairs, for all or a substantial part of possible virtual positions.
  • a look-up table is generated and used which comprises position correction factor value pairs, for all or a substantial part of possible virtual positions.
  • no online setpoint determination, actual value determination and setpoint / actual value comparison algorithm is then to be carried out.
  • These algorithms which can be time-consuming in some cases, can be dispensed with if the look-up table is accessed on the basis of a position of a virtual source in order to determine from there the correction factor valid for this position of the virtual source.
  • a virtual source with a certain calibration level would be placed in a certain virtual position.
  • a wave field synthesis module would calculate the loudspeaker signals for the individual loudspeakers in order to finally measure the level actually arriving on the listener due to the virtual source.
  • a correction factor would then be determined such that it at least reduces the deviation from the target level to the actual level or preferably brings it to 0.
  • This correction factor would then be stored in the look-up table in association with the position of the virtual source, so gradually, that is generate the entire lookup table for many positions of the virtual source, for a specific wave field synthesis system in a special demonstration room.
  • manipulation based on the correction factor there are several options for manipulation based on the correction factor.
  • this automatically means that all component signals that originate from this manipulated virtual source are also weighted accordingly, in comparison to the case in which no correction has been made in accordance with the present invention.
  • the correction factor does not necessarily have to be identical for all component signals. However, this is largely preferred in order not to impair the relative scaling of the component signals to one another, which is necessary for the reconstruction of the actual wave situation.
  • An advantage of the present invention is that with relatively simple measures, at least during operation, a level correction can be carried out in such a way that the listener, at least with regard to the volume of a virtual source that he perceives, does not notice that the infinitely many that are actually required are not Speakers are available, but only a limited amount of speakers.
  • Another advantage of the present invention is that even if a virtual source moves at a constant distance (e.g. from left to right) with respect to the viewer, this source for the viewer who, for example, in the middle in front of the Screen sits, is always the same loud and is not even louder and once quieter, which would be the case without correction.
  • Another advantage of the present invention is that it provides the option of offering less expensive wave field synthesis systems with a smaller number of loudspeakers, which nevertheless do not involve any level artifacts, particularly for moving sources, that is to say for a listener with regard to the level problem work just as well as more complex wave field synthesis systems with a large number of speakers. Levels that are too low can also be corrected according to the invention for holes in the array.
  • FIG. 1 shows a block diagram of the device according to the invention for level correction in a wave field synthesis system
  • FIG. 2 shows a basic circuit diagram of a wave field synthesis environment as can be used for the present invention
  • FIG. 3 shows a more detailed illustration of the wave field synthesis module shown in FIG. 2;
  • FIG. 4 shows a block diagram of a device according to the invention for determining the correction value according to FIG an exemplary embodiment with a look-up table and, if appropriate, interpolation device;
  • FIG. 5 shows a further exemplary embodiment of the device for determining FIG. 1 with setpoint / actual value
  • FIG. 6a shows a block diagram of a wave field synthesis module with an embedded manipulation device for manipulating the component signals
  • 6b shows a block diagram of a further exemplary embodiment of the present invention with an upstream manipulation device
  • FIG. 7a shows a sketch for explaining the desired amplitude state at an optimal point in a demonstration area
  • FIG. 8 shows a basic block diagram of a wave field synthesis system with a wave field synthesis module and loudspeaker array in a demonstration area.
  • the wave field synthesis system has a speaker array 800 placed with respect to a demonstration area 802.
  • the speaker array shown in Fig. 8 which is a 360 ° array, includes four array sides 800a, 800b, 800c and 800d.
  • the demonstration area 802 e.g. B. a cinema
  • the viewer who is sitting at the so-called optimal point P in the demonstration area 802, would see the front, that is, the screen.
  • Each loudspeaker array consists of a number of different individual loudspeakers 808, each of which is controlled with its own loudspeaker signals, which are provided by a wave field synthesis module 810 via a data bus 812, which is only shown schematically in FIG. 8.
  • the wave field synthesis module is designed to use the information about e.g. B.
  • loudspeaker information (LS information)
  • loudspeaker signals for the individual loudspeakers 808, each of which is generated by the audio tracks for virtual sources to which position mations are assigned are derived in accordance with the known wave field synthesis algorithms.
  • the wave field synthesis module can also receive further inputs, such as information about the room acoustics of the demonstration area, etc.
  • the following statements on the present invention can in principle be carried out for each point P in the demonstration area.
  • the optimum point can thus be anywhere in the demonstration area 802.
  • it is preferred to place the optimal point or the optimal line in the middle or at the center of gravity of the wave field synthesis system, which is generated by the loudspeaker sub-arrays 800a, 800b, 800c , 800d is defined to assume.
  • a more detailed illustration of the wave field synthesis module 800 is given below with reference to FIGS. 2 and 3 with reference to the wave field synthesis module 200 in FIG. 2 and to the arrangement shown in detail in FIG. 3.
  • FIG. 2 shows a wave field synthesis environment in which the present invention can be implemented.
  • the center of a wave field synthesis environment is a wave field synthesis module 200, which comprises various inputs 202, 204, 206 and 208 and various outputs 210, 212, 214, 216.
  • Various audio signals for virtual sources are fed to the wave field synthesis module via inputs 202 to 204. So the input 202 receives z. B. an audio signal from virtual source 1 and associated position information from the virtual source.
  • the audio signal 1 would be e.g. B. the language of an actor who moves from a left side of the screen to a right side of the screen and possibly additionally away from the viewer or towards the viewer.
  • the audio signal 1 would then be the actual language of this actor, while the position information as a function of time represents the current position of the first actor in the recording setting at a certain point in time.
  • the audio signal n would be the language of, for example, another actor who moves the same or different than the first actor.
  • the current position of the other actor to whom the audio signal n is assigned is communicated to the wave field synthesis module 200 by position information synchronized with the audio signal n.
  • different virtual sources exist depending on the recording setting, the audio signal of each virtual source being supplied to the wave field synthesis module 200 as a separate audio track.
  • a wave field synthesis module feeds a plurality of speakers LSI, LS2, LS3, LSm by outputting speaker signals via the Outputs 210 to 216 to the individual speakers.
  • the positions of the individual loudspeakers in a playback setting, such as a cinema, are communicated to the wave field synthesis module 200 via the input 206.
  • the wave field synthesis module 200 In the cinema hall there are many individual loudspeakers grouped around the cinema audience, which are preferably arranged in arrays in such a way that there are loudspeakers in front of the audience, for example behind the screen, as well as behind the audience and to the right and left of the audience.
  • other inputs can be communicated to the wave field synthesis module 200, such as information about the room acoustics, etc., in order to be able to simulate the actual room acoustics prevailing during the recording set-up in a cinema hall.
  • the loudspeaker signal which is supplied to the loudspeaker LSI via the output 210, for example, will be a superimposition of component signals of the virtual sources, in that the loudspeaker signal for the loudspeaker LSI is a first component which is based on the virtual source 1. a second component that originates from virtual source 2 and an nth component that originates from virtual source n.
  • the individual component signals are linearly superposed, ie added after their calculation, in order to simulate the linear superposition at the ear of the listener, who in a real setting will hear a linear superimposition of the sound sources perceptible by him.
  • the wave field synthesis module 200 has a strongly parallel structure in such a way that, starting from the audio signal for each virtual source and starting from the position information for the corresponding virtual source, delay information V and scaling factors SFi are first calculated, which are based on the position information and the position of the one under consideration loudspeaker chers, e.g. B. depend on the loudspeaker with the order number j, i.e. LSj.
  • Known algorithms which are implemented in devices 300, 302, 304, 306, calculate the delay information Vi and a scaling factor SFi based on the position information of a virtual source and the position of the speaker j in question. Based on the delay information Vj .
  • a discrete value AW ⁇ (t A ) for the component signal Ki j is calculated in a loudspeaker signal ultimately obtained for a current time t ⁇ .
  • This is done by means 310, 312, 314, 316, as shown schematically in FIG. 3. 3 also shows, so to speak, a "flash light recording" at time t A for the individual component signals.
  • the individual component signals are then summed by a summer 320 to determine the discrete value for the current time t A of the loudspeaker signal for loudspeaker j, which then for the output (for example the output 214 if the loudspeaker j is the loudspeaker LS3), the loudspeaker can be supplied.
  • a value that is valid due to a delay and scaling with a scaling factor at a current point in time is first calculated individually for each virtual source, after which all component signals for a loudspeaker are summed due to the different virtual sources. If, for example, there were only one virtual source, the summer would be omitted, and the signal present at the output of the summer in FIG. B. correspond to the signal output by the device 310 when the virtual source 1 is the only virtual source.
  • FIG. 1 shows a block diagram of the device according to the invention for level correction in a wave field synthesis system, which has been explained with reference to FIG. 8.
  • the wave field synthesis system comprises the wave field synthesis module 810 and the loudspeaker array 800 for the sound supply of the demonstration area 802, the wave field synthesis module 810 being designed to receive an audio signal assigned to a virtual sound source and source position information assigned to the virtual sound source, and component signals for those taking into account speaker position information Speakers should be calculated on the basis of the virtual source.
  • the device according to the invention initially comprises a device 100 for determining a correction value based on a desired amplitude state in the demonstration area, the desired amplitude state depending on a position of the virtual source or a type of the virtual source, and the correction value also being based on a Actual amplitude state is based in the demonstration area, which depends on the component signals for the loudspeakers due to the virtual source.
  • the device 100 has an input 102 for obtaining a position of the virtual source when e.g. B. has a point source characteristic, or to obtain information about a type of source when the source z. B. is a source for generating plane waves.
  • B. is a source for generating plane waves.
  • the distance of the listener from the source to determine the actual state is not necessary, since the source is intended in the model due to the generated plane waves. is infinitely far from the listener and has a position-independent level.
  • the device 100 is designed to output a correction value 104 on the output side, which is sent to a device 106 for manipulating an audio signal assigned to the virtual source (which is obtained via an input 108) or for manipulating component signals for the loudspeakers on the basis of a virtual source (the can be obtained via an input 110). If the alternative of manipulating the audio signal, which is provided via the input 108, is carried out, an output 112 results in a manipulated audio signal which, according to the invention, then instead of the original audio signal which is provided at the input 108, is input into the wave field synthesis Module 200 is fed to generate the individual speaker signals 210, 212, ..., 216.
  • manipulated component signals are obtained on the output side, which still have to be summed up loudspeaker-wise (device 116), and if necessary manipulated component signals from other virtual sources, which are provided via further inputs 118.
  • the device 116 again delivers the loudspeaker signals 210, 212, ..., 216.
  • the alternatives of the upstream manipulation (output 112) or the embedded manipulation (output 114) shown in FIG. 1 are used alternatively to one another can.
  • the weighting factor or correction value which is provided via the input 104 in the device 106, is split to a certain extent, so that partly an upstream manipulation and partly an embedded manipulation is carried out.
  • the upstream manipulation would thus consist in manipulating the audio signal of the virtual source, which is fed into a device 310, 312, 314 or 316, before it is fed in.
  • the embedded manipulation on the other hand, would consist in manipulating the component signals output by devices 310, 312, 314 and 316, respectively, prior to their summation in order to obtain the actual loudspeaker signal.
  • FIGS. 6a and 6b show the embedded manipulation by the manipulation device 106, which is drawn in FIG. 6a as a multiplier.
  • a wave field synthesis device which for example consists of blocks 300, 310 or 302, 312, or 304, 314 and 306 or 316 of FIG. 3, supplies the component signals Ku, K i2 , K i3 for the loudspeaker LSI or the component signals K n ⁇ , K ⁇ 2 and K n3 for the loudspeaker LSn.
  • the first index of Kij indicates the loudspeaker
  • the second index indicates the virtual source from which the component signal originates.
  • the virtual source 1 is expressed, for example, in the component signal Ku, ..., K n ⁇ .
  • a multiplication of the component signals leading to the source 1, that is, the component signals, the index j of which indicates the virtual source 1 take place with the correction factor Fi.
  • the manipulation device here is connected upstream of the wave field synthesis device and is effective to correct the audio signals of the sources with the corresponding correction factors in order to obtain manipulated audio signals for the virtual sources, which are then fed to the wave field synthesis device in order to obtain the component signals which are then are summed up by the respective component summation devices in order to obtain the loudspeaker signals LS for the corresponding loudspeakers, such as, for example, the loudspeaker Si.
  • the device 100 for determining the correction value is designed as a look-up table 400, which stores position-correction factor-value pairs.
  • the device 100 is preferably also provided with an interpolation device 402, on the one hand to keep the table size of the lookup table 400 within a limited range, and on the other hand also for current positions of a virtual source that are fed into the interpolation device via an input 404, at least using one or more adjacent position correction factor value pairs stored in the lookup table, which are supplied to the interpolation device 402 via an input 406 to generate an interpolated current correction factor at an output 408.
  • the interpolation device 402 can also be omitted, so that the device 100 for determining FIG.
  • the look-up table performs direct access to the look-up table using position information supplied at an input 410 and a corresponding correction factor at an output 412 delivers. If the current position information that is assigned to the audio track of the virtual source does not exactly correspond to a position information that can be found in the look-up table, the look-up table can also be assigned a simple rounding-off / rounding-up function in order to store the closest one stored in the table To take the base value instead of the current base value.
  • the device for determining can be designed to actually carry out a setpoint-actual value comparison.
  • the device 100 of FIG. 1 comprises a setpoint amplitude State determination device 500 and an actual amplitude state determination device 502 in order to deliver a desired amplitude state 504 and an actual amplitude state 506, which a comparison unit direction 508, which, for example, calculates a quotient from the desired amplitude state 504 and the actual amplitude state 506 in order to generate a correction factor 510 which is supplied to the device 106 for manipulation, which is shown in FIG. 1, for further use .
  • the correction value can also be stored in a look-up table.
  • the target amplitude state calculation is designed to determine a target level at the optimum point for a virtual source configured at a specific position or in a specific type.
  • the desired amplitude state determination device 500 does not, of course, require any component signals, since the desired amplitude state is independent of the component signals.
  • component signals are fed to the actual amplitude determination device 502, which, depending on the embodiment, can also receive information about the speaker positions and information about speaker transmission functions and / or information about directional characteristics of the speakers by one Determine the current situation as well as possible.
  • the actual amplitude state determination device 502 can also be designed as an actual measuring system in order to determine an actual level situation at the optimal point for certain virtual sources at certain positions.
  • FIG. 7a shows a diagram for determining a target amplitude state at a predetermined point, which is designated in Fig. 7a with "optimal point" and which is in the demonstration area 802 of Fig. 8.
  • Virtual source 700 is shown as a point source that generates a sound field with concentric wavefronts for the virtual source 700 the level L v of the virtual source 700 is known.
  • the target amplitude state or, if the amplitude state is a level state, the target level at point P in the demonstration area is readily obtained in that level L P at point P is equal to the quotient of L v and a distance r
  • the point P has to the virtual source 700.
  • the target amplitude state can thus be easily determined by calculating the level L v of the virtual source and by calculating the distance r from the optimal point to the virtual source.
  • a coordinate transformation of the virtual coordinates into the coordinates of the screening room or a coordinate transformation of the screening room coordinates of point P into the virtual coordinates must typically be carried out, which is known to those skilled in the field of wave field synthesis.
  • the virtual source is an infinitely distant virtual source, which generates plane waves at point P
  • the distance between point P and the source is not required to determine the desired amplitude state, since this goes towards infinite anyway. In this case, only information about the type of source is required.
  • the target level at point P is then equal to the level which is assigned to the plane wave field which is generated by the virtual source which is infinitely distant.
  • Fig. 7 shows a diagram for explaining the actual amplitude state.
  • different loudspeakers 808 are drawn in FIG. 7b, all of which are fed with their own loudspeaker signal which, for. B. has been generated by the wave field synthesis module 810 of FIG. 8.
  • each loudspeaker is modeled as a point source that outputs a concentric wave field.
  • the law of the concentric wave field is again that the level drops according to 1 / r.
  • a corresponding procedure can also be carried out for the other loudspeakers of the loudspeaker array, so that there is a number of “partial level values” for point P, which represent a signal contribution from the virtual source under consideration, which is transmitted from the individual loudspeakers to the listener at point P
  • partial level values represent a signal contribution from the virtual source under consideration, which is transmitted from the individual loudspeakers to the listener at point P
  • a correction value which is preferably multiplicative, but which is in principle could be additive or subtractive.
  • the desired level for a point ie the desired amplitude state
  • the optimal point or the point in the demonstration area that is being viewed is sensibly in the middle of the wave field synthesis system. At this point it should be pointed out that an improvement is achieved even if the point on which the calculation of the desired amplitude state is based does not correspond directly to the point which was used to determine the actual amplitude state.
  • a target amplitude state is determined for any point in the demonstration area and that an actual amplitude state is also determined for any point in the demonstration area, whereby however, it is preferred that the point to which the actual amplitude state is related be in a zone around the point for which the target amplitude state has been determined, this zone preferably being less than 2 meters for normal cinema applications. For best results, these points should essentially coincide.
  • the level practically generated by superimposition at this point which is called the optimal point in the demonstration area.
  • the levels of the individual speakers and / or sources are then corrected with this factor according to the invention.
  • the method according to the invention for level correction can be implemented in hardware or in software.
  • the implementation can take place on a digital storage medium, in particular a floppy disk or CD with electronically readable control signals, which can cooperate with a programmable computer system in such a way that the method is carried out.
  • the invention thus also consists in a computer program product with a program code stored on a machine-readable carrier for carrying out the method for level correction when the computer program product is on a Calculator expires.
  • the invention can thus be implemented as a computer program with a program code for carrying out the method if the computer program runs on a computer.

Description

Vorrichtung zum Pegel-Korrigieren in einem Wellenfeldsyn- thesβsystem
Beschreibung
Die vorliegende Erfindung bezieht sich auf Wellenfeldsyn- thesesysteme und insbesondere auf die Reduktion oder Eliminierung von Pegel-Artefakten in Wellenfeldsynthesesystemen.
Es besteht ein steigender Bedarf an neuen Technologien und innovativen Produkten im Bereich der Unterhaltungselektro- nik. Dabei ist es eine wichtige Voraussetzung für den Erfolg neuer multimedialer Systeme, optimale Funktionalitäten bzw. Fähigkeiten anzubieten. Erreicht wird das durch den Einsatz digitaler Technologien und insbesondere der Computertechnik. Beispiele hierfür sind die Applikationen, die einen verbesserten realitätsnahen audiovisuellen Eindruck bieten. Bei bisherigen Audiosystemen liegt ein wesentlicher Schwachpunkt in der Qualität der räumlichen Schallwiedergabe von natürlichen, aber auch von virtuellen Umgebungen.
Verfahren zur mehrkanaligen Lautsprecherwiedergabe von Audiosignalen sind seit vielen Jahren bekannt und standardisiert. Alle üblichen Techniken besitzen den Nachteil, dass sowohl der Aufstellungsort der Lautsprecher als auch die Position des Hörers dem Übertragungsformat bereits einge- prägt sind. Bei falscher Anordnung der Lautsprecher im Bezug auf den Hörer leidet die Audioqualität deutlich. Ein optimaler Klang ist nur in einem kleinen Bereich des Wie¬ dergaberaums, dem so genannten Sweet Spot, möglich.
Ein besserer natürlicher Raumeindruck sowie eine stärkere Einhüllung bei der Audiowiedergabe kann mit Hilfe einer neuen Technologie erreicht werden. Die Grundlagen dieser Technologie, die so genannte Wellenfeldsynthese (WFS; WFS = Wave-Field Synthesis), wurden an der TU Delft erforscht und erstmals in den späten 80er-Jahren vorgestellt (Berkhout, A.J.; de Vries, D. ; Vogel, P. : Acoustic control by Wave- field Synthesis. JASA 93, 1993) .
Infolge der enormen Anforderungen dieser Methode an Rechnerleistung und Übertragungsraten wurde die Wellenfeldsyn- these bis jetzt nur selten in der Praxis angewendet. Erst die Fortschritte in den Bereichen der Mikroprozessortechnik und der Audiocodierung gestatten heute den Einsatz dieser Technologie in konkreten Anwendungen. Erste Produkte im professionellen Bereich werden nächstes Jahr erwartet. In wenigen Jahren sollen auch erste Wellenfeldsynthese- Anwendungen für den Konsumerbereich auf den Markt kommen.
Die Grundidee von WFS basiert auf der Anwendung des Huy- gens' sehen Prinzips der Wellentheorie:
Jeder Punkt, der von einer Welle erfasst wird, ist Aus- gangspunkt einer Elementarwelle, die sich kugelförmig bzw. kreisförmig ausbreitet.
Angewandt auf die Akustik kann durch eine große Anzahl von Lautsprechern, die nebeneinander angeordnet sind (einem so genannten Lautsprecherarray) , jede beliebige Form einer einlaufenden Wellenfront nachgebildet werden. Im einfachsten Fall, einer einzelnen wiederzugebenden Punktquelle und einer linearen Anordnung der Lautsprecher, müssen die Audiosignale eines jeden Lautsprechers mit einer Zeitverzöge- rung und Amplitudenskalierung so gespeist werden, dass sich die abgestrahlten Klangfelder der einzelnen Lautsprecher richtig überlagern. Bei mehreren Schallquellen wird für jede Quelle der Beitrag zu jedem Lautsprecher getrennt be¬ rechnet und die resultierenden Signale addiert. In einem Raum mit reflektierenden Wänden können auch Reflexionen als zusätzliche Quellen über das Lautsprecherarray wiedergege¬ ben werden. Der Aufwand bei der Berechnung hängt daher stark von der Anzahl der Schallquellen, den Reflexionsei- genschaften des Aufnahmeraums und der Anzahl der Lautsprecher ab.
Der Vorteil dieser Technik liegt im Besonderen darin, dass ein natürlicher räumlicher Klangeindruck über einen großen Bereich des Wiedergaberaums möglich ist. Im Gegensatz zu den bekannten Techniken werden Richtung und Entfernung von Schallquellen sehr exakt wiedergegeben. In beschränktem Maße können virtuelle Schallquellen sogar zwischen dem realen Lautsprecherarray und dem Hörer positioniert werden.
Obgleich die Wellenfeldsynthese für Umgebungen gut funktioniert, deren Beschaffenheiten bekannt sind, treten doch Unregelmäßigkeiten auf, wenn sich die Beschaffenheit ändert bzw. wenn die Wellenfeldsynthese auf der Basis einer Umgebungsbeschaffenheit ausgeführt wird, die nicht mit der tatsächlichen Beschaffenheit der Umgebung übereinstimmt.
Die Technik der Wellenfeldsynthese kann jedoch ebenfalls vorteilhaft eingesetzt werden, um eine visuelle Wahrnehmung um eine entsprechende räumliche Audiowahrnehmung zu ergänzen. Bisher stand bei der Produktion in virtuellen Studios die Vermittlung eines authentischen visuellen Eindrucks der virtuellen Szene im Vordergrund. Der zum Bild passende akustische Eindruck wird in der Regel durch manuelle Arbeitsschritte in der sogenannten Postproduktion nachträglich dem Audiosignal aufgeprägt oder als zu aufwendig und zeitintensiv in der Realisierung eingestuft und daher vernachlässigt. Dadurch kommt es üblicherweise zu einem Widerspruch der einzelnen Sinnesempfindungen, der dazu führt, daß der entworfene Raum, d. h. die entworfene Szene, als weniger authentisch empfunden wird.
In der Fachveröffentlichung „Subjective experiments on the effects of combining spatialized audio and 2D video projection in audio-visual Systems", W. de Bruijn und M. Boone, AES Convention paper 5582, 10. bis 13. Mai 2002, München, werden subjektive Experimente bezüglich der Auswirkungen des Kombinierens von räumlichem Audio und einer zweidimen- sionalen Videoprojektion in audiovisuellen Systemen dargestellt. Insbesondere wird hervorgehoben, daß zwei in einer unterschiedlichen Entfernung zu einer Kamera stehende Spre- eher, die nahezu hintereinander stehen, von einem Betrachter besser verstanden werden können, wenn mit Hilfe der Wellenfeldsynthese die zwei hintereinander stehenden Personen als unterschiedliche virtuelle Schallquellen aufgefaßt und rekonstruiert werden. In diesem Fall hat sich durch subjektive Tests herausgestellt, daß ein Zuhörer die beiden gleichzeitig sprechenden Sprecher getrennt voneinander besser verstehen und unterscheiden kann.
In einem Tagungsbeitrag zum 46. internationalen wissen- schaftlichen Kolloquium in Ilmenau vom 24. bis 27. September 2001 mit dem Titel „Automatisierte Anpassung der Akustik an virtuelle Räume", U. Reiter, F. Melchior und C. Seidel, wird ein Ansatz vorgestellt, Tonnachbearbeitungsprozesse zu automatisieren. Hierzu werden die für die Vi- sualisierung notwendigen Parameter eines Film-Sets, wie z. B. Raumgröße, Textur der Oberflächen oder Kameraposition und Position der Akteure auf ihre akustische Relevanz hin überprüft, woraufhin entsprechende Steuerdaten generiert werden. Diese beeinflussen dann automatisiert die zur Post- Produktion eingesetzten Effekt- und Nachbearbeitungsprozesse, wie z. B. die Anpassung der Sprecherlautstärkenabhängigkeit von der Entfernung zur Kamera oder die Nachhallzeit in Abhängigkeit von Raumgröße und Wandbeschaffenheit. Hierbei besteht das Ziel darin, den visuellen Eindruck einer virtuellen Szene für eine gesteigerte Realitätsempfindung zu verstärken.
Es soll ein „Hören mit den Ohren der Kamera" ermöglicht werden, um eine Szene echter erscheinen zu lassen. Hierbei wird eine möglichst hohe Korrelation zwischen Schallereignisort im Bild und Hörereignisort im Surroundfeld angestrebt. Das bedeutet, daß Schallquellenpositionen ständig einem Bild angepaßt sein sollen. Kameraparameter, wie z. B. Zoom, sollen in die Tongestaltung ebenso mit einbezogen werden wie eine Position von zwei Lautsprechern L und R. Hierzu werden Trackingdaten eines virtuellen Studios zusammen mit einem zugehörigen Timecode vom System in eine Datei geschrieben. Gleichzeitig werden Bild, Ton und Timecode auf einer MAZ aufgezeichnet. Das Camdump-File wird zu einem Computer übertragen, der daraus Steuerdaten für eine Audioworkstation geniert und synchron zum von der MAZ stammenden Bild über eine MIDI-Schnittstelle ausgibt. Die eigent- liehe Audiobearbeitung wie Positionierung der Schallquelle im Surroundfeld und Einfügen von frühen Reflexionen und Nachhall findet innerhalb der Audioworkstation statt. Das Signal wird für ein 5.1-Surround-Lautsprechersystem aufbereitet.
Kamera-Tracking-Parameter genauso wie Positionen von Schallquellen im Aufnahme-Setting können bei realen Film- Sets aufgezeichnet werden. Solche Daten können auch in virtuellen Studios erzeugt werden.
In einem virtuellen Studio steht ein Schauspieler oder Moderator allein in einem Aufnahmeraum. Insbesondere steht er vor einer blauen Wand, die auch als Blue-Box oder Blue- Panel bezeichnet wird. Auf diese Blauwand ist ein Muster aus blauen und hellblauen Streifen aufgebracht. Das besondere an diesem Muster ist, daß die Streifen unterschiedlich breit sind und sich somit eine Vielzahl von Streifen- Kombinationen ergeben. Aufgrund der einmaligen Streifen- Kombinationen auf der Blauwand ist es bei der Nachbearbei- tung, wenn die Blauwand durch einen virtuellen Hintergrund ersetzt wird, möglich, genau zu bestimmen, in welche Richtung die Kamera blickt. Mit Hilfe dieser Informationen kann der Rechner den Hintergrund für den aktuellen Kamerablickwinkel ermitteln. Ferner werden Sensoren an der Kamera aus- gewertet, die zusätzliche Kameraparameter erfassen und ausgeben. Typische Parameter einer Kamera, die mittels Senso- rik erfaßt werden, sind die drei Translationsgrade x, y, z, die drei Rotationsgrade, die auch als Roll, Tilt, Pan be- zeichnet werden, und die Brennweite bzw. der Zoom, der gleichbedeutend mit der Information über den Öffnungswinkel der Kamera ist.
Damit die genaue Position der Kamera auch ohne Bilderkennung und ohne aufwendige Sensortechnik bestimmt werden kann, kann man auch ein Tracking-System einsetzen, das aus mehreren Infrarot-Kameras besteht, die die Position eines an der Kamera befestigten Infrarot-Sensors ermitteln. Somit ist auch die Position der Kamera bestimmt. Mit den von der Sensorik gelieferten Kameraparametern und den von der Bilderkennung ausgewerteten Streifen-Informationen kann ein Echtzeitrechner nun den Hintergrund für das aktuelle Bild berechnen. Hierauf wird der Blau-Farbton, den der blaue Hintergrund hatte, aus dem Bild entfernt, so daß statt dem blauen Hintergrund der virtuelle Hintergrund eingespielt wird.
In der Mehrzahl der Fälle wird ein Konzept verfolgt, bei dem es darum geht, einen akustischen Gesamteindruck der visuell abgebildeten Szenerie zu bekommen. Dieses lässt sich gut mit dem aus der Bildgestaltung stammenden Begriff der „Totalen" umschreiben. Dieser „totale" Klangeindruck bleibt meist über alle Einstellungen in einer Szene konstant, ob- wohl sich der optische Blickwinkel auf die Dinge meist stark ändert. So werden optische Details durch entsprechende Einstellungen herausgehoben oder in den Hintergrund gestellt. Auch Gegenschüsse bei der filmischen Dialoggestaltung werden vom Ton nicht nachvollzogen.
Daher besteht der Bedarf, den Zuschauer akustisch in eine audiovisuelle Szene einzubetten. Hierbei bildet die Leinwand oder Bildfläche die Blickrichtung und den Blickwinkel des Zuschauers. Dies bedeutet, daß der Ton dem Bild in der Form nachgeführt werden soll, daß er stets mit dem gesehenen Bild übereinstimmt. Dies wird insbesondere für virtuelle Studios noch wichtiger, da es typischerweise keine Korrelation zwischen dem Ton der Moderation beispielsweise und der Umgebung gibt, in der sich der Moderator gerade befindet. Um einen audiovisuellen Gesamteindruck der Szene zu bekommen, muß ein zum gerenderten Bild passender Raumeindruck simuliert werden. Eine wesentliche subjektive Eigen- schaff bei einem solchen klanglichen Konzept ist in diesem Zusammenhang der Ort einer Schallquelle, wie ihn ein Betrachter beispielsweise einer Kinoleinwand empfindet.
Im Audiobereich läßt sich also durch die Technik der Wel- lenfeldsynthese (WFS) ein guter räumlicher Klang für eine großen Hörerbereich erzielen. Wie es ausgeführt worden ist, basiert die Wellenfeldsynthese auf dem Prinzip von Huygens, nach welchem sich Wellenfronten durch Überlagerung von Elementarwellen formen und aufbauen lassen. Nach mathematisch exakter theoretischer Beschreibung müßten unendlich viele Quellen in unendlich kleinem Abstand für die Erzeugung der Elementarwellen genutzt werden. Praktisch werden jedoch endlich viele Lautsprecher in einem endlich kleinen Abstand zueinander genutzt. Jeder dieser Lautsprecher wird gemäß dem WFS-Prinzip mit einem Audiosignal von einer virtuellen Quelle, das ein bestimmtes Delay und einen bestimmten Pegel hat, angesteuert. Pegel und Delays sind in der Regel für alle Lautsprecher unterschiedlich.
Wie es bereits ausgeführt worden ist, arbeitet das Wellen- feldsynthesesystem auf der Basis des Huygens-Prinzips und rekonstruiert eine gegebene Wellenform beispielsweise einer virtuellen Quelle, die in einem bestimmten Abstand zu einem Vorführbereich bzw. zu einem Hörer in dem Vorführbereich angeordnet ist durch eine Vielzahl von Einzelwellen. Der Wellenfeldsynthesealgorithmus erhält somit Informationen über die tatsächliche Position eines Einzellautsprechers aus dem Lautsprecherarray, um dann für diesen Einzellautsprecher ein Komponentensignal zu berechnen, das dieser Lautsprecher dann letztendlich abstrahlen muß, damit beim Zuhörer eine Überlagerung des Lautsprechersignals von dem einen Lautsprecher mit den Lautsprechersignalen der anderen aktiven Lautsprecher eine Rekonstruktion dahingehend durch- führt, daß der Hörer den Eindruck hat, daß er nicht von vielen Einzellautsprechern „beschallt" wird, sondern lediglich von einem einzigen Lautsprecher an der Position der virtuellen Quelle.
Für mehrere virtuelle Quellen in einem Wellenfeldsynthese- setting wird der Beitrag von jeder virtuellen Quelle für jeden Lautsprecher, also das Komponentensignal der ersten virtuellen Quelle für den ersten Lautsprecher, der zweiten virtuellen Quelle für den ersten Lautsprecher, etc. berechnet, um dann die Komponentensignale aufzuaddieren, um schließlich das tatsächliche Lautsprechersignal zu erhalten. Im Falle von beispielsweise drei virtuellen Quellen würde die Überlagerung der Lautsprechersignale aller akti- ven Lautsprecher beim Hörer dazu führen, daß der Hörer nicht den Eindruck hat, daß er von einem großen Array von Lautsprechern beschallt wird, sondern daß der Schall, den er hört, lediglich von drei an speziellen Positionen positionierten Schallquellen kommt, die gleich den virtuellen Quellen sind.
Die Berechnung der Komponentensignale erfolgt in der Praxis meist dadurch, daß das einer virtuellen Quelle zugeordnete Audiosignal je nach Position der virtuellen Quelle und Po- sition des Lautsprechers zu einem bestimmten Zeitpunkt mit einer Verzögerung und einem Skalierungsfaktor beaufschlagt wird, um ein verzögertes und/oder skaliertes Audiosignal der virtuellen Quelle zu erhalten, das das Lautsprechersignal unmittelbar darstellt, wenn nur eine virtuellen Quelle vorhanden ist, oder das nach Addition mit weiteren Komponentensignalen für den betrachteten Lautsprecher von anderen virtuellen Quellen dann zum Lautsprechersignal für den betrachteten Lautsprecher beiträgt.
Typische Wellenfeldsynthesealgorithmen arbeiten unabhängig davon, wie viele Lautsprecher im Lautsprecherarray vorhanden sind. Die der Wellenfeldsynthese zugrundeliegende Theorie besteht darin, daß jedes beliebige Schallfeld durch ei- ne unendlich hohe Anzahl von Einzellautsprechern exakt rekonstruiert werden kann, wobei die einzelnen Einzellautsprecher unendlich nahe zueinander angeordnet sind. In der Praxis kann jedoch weder die unendlich hohe Anzahl noch die unendlich nahe Anordnung realisiert werden. Statt dessen existiert eine begrenzte Anzahl von Lautsprechern, die zudem in bestimmten vorgegebenen Abständen zueinander angeordnet sind. Damit wird in realen Systemen immer nur eine Annäherung an die tatsächliche Wellenform erreicht, die stattfinden würde, wenn die virtuelle Quelle tatsächlich vorhanden wäre, also eine reale Quelle sein würde.
Ferner existieren verschiedene Szenarien, dahingehend, daß das Lautsprecherarray nur, wenn ein Kinosaal betrachtet wird, z. B. auf der Seite der Kinoleinwand angeordnet ist. In diesem Fall würde das Wellenfeldsynthesemodul Lautsprechersignale für diese Lautsprecher erzeugen, wobei die Lautsprechersignale für diese Lautsprecher normalerweise dieselben sein werden wie für entsprechende Lautsprecher in einem Lautsprecherarray, das sich nicht nur über die Seite eines Kinos beispielsweise erstreckt, an der die Leinwand angeordnet ist, sondern das auch links, rechts und hinter dem Zuhörerraum angeordnet ist. Dieses „360°"- Lautsprecherarray wird natürlich eine bessere Annäherung an ein exaktes Wellenfeld schaffen als lediglich ein einseitiges Array, beispielsweise vor den Zuschauern. Dennoch sind die Lautsprechersignale für die Lautsprecher, die sich vor den Zuschauern befinden, in beiden Fällen die gleichen. Dies bedeutet, daß ein Wellenfeldsynthesemodul typischer- weise keine Rückkopplung dahingehend erhält, wie viele Lautsprecher vorhanden sind bzw. ob es sich um ein einseitiges oder mehrseitiges oder gar um ein 360°-Array handelt oder nicht. Anders ausgedrückt berechnet eine Wellenfeld- syntheseeinrichtung ein Lautsprechersignal für einen Laut- Sprecher aufgrund der Position des Lautsprechers und unabhängig davon, welche weiteren Lautsprecher noch vorhanden sind oder nicht vorhanden sind. Hierin besteht zwar eine wesentliche Stärke des Wellenfeld- synthesealgorithmus dahingehend, daß er optimal modular anpaßbar an verschiedene Gegebenheiten ist, indem einfach die Koordinaten der vorhandenen Lautsprecher in ganz unter- schiedlichen Vorführräumen gegeben sind. Nachteilig ist jedoch, daß neben der unter Umständen hinnehmbaren schlechteren Rekonstruktion des aktuellen Wellenfeldes erhebliche Pegelartefakte entstehen. So ist für einen realen Eindruck nicht nur entscheidend, in welcher Richtung sich die virtu- eile Quelle bezüglich des Zuhörers befindet, sondern auch wie laut der Zuhörer die virtuelle Quelle hört, also welcher Pegel beim Zuhörer aufgrund einer speziellen virtuellen Quelle „ankommt". Der bei einem Zuhörer ankommende Pegel, der auf eine betrachtete virtuelle Quelle bezogen ist, ergibt sich aus der Überlagerung der einzelnen Signale der Lautsprecher.
Wird beispielsweise der Fall betrachtet, daß sich ein Lautsprecherarray von 50 Lautsprechern vor dem Zuhörer befin- det, und daß das Audiosignal der virtuellen Quelle durch die Wellenfeldsyntheseeinrichtuηg in Komponentensignale für die 50 Lautsprecher abgebildet wird, derart, daß das Audiosignal mit unterschiedlicher Verzögerung und unterschiedlicher Skalierung von den 50 Lautsprechern gleichzeitig abge- strahlt wird, so empfindet ein Zuhörer der virtuellen Quelle einen Pegel der Quelle, der sich aus den Einzelpegeln der Komponentensignale der virtuellen Quelle in den einzelnen Lautsprechersignalen ergibt.
Wird dieselbe Wellenfeldsyntheseeinrichtung nunmehr für ein reduziertes Array verwendet, bei dem sich beispielsweise nur 10 Lautsprecher vor dem Zuhörer befinden, so ist es ohne weiteres einsichtig, daß der Pegel des Signals von der virtuellen Quelle, der sich am Ohr des Zuhörers ergibt, ab- genommen hat, da gewissermaßen 40 Komponentensignale der nunmehr fehlenden Lautsprecher „fehlen". Es kann auch der alternative Fall auftreten, bei dem sich z. B. zunächst links und rechts des Zuhörers Lautsprecher befinden, die in einer bestimmten Konstellation gegenphasig angesteuert werden, so daß sich die Lautsprechersignale von zwei gegenüberliegenden Lautsprechern aufgrund einer bestimmten von der Wellenfeldsyntheseeinrichtung berechneten Verzögerung aufheben. Wird nunmehr in einem reduzierten System z. B. auf die Lautsprecher auf der einen Seite des Zuhörers verzichtet, so erscheint die virtuelle Quelle auf einmal wesentlich lauter als sie eigentlich sein dürfte.
Während für statische Quellen zur Pegelkorrektur noch an konstante Faktoren gedacht werden könnte, ist diese Lösung dann nicht mehr tragbar, wenn die virtuellen Quellen nicht statisch sind, sondern sich bewegen. Dies ist gerade ein wesentliches Merkmal der Wellenfeldsynthese, daß sie auch und besonders sich bewegende virtuelle Quellen verarbeiten kann. Eine Korrektur mit einem konstanten Faktor würde hier zu kurz greifen, da der konstante Faktor zwar für eine Po- sition stimmen würde, jedoch für eine andere Position der virtuellen Quelle Artefakt-steigernd wirken würde.
Wellenfeldsyntheseeinrichtungen sind ferner in der Lage, mehrere verschiedene Quellenarten nachzubilden. Eine promi- nente Quellenform ist die Punktquelle, bei der der Pegel proportional 1/r abnimmt, wobei r der Abstand zwischen einem Zuhörer und der Position der virtuellen Quelle ist. Eine andere Quellenform ist eine Quelle, die ebene Wellen aussendet. Hier bleibt der Pegel unabhängig von der Entfer- nung zum Hörer konstant, da ebene Wellen durch Punktquellen erzeugt werden können, die in einem unendlichen Abstand angeordnet sind.
Gemäß der Wellenfeldsynthesetheorie stimmt bei zweidimen- sionalen Lautsprecheranordnungen die Pegeländerung abhängig von r bis auf einen vernachlässigbaren Fehler mit der natürlichen Pegeländerung überein. Je nach Position der Quelle können sich jedoch unterschiedliche, zum Teil erhebliche Fehler im absoluten Pegel ergeben, welche aus der Nutzung einer endlichen Anzahl von Lautsprechern statt der theoretisch geforderten unendlichen Anzahl von Lautsprechern resultiert, wie es vorstehend dargelegt worden ist.
Die Aufgabe der vorliegenden Erfindung besteht darin, ein Konzept zur Pegel-Korrektur für Wellenfeldsynthesesysteme zu schaffen, das für bewegliche Quellen geeignet ist.
Diese Aufgabe wird durch eine Vorrichtung gemäß Patentanspruch 1, ein Verfahren gemäß Patentanspruch 17 oder ein Computer-Programm gemäß Patentanspruch 18 gelöst.
Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, daß die Unzulänglichkeiten eines Wellenfeldsynthesesystems mit einer (praktisch realisierbaren) endlichen Anzahl von Lautsprechern dahingehend zumindest abgemildert werden können, wenn eine Pegel-Korrektur durchgeführt wird, dahingehend, daß entweder das einer virtuellen Quelle zugeordnete Audiosignal vor der Wellenfeldsynthese oder die Komponentensignale für verschiedene Lautsprecher, die auf eine virtuelle Quelle zurückgehen, nach der Wellenfeldsynthese unter Verwendung eines Korrekturwerts manipuliert werden, um eine Abweichung zwischen einem Soll-Amplitudenzustand in einem Vorführbereich und einem Ist-Amplitudenzustand in dem Vorführbereich zu reduzieren. Der Soll-Amplitudenzustand ergibt sich dadurch, daß abhängig von der Position der virtuellen Quelle, und z. B. abhängig von einem Abstand eines Zuhörers bzw. eines optimalen Punkts in einem Vorführbereich zu der virtuellen Quelle und gegebenenfalls unter Berücksichtigung der Wellenart ein Soll-Pegel als Beispiel für einen Soll-Amplitudenzustand ermittelt wird, und daß ferner ein Ist-Pegel als Beispiel für einen Ist- Amplitudenzustand beim Hörer ermittelt wird. Während der Soll-Amplitudenzustand unabhängig von der tatsächlichen Gruppierung und Art der Einzellautsprecher lediglich auf der Basis der virtuellen Quelle bzw. deren Position ermittelt wird, wird die Ist-Situation unter Berücksichtigung der Positionierung, Art und Ansteuerung der Einzellautsprecher des Lautsprecherarrays berechnet.
So kann bei einem Ausführungsbeispiel der vorliegenden Er- findung der Schallpegel am Ohr des Hörers im optimalen Punkt innerhalb des Vorführbereichs aufgrund eines Komponentensignale der virtuellen Quelle, das über einen Einzellautsprecher abgestrahlt wird, ermittelt werden. Entsprechend kann für die anderen Komponentensignale, die auf die virtuelle Quelle zurückgehen und über andere Lautsprecher abgestrahlt werden, ebenfalls der Pegel am Ohr des Hörers im optimalen Punkt innerhalb des Vorführbereichs ermittelt werden, um dann durch Zusammenfassung dieser Pegel den tatsächlichen Ist-Pegel am Ohr des Hörers zu erhalten. Hierzu kann die Übertragungsfunktion jedes einzelnen Lautsprechers sowie der Pegel des Signals an dem Lautsprecher und der Abstand des Zuhörers im betrachteten Punkt innerhalb des Vorführbereichs zu dem einzelnen Lautsprecher berücksichtigt werden. Für einfachere Ausführungen kann die Sendecharakte- ristik des Lautsprechers dahingehend angenommen werden, daß er als ideale Punktquelle arbeitet. Für aufwendigere Implementierungen kann jedoch auch die Richtcharakteristik des einzelnen Lautsprechers berücksichtigt werden.
Ein wesentlicher Vorteil des erfindungsgemäßen Konzepts besteht darin, daß bei einem Ausführungsbeispiel, bei dem Schallpegel betrachtet werden, lediglich multiplikative Skalierungen auftreten, dahingehend, daß für einen Quotient zwischen dem Soll-Pegel und dem Ist-Pegel, der den Korrek- turwert ergibt, nicht der absolute Pegel beim Zuhörer oder der absolute Pegel der virtuellen Quelle erforderlich ist. Statt dessen hängt der Korrekturfaktor lediglich von der Position der virtuellen Quelle (und damit von den Positionen der Einzellautsprecher) sowie des optimalen Punkts in- nerhalb des Vorführbereichs ab. Diese Größen sind jedoch im Hinblick auf die Position des optimalen Punkts und die Positionen und Übertragungscharakteristika der einzelnen Lautsprecher fest vorgegeben und nicht von einem abgespielten Stück abhängig.
Daher kann das erfindungsgemäße Konzept rechenzeiteffizient als Nachschlagtabelle implementiert werden, dahingehend, daß eine Nachschlagtabelle erzeugt und verwendet wird, die Position-Korrekturfaktor-Wertepaare umfaßt, und zwar für sämtliche oder einen wesentlichen Teil von möglichen virtuellen Positionen. In diesem Fall ist dann kein On-line- Sollwertermittlungs-, Istwertermittlungs- und Sollwert/Istwert-Vergleichsalgorithmus durchzuführen. Auf diese unter Umständen rechenzeitaufwändigen Algorithmen kann verzichtet werden, wenn auf der Basis einer Position einer virtuellen Quelle auf die Nachschlagtabelle zugegriffen wird, um von dort den für diese Position der virtuellen Quelle gültigen Korrekturfaktor zu ermitteln. Um die Rechen- und Speicher-Effizienz noch weiter zu steigern, wird es bevorzugt, lediglich relativ grob gerasterte Stützwert- Paare für Positionen und zugeordnete Korrekturfaktoren in der Tabelle abzuspeichern und Korrekturfaktoren für Positionswerte, die zwischen zwei Stützwerten liegen, einseitig, zweiseitig, linear, kubisch etc. zu interpolieren.
Alternativ kann es ferner in dem einen oder anderen Fall sinnvoll sein, einen empirischen Ansatz zu verwenden, dahingehend, daß Pegelmessungen durchgeführt werden. In einem solchen Fall würde eine virtuelle Quelle mit einem bestimmten Kalibrierungspegel an einer bestimmten virtuellen Position plaziert werden. Dann würde für ein reales Wellenfeld- synthesesystem ein Wellenfeldsynthesemodul die Lautsprechersignale für die einzelnen Lautsprecher berechnen, um schließlich am Hörer den tatsächlich aufgrund der virtuellen Quelle ankommenden Pegel zu messen. Ein Korrekturfaktor würde dann dahingehend bestimmt, daß er die Abweichung vom Sollpegel zum Istpegel zumindest reduziert oder vorzugsweise zu 0 bringt. Dieser Korrekturfaktor würde dann in der Nachschlagtabelle in Zuordnung zu der Position der virtuellen Quelle abgespeichert werden, um so nach und nach, also für viele Positionen der virtuellen Quelle, für ein bestimmtes Wellenfeldsynthesesystem in einem speziellen Vorführraum die gesamte Nachschlagtabelle zu erzeugen.
Zur Manipulation auf der Basis des Korrekturfaktors existieren mehrere Möglichkeiten. Bei einer Ausführungsform wird es bevorzugt, das Audiosignal der virtuellen Quelle, wie es beispielsweise in einem Audiotrack, der aus einem Tonstudio kommt, aufgezeichnet ist, mit dem Korrekturfaktor zu manipulieren, um dann erst das manipulierte Signal in ein Wellenfeldsynthesemodul einzuspeisen. Dies führt gewissermaßen automatisch dazu, daß somit alle Komponentensignale, die auf diese manipulierte virtuelle Quelle zurückgehen, ebenfalls entsprechend gewichtet sind, und zwar im Vergleich zu dem Fall, bei dem keine Korrektur gemäß der vorliegenden Erfindung vorgenommen worden ist.
Alternativ kann es für bestimmte Anwendungsfälle auch günstig sein, nicht auf das Ursprungs-Audiosignal der virtuel- len Quelle einzugreifen, sondern in die durch das Wellenfeldsynthesemodul erzeugten Komponentensignale einzugreifen, um diese Komponentensignale alle vorzugsweise mit demselben Korrekturfaktor zu manipulieren. An dieser Stelle sei darauf hingewiesen, daß der Korrekturfaktor nicht unbe- dingt identisch für alle Komponentensignale sein muß. Dies wird jedoch in weiten Teilen bevorzugt, um nicht die relative Skalierung der Komponentensignale zueinander, die zur Rekonstruktion der tatsächlichen Wellensituation erforderlich ist, zu stark zu beeinträchtigen.
Ein Vorteil der vorliegenden Erfindung besteht darin, daß mit relativ einfachen Maßnahmen zumindest während des Betriebs eine Pegelkorrektur dahingehend vorgenommen werden kann, daß der Zuhörer zumindest im Hinblick auf die von ihm wahrgenommene Lautstärke einer virtuellen Quelle nichts davon merkt, daß nicht die eigentlich erforderlichen unendlich vielen Lautsprecher vorhanden sind, sondern lediglich eine begrenzte Menge an Lautsprechern. Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß auch dann, wenn sich eine virtuelle Quelle in einem bezüglich des Zuschauers gleichbleibenden Abstand (z. B. von links nach rechts) bewegt, diese Quelle für den Zuschauer, der beispielsweise in der Mitte vor der Leinwand sitzt, immer gleich laut ist und nicht einmal lauter und einmal leiser ist, was ohne Korrektur der Fall sein würde.
Ein weiterer Vorteil der vorliegenden Erfindung besteht darin, daß sie die Option dahingehend liefert, preisgünstigere Wellenfeldsynthesesysteme mit einer geringeren Anzahl von Lautsprechern anzubieten, die dennoch insbesondere bei sich bewegenden Quellen keine Pegelartefakte mit sich brin- gen, also für einen Zuhörer im Hinblick auf die Pegelproblematik genau so gut wirken wie aufwendigere Wellenfeldsynthesesysteme mit einer hohen Anzahl an Lautsprechern. Auch für Löcher im Array können eventuell zu niedrige Pegel erfindungsgemäß korrigiert werden.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:
Fig. 1 ein Blockschaltbild der erfindungsgemäßen Vorrichtung zum Pegel-Korrigieren in einem Wellen- feldsynthesesystem;
Fig. 2 ein Prinzipschaltbild einer Wellenfeldsyntheseum- gebung, wie sie für die vorliegende Erfindung einsetzbar ist;
Fig. 3 eine detailliertere Darstellung des in Fig. 2 gezeigten Wellenfeldsynthesemoduls ;
Fig. 4 ein Blockschaltbild einer erfindungsgemäßen Einrichtung zum Ermitteln des Korrekturwerts gemäß einem Ausführungsbeispiel mit Nachschlagtabelle und gegebenenfalls Interpolationseinrichtung;
Fig. 5 ein weiteres Ausführungsbeispiel der Einrichtung zum Ermitteln von Fig. 1 mit Sollwert/Istwert-
Ermittlung und anschließendem Vergleich;
Fig. 6a ein Blockschaltbild eines Wellenfeldsynthesemo- duls mit eingebetteter Manipulationseinrichtung zur Manipulation der Komponentensignale;
Fig. 6b ein Blockschaltbild eines weiteren Ausführungsbeispiels der vorliegenden Erfindung mit einer vorgeschalteten Manipulationseinrichtung;
Fig. 7a eine Skizze zur Erläuterung des Soll- Amplitudenzustands an einem Optimal-Punkt in einem Vorführbereich;
Fig. 7b eine Skizze zur Erläuterung des Ist- Amplitudenzustands an einem Optimal-Punkt in dem Vorführbereich; und
Fig. 8 ein prinzipielles Blockschaltbild eines Wellen- feldsynthesesystems mit Wellenfeldsynthesemodul und Lautsprecherarray in einem Vorführbereich.
Bevor detailliert auf die vorliegende Erfindung eingegangen wird, wird nachfolgend anhand von Fig. 8 der prinzipielle Aufbau eines Wellenfeldsynthesesystems dargestellt. Das Wellenfeldsynthesesystem hat ein Lautsprecherarray 800, das bezüglich eines Vorführbereichs 802 plaziert ist. Im einzelnen umfaßt das in Fig. 8 gezeigte Lautsprecherarray, das ein 360°-Array ist, vier Arrayseiten 800a, 800b, 800c und 800d. Ist der Vorführbereich 802 z. B. ein Kinosaal, so wird bezüglich der Konventionen vorne/hinten oder rechts/links davon ausgegangen, daß sich die Kinoleinwand auf derselben Seite des Vorführbereichs 802 befindet, an der auch das Teil-Array 800c angeordnet ist. In diesem Fall würde der Betrachter, der an dem hier so genannten Optimal- Punkt P in dem Vorführbereich 802 sitzt, nach vorne, also auf die Leinwand, sehen. Hinter dem Zuschauer würde sich dann das Teil-Array 800a befinden, während sich links vom Zuschauer das Teil-Array 800d befinden würde, und während sich rechts vom Zuschauer das Teil-Array 800b befinden würde. Jedes Lautsprecherarray besteht aus einer Anzahl von verschiedenen Einzellautsprechern 808, die jeweils mit ei- genen Lautsprechersignalen angesteuert werden, die von einem Wellenfeldsynthesemodul 810 über einen in Fig. 8 lediglich schematisch gezeigten Datenbus 812 bereitgestellt werden. Das Wellenfeldsynthesemodul ist ausgebildet, um unter Verwendung der Informationen über z. B. Art und Lage der Lautsprecher bezüglich des Vorführbereichs 802, also von Lautsprecher-Informationen (LS-Infos) , und gegebenenfalls mit sonstigen Inputs Lautsprechersignale für die einzelnen Lautsprecher 808 zu berechnen, die jeweils von den Audiotracks für virtuelle Quellen, denen ferner Positionsinfor- mationen zugeordnet sind, gemäß den bekannten Wellenfeldsynthesealgorithmen abgeleitet werden. Das Wellenfeldsynthesemodul kann ferner noch weitere Eingaben erhalten, wie beispielsweise Informationen über die Raumakustik des Vorführbereichs etc.
Die nachfolgenden Ausführungen zur vorliegenden Erfindung können prinzipiell für jeden Punkt P in dem Vorführbereich durchgeführt werden. Der Optimal-Punkt kann somit an jeder beliebigen Stelle im Vorführbereich 802 liegen. Es kann auch mehrere Optimal-Punkte, z. B. auf einer Optimal-Linie, geben. Um jedoch möglichst gute Verhältnisse für möglichst viele Punkte im Vorführbereich 802 zu erhalten, wird es bevorzugt, den Optimal-Punkt bzw. die Optimal-Linie in der Mitte bzw. am Schwerpunkt des Wellenfeldsynthesesystems, das durch die Lautsprecher-Teilarrays 800a, 800b, 800c, 800d definiert ist, anzunehmen. Eine detailliertere Darstellung des Wellenfeldsynthesemo- duls 800 wird nachfolgend anhand der Fig. 2 und 3 Bezug nehmend auf das Wellenfeldsynthesemodul 200 in Fig. 2 bzw. auf die in Fig. 3 detailliert dargestellte Anordnung gege- ben.
Fig. 2 zeigt eine Wellenfeldsyntheseumgebung, in der die vorliegende Erfindung implementiert werden kann. Zentrum einer Wellenfeldsyntheseumgebung ist ein Wellenfeldsynthe- semodul 200, das diverse Eingänge 202, 204, 206 und 208 sowie diverse Ausgänge 210, 212, 214, 216 umfaßt. Über Eingänge 202 bis 204 werden dem Wellenfeldsynthesemodul verschieden Audiosignale für virtuelle Quellen zugeführt. So empfängt der Eingang 202 z. B..ein Audiosignal der virtuel- len Quelle 1 sowie zugeordnete Positionsinformationen der virtuellen Quelle. In einem Kinosetting beispielsweise wäre das Audiosignal 1 z. B. die Sprache eines Schauspielers, der sich von einer linken Seite der Leinwand zu einer rechten Seite der Leinwand und möglicherweise zusätzlich noch vom Zuschauer weg bzw. zum Zuschauer hin bewegt. Das Audiosignal 1 wäre dann die tatsächliche Sprache dieses Schauspielers, während die Positionsinformationen als Funktion der Zeit die zu einem bestimmten Zeitpunkt aktuelle Position des ersten Schauspielers im Aufnahmesetting darstellt. Dagegen wäre das Audiosignal n die Sprache beispielsweise eines weiteren Schauspielers, der sich gleich oder anders als der erste Schauspieler bewegt. Die aktuelle Position des anderen Schauspielers, dem das Audiosignal n zugeordnet ist, wird durch mit dem Audiosignal n synchronisierte Posi- tionsinformationen dem Wellenfeldsynthesemodul 200 mitgeteilt. In der Praxis existieren verschiedene virtuelle Quellen je nach Aufnahmesetting, wobei das Audiosignal jeder virtuellen Quelle als eigener Audiotrack dem Wellenfeldsynthesemodul 200 zugeführt wird.
Wie es vorstehend dargelegt worden ist, speist ein Wellenfeldsynthesemodul eine Vielzahl von Lautsprechern LSI, LS2, LS3, LSm durch Ausgabe von Lautsprechersignalen über die Ausgänge 210 bis 216 zu den einzelnen Lautsprechern. Dem Wellenfeldsynthesemodul 200 werden über den Eingang 206 die Positionen der einzelnen Lautsprecher in einem Wiedergabe- setting, wie beispielsweise einem Kinosaal mitgeteilt. Im Kinosaal befinden sich um den Kinozuschauer herum gruppiert viele einzelne Lautsprecher, die in Arrays vorzugsweise derart angeordnet sind, daß sich sowohl vor dem Zuschauer, also beispielsweise hinter der Leinwand, als auch hinter dem Zuschauer sowie rechts und links des Zuschauers Laut- Sprecher befinden. Ferner können dem Wellenfeldsynthesemodul 200 noch sonstige Eingaben mitgeteilt werden, wie beispielsweise Informationen über die Raumakustik etc., um in einem Kinosaal die tatsächliche während des Aufnahmeset- tings herrschende Raumakustik simulieren zu können.
Allgemein gesagt wird das Lautsprechersignal, das beispielsweise dem Lautsprecher LSI über den Ausgang 210 zugeführt wird, eine Überlagerung von Komponentensignalen der virtuellen Quellen sein, dahingehend, daß das Lautsprecher- signal für den Lautsprecher LSI eine erste Komponente, die auf die virtuelle Quelle 1 zurückgeht, eine zweite Komponente, die auf die virtuelle Quelle 2 zurückgeht, sowie eine n-te Komponente, die auf die virtuelle Quelle n zurückgeht, umfassen. Die einzelnen Komponentensignale werden li- near superponiert, also nach ihrer Berechnung addiert, um die linerare Superposition am Ohr des Zuhörers nachzubilden, der in einem realen Setting eine lineare Überlagerung der von ihm wahrnehmbaren Schallquellen hören wird.
Nachfolgend wird Bezug nehmend auf Fig. 3 eine detailliertere Ausgestaltung des Wellenfeldsynthesemoduls 200 dargelegt. Das Wellenfeldsynthesemodul 200 hat einen stark parallelen Aufbau dahingehend, daß ausgehend von dem Audiosignal für jede virtuelle Quelle und ausgehend von den Posi- tionsinformationen für die entsprechende virtuelle Quelle zunächst Verzögerungsinformationen V sowie Skalierungsfaktoren SFi berechnet werden, die von den Positionsinformationen und der Position des gerade betrachteten Lautspre- chers, z. B. dem Lautsprecher mit der Ordnungsnummer j, also LSj , abhängen. Die Berechnung einer Verzögerungsinformation Vi sowie eines Skalierungsfaktors SFi aufgrund der Positionsinformationen einer virtuellen Quelle und der Lage des betrachteten Lautsprechers j geschieht durch bekannte Algorithmen, die in Einrichtungen 300, 302, 304, 306 implementiert sind. Auf der Basis der Verzögerungsinformationen Vj.(t) und SFi(t) sowie auf der Basis des der einzelnen virtuellen Quelle zugeordneten Audiosignals ASi(t) wird für einen aktuellen Zeitpunkt tÄ ein diskreter Wert AWι(tA) für das Komponentensignal Kij in einem letztendlich erhaltenen Lautsprechersignal berechnet. Dies erfolgt durch Einrichtungen, 310, 312, 314, 316, wie sie in Fig. 3 schematisch dargestellt sind. Fig. 3 zeigt ferner gewissermaßen eine „Blitzlichtaufnahme" zum Zeitpunkt tA für die einzelnen Komponentensignale. Die einzelnen Komponentensignale werden dann durch einen Summierer 320 summiert, um den diskreten Wert für den aktuellen Zeitpunkt tA des Lautsprechersignals für den Lautsprecher j zu ermitteln, der dann für den Aus- gang (beispielsweise der Ausgang 214, wenn der Lautsprecher j der Lautsprecher LS3 ist), dem Lautsprecher zugeführt werden kann.
Wie es aus Fig. 3 ersichtlich ist, wird zunächst für jede virtuelle Quelle einzeln ein aufgrund einer Verzögerung und einer Skalierung mit einem Skalierungsfaktor zu einem aktuellen Zeitpunkt gültiger Wert berechnet, wonach sämtliche Komponentensignale für einen Lautsprecher aufgrund der verschiedenen virtuellen Quellen summiert werden. Wäre bei- spielsweise nur eine virtuelle Quelle vorhanden, so würde der Summierer entfallen, und das am Ausgang des Summierers in Fig. 3 anliegende Signal würde z. B. dem Signal entsprechen, das von der Einrichtung 310 ausgegeben wird, wenn die virtuelle Quelle 1 die einzige virtuelle Quelle ist.
An dieser Stelle sei darauf hingewiesen, daß an dem Ausgang 322 von Fig. 3 der Wert eines Lautsprechersignals erhalten wird, das eine Überlagerung der Komponentensignale für die- sen Lautsprecher aufgrund der verschiedenen virtuellen Quellen 1, 2, 3, ..., n ist. Eine Anordnung, wie sie in Fig. 3 gezeigt ist, wäre prinzipiell für jeden Lautsprecher 808 im Wellenfeldsynthesemodul 810 vorgesehen, es sei denn, daß, was aus praktischen Gründen bevorzugt wird, immer z. B. 2, 4 oder 8 zusammenliegende Lautsprecher mit demselben Lautsprechersignal angesteuert werden.
Fig. 1 zeigt ein Blockschaltbild der erfindungsgemäßen Vor- richtung zum Pegel-Korrigieren in einem Wellenfeldsynthese- system, das Bezug nehmend auf Fig. 8 dargelegt worden ist. Das Wellenfeldsynthesesystem umfaßt das Wellenfeldsynthesemodul 810 sowie das Lautsprecherarray 800 zur Schallversorgung des Vorführbereichs 802, wobei das Wellenfeldsynthese- modul 810 ausgebildet ist, um ein einer virtuellen Schallquelle zugeordnetes Audiosignal sowie der virtuellen Schallquelle zugeordnete Quellenpositionsinformationen zu empfangen und unter Berücksichtigung von Lautsprecher- Positionsinformationen Komponentensignale für die Lautspre- eher aufgrund der virtuellen Quelle zu berechnen. Die erfindungsgemäße Vorrichtung umfaßt zunächst eine Einrichtung 100 zum Ermitteln eines Korrekturwerts, der auf einem Soll- Amplitudenzustand in dem Vorführbereich basiert, wobei der Soll-Amplitudenzustand von einer Position der virtuellen Quelle oder einer Art der virtuellen Quelle abhängt, und wobei der Korrekturwert ferner auf einem Ist- Amplitudenzustand in dem Vorführbereich basiert, der von den Komponentensignalen für die Lautsprecher aufgrund der virtuellen Quelle abhängt.
Die Einrichtung 100 hat einen Eingang 102 zum Erhalten einer Position der virtuellen Quelle, wenn sie z. B. eine Punktquellencharakteristik hat, oder zum Erhalten von Informationen über eine Art der Quelle, wenn die Quelle z. B. eine Quelle zur Erzeugung von ebenen Wellen ist. In diesem Fall ist der Abstand des Zuhörers von der Quelle zur Bestimmung des Ist-Zustands nicht nötig, da sich die Quelle aufgrund der erzeugten ebenen Wellen im Modell gedacht oh- nehin unendlich weit entfernt von dem Hörer befindet und einen positionsunabhängigen Pegel hat. Die Einrichtung 100 ist ausgebildet, um ausgangsseitig einen Korrekturwert 104 auszugeben, der einer Einrichtung 106 zum Manipulieren ei- nes der virtuellen Quelle zugeordneten Audiosignals (das über einen Eingang 108 erhalten wird) oder zum Manipulieren von Komponentensignalen für die Lautsprecher aufgrund einer virtuellen Quelle (die über einen Eingang 110 erhalten werden) , zu manipulieren. Falls die Alternative des Manipulie- rens des Audiosignals, das über den Eingang 108 bereitgestellt wird, durchgeführt wird, ergibt sich an einem Ausgang 112 ein manipuliertes Audiosignal, das dann erfindungsgemäß statt des ursprünglichen Audiosignals, das am Eingang 108 bereitgestellt wird, in das Wellenfeldsynthese- modul 200 eingespeist wird, um die einzelnen Lautsprechersignale 210, 212, ..., 216 zu erzeugen.
Wurde dagegen die andere Alternative zum Manipulieren verwendet, nämlich die gewissermaßen eingebettete Manipulation der Komponentensignale, die über den Eingang 110 erhalten worden sind, so werden ausgangsseitig manipulierte Komponentensignale erhalten, die noch Lautsprecher-weise aufsummiert werden müssen (Einrichtung 116) , und zwar mit gegebenenfalls manipulierten Komponentensignalen von anderen vir- tuellen Quellen, die über weitere Eingänge 118 bereitgestellt werden. Ausgangsseitig liefert die Einrichtung 116 wieder die Lautsprechersignale 210, 212, ..., 216. Es sei darauf hingewiesen, daß die in Fig. 1 gezeigten Alternativen der vorgeschalteten Manipulation (Ausgang 112) oder der eingebetteten Manipulation (Ausgang 114) alternativ zueinander verwendet werden können. Je nach Ausführungsform kann es jedoch auch Fälle geben, in denen der Gewichtungsfaktor bzw. Korrekturwert, der über den Eingang 104 in die Einrichtung 106 bereitgestellt wird, gewissermaßen gesplittet wird, so daß teilweise eine vorgeschaltete Manipulation und teilweise eine eingebettete Manipulation durchgeführt wird. Im Hinblick auf Fig. 3 würde die vorgeschaltete Manipulation somit darin bestehen, daß das Audiosignal der virtuellen Quelle, das in eine Einrichtung 310, 312, 314 bzw. 316 eingespeist wird, vor seiner Einspeisung manipuliert wird. Die eingebettete Manipulation würde dagegen darin bestehen, daß die von den Einrichtungen 310, 312, 314 bzw. 316 ausgegebenen Komponentensignale vor ihrer Summation, um tatsächliche Lautsprechersignal zu erhalten, manipuliert werden.
Diese beiden Möglichkeiten, die entweder alternativ oder kumulativ verwendbar sind, sind in den Fig. 6a und Fig. 6b dargestellt. So zeigt Fig. 6a die eingebettete Manipulation durch die Manipulationseinrichtung 106, die in Fig. 6a als Multiplizierer gezeichnet ist. Eine Wellenfeldsyntheseein- richtung, die beispielsweise aus den Blöcken 300, 310 bzw. 302, 312, bzw. 304, 314 und 306 bzw. 316 von Fig. 3 besteht, liefert die Komponentensignale Ku, Ki2, Ki3 für den Lautsprecher LSI bzw. die Komponentensignale Knι, Kπ2 und Kn3 für den Lautsprecher LSn.
In der in Fig. 6a gewählten Notation zeigt der erste Index von Kij den Lautsprecher an, und zeigt der zweite Index die virtuelle Quelle an, von der das Komponentensignal stammt. Die virtuelle Quelle 1 beispielsweise äußert sich in dem Komponentensignal Ku, ..., Knι. Um den Pegel der virtuellen Quelle 1 abhängig von den Positionsinformationen der virtuellen Quelle 1 (ohne Beeinflussung der Pegel der anderen virtuellen Quellen) selektiv zu beeinflussen, wird bei der in Fig. 6a gezeigten eingebetteten Manipulation eine Multi- plikation der Komponentensignale, die zu der Quelle 1 gehören, also der Komponentensignale, deren Index j auf die virtuelle Quelle 1 hinweist, mit dem Korrekturfaktor Fi stattfinden. Um eine entsprechende Amplituden- bzw. Pegelkorrektur für die virtuelle Quelle 2 durchzuführen, werden sämtliche Komponentensignale, die auf die virtuelle Quelle 2 zurückgehen, mit einem hierfür bestimmten Korrekturfaktor F2 multipliziert. Schließlich werden auch die Komponenten- Signale, die auf die virtuelle Quelle 3 zurückgehen, durch einen entsprechenden Korrekturfaktor F3 gewichtet.
Es sei darauf hingewiesen, daß die Korrekturfaktoren Fi, F und F3, wenn alle sonstigen geometrischen Parameter gleich sind, lediglich von der Position der entsprechenden virtuellen Quelle abhängen. Würden somit alle drei virtuellen Quellen z. B. Punktquellen (also gleicher Art) sein und an derselben Position sein, so wäre die Korrekturfaktoren für die Quellen identisch. Diese Gesetzmäßigkeit wird noch Bezug nehmend auf Fig. 4 näher erläutert, da es zur Rechenzeitvereinfachung möglich ist, eine Nachschlagtabelle mit Positionsinformationen und jeweils zugeordneten Korrekturfaktoren zu verwenden, die zwar irgendwann erstellt werden muß, auf die jedoch im Betrieb schnell zugegriffen werden kann, ohne daß im Betrieb ständig eine Sollwert/Istwert- Berechnungs- und Vergleichs-Operation durchgeführt werden muß, was jedoch prinzipiell ebenfalls möglich ist.
Fig. 6b zeigt die erfindungsgemäße Alternative zur Quellenmanipulation. Die Manipulationseinrichtung ist hier der Wellenfeldsyntheseeinrichtung vorgeschaltet und ist wirksam, um die Audiosignale der Quellen mit den entsprechenden Korrekturfaktoren zu korrigieren, um manipulierte Audiosi- gnale für die virtuellen Quellen zu erhalten, die dann der Wellenfeldsyntheseeinrichtung zugeführt werden, um die Komponentensignale zu erhalten, die dann von den jeweiligen Komponentensummationseinrichtungen aufsummiert werden, um die Lautsprechersignale LS für die entsprechenden Lautspre- eher, wie beispielsweise den Lautsprecher Si, zu erhalten.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung ist die Einrichtung 100 zum Ermitteln des Korrekturwerts als Nachschlagtabelle 400 ausgebildet, die Positi- on-Korrekturfaktor-Wertepaare speichert. Die Einrichtung 100 ist vorzugsweise ferner mit einer Interpolationseinrichtung 402 versehen, um einerseits die Tabellengröße der Nachschlagtabelle 400 in einem begrenzten Rahmen zu halten, und um andererseits auch für aktuelle Positionen einer virtuellen Quelle, die über einen Eingang 404 in die Interpolationseinrichtung eingespeist werden, zumindest unter Verwendung einer oder mehrerer benachbarter in der Nachschlag- tabelle gespeicherten Position-Korrekturfaktor-Wertepaare, die der Interpolationseinrichtung 402 über eine Eingang 406 zugeführt werden, einen interpolierten aktuellen Korrekturfaktor an einem Ausgang 408 zu erzeugen. Bei einer einfacheren Version kann die Interpolationseinrichtung 402 je- doch auch weggelassen werden, so daß die Einrichtung 100 zum Ermitteln von Fig. 1 einen direkten Zugriff unter Verwendung von an einem Eingang 410 zugeführten Positionsinformationen auf die Nachschlagtabelle durchführt und an einem Ausgang 412 einen entsprechenden Korrekturfaktor lie- fert. Entsprechen die aktuellen Positionsinformationen, die dem Audiotrack der virtuellen Quelle zugeordnet sind, nicht genau einer Positionsinformation, die in der Nachschlagtabelle zu finden ist, so kann der Nachschlagtabelle noch eine einfache Abrundungs-/Aufrundungs-Funktion zugeordnet sein, um den nächstliegenden in der Tabelle gespeicherten Stützwert statt des aktuellen Stützwerts zu nehmen.
An dieser Stelle sei darauf hingewiesen, dass für verschiedene Quellenarten verschiedene Tabellen angelegt werden können, oder dass einer Position nicht nur ein Korrekturfaktor zugeordnet ist, sondern mehrere Korrekturfaktoren, wobei jeder Korrekturfaktor mit einer Quellenart verknüpft ist.
Alternativ kann statt der Nachschlagtabelle oder zur „Auffüllung" der Nachschlagtabelle in Fig. 4 die Einrichtung zum Ermitteln ausgebildet sein, um tatsächlich einen Soll- wert-Istwert-Vergleich durchzuführen. In diesem Fall umfaßt die Einrichtung 100 von Fig. 1 eine Soll-Amplituden- Zustandsermittlungseinrichtung 500 sowie eine Ist- Amplituden-Zustandsermittlungseinrichtung 502, um einen Soll-Amplitudenzustand 504 sowie einen Ist- Amplitudenzustand 506 zu liefern, die einer Vergleichsein- richtung 508 zugeführt werden, die beispielsweise einen Quotienten aus dem Soll-Amplitudenzustand 504 und dem Ist- Amplitudenzustand 506 berechnet, um einen Korrekturfaktor 510 zu erzeugen, der der Einrichtung 106 zum Manipulieren, die in Fig. 1 gezeigt ist, zur weiteren Verwendung zugeführt wird. Alternativ kann der Korrekturwert auch in einer Nachschlagtabelle abgespeichert werden.
Die Soll-Amplituden-Zustandsberechnung ist ausgebildet, um einen Soll-Pegel am Optimal-Punkt für eine an einer bestimmten Position bzw. in einer bestimmten Art ausgestaltete virtuelle Quelle zu ermitteln. Für die Soll- A plitudenzustandsberechnung benötigt die Soll- Amplitudenzustandsermittlungseinrichtung 500 selbstver- ständliche keine Komponentensignale, da der Soll- Amplitudenzustand von den Komponentensignalen unabhängig ist. Komponentensignale werden jedoch, wie es aus Fig. 5 ersichtlich ist, der Ist-Amplitudenermittlungseinrichtung 502 zugeführt, die ferner je nach Ausführungsform auch noch Informationen über die Lautsprecherpositionen sowie Informationen über Lautsprecher-Übertragungsfunktionen und/oder Informationen über Richtcharakteristika der Lautsprecher erhalten kann, um eine Ist-Situation so gut als möglich zu ermitteln. Alternativ kann die Ist- Amplitudenzustandsermittlungseinrichtung 502 auch als tatsächliches Meßsystem ausgebildet sein, um eine Ist- Pegelsituation an dem Optimal-Punkt für bestimmte virtuelle Quellen an bestimmten Positionen zu ermitteln.
Nachfolgend wird Bezug nehmend auf Fig. 7a und Fig. 7b auf den Ist-Amplitudenzustand bzw. den Soll-Amplitudenzustand Bezug genommen. Fig. 7a zeigt ein Diagramm zum Ermitteln eines Soll-Amplitudenzustands an einem vorbestimmten Punkt, der in Fig. 7a mit „Optimal-Punkt" bezeichnet ist, und der im Vorführbereich 802 von Fig. 8 liegt. In Fig. 7a ist lediglich beispielhaft eine virtuelle Quelle 700 als Punktquelle eingezeichnet, die ein Schallfeld mit konzentrischen Wellenfronten erzeugt. Ferner ist aufgrund des Audiosignals für die virtuelle Quelle 700 der Pegel Lv der virtuellen Quelle 700 bekannt. Der Soll-Amplitudenzustand bzw. dann, wenn der Amplitudenzustand ein Pegelzustand ist, der Soll- Pegel an dem Punkt P im Vorführbereich wird ohne weiteres dadurch erhalten, daß der Pegel LP am Punkt P gleich dem Quotienten aus Lv und einem Abstand r ist, den der Punkt P zu der virtuellen Quelle 700 hat. Der Soll- Amplitudenzustand kann somit ohne weiteres durch Berechnung des Pegels Lv der virtuellen Quelle und durch Berechnung des Abstands r vom Optimal-Punkt zur virtuellen Quelle ermittelt werden. Zur Berechnung des Abstands r muß typischerweise eine Koordinatentransformation der virtuellen Koordinaten in die Koordinaten des Vorführraums oder eine Koordinatentransformation der Vorführraumkoordinaten des Punkts P in die virtuellen Koordinaten durchgeführt werden, was für Fachleute auf dem Gebiet der Wellenfeldsynthese bekannt ist.
Ist die virtuellen Quelle dagegen eine unendlich weit ent- fernte virtuelle Quelle, die am Punkt P ebene Wellen erzeugt, so wird zur Bestimmung des Soll-Amplitudenzustands der Abstand zwischen dem Punkt P und der Quelle nicht benötigt, da dieser ohnehin gegen unendlich geht. In diesem Fall wird lediglich eine Informationen über die Art der Quelle benötigt. Der Soll-Pegel am Punkt P ist dann gleich dem Pegel, der dem ebenen Wellenfeld, das durch die unendlich weit entfernte virtuelle Quelle erzeugt wird, zugeordnet ist.
Fig. 7 zeigt ein Diagramm zur Erläuterung des Ist- Amplitudenzustands. Insbesondere sind in Fig. 7b verschiedene Lautsprecher 808 gezeichnet, die alle mit einem eigenen Lautsprechersignal gespeist werden, das z. B. von dem Wellenfeldsynthesemodul 810 von Fig. 8 erzeugt worden ist. Ferner wird jeder Lautsprecher als Punktquelle modelliert, die ein konzentrisches Wellenfeld ausgibt. Die Gesetzmäßigkeit des konzentrischen Wellenfelds besteht wieder darin, daß der Pegel gemäß 1/r abfällt. Damit kann zur Berechnung des Ist-Amplitudenzustands (ohne Messung) das von dem Lautsprecher 808 unmittelbar an der Lautsprechermembran erzeugte Signal bzw. der Pegel dieses Signals auf der Basis der Lautsprechercharakteristika und des Komponentensignals im Lautsprechersignal LSn, das auf die betrachtete virtuelle Quelle zurückgeht, berechnet werden. Ferner kann aufgrund der Koordinaten des Punkts P und der Ortsinformationen zur Lage des Lautsprechers LSn der Abstand zwischen P und der Lautsprechermembran des Lautsprechers LSn ausgerechnet wer- den, so daß ein Pegel für den Punkt P aufgrund eines Komponentensignals erhalten werden kann, das auf die betrachtete virtuelle Quelle zurückgeht und von dem Lautsprecher LSn ausgesendet worden ist.
Eine entsprechende Prozedur kann für die anderen Lautsprecher des Lautsprecherarrays ebenfalls durchgeführt werden, so daß sich für den Punkt P eine Anzahl von „Teilpegelwerten" ergibt, die einen Signalbeitrag der betrachteten virtuellen Quelle darstellen, der von den einzelnen Lautspre- ehern zum Hörer am Punkt P gelangt ist. Durch Zusammenfassung dieser Teilpegelwerte wird dann der gesamte Ist- Amplitudenzustand am Punkt P erhalten, der dann, wie es ausgeführt worden ist, mit dem Soll-Amplitudenzustand verglichen werden kann, um einen Korrekturwert, der vorzugs- weise multiplikativ ist, der jedoch prinzipiell additiv oder subtraktiv sein könnte, zu erhalten.
Erfindungsgemäß wird somit auf der Basis bestimmter Quellenformen der gewünschte Pegel für einen Punkt berechnet, also der Soll-Amplitudenzustand. Es wird bevorzugt, daß der Optimal-Punkt bzw. der Punkt im Vorführbereich, der betrachtet wird, sinnvollerweise in der Mitte des Wellenfeldsynthesesystems liegt. An dieser Stelle sei darauf hingewiesen, daß auch dann bereits eine Verbesserung erreicht wird, wenn der Punkt, der zur Berechnung des Soll- Amplitudenzustands zugrunde gelegt worden ist, nicht unmittelbar mit dem Punkt übereinstimmt, der zur Ermittlung des Ist-Amplitudenzustands verwendet worden ist. Nachdem eine möglichst gute Pegelartefaktreduktion für eine möglichst große Anzahl von Punkten im Vorführbereich angestrebt wird, ist es prinzipiell ausreichend, daß ein Soll- Amplitudenzustand für irgendeinen Punkt im Vorführbereich ermittelt wird, und daß ein Ist-Amplitudenzustand ebenfalls für irgendeinen Punkt im Vorführbereich ermittelt wird, wobei es jedoch bevorzugt wird, daß sich der Punkt, auf den der Ist-Amplitudenzustand bezogen ist, in einer Zone um den Punkt herum befindet, für den der Soll-Amplitudenzustand bestimmt worden ist, wobei diese Zone vorzugsweise kleiner als 2 Meter für normale Kinoanwendungen ist. Für beste Ergebnisse sollten diese Punkte im wesentlichen zusammenfallen.
Erfindungsgemäß wird somit nach Berechnung der Einzelpegel der Lautsprecher gemäß üblicher Wellenfeldsynthesealgorithmen der praktisch durch Überlagerung entstehende Pegel an diesem Punkt, der der Optimal-Punkt im Vorführbereich genannt wird, berechnet. Die Pegel der einzelnen Lautsprecher und/oder Quellen werden dann erfindungsgemäß mit diesem Faktor korrigiert. Für rechenzeiteffizienten Anwendungen wird es besonders bevorzugt, Korrekturfaktoren einmal für alle Positionen bei einer bestimmten Arrayanordnung zu berechnen und abzuspeichern, um dann im Betrieb auf die Ta- belle zuzugreifen, um Rechenzeiteinsparungen zu erreichen.
Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren zum Pegel-Korrigieren, wie es in Fig. 1 dargestellt ist, in Hardware oder in Software implementiert wer- den. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, daß das Verfahren ausgeführt wird. Allgemein besteht die Erfin- düng somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens zum Pegel- Korrigieren, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.

Claims

Patentansprüche
1. Vorrichtung zum Pegel-Korrigieren in einem Wellenfeld- synthesesystem mit einem Wellenfeldsynthesemodul (810) und einem Array (800) von Lautsprechern (808) zur Schallversorgung eines Vorführbereichs (802), wobei das Wellenfeldsynthesemodul ausgebildet ist, um ein einer virtuellen Schallquelle zugeordnetes Audiosignal sowie der virtuellen Schallquelle zugeordnete Quellen- Positionsinformationen zu empfangen und unter Berücksichtigung von Lautsprecher-Positionsinformationen Komponentensignale für die Lautsprecher aufgrund der virtuellen Quelle zu berechnen, mit folgenden Merkmalen:
einer Einrichtung (100) zum Ermitteln eines Korrekturwerts (104), der auf einem Soll-Amplitudenzustand in dem Vorführbereich basiert, wobei der Soll- Amplitudenzustand von einer Position der virtuellen Quelle oder einer Art der virtuellen Quelle abhängt, und der ferner auf einem Ist-Amplitudenzustand in dem Vorführbereich basiert, der auf den Komponentensigna- len für die Lautsprecher aufgrund der virtuellen Quelle basiert; und
einer Einrichtung (106) zum Manipulieren des der virtuellen Quelle zugeordneten Audiosignals oder der Kom- ponentensignale unter Verwendung des Korrekturwerts (104), um eine Abweichung zwischen dem Soll- Amplitudenzustand und dem Ist-Amplitudenzustand zu verkleinern.
2. Vorrichtung nach Anspruch 1, bei der die Einrichtung (100) zum Ermitteln des Korrekturwerts (104) ausgebildet ist, um den Soll-Amplitudenzustand für einen vorbestimmten Punkt in dem Vorführbereich zu berechnen (500), und um den Ist-Amplitudenzustand für eine Zone in dem Vorführbereich zu bestimmen (502) , die gleich dem vorbestimmten Punkt ist oder sich im Rahmen eines
Toleranzbereichs um den vorbestimmten Punkt herum er- streckt.
3. Vorrichtung nach Anspruch 2, bei der der vorbestimmte Toleranzbereich eine Kugel mit einem Radius kleiner als 2 Meter um den vorbestimmten Punkt ist.
4. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die virtuelle Quelle eine Quelle für ebene Wellen ist, und bei der die Einrichtung (100) zum Ermitteln des Korrekturwerts ausgebildet ist, um einen Korrekturwert zu ermitteln, bei dem ein Amplitudenzu- stand des der virtuellen Quelle zugeordneten Audiosignals gleich dem Soll-Amplitudenzustand ist.
5. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die virtuelle Quelle eine Punktquelle ist, und bei der die Einrichtung (100) zum Ermitteln des Korrekturfaktors ausgebildet ist, um auf der Basis eines Soll-Amplitudenzustands zu arbeiten, der gleich einem Quotienten aus einem Amplitudenzustand des der virtu- eilen Quelle zugeordneten Audiosignals und dem Abstand zwischen dem Vorführbereich und der Position der virtuellen Quelle ist.
Vorrichtung nach einem der vorhergehenden Ansprüche,
bei der die Einrichtung (100) zum Ermitteln des Korrekturwerts ausgebildet ist, um basierend auf einem Ist-Amplitudenzustand zu arbeiten, für dessen Ermittlung eine Lautsprecher-Übertragungsfunktion des Laut- Sprechers (808) berücksichtigt ist.
7. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (100) zum Ermitteln des Korrekturfaktors ausgebildet ist, um für jeden Lautsprecher einen Dämpfungswert zu berechnen, der von der Position des Lautsprechers und einem zu betrachtenden Punkt im Vorführbereich abhängt, und bei der die Einrichtung (100) zum Ermitteln ferner ausgebildet ist, um das Komponentensignal eines Lautsprechers mit dem Dämpfungswert für den Lautsprecher zu gewichten, um ein gewichtetes Komponentensignal zu erhalten, und um ferner Komponentensignale oder entsprechend gewichtete Komponentensignale von anderen Lautsprechern zu summieren, um den Ist-Amplitudenzustand an dem betrachteten Punkt zu erhalten, auf dem der Korrekturwert (104) basiert.
8. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (106) zum Manipulieren ausgebildet ist, um den Korrekturwert (104) als Korrekturfaktor zu verwenden, der gleich einem Quotienten aus dem Ist-Amplitudenzustand und dem Soll- Amplitudenzustand ist.
9. Vorrichtung nach Anspruch 8, bei der die Einrichtung
(106) zum Manipulieren ausgebildet ist, um das der virtuellen Quelle zugeordnete Audiosignal vor dem Berechnen der Komponentensignale durch das Wellenfeldsynthesemodul (810) mit dem Korrekturfaktor zu skalieren.
10. Vorrichtung nach Anspruch 8 oder 9, bei der die Einrichtung (106) zum Manipulieren ausgebildet ist, um Komponentensignale an einem Ausgang einer Wellenfeldsyntheseeinrichtung mit Korrekturfaktoren (104) zu skalieren.
11. Vorrichtung nach Anspruch 10, bei der jedes Komponentensignal, das auf dieselbe virtuelle Quelle zurückgeht, mit demselben Korrekturfaktor skaliert wird.
12. Vorrichtung nach einem der vorhergehenden Ansprüche,
bei der der Soll-Amplitudenzustand ein Soll- Schallpegel ist, und bei der der Ist-Amplitudenzustand ein Ist-Schallpegel ist.
13. Vorrichtung nach Anspruch 12, bei der der Soll- Schallpegel und der Ist-Schallpegel auf einer Soll- Schallstärke bzw. einer Ist-Schallstärke basieren, wobei die Schallstärke ein Maß für eine Energie ist, die in einer Zeitdauer auf eine Bezugsfläche fällt.
14. Vorrichtung nach Anspruch 12 oder 13, bei der die Ein- richtung (100) zum Ermitteln des Korrekturwerts ausgebildet ist, um den Soll-Amplitudenzustand durch ab- tastwertweises Quadrieren von Abtastwerten des Audiosignals, das der virtuellen Quelle zugeordnet ist, und durch Aufsummieren einer Anzahl von quadrierten Ab- tastwerten zu berechnen, wobei die Anzahl ein Maß für eine Beobachtungszeit ist, und
bei der die Einrichtung (100) zum Ermitteln des Korrekturwerts ferner ausgebildet ist, um den Ist- Amplitudenzustand zu berechnen, indem jedes Komponentensignal abtastwertweise quadriert wird und eine Anzahl von quadrierten Abtastwerten aufaddiert wird, die gleich der Anzahl von aufaddierten quadrierten Abtastwerten zur Berechnung des Soll-Amplitudenzustands ist, und wobei ferner Additionsergebnisse aus den Komponentensignalen aufaddiert werden, um ein Maß für den Ist- Amplitudenzustand zu erhalten.
15. Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung (100) zum Ermitteln des Korrekturwerts (104) eine Nachschlagtabelle (400) aufweist, in der Positions-Korrekturfaktor-Wertepaare gespeichert sind, wobei ein Korrekturfaktor eines Werte- paars von einer Anordnung der Lautsprecher in dem Array von Lautsprechern und einer Position einer virtuellen Quelle abhängt, und wobei der Korrekturfaktor so gewählt ist, daß eine Abweichung zwischen einem Ist- Amplitudenzustand aufgrund der virtuellen Quelle an der zugeordneten Position und einem Soll- Amplitudenzustand bei einer Verwendung des Korrekturfaktors durch die Einrichtung (106) zum Manipulieren zumindest reduziert wird.
16. Vorrichtung nach Anspruch 15, bei der die Einrichtung
(100) zum Ermitteln ferner ausgebildet ist, um einen aktuellen Korrekturfaktor für eine aktuelle Position der virtuellen Quelle aus einem oder mehreren Korrek- turfaktoren aus Positions-Korrekturfaktor-Wertepaaren zu interpolieren (402) , deren Position bzw. Positionen neben der aktuellen Position liegen.
17. Verfahren zum Pegel-Korrigieren in einem Wellenfeld- synthesesystem mit einem Wellenfeldsynthesemodul (810) und einem Array (800) von Lautsprechern (808) zur Schallversorgung eines Vorführbereichs (802) , wobei das Wellenfeldsynthesemodul ausgebildet ist, um ein einer virtuellen Schallquelle zugeordnetes Audiosignal sowie der virtuellen Schallquelle zugeordnete Quellen- Positionsinformationen zu empfangen und unter Berücksichtigung von Lautsprecher-Positionsinformationen Komponentensignale für die Lautsprecher aufgrund der virtuellen Quelle zu berechnen, mit folgenden Schrit- ten:
Ermitteln (100) eines Korrekturwerts (104), der auf einem Soll-Amplitudenzustand in dem Vorführbereich basiert, wobei der Soll-Amplitudenzustand von einer Po- sition der virtuellen Quelle oder einer Art der virtuellen Quelle abhängt, und der ferner auf einem Ist- Amplitudenzustand in dem Vorführbereich basiert, der auf den Komponentensignalen für die Lautsprecher aufgrund der virtuellen Quelle basiert; und
Manipulieren (106) des der virtuellen Quelle zugeord- neten Audiosignals oder der Komponentensignale unter Verwendung des Korrekturwerts (104), um eine Abweichung zwischen dem Soll-Amplitudenzustand und dem Ist- Amplitudenzustand zu verkleinern.
18. Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 17, wenn das Programm auf einem Computer abläuft.
EP04739176A 2003-05-15 2004-05-11 Vorrichtung zum pegel-korrigieren in einem wellenfeldsynthesesystem Active EP1525776B1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10321986A DE10321986B4 (de) 2003-05-15 2003-05-15 Vorrichtung und Verfahren zum Pegel-Korrigieren in einem Wellenfeldsynthesesystem
DE10321986 2003-05-15
PCT/EP2004/005045 WO2004103024A1 (de) 2003-05-15 2004-05-11 Vorrichtung zum pegel-korrigieren in einem wellenfeldsynthesesystem

Publications (2)

Publication Number Publication Date
EP1525776A1 true EP1525776A1 (de) 2005-04-27
EP1525776B1 EP1525776B1 (de) 2006-04-19

Family

ID=33440866

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04739176A Active EP1525776B1 (de) 2003-05-15 2004-05-11 Vorrichtung zum pegel-korrigieren in einem wellenfeldsynthesesystem

Country Status (7)

Country Link
US (1) US7751915B2 (de)
EP (1) EP1525776B1 (de)
JP (1) JP4617311B2 (de)
CN (1) CN100551134C (de)
AT (1) ATE324023T1 (de)
DE (2) DE10321986B4 (de)
WO (1) WO2004103024A1 (de)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004057500B3 (de) * 2004-11-29 2006-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Ansteuerung einer Beschallungsanlage und Beschallungsanlage
DE102005008342A1 (de) 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Speichern von Audiodateien
DE102005008333A1 (de) * 2005-02-23 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Steuern einer Wellenfeldsynthese-Rendering-Einrichtung
DE102005008366A1 (de) * 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten
DE102005008369A1 (de) * 2005-02-23 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Simulieren eines Wellenfeldsynthese-Systems
DE102005008343A1 (de) 2005-02-23 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System
US8031891B2 (en) * 2005-06-30 2011-10-04 Microsoft Corporation Dynamic media rendering
DE102005033239A1 (de) * 2005-07-15 2007-01-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Steuern einer Mehrzahl von Lautsprechern mittels einer graphischen Benutzerschnittstelle
DE102005033238A1 (de) * 2005-07-15 2007-01-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Mehrzahl von Lautsprechern mittels eines DSP
DE102006010212A1 (de) * 2006-03-06 2007-09-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Simulation von WFS-Systemen und Kompensation von klangbeeinflussenden WFS-Eigenschaften
US8180067B2 (en) * 2006-04-28 2012-05-15 Harman International Industries, Incorporated System for selectively extracting components of an audio input signal
DE102006039162A1 (de) 2006-08-21 2008-02-28 Lear Corp., Southfield Schutzverfahren für Lautsprechersysteme
US8036767B2 (en) 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
KR101100221B1 (ko) * 2006-11-15 2011-12-28 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 그 장치
EP2102855A4 (de) 2006-12-07 2010-07-28 Lg Electronics Inc Verfahren und vorrichtung zum decodieren eines audiosignals
KR100943215B1 (ko) * 2007-11-27 2010-02-18 한국전자통신연구원 음장 합성을 이용한 입체 음장 재생 장치 및 그 방법
JP5400225B2 (ja) * 2009-10-05 2014-01-29 ハーマン インターナショナル インダストリーズ インコーポレイテッド オーディオ信号の空間的抽出のためのシステム
EP2609759B1 (de) * 2010-08-27 2022-05-18 Sennheiser Electronic GmbH & Co. KG Verfahren und vorrichtung für erhöhte klangfeldwiedergabe von räumlich codierten audioeingangssignalen
DE102011082310A1 (de) * 2011-09-07 2013-03-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und elektroakustisches System zur Nachhallzeitverlängerung
US9338572B2 (en) 2011-11-10 2016-05-10 Etienne Corteel Method for practical implementation of sound field reproduction based on surface integrals in three dimensions
KR101719837B1 (ko) * 2012-05-31 2017-03-24 한국전자통신연구원 음장 합성 신호 생성 장치 및 방법
RU2602346C2 (ru) * 2012-08-31 2016-11-20 Долби Лэборетериз Лайсенсинг Корпорейшн Рендеринг отраженного звука для объектно-ориентированной аудиоинформации
JP5936771B2 (ja) 2013-11-27 2016-06-22 日本碍子株式会社 外部共振器型発光装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04132499A (ja) 1990-09-25 1992-05-06 Matsushita Electric Ind Co Ltd 音像制御装置
GB2294854B (en) * 1994-11-03 1999-06-30 Solid State Logic Ltd Audio signal processing
US6205224B1 (en) * 1996-05-17 2001-03-20 The Boeing Company Circularly symmetric, zero redundancy, planar array having broad frequency range applications
US5798922A (en) * 1997-01-24 1998-08-25 Sony Corporation Method and apparatus for electronically embedding directional cues in two channels of sound for interactive applications
DE19706137A1 (de) * 1997-02-18 1998-08-20 Marc Wehberg Holophonie- Ein Verfahren zur echten dreidimensionalen Raumklangerzeugung
DE19739425A1 (de) 1997-09-09 1999-03-11 Bosch Gmbh Robert Verfahren und Anordnung zur Wiedergabe eines sterophonen Audiosignals
JP4132499B2 (ja) 1999-11-08 2008-08-13 株式会社アドバンテスト 半導体試験用プログラムデバッグ装置
GB0124352D0 (en) * 2001-10-11 2001-11-28 1 Ltd Signal processing device for acoustic transducer array
DE10254404B4 (de) * 2002-11-21 2004-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals
US7336793B2 (en) * 2003-05-08 2008-02-26 Harman International Industries, Incorporated Loudspeaker system for virtual sound synthesis

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004103024A1 *

Also Published As

Publication number Publication date
DE10321986B4 (de) 2005-07-14
WO2004103024A1 (de) 2004-11-25
ATE324023T1 (de) 2006-05-15
DE502004000439D1 (de) 2006-05-24
US20060109992A1 (en) 2006-05-25
DE10321986A1 (de) 2004-12-09
CN100551134C (zh) 2009-10-14
US7751915B2 (en) 2010-07-06
JP2007502589A (ja) 2007-02-08
JP4617311B2 (ja) 2011-01-26
CN1792117A (zh) 2006-06-21
EP1525776B1 (de) 2006-04-19

Similar Documents

Publication Publication Date Title
DE10328335B4 (de) Wellenfeldsyntesevorrichtung und Verfahren zum Treiben eines Arrays von Lautsprechern
EP1525776B1 (de) Vorrichtung zum pegel-korrigieren in einem wellenfeldsynthesesystem
EP1671516B1 (de) Vorrichtung und verfahren zum erzeugen eines tieftonkanals
DE10254404B4 (de) Audiowiedergabesystem und Verfahren zum Wiedergeben eines Audiosignals
EP1972181B1 (de) Vorrichtung und verfahren zur simulation von wfs-systemen und kompensation von klangbeeinflussenden wfs-eigenschaften
EP1782658B1 (de) Vorrichtung und verfahren zum ansteuern einer mehrzahl von lautsprechern mittels eines dsp
EP1872620B9 (de) Vorrichtung und verfahren zum steuern einer mehrzahl von lautsprechern mittels einer graphischen benutzerschnittstelle
EP1851998B1 (de) Vorrichtung und Verfahren zum Liefern von Daten in einem Multi-Renderer-System
DE10321980B4 (de) Vorrichtung und Verfahren zum Berechnen eines diskreten Werts einer Komponente in einem Lautsprechersignal
EP1880577B1 (de) Vorrichtung und verfahren zum erzeugen eines lautsprechersignals aufgrund einer zufällig auftretenden audioquelle
DE10305820B4 (de) Vorrichtung und Verfahren zum Bestimmen einer Wiedergabeposition
EP2754151B1 (de) Vorrichtung, verfahren und elektroakustisches system zur nachhallzeitverlängerung
DE10254470A1 (de) Vorrichtung und Verfahren zum Bestimmen einer Impulsantwort und Vorrichtung und Verfahren zum Vorführen eines Audiostücks

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050223

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL HR LT LV MK

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: 7H 04S 7/00 B

Ipc: 7H 04S 3/00 A

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1075166

Country of ref document: HK

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060419

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060419

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060419

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060419

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060419

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060419

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060419

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT;WARNING: LAPSES OF ITALIAN PATENTS WITH EFFECTIVE DATE BEFORE 2007 MAY HAVE OCCURRED AT ANY TIME BEFORE 2007. THE CORRECT EFFECTIVE DATE MAY BE DIFFERENT FROM THE ONE RECORDED.

Effective date: 20060419

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060511

REF Corresponds to:

Ref document number: 502004000439

Country of ref document: DE

Date of ref document: 20060524

Kind code of ref document: P

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060531

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060531

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20060525

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060719

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060719

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060730

DAX Request for extension of the european patent (deleted)
PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060919

ET Fr: translation filed
REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWAN

NLT2 Nl: modifications (of names), taken from the european patent patent bulletin

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR

Effective date: 20070117

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20070122

BERE Be: lapsed

Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWAN

Effective date: 20060531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060720

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060419

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060719

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061020

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060511

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060419

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060419

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080531

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20080531

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1075166

Country of ref document: HK

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20230519

Year of fee payment: 20

Ref country code: FR

Payment date: 20230517

Year of fee payment: 20

Ref country code: DE

Payment date: 20230519

Year of fee payment: 20

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230522

Year of fee payment: 20