WO2003043324A1 - Systeme audiovisuel modulaires pour met tre en presence une scene locale et une scene distante - Google Patents

Systeme audiovisuel modulaires pour met tre en presence une scene locale et une scene distante Download PDF

Info

Publication number
WO2003043324A1
WO2003043324A1 PCT/FR2002/003864 FR0203864W WO03043324A1 WO 2003043324 A1 WO2003043324 A1 WO 2003043324A1 FR 0203864 W FR0203864 W FR 0203864W WO 03043324 A1 WO03043324 A1 WO 03043324A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
control
scene
image
modules
Prior art date
Application number
PCT/FR2002/003864
Other languages
English (en)
Other versions
WO2003043324B1 (fr
Inventor
Georges Buchner
Marc Emerit
Jean-Philippe Thomas
Alain Leyreloup
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Priority to US10/495,292 priority Critical patent/US7391439B2/en
Priority to EP02803049A priority patent/EP1444827A1/fr
Priority to JP2003545025A priority patent/JP2005510142A/ja
Publication of WO2003043324A1 publication Critical patent/WO2003043324A1/fr
Publication of WO2003043324B1 publication Critical patent/WO2003043324B1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact

Definitions

  • the invention relates to an audiovisual system between a local scene and a distant scene, comprising several modules comprising a device for taking pictures and sound of the local scene and a device for reproducing the sound and the image of the distant scene at destination of the local scene.
  • the field of the invention is that of telepresence making it possible to bring together a local scene and a distant scene. Telepresence results from the audiovisual quality creating the feeling of mutual presence, of realism between groups of people in communication.
  • Telepresence is an extension of videoconferencing.
  • Telepresence like videoconferencing is obtained by the transmission of image, sound or even data representing text, graphics, slide show, etc.
  • the transmission of the image of a local room SL having a shooting device 1 towards a remote room SD having a rendering device follows a route schematically represented in FIG. 1 comprising a shooting device 1 such that a camera, possibly an analog digital converter CAN, a coding system C, a transmission network R, a decoding system D, possibly a digital analog converter DAC and a device for restoring the image 2 such as a projector P coupled to a screen E.
  • This screen can be a plasma screen, an LCD screen, a CRT screen, etc.
  • a chain of sound recording in the local room and sound reproduction in the remote room is planned. This chain then comprises microphones Mi and loudspeakers Hp as illustrated in FIG. 1.
  • the sound and image chains represented in FIG. 1 are reproduced in reverse order to ensure the shots and of sound in the remote room SD and the restitutions in the local room SL.
  • Each room is finally equipped with both a shooting and sound device and a view and sound playback device.
  • an audiovisual system will be used to bring together a local scene and a distant scene, a system located in a room or in a public place or outside and comprising at at least one module consisting of a shooting and sound device and an image and sound reproduction device, connected to a communication network (internal network of a company (local network) or public network).
  • a communication network internal network of a company (local network) or public network.
  • videoconferencing systems are known. These videoconferencing systems come in different forms: videoconferencing room, videophone, personal computer (PC) communicating multimedia, interactive terminal, etc.
  • PC personal computer
  • a person passing in front of a telepresence wall located for example in Paris can communicate separately or informally with a distant person passing in front of another telepresence wall located for example in LONDON and connected to that of Paris, as if they met in the street, in a corridor, etc. These distant people can for example walk "side by side”.
  • audio visual telepresence systems are made to be used at a certain distance from the scene, both in terms of shooting and restitution, depending on the size of the image and the service provided by it. is made.
  • near vision is a predominant factor to ensure participants in videoconferencing or teleconference, a comfort of observation and teleconviviality which ensures the effect of telepresence.
  • This near vision makes it possible in particular to increase the impression of proximity between the distant participants by promoting eye contact.
  • FIG. 2a represents schematically seen from above, a shooting device 1 located in a local room SL, filming a local scene, represented by local participants PL seated around a table situated for example approximately 1 m from the camera who has a large angle of view ⁇ . The direction of the gaze of these participants is indicated by the small line supposed to represent the nose of the participant.
  • On a screen E is formed the image of the remote participants PD, in particular the image of the remote participant d.
  • a local participant a who is not in the axis of the camera represented by the ray bl, addresses a remote participant, he looks at the image d_ of this remote participant on the screen E. Although viewed from the front according to the radius ad ', the camera receives the radius al, and finally films the participant a in profile.
  • the image plane is the plane in which the image of d_ is located. In this example, it is confused with the screen, but this is not always the case when the image is folded up using a mirror.
  • the ray ad ' is a ray from the local scene to be filmed located in a plane called the object plane and is perpendicular to the image plane.
  • the size of the participants or of the objects during the restitution varies according to the part of the field in which they are located and according to the angle of field ⁇ of the camera. If one wants to film several participants or objects, it is necessary to widen the field but the restored images are in a way curved insofar as the effects of perspective are distorted on the edges of the image; the restored images have a variable magnification effect illustrated by FIGS. 3a) and 3b) and well known to photographers using a wide angle as a lens.
  • FIGS. 3a) and 3b two local participants PL, a and b are represented, one set back with respect to the other, and filmed by a shooting device having in the case of FIG.
  • FIGS. 4a) and 4b there are several shooting devices 1 as shown in FIGS. 4a) and 4b).
  • these devices the optical axes of which are radial and in the same plane, are adjacent: several devices are "concatenated".
  • the shooting fields have common areas or ZR overlays and that the images restored on one or more adjacent rendering devices each corresponding to a shooting device, will present discontinuities coming from duplicated parts or overlaps.
  • the overlap of view is the multiple reproduction of certain parts of the same scene taken by different cameras whose fields overlap more or less partially.
  • This phenomenon of overlapping views increases when the angle of view of the cameras increases.
  • Image processing software is currently being developed to solve this problem, but it has not yet given satisfactory results.
  • the invention aims to allow the adaptation of such systems to any environment. It aims in particular to allow installation without having constraints related to the space available.
  • the invention proposes a modular system made up of independent modules. These modules can be assembled in a number defined by the space available to the installer. We will talk in the following about concatenation or concatenated module to indicate that these modules form a continuous chain both physically and functionally. These modules are according to the invention made functionally dependent without however appearing problems of lack of image and sound continuity for an observer of the distant scene, when the users pass in front of the various modules of the local scene.
  • the present invention therefore provides a modular interactive system therefore perfectly adaptable to the environment in which it will be installed and which, despite the modularity, does not have the drawbacks of the prior art.
  • the subject of the invention is therefore an audiovisual system for bringing together a local scene and a distant scene, mainly characterized in that it comprises:
  • each module comprising a shooting device and a device for taking sound from the local scene and, a device for reproducing the image and the sound of the distant scene in an image plane (I) , the modules being connected to a transmission network,
  • the modules include presence detectors of an adjacent module which are connected to the servo and control means.
  • the detection means of an adjacent module can be constituted by presence sensors.
  • the detection means of an adjacent module can be constituted by the sound reception means and the detection of a modification of this reception.
  • the servo-control and piloting means comprise means for servo-shooting devices receiving reference signals to slave the devices with respect to these reference signals.
  • the servo-control and piloting means comprise means for slaving the view-restoring devices receiving reference signals for slaving the devices relative to these reference signals.
  • the reference signals can be provided by an external device or by one of the modules.
  • the reference signals are provided for each module by the adjacent module (s).
  • this reference can be obtained by the sound pickup device.
  • the servo-control and piloting means comprise means for servo-control of the sound pick-up and sound reproduction devices receiving reference signals to control the devices with respect to these reference signals.
  • the control means are produced by processing units comprising a memory for program programmed for the implementation of the required control systems.
  • the servo-control means can control a transmission over the network on a separate data stream (IP or any other protocol) for each module.
  • the servo-control means can control a multiplexed transmission on the same network channel for all the modules.
  • FIGS. 4a) and 4b) show overlapping zones in the case of two and three shooting devices respectively
  • FIGS. 5a and 5b show the block diagrams of the invention according to a first and a second embodiment, only three concatenated modules having been represented, - Figure 6a shows in more detail the control diagram of the cameras of modules, FIG. 6b illustrates an example of servo-control to ensure continuity of view,
  • FIG. 7 shows in detail the servo-control diagram for the projectors of the modules
  • FIG. 8 illustrates the servo-control of the sound recording and reproduction devices
  • FIGS. 9a and 9b illustrate two exemplary embodiments of shooting devices relating to concatenated modules
  • FIG. 10 represents a detailed example of a device for shooting and rendering a module
  • FIG. 11 shows a view of an embodiment in polygonal kiosk of an interactive audiovisual system.
  • An audiovisual Ml module comprises a device for taking a picture and a device for taking sound from the local scene, it also includes a device for reproducing the image and a device for reproducing the sound of the distant scene in an image plane I .
  • the recording device comprises a camera C1 and the sound recording device comprises one or more microphones Mi.
  • the image reproduction device comprises an image projector Pi and a screen E say of a video projector but also of any other type of display device, for example a plasma system.
  • the sound reproduction device includes one or more Hp speakers.
  • the shooting device makes it possible to film the local scene, so that the latter is transmitted by the communication network to which the equipment is connected and that it is restored by a remote equipment in connection with the local equipment.
  • the image taken by the camera is a folded image.
  • This configuration will be chosen when trying to reduce the distance between the scene to be recorded and the shooting devices. Conveniently juxtaposed mirrors are placed in front of the cameras.
  • the present invention makes it possible in particular not to have an overlap of the images or a hole in the sound during the restitution.
  • the holes in the sound correspond, for example, to a variation in the timbre of the channel or to a variation in the sound level, or even to areas of no sound recording.
  • FIGs 5a and 5b The block diagrams are illustrated in Figures 5a and 5b.
  • Each module is represented by a block divided into two functional blocks, one corresponding to video 1 and the other corresponding to audio 2.
  • Presence detectors D of an adjacent module make it possible to return a presence signal to the servo and piloting device P.
  • the presence detectors D may be produced by any detector known to those skilled in the art, for example photoelectric cells, ultrasonic detectors, household presence detectors.
  • each module will emit a data stream separate from the others or else the n streams of the n modules will be multiplexed on the same channel, the control device will allow the modules to reserve this same channel (ADSL, VLAN IP, Virtual Channel ATM) .
  • the modules are of course connected to a transmission network which has not been shown here.
  • the data flow could for example be in accordance with the IP protocol or any other native ATM protocol, "streaming" standards of IT manufacturers.
  • the control servo block A can be implemented by a processing unit integrated into the master module or in an external pilot as shown in Figure 5a.
  • the reference of the servos is external to the system as shown in FIG. 5b.
  • each module becomes, for example, a reference in turn.
  • references could be provided by an external device in which would be programmed predetermined values for the different parameters to be controlled as a function of the number of concatenated modules.
  • Figure 6 illustrates the control of the shots.
  • the three cameras of the three modules are slaved in their positioning to avoid overlaps.
  • the two cameras are also controlled in their image analysis, more particularly on the colorimetric and luminance signals in order to standardize the levels of color and black and white.
  • a first control device therefore makes it possible to control the positioning of one of the cameras with respect to the positioning of the other, so as to eliminate any overlapping of the filmed areas.
  • the image to be filmed will be sent back to the cameras by a folding mirror as in the example given in the following description with reference to FIG. 10.
  • the servo device Ul receives a position signal Pi result of the framing obtained after the detection of the signals emitted by the diodes D.
  • the device Ul receives the signal emitted by the positioning command of the first camera C1 and delivers as output the positioning control signal PS2 and PS3 of the second C2 and third C3 cameras.
  • a servo device acts on the colorimetric and luminance signals of the second and third cameras so as to slave them to the signals of the first camera.
  • the parameters of the colorimetric signals are obtained by the signal Si and make it possible to generate control signals S2 and S3 from the two other cameras as can be seen in FIG. 6a.
  • FIG. 6b illustrates an example of servo-control to ensure continuity of view by an automatic calibration of the field of cameras.
  • the automation can be done by manual or automatic calibration.
  • a paper test pattern which can be a pattern in the decor or a light spot.
  • We then control the direction of the axis optics of the adjacent cameras so that there is continuity of views either one acts on the remote-controlled zoom or else one acts on the position in x, y, z of the cameras.
  • the three light diodes D1-D3 placed in the decor are used as a reference for the cameras.
  • the servo program loaded in the microcomputer analyzes the two images received and identifies the position of the diodes on these two images.
  • the program is designed to act accordingly on the control parameters of the cameras or beam fallback mirrors so that they are confused.
  • a CC control camera represented on this diagram can be used for the analysis of the restored images.
  • This camera will for example be used to calibrate the video projectors by analyzing the images which are juxtaposed. It can also be used to check if the adjacent images have the same colorimetry.
  • the processing unit is carried out by a microcomputer as illustrated in the figure.
  • the capture of the images, the processing and the restitution are controlled by this microcomputer programmed for this purpose and with all the desired controls.
  • the treatment can be easily done by a person skilled in the art by means of a electronic unit for example by programming a graphics card from a PC with the APIs (interface program) made available by the manufacturer.
  • the three projectors Pi, P2, P3 will also be slaved to each other or to an external reference.
  • one of the three projectors will supply the reference video signals VI, namely colorimetry and luminance signals, to the servo device U2 so that this device adjusts the video signals V2, V3 from other projectors, at the given reference values.
  • a control camera can be used to verify that the adjacent images have the same colorimetry.
  • the servo device U2 comprises a servo control of the focal length F2, F3 of the video projectors from the control signal F1 received from the reference video projector. It could also be any other magnitude or parameter than the focal length for example, the trapezoid deformation or the luminance, the colorimetry or the gamma signal.
  • the reference video projector automatically adjusts its focal length from the capture of the signal SCp emitted by light sensors Cp distributed around the screen E.
  • the lighting R of each module is controlled by slaving so as to ensure homogeneity of said lighting over the entire image wall.
  • the lighting device L1 of one of the modules can also be used to provide a reference to a servo system so that this system controls the other lighting devices L2, L3 in accordance with the reference formed by devices which measure for example the illuminance (measured in lux, that is to say in candela per square meter), of color temperature (colorimeter) or any other “psycho visual” measure of magnitude.
  • the sound pick-up and sound reproduction devices AU1, AU2, AU3 of each module are slaved with respect to reference signals which are supplied according to the example given by the sound pick-up and playback devices of a module.
  • the sound parameters can be modified when the image is modified, an image being modified by the arrival of a person for example.
  • the servos can act for example on the control of the echo, the management of the network for the sound, the control of the sound pickup system, the sound reproduction control system or any other body necessary to have a sound communication between the two rooms.
  • a module may include several sound pickup devices and a corresponding number of sound reproduction devices in order to have, for example, a spatialization of the sound in correspondence with the image.
  • the signals acquired by all of the Mi microphones of each module are processed by means of a processing, respectively U3, U4, U5 for each of the modules, programmed in order to ensure, for example, echo cancellation to increase the stability of the microphone-speaker loop in bilateral connection and decrease the hooking rate (effect Feedback or echo).
  • a treatment is therefore provided for each module avoiding the Larsen effects and a slaving of the modules by means of the same processing units U3, U4, U5 with respect to a reference, this reference being able to be provided by one of the modules so as to what the complete system forms a “global” or complete sound recording of the area to be covered.
  • the servo devices will preferably be produced by processing units such as microprocessors or microcontroller or automaton or central computer unit. These processing units will include for this purpose a program memory programmed for the implementation of the required controls. These devices can be integrated into the master or external module as shown in Figures 5a and 5b.
  • One module can enslave the others by receiving the concatenation information, whether these are sound or image pickup elements.
  • CT contactors can be provided on each module which detect that one or two modules are attached to it, the detection signal being sent back to the master module which coordinates and sends orders to the different modules.
  • it can be provided that it is the external reference device which ensures the coordination and the sending of orders to the various modules upon receipt of the signals from the contactors.
  • the presence of an adjacent module is detected and communicated to the control device P which will allow the control of the different modules by modifying the audiovisual characteristics of each.
  • the concatenation can be done by mechanical or electronic clipping.
  • the sound recording devices can allow the detection of the concatenation of several modules. Indeed if for example the reception of the sound presents a modification which is not due only to the passage of a person in front of the devices but detected by the response of the filters in the chain of sound recording, a concatenation is detected the enslavement of the different modules are implemented.
  • Figures 9a and 9b illustrate two exemplary embodiments of shooting devices, concatenated.
  • Adjacent mirrors 10a, 10b and 10c are respectively placed on the path of the beams Fa, Fb and Fc.
  • the field angles ⁇ a, ⁇ b and ⁇ c are preferably equal.
  • the mirrors are arranged in a kiosk, that is to say according to a portion of polygon or curved.
  • the wider the angle of view the longer the sides of the polygon and the more distant the cameras 1a, 1b and are from each other. In such a configuration everything happens as if the cameras la, 1b and were superimposed on location 100.
  • the mirrors can be flat.
  • the shooting system is telecentric: the mirrors 10a, 10b and 10c are concave and each have a focus, so as to return to the devices la, lb and the respectively located at the focus of the mirrors, the beams Fa, Fb and Fc made up of rays which are parallel to each other, the beams then being cylindrical.
  • the shooting is then no longer conical but cylindrical for a single shooting device.
  • Such a telecentric system thus has the advantage of reducing the elimination of the effect of “non-contact of looks” and the overlapping of sight.
  • the rendering device comprises a video projector Pi projecting on a screen E, facing the local participant PL, the image of the distant scene.
  • the screen E can be a plasma, LCD, CRT screen, etc.
  • the image can be in any format (16/9, 4/3, 3/4), cinema, photo standard, etc.
  • the local participant PL observes the image of the distant scene formed on the screen E, through a semi-reflecting plate 21 used in this case for its transmission capacity.
  • a semi-reflecting sheet also called semi-transparent is characterized by reflection and transmission coefficients of 30% and 70% respectively for example.
  • the image-taking device for example a camera C1
  • a camera C1 is associated with two mirrors which fold the beam for example two mirrors 11 and 12 planes and the semi-reflecting plate 21 for folding the beam F. It can also include a lens 0 by example a Fresnel lens to reduce the optical path of the camera beam.
  • the semi-reflecting plate is used in this case for its reflection capacity and thus possibly ensures the function of the mirror 10.
  • the reference 100 corresponds to a virtual camera in this case but which corresponds to the case where the beam is not folded.
  • FIG. 11 schematically represents in perspective an interactive audiovisual system according to the invention comprising several modules similar to that of FIG. 10 and arranged in a polygonal kiosk. It could be in an arc if the screens were curved.
  • This system comprises several semi-reflecting plates 21a, 21b (hidden), 21c (hidden) and several mirrors 11a (hidden), 11b, lie.
  • an exemplary embodiment is to place one or more microphones above or below the semi-reflecting plate 21 in order to pick up the sound of a person placed in front of the module, to place one or more speakers above or below the reflective strip 21 in order to reproduce the sound.

Abstract

L'invention concerne un système audiovisuel pour mettre en présence une scène locale et une scène distante. Selon l'invention, le système comprend : plusieurs modules audiovisuels concaténés (M1, M2, M3), chaque module comprenant un dispositif de prise de vue et un dispositif de prise de son de la scène locale et, un dispositif de restitution de l'image et du son de la scène distante dans un plan image (I), les modules étant reliés à un réseau de transmission; des moyens d'asservissement et de pilotage (P) entre les différents modules pour assurer une continuité de la qualité l'image et du son sur le plan image, lorsque des personnes filmées et enregistrées passent devant les différents dispositifs de prise de vue et de son de la scène concernée.

Description

SYSTEME AUDIOVISUEL MODULAIRES POUR METTRE EN PRESENCE UNE SCENE LOCALE ET UNE SCENE DISTANTE
L'invention concerne un système audiovisuel entre une scène locale et une scène distante, comprenant plusieurs modules comportant un dispositif de prise de vues et de son de la scène locale et un dispositif de restitution du son et de 1 ' image de la scène distante à destination de la scène locale.
Le domaine de 1 ' invention est celui de la téléprésence permettant de mettre en présence une scène locale et une scène distante. La téléprésence résulte de la qualité audiovisuelle créant le sentiment de présence réciproque, de réalisme entre groupes de personnes en communication.
Lorsqu'une ou plusieurs personnes font partie des scènes locale et distante, on parle alors de visioconférence permettant à ces personnes de se réunir à distance.
La téléprésence est une extension de la visioconférence .
La téléprésence comme la visioconférence est obtenue par 1 ' intermédiaire de la transmission de l'image, du son voire aussi de données représentant textes, graphiques, diaporama, ....
Bien qu'une scène puisse se dérouler à l'extérieur, elle se déroule généralement dans un bâtiment . C ' est pourquoi, on désignera par salle locale le lieu où se déroule la scène locale et par salle distante, le lieu où se déroule la scène distante.
La transmission de l'image d'une salle locale SL disposant d'un dispositif de prise de vue 1 vers une salle distante SD disposant d'un dispositif de restitution suit un parcours schématiquement représenté figure 1 comprenant un dispositif de prise de vue 1 tel qu'une caméra, éventuellement un convertisseur analogique numérique CAN, un système de codage C, un réseau de transmission R, un système de décodage D, éventuellement un convertisseur numérique analogique CNA et un dispositif de restitution de l'image 2 tel qu'un projecteur P couplé à un écran E. Cet écran peut être un écran à plasma, à LCD, à CRT, .... De la même façon une chaîne de prise de son de la salle locale et de restitution du son dans la salle distante est prévue. Cette chaîne comporte alors des microphones Mi et des haut-parleurs Hp comme l'illustre la figure 1. Pour que la communication soit réciproque, les chaînes son et image représentées figure 1 sont reproduites en sens inverse afin d'assurer les prises de vue et de son dans la salle distante SD et les restitutions dans la salle locale SL. Chaque salle est finalement équipée à la fois d'un dispositif de prise de vue et de son et d'un dispositif de restitution de vue et de son.
On désignera dans la suite par système audiovisuel permettant de mettre en présence une scène locale et une scène distante, un système situé dans une salle ou sur un lieu public ou à l'extérieur et comprenant au moins un module constitué d'un dispositif de prise de vue et de son et d'un dispositif de restitution d'image et du son, reliés à un réseau de communication (réseau interne à une entreprise (réseau local) ou réseau public) . On parle également de système audiovisuel interactif.
Parmi les systèmes interactifs audiovisuels, on connaît les systèmes de visioconférence. Ces systèmes de visioconférence se présentent sous différentes formes : salle de visioconférence, visiophone, ordinateur personnel (PC) communiquant multimédia, borne interactive, etc.
Cependant on s'intéresse ici également à d'autres configurations par exemple à des kiosques ou à des murs de téléprésence dans un hall, dans la rue ; reliés de façon quasi permanente à un autre kiosque ou mur de téléprésence distant. Il n'est plus nécessaire dans ce cas de réserver le service comme c ' est souvent le cas actuellement pour les systèmes de visioconférence. Une personne passant devant un mur de téléprésence situé par exemple à Paris peut communiquer en aparté ou de façon informelle avec une personne distante passant devant un autre mur de téléprésence situé par exemple à LONDRES et connecté à celui de Paris, comme si elles se rencontraient dans la rue, dans un couloir, etc. Ces personnes distantes peuvent par exemple marcher "côte à côte" .
Pour assurer la coprésence il est nécessaire de maîtriser : Les regards,
La taille des personnages (échelle 1) , La qualité audio et vidéo, La distance à l'écran,
La modularité pour avoir un mur d'image et de son paramétrable . Avant de présenter l'invention, on va rappeler ci dessous les contraintes d'utilisation des systèmes audiovisuels et notamment tous les phénomènes liés aux contraintes d'environnement, à l'effet d'absence de contact des regards, à la concaténation de plusieurs dispositifs.
De manière générale, les systèmes audio visuels de téléprésence sont faits pour être utilisés à une certaine distance de la scène, tant en ce qui concerne la prise de vue que la restitution, en fonction de la taille de l'image et du service qui en est fait.
Or la vision de près est un facteur prédominant pour assurer aux participants à la visioconférence ou téléréunion, un confort d'observation et de téléconvivialité qui assure l'effet de téléprésence. Cette vision de près permet notamment d'accroître 1 ' impression de proximité entre les participants distants en favorisant le contact des regards .
Mais plus la scène à filmer est proche de la caméra, plus l'angle de champ de la caméra doit s'élargir. Cet élargissement de l'angle en prise de vue de près pose un problème illustré figures 2a) et 2b) .
La figure 2a) représente schématiquement vu de dessus, un dispositif de prise de vue 1 situé dans une salle locale SL, filmant une scène locale, représentée par des participants locaux PL assis autour d'une table située par exemple à environ lm de la caméra qui dispose d'un angle de champ α important. La direction du regard de ces participants est indiquée par le petit trait censé représenter le nez du participant . Sur un écran E est formée 1 ' image des participants distants PD, notamment l'image du participant distant d.
Lorsque dans la salle locale SL, un participant local a qui n'est pas dans l'axe de la caméra représenté pas le rayon bl, s'adresse à un participant distant, il regarde l'image d_ de ce participant distant sur l'écran E. Bien que a regarde d_ de face selon le rayon ad', la caméra reçoit le rayon al, et finalement filme le participant a de profil.
C'est cette image de profil qui est transmise au dispositif de restitution situé dans la salle distante SD, qui restitue à d, comme illustré figure 2b) , l'image a' de a comme si a ne regardait pas d. Le contact des regards n'est pas restitué. On appelle cet effet, effet de parallaxe ("eye contact", "parallax effect" ou "eye gaze" en anglais) parfois dénommé "effet d'absence de contact des regards".
On rappelle que le plan image est le plan dans lequel se situe l'image de d_. Dans cet exemple, il est confondu avec l'écran mais ce n'est pas toujours le cas lorsque l'on effectue un repliement de l'image grâce à un miroir.
Le rayon ad' est un rayon issu de la scène locale à filmer située dans un plan appelé plan objet et est perpendiculaire au plan image.
Si comme représenté figure 2c) , la prise de vue était réalisée en mode projection cylindrique retenue en géométrie descriptive dite aussi géométrie de Monge ou encore en dessin industriel, permettant à la caméra de capter l'ensemble des rayons parallèles à ad' , et non en mode projection conique selon un angle α comme représenté sur la figure 2a), alors l'effet d'absence de contact des regards serait éliminé.
L'effet de parallaxe visuel ou d'absence de contact des regards appelé plus prosaïquement effet « faux jeton » a été présenté dans le cadre de la visioconférence mais on peut généraliser en considérant comme scène locale des personnes debout ou en ne considérant plus une personne a mais un objet, par exemple un cube dont les faces sont bleues ou rouges et qui est posé de biais : il présente à une face rouge et une face bleue. Mais le rayon al ne provient que d'une face bleue. L'image a' du cube ne présentera que la face bleue au lieu de présenter les faces rouge et bleue du cube posé en biais.
De plus, la taille des participants ou des objets lors de la restitution varie en fonction de la partie du champ dans laquelle ils se trouvent et en fonction de l'angle de champ α de la caméra. Si l'on veut filmer plusieurs participants ou objets, il faut élargir le champ mais les images restituées sont en quelque sorte courbées dans la mesure où les effets de perspective sont faussés sur les bords de 1 ' image ; les images restituées présentent un effet de grandissement variable illustré par les figures 3a) et 3b) et bien connu des photographes utilisant un grand angle comme objectif. Sur chacune de ces figures, sont représentés deux participants locaux PL, a et b, l'un en retrait par rapport à l'autre, et filmés par un dispositif de prise de vue présentant dans le cas de la figure 3a) un angle de champ l moins large que dans le cas α2 de la figure 3b) . Les images restituées a'1 et a' 2 de a sont quasiment semblables dans les deux cas, mais le grandissement de b'1 par rapport à b (figure 3a) est supérieur à celui de b'2 par rapport à b (figure 3b) . Une solution permettant de diminuer 1 ' effet de gène provoqué par une prise de vue avec un grand angle
(effet d'absence de contact des regards et perspective faussée), consiste à limiter l'angle β formé en un point a de la scène par les rayons ad' et al, représenté figure 2a). Une spécification de l'ETSI, Institut Européen des Normes de Télécommunications, préconise que cet angle β n'excède pas 5°. Cet angle est obtenu en limitant la scène filmée voire en la tronquant ou en plaçant la caméra au voisinage de l'axe de visualisation, ce qui gène la visualisation.
Pour compenser cet inconvénient, on dispose plusieurs dispositifs 1 de prise de vue comme représenté figures 4a) et 4b) . Afin d'assurer la continuité de prise de vue, ces dispositifs dont les axes optiques sont radiaux et dans un même plan, sont adjacents : on "concatène" plusieurs dispositifs 1. Mais il s'ensuit que les champs de prise de vue ont des zones communes ou de recouvrements ZR et que les images restituées sur un ou plusieurs dispositifs de restitution adjacents correspondant chacun à un dispositif de prise de vue, présenteront des discontinuités provenant des parties dupliquées ou recouvrements . On rappelle que le recouvrement de vue est la reproduction multiple de certaines parties de la même scène prise par des caméras différentes dont les champs se recouvrent plus ou moins partiellement.
Dans le cas de deux dispositifs 1 de prise de vue comme représenté figure 4a) , il y aura une zone à deux recouvrements ZR ; dans le cas de trois dispositifs 1 de prise de vue représentés figure 4b) , il y aura des zones à deux recouvrements lorsqu ' on est proche des dispositifs de prise de vue, à trois recouvrements lorsqu'on s'en éloigne, etc.
Ce phénomène de recouvrement des vues augmente lorsque l'angle de champ des dispositifs de prise de vue augmente.
Des logiciels de traitement d'image sont actuellement développés pour résoudre ce problème mais ils ne donnent pas encore de résultats satisfaisants.
L'invention vise à permettre l'adaptation de tels systèmes à tout environnement. Elle vise en particulier à permettre une installation sans avoir de contraintes liées à l'espace dont on dispose. Pour ce faire l'invention propose un système modulaire constitué de modules indépendants. Ces modules pourront être assemblés en un nombre défini par l'espace dont disposera l'installateur. On parlera dans la suite de concaténation ou de module concaténés pour indiquer que ces modules forment une chaîne continue à la fois physiquement et fonctionnelle ent . Ces modules sont selon l'invention rendus fonctionnellement dépendants sans pour autant qu'apparaissent des problèmes de manque de continuité d'image et du son pour un observateur de la scène distant, lorsque les utilisateurs passent devant les différents modules de la scène locale.
La présente invention propose donc un système interactif modulaire donc parfaitement adaptable à l'environnement dans lequel il va être installé et qui en dépit de la modularité ne présente pas les inconvénients de l'art antérieur.
L'invention a donc pour objet un système audiovisuel pour mettre en présence une scène locale et une scène distante, principalement caractérisé en ce qu'il comprend :
- plusieurs modules audiovisuels concaténés, chaque module comprenant un dispositif de prise de vue et un dispositif de prise de son de la scène locale et, un dispositif de restitution de l'image et du son de la scène distante dans un plan image (I) , les modules étant reliés à un réseau de transmission,
- des moyens d'asservissement et de pilotage entre les différents modules pour assurer une continuité de la qualité de l'image et du son sur le plan image, lorsque des personnes filmées et enregistrées passent devant les différents dispositifs de prise de vue et de son de la scène concernée.
Les modules comprennent des détecteurs de présence d'un module adjacent qui sont reliés aux moyens d'asservissement et de pilotage. Les moyens de détection d'un module adjacent peuvent être constitués par des capteurs de présence.
Les moyens de détection d'un module adjacent peuvent être constitués par les moyens de réception du son et la détection d'une modification de cette réception.
Les moyens d'asservissement et de pilotage comprennent des moyens d'asservissement des dispositifs de prise de vue recevant des signaux de référence pour asservir les dispositifs par rapport à ces signaux de référence.
Les moyens d'asservissement et de pilotage comprennent des moyens d'asservissement des dispositifs de restitution de vue recevant des signaux de référence pour asservir les dispositifs par rapport à ces signaux de référence.
Les signaux de référence peuvent être fournis par un dispositif extérieur ou par l'un des modules.
Les signaux de référence sont fournis pour chaque module par le ou les modules adjacent (s) .
Dans le cas où la référence est externe, cette référence peut être obtenue par le dispositif de prise de son.
Les moyens d'asservissement et de pilotage comprennent des moyens d'asservissement des dispositifs de prise de son et de restitution du son recevant des signaux de référence pour asservir les dispositifs par rapport à ces signaux de référence.
Les moyens d'asservissement sont réalisés par des unités de traitement comportant une mémoire de programme programmée pour la mise en œuvre des asservissements requis . les moyens d'asservissement et de pilotage peuvent commander une émission sur le réseau sur un flux de données (IP ou tout autre protocole) séparé pour chaque module.
Les moyens d'asservissement et de pilotage peuvent commander une émission multiplexée sur un même canal du réseau pour tous les modules .
D'autres particularités et avantages de l'invention apparaîtront clairement à la lecture de la description faite à titre d'exemple non limitatif et en regard des dessins annexés sur lesquels : - la figure 1, représente schématiquement la chaîne des éléments situés le long du parcours d'une image et du son entre une salle locale et une salle distante,
- les figures 2a) , 2b) et 2c) déjà illustrent l'effet d'absence de contact des regards, - les figures 3a) et 3b), illustrent l'effet de grandissement de 1 ' image restituée en fonction de l'angle de champ du dispositif de prise de vue,
- les figures 4a) et 4b) , mettent en évidence des zones de recouvrement dans le cas respectivement de deux et de trois dispositifs de prise de vue,
- les figures 5a et 5b représentent les schémas de principe de l'invention selon un premier et un deuxième modes de réalisation, seuls trois modules concaténés ayant été représentés, - la figure 6a représente de façon plus détaillée le schéma d'asservissement des caméras des modules, la figure 6b, illustre un exemple d'asservissement pour assurer la continuité de vue,
- la figure 7 représente de façon détaillée le schéma d'asservissement des projecteurs des modules, - la figure 8 illustre l'asservissement des dispositifs de prise de son et de restitution,
- Les figures 9a et 9b illustrent deux exemples de réalisation de dispositifs de prises de vues relatifs à des modules concaténés, - La figure 10 représente un exemple détaillé d'un dispositif de prise de vue et de restitution d'un module,
- La figure 11 représente une vue d'un mode de réalisation en kiosque polygonale d'un système audiovisuel interactif.
Un module Ml audiovisuel comprend un dispositif de prise de vue et un dispositif de prise de son de la scène locale, il comporte également un dispositif de restitution de l'image et un dispositif de restitution du son de la scène distante dans un plan image I.
De façon pratique, le dispositif de prise de vues comprend une caméra Cl et le dispositif de prise de son comprend un ou plusieurs microphones Mi. Le dispositif de restitution d'images comprend un projecteur d'image Pi et un écran E c'est à dire d'un vidéo projecteur mais aussi de tout autre type de dispositif de visualisation par exemple un système à plasma. Le dispositif de restitution du son comprend un ou plusieurs haut-parleurs Hp. Le dispositif de prise de vue permet de filmer la scène locale, afin que cette dernière soit transmise par le réseau de communication auquel l'équipement est relié et qu'elle soit restituée par un équipement distant en liaison avec l'équipement local.
Selon un autre mode de réalisation il peut être prévu que 1 ' image prise par la caméra soit une image repliée. Cette configuration sera choisie lorsque l'on cherchera à réduire la distance entre la scène à enregistrer et les dispositifs de prise de vue. De façon pratique des miroirs juxtaposés sont placés devant les caméras .
Dans le cas où le local le permet et quel que soit le mode de réalisation particulier des modules, il est possible d'associer plusieurs modules indépendants, et de les rendre dépendants fonctionnellement tout en assurant une continuité de l'image et du son.
La présente invention permet en particulier de ne pas avoir de recouvrement des images ni de trou dans le son lors de la restitution. On rappelle que les trous dans le son correspondent par exemple à une variation du timbre de la voie ou à une variation du niveau sonore ou bien encore à des zones de non prise de son.
Elle permet en outre d'assurer une continuité de la qualité de l'image et du son lorsqu'une personne se déplace devant le kiosque ou l'écran ou le mur d'image.
A cette fin conformément à l'invention, on prévoit des dispositifs d'asservissement et de pilotage des différents équipements du système. Les schémas de principe sont illustrés sur les figures 5a et 5b. On a concaténé trois modules à titre d'exemple. Chaque module est représenté par un bloc divisé en deux blocs fonctionnels, l'un correspondant à la vidéo 1 et 1 ' autre correspondant à 1 ' audio 2. Des détecteurs de présence D d'un module adjacent permettent de renvoyer un signal de présence vers le dispositif d'asservissement et de pilotage P. Les détecteurs de présence D pourront être réalisé par tout détecteur connu de l'homme de métier par exemple des cellules photoélectriques, des , détecteurs à ultrason, des détecteurs de présence domestique.
Tout se passe comme si chaque module interagissait avec ses voisins et en modifie ses caractéristiques audio visuelles (ainsi que les équipements de transmission et le multiplexage réseau) . Par exemple chaque module émettra un flux de données séparé des autres ou bien les n flux des n modules seront multiplexes sur un même canal, le dispositif de pilotage permettra aux modules de se réserver ce même canal (ADSL, VLAN IP, Virtual Channel ATM) . Les modules sont bien sûr reliés à un réseau de transmission qui n'a pas été représenté ici. Le flux de données pourra être par exemple conforme au protocole IP ou à tout autre protocole ATM natif, normes de « streaming » des constructeurs informatiques .
Un des modules, le module maître peut être utilisé en tant que référence pour l'asservissement des autres modules comme représenté sur la figure 5a. Le bloc fonctionnel d'asservissement A peut être réalisé par une unité de traitement intégrée au module maître ou dans un pilote externe comme représenté sur la figure 5a.
On peut également prévoir que la référence des asservissements est externe au système comme représenté sur la figure 5b.
On peut prévoir aussi que chaque module devient par exemple référence à tour de rôle.
On va décrire dans la suite pour simplifier l'exposé, un système ne comprenant que trois modules sur chaque site et des asservissements prenant comme référence l'un des modules. Comme cela a été dit les références pourraient être fournies par un dispositif externe dans lequel seraient programmées des valeurs prédéterminées pour les différents paramètres à asservir en fonction du nombre de modules concaténés .
La figure 6 illustre l'asservissement des prises de vues. Les trois caméras des trois modules sont asservies dans leur positionnement pour éviter les recouvrements . Les deux caméras sont également asservies dans leur analyse d'image, plus particulièrement sur les signaux de colorimétrie et de luminance afin d'uniformiser les niveaux de couleur et de noir et blanc.
Un premier dispositif d'asservissement permet donc d'asservir le positionnement de l'une des caméras par rapport au positionnement d'autre, de manière à supprimer tout recouvrement des zones filmées. On pourra par exemple utiliser des diodes emissives D ou des mires disposées sur le mur d'image I pour fournir des références pour le cadrage individuel des caméras puis corriger le cadrage des caméras C2 et C3 en fonction du cadrage de Cl .
Dans cet exemple de réalisation, l'image à filmer sera renvoyée aux caméras par un miroir de repli comme l'exemple donné dans la suite de la description à propos de la figure 10.
Le dispositif d'asservissement Ul reçoit un signal de position Pi résultat du cadrage obtenu à l'issue de la détection des signaux émis par les diodes D. Le dispositif Ul reçoit le signal émis par la commande de positionnement de la première caméra Cl et délivre en sortie le signal de commande de positionnement PS2 et PS3 des deuxième C2 et troisième C3 caméras.
En outre un dispositif d'asservissement agit sur les signaux de colorimétrie et de luminance des deuxièmes et troisièmes caméras de manière à les asservir aux signaux de la première caméra. Les paramètres des signaux de colorimétrie sont obtenus par le signal Si et permettent de générer des signaux de commande S2 et S3 des deux autres caméras comme on peut le voir sur la figure 6a.
La figure 6b illustre un exemple d'asservissement pour assurer la continuité de vue par un calibrage automatique du champ des caméras Lorsqu'on enclipse un module sur un autre il est nécessaire que le mur d'image soit uniforme c'est à dire une continuité de vues. L'automatisme peut se faire par calibrage manuel ou automatique. Pour cela on dispose de repères par exemple d'une mire papier (qui peut être un motif dans le décor ou bien un spot lumineux) . On asservit alors la direction de l'axe optique des caméras adjacentes (ici seulement deux sont représentées) pour qu'il y ait continuité de vues ou bien on agit sur le zoom télécommandable ou bien encore on agit sur la position en x, y, z des caméras. Dans l'exemple les trois diodes lumineuses D1-D3 placées dans le décor sont utilisées comme repère pour les caméras. Le programme d'asservissement chargé dans le micro ordinateur analyse les deux images reçues et repère la position des diodes sur ces deux images. Le programme est conçu pour agir en conséquence sur les paramètres de commande des caméras ou des miroirs de repli du faisceau pour qu'elles soient confondues.
Une caméra de contrôle CC représentée sur ce schéma pourra être utilisée pour l'analyse des images restituées. Cette caméra va par exemple servir à caler les vidéopro ecteurs en analysant les images qui sont juxtaposées. Elle peut aussi servir à vérifier si les images adjacentes ont la même colorimétrie.
Pour assurer la qualité vidéo on peut par exemple disposer d'un même motif (repère de teintes de gris linéaire ou logarithmiques ) devant chaque caméra et on agit sur les interfaces de la carte graphique qui pilote les vidéo projecteurs pour égaliser contraste, signal gamma, brillance... de la même façon que pour la colorimétrie.
L'unité de traitement est réalisée par un micro ordinateur comme l'illustre la figure. La capture des images, le traitement et la restitution sont pilotés par ce micro ordinateur programmé à cet effet et avec tous les asservissements désirés . Le traitement peut être aisément fait par l'homme de métier au moyen d'une unité électronique par exemple par la programmation d'une carte graphique d'un PC avec les API (programme interface) mis à sa disposition par le constructeur.
Les trois projecteurs Pi, P2, P3 seront également asservis l'un à l'autre ou par rapport à une référence externe .
Dans l'exemple décrit et illustré par la figure 7, un des trois projecteurs va fournir les signaux vidéo de référence VI à savoir signaux de colorimétrie et de luminance, au dispositif d'asservissement U2 pour que ce dispositif règle les signaux vidéo V2 , V3 des autres projecteurs, aux valeurs de référence données. Une caméra de contrôle peut être utilisée pour vérifier que les images adjacentes ont la même colorimétrie. En outre le dispositif d'asservissement U2 comprend un asservissement de la commande de la focale F2, F3 des vidéo projecteurs à partir du signal de commande Fl reçu du vidéo projecteur de référence. Il pourrait également s'agir de toute autre grandeur ou paramètre que la focale par exemple, la déformation de trapèze ou la luminance, la colorimétrie ou le signal gamma. Le vidéo projecteur de référence règle automatiquement sa focale à partir de la capture du signal SCp émis par des capteurs Cp de lumière répartis autour de l'écran E.
Il est prévu également que l'éclairage R de chaque module soit commandé par asservissement de manière à assurer une homogénéité dudit éclairage sur tout le mur d'image. Pour cela le dispositif d'éclairage Ll de l'un des modules peut également être utilisé pour fournir une référence à un système d'asservissement de manière que ce système pilote les autres dispositifs d'éclairage L2, L3 conformément à la référence formée de dispositifs qui mesurent par exemple l' illuminance (mesurée en lux c'est à dire en candela par mètre carré) , de température de couleur (colorimètre) ou tout autre mesure de grandeur « psycho visuelle ».
On peut se reporter pour la suite au schéma de la figure 8.
De la même façon les dispositifs de prise de son et de restitution du son AUl, AU2 , AU3 de chaque module sont asservis par rapport à des signaux de référence qui sont fournis selon l'exemple donné par les dispositifs de prise de son et de restitution d'un module . On peut aussi utiliser les informations vidéo pour piloter et asservir le son. En effet on peut modifier les paramètres du son lorsque l'image est modifiée, une image étant modifiée par l'arrivée d'une personne par exemple . Les asservissements peuvent agir par exemple sur le contrôle de l'écho, la gestion du réseau pour le son, le contrôle du système de prise de son, le système de contrôle de restitution du son ou tout autre organe nécessaire pour avoir une communication sonore entre les deux salles.
Un module peut comprendre plusieurs dispositifs de prise de son et un nombre correspondant de dispositifs de restitution du son afin d'avoir par exemple une spatialisation du son en correspondance avec l'image. Les signaux acquis par l'ensemble des microphones Mi de chaque module sont traités au moyen d'une unité de traitement, respectivement U3 , U4, U5 pour chacun des modules, programmée afin d'assurer par exemple l'annulation d'écho pour augmenter la stabilité de la boucle microphone - haut-parleur en liaison bilatérale et diminuer le taux d'accrochage (effet Larsen ou écho) . On prévoit par conséquent un traitement pour chaque module évitant les effets Larsen et un asservissement des modules au moyen des mêmes unités de traitement U3 , U4, U5 par rapport à une référence, cette référence pouvant être fournie par l'un des modules de manière à ce que le système complet forme une prise de son « globale » ou complète de la zone à couvrir.
On prévoit bien entendu une -p-ris-e—de—son—as-surant— la couverture de la zone de prise de vue et qui peut aller au-delà pour les modules des extrémités de la scène.
Les dispositifs d'asservissement seront de préférence réalisés par des unités de traitement telles que microprocesseurs ou microcontrôleur ou automate ou unité centrale d'ordinateur. Ces unités de traitement comporteront à cet effet une mémoire de programme programmée pour la mise en œuvre des asservissements requis. Ces dispositifs peuvent être intégrés au module maître ou externes comme représentés sur les figures 5a et 5b.
Un module peut asservir les autres en recevant les informations de mise en concaténation qu'il s'agisse des éléments de prise de son ou d'image. On peut prévoir par exemple des contacteurs CT sur chaque module qui détectent qu'un ou deux modules sont accrochés à lui, le signal de détection étant renvoyé au module maître qui assure la coordination et l'envoi des ordres aux différents modules. Ou bien on peut prévoir que ce soit le dispositif de référence externe qui assure la coordination et l'envoi des ordres aux différents modules à la réception des signaux des contacteurs . Ces deux exemples sont schématisés sur les figures 5c et 5d.
La présence d'un module adjacent est détectée et communiquée au dispositif de pilotage P qui va permettre le pilotage des différents modules en modifiant les caractéristiques audiovisuelles de chacun.
La concaténation peut se faire par enclipsage mécanique ou électronique .
Il peut être prévu également d'asservir le son à la vidéo. On pourra par exemple piloter le champ de vision d'une caméra d'un module en fonction du lobe de prise de son des dispositifs de ce module et inversement. Les dispositifs de prise de son peuvent permettre la détection de la concaténation de plusieurs modules. En effet si par exemple la réception du son présente une modification qui n'est pas due seulement au passage d'une personne devant les dispositifs mais détecté par la réponse des filtres dans la chaîne de prise de son , une concaténation est détectée les asservissement des différents module sont mis en œuvre.
On va donner maintenant des exemples de réalisation pratiques de dispositifs entrant dans la composition de d'un module. Les figures 9a et 9b illustrent deux exemples de réalisation de dispositifs de prise de vue, concaténés. Des miroirs adjacents 10a, 10b et 10c sont respectivement placés sur le trajet des faisceaux Fa, Fb et Fc. Les angles de champ αa, αb et αc sont de préférence égaux.
Dans le cas de la figure 9a) , les miroirs sont disposés en kiosque, c'est-à-dire selon une portion de polygone ou incurvée. Plus l'angle de champ est ouvert, plus les côtés du polygone sont longs et plus les dispositifs de prise de vue la, lb et le sont alors éloignés les uns des autres. Dans une telle configuration tout se passe comme si les dispositifs de prise de vue la, lb et le étaient superposés à l'emplacement 100.
Les miroirs peuvent être plans .
Dans le cas de la figure 9b) , le système de prise de vue est télécentrique : les miroirs 10a, 10b et 10c sont concaves et présentent chacun un foyer, de façon à renvoyer sur les dispositifs la, lb et le respectivement situés au foyer des miroirs, les faisceaux Fa, Fb et Fc constitués de rayons parallèles entre eux, les faisceaux étant alors cylindriques. La prise de vue n'est alors plus conique mais cylindrique pour un seul dispositif de prise de vue. Un tel système télécentrique présente ainsi 1 ' avantage de réduire d'éliminer l'effet de « non-contact des regards » et le recouvrement de la vue.
On va maintenant décrire de façon plus détaillée un exemple de réalisation particulier et illustré par la figure 10 du dispositif de prise de vue et de restitution d'un module.
Le dispositif de restitution comprend un vidéo- projecteur Pi projetant sur un écran E, face au participant local PL, l'image de la scène distante. L'écran E peut être un écran à plasma, à LCD, à CRT, etc. L'image peut être en n'importe quel format (16/9, 4/3, 3/4), au standard cinéma, photo, etc. Le participant local PL observe 1 ' image de la scène distante formée sur l'écran E, à travers une lame semi- réfléchissante 21 utilisée dans ce cas pour sa capacité de transmission. Une lame semi-réléchissante aussi appelée semi-transparente est caractérisée par des coefficients de réflexion et de transmission respectivement de 30% et 70% par exemple.
Au dispositif de prise de vue, par exemple une caméra Cl, sont associés deux miroirs qui replient le faisceau par exemple deux miroirs 11 et 12 plans et la lame semi-réfléchissante 21 pour replier le faisceau F. II peut comprendre également une optique 0 par exemple une lentille de Fresnel pour diminuer le trajet optique du faisceau de la caméra.
La lame semi-réfléchissante est utilisée dans ce cas pour sa capacité de réflexion et assure ainsi éventuellement la fonction du miroir 10. La référence 100 correspond à une caméra virtuelle dans ce cas mais qui correspond au cas où le faisceau est non replié.
Ce dispositif de prise de vue indépendant permet l'effet de téléprésence (diminution de l'effet d'absence de contact des regards, non recouvrement des vues, effet panoramique) est couplé à un système de restitution qui présente un effet de kiosque approché de façon à avoir une juxtaposition d'image projetée sur un écran le plus plat possible (le kiosque est très ouvert). L'écran peut aussi être courbe. La figure 11 représente schématiquement en perspective un système interactif audiovisuel selon l'invention comportant plusieurs modules similaires à celui de la figure 10 et disposés en kiosque polygonale. Elle pourrait être en arc de cercle si les écrans étaient cintrés .
Ce système comprend plusieurs lames semi- réfléchissantes 21a, 21b (cachée) , 21c (cachées) et plusieurs miroirs lia (caché), 11b, lie.
Pour le son, un exemple de réalisation est de placer un ou plusieurs microphones au-dessus ou en dessous de la lame semi-réfléchissante 21 afin de capter le son d'une personne placée devant le module, de placer un ou plusieurs haut-parleurs au-dessus ou en dessous de la lame réfléchissante 21 afin de restituer le son.
On comprendra que tous les périphériques audio ne doivent pas perturber les chemins optiques des caméras, des vidéos projecteurs, des yeux des personnes utilisant le système. Il est nécessaire en outre que ces périphériques audio soient placés le plus proche possible des utilisateurs pour permettre une bonne capture et restitution du son.

Claims

REVENDICATIONS
1. Système audiovisuel pour mettre en présence une scène locale et une scène distante, caractérisé en ce qu'il comprend :
- plusieurs modules audiovisuels concaténés, chaque module comprenant un dispositif de prise de vue et un dispositif de prise de son de la scène locale et, un dispositif de restitution de l'image et du son de la scène distante dans un plan image (I) , les modules étant reliés à un réseau de transmission, - des moyens d'asservissement et de pilotage entre les différents modules pour assurer une continuité de la qualité de l'image et du son sur le plan image, lorsque des personnes filmées et enregistrées passent devant les différents dispositifs de prise de vue et de son de la scène concernée.
2. Système audiovisuel selon la revendication 1, caractérisé en ce que les modules comprennent des détecteurs de présence d'un module adjacent qui sont reliés aux moyens d'asservissement et de pilotage.
3. Système audiovisuel selon la revendication 2, caractérisé en ce que les moyens de détection d'un module adjacent sont constitués par des capteurs de présence .
4. Système audiovisuel selon la revendication 2, caractérisé en ce que les moyens de détection d'un module adjacent sont constitués par les moyens de réception du son et la détection d'une modification de cette réception.
5. Système audiovisuel selon l'une quelconque des revendications précédentes, caractérisé en ce que les moyens d'asservissement et de pilotage comprennent des moyens d'asservissement des dispositifs de prise de vue recevant des signaux de référence pour asservir les dispositifs par rapport à ces signaux de référence.
6. Système audiovisuel selon l'une quelconque des revendications précédentes, caractérisé en ce que les moyens d'asservissement comprennent des moyens d'asservissement des dispositifs de restitution de vue recevant des signaux de référence pour asservir les dispositifs par rapport à ces signaux de référence.
7. Système audiovisuel selon les revendications 5 et 6, caractérisé en ce que les signaux de référence sont fournis par un dispositif extérieur ou par l'un des modules.
8. Système audiovisuel selon la revendication 6, caractérisé en ce que dans le cas où la référence est externe, cette référence peut être obtenue par le dispositif de prise de son.
9. Système audiovisuel selon l'une quelconque des revendications précédentes, caractérisé en ce que les moyens d'asservissement et de pilotage comprennent des moyens d'asservissement des dispositifs de prise de son et de restitution du son recevant des signaux de référence pour asservir les dispositifs par rapport à ces signaux de référence.
10. Système audiovisuel selon la revendication 9, caractérisé en ce que dans le cas où la référence est externe, cette référence peut être obtenue par le dispositif de prise de vues.
11. Système audiovisuel selon la revendication 9, caractérisé en ce que les signaux de référence sont fournis pour chaque module par le ou les modules adjacent (s) .
12. Système audiovisuel selon l'une quelconque des revendications précédentes, caractérisé en ce que les moyens d'asservissement sont réalisés par des unités de traitement comportant une mémoire de programme programmée pour la mise en œuvre des asservissements requis .
13. Système audiovisuel selon l'une quelconque des revendications précédentes, caractérisé en ce que les moyens d'asservissement et de pilotage commandent une émission sur le réseau sur un flux de données, séparé pour chaque module.
14. Système audiovisuel selon l'une quelconque des revendications précédentes, caractérisé en ce que les moyens d'asservissement et de pilotage commandent une émission multiplexée sur un même canal du réseau pour tous les modules .
15. Système selon l'une des revendications précédentes, caractérisé en ce qu'un dispositif (2) de restitution comprend au moins un écran (E) sur lequel l'image de la scène distante est formée et un miroir (21) semi-transparent apte à former dans le plan image (I), l'image de l'écran (E) , ledit miroir (21) semi- transparent étant placé entre un miroir (11) du dispositif de prise de vue associé à ce module et la scène locale de manière à ce que lesdits rayons traversent ledit miroir (21) semi-transparent et atteignent le miroir (11) du dispositif de prise de vue.
16. Système selon la revendication précédente, caractérisé en ce que le miroir (21) semi-transparent est plan ou concave.
17. Système selon la revendication précédente, le miroir (21) semi-transparent étant concave, caractérisé en ce que ledit miroir (21) présente un foyer et en ce que ledit système comprend en outre un projecteur (P) situé au voisinage du foyer dudit miroir (21) .
18. Système selon la revendication précédente, caractérisé en ce que le miroir (21) semi-transparent est un miroir cylindrique ou torique ou de révolution.
19. Système selon la revendication 15, caractérisé en ce que les dispositifs de prise de vue et/ou les dispositifs de restitution sont alignés.
20. Système selon la revendication 15, caractérisé en ce que les dispositifs de prise de vue et/ou les dispositifs de restitution sont disposés selon une courbe convexe.
21. Système selon la revendication 15, caractérisé en ce qu'il comprend une optique par exemple une lentille de Fresnel pour diminuer le trajet optique du faisceau de la caméra.
PCT/FR2002/003864 2001-11-12 2002-11-12 Systeme audiovisuel modulaires pour met tre en presence une scene locale et une scene distante WO2003043324A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/495,292 US7391439B2 (en) 2001-11-12 2002-11-12 Modular audio-visual system to bring together a local scene and a remote scene
EP02803049A EP1444827A1 (fr) 2001-11-12 2002-11-12 Systeme audiovisuel modulaires pour met tre en presence une scene locale et une scene distante
JP2003545025A JP2005510142A (ja) 2001-11-12 2002-11-12 現地場面と遠隔地場面とを統合するモジュール型視聴覚システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0114572A FR2832282B1 (fr) 2001-11-12 2001-11-12 Systeme audiovisuel modulaire avec modules concatenables pour mettre en presence une scene locale et une scene distante
FR01/14572 2001-11-12

Publications (2)

Publication Number Publication Date
WO2003043324A1 true WO2003043324A1 (fr) 2003-05-22
WO2003043324B1 WO2003043324B1 (fr) 2003-10-09

Family

ID=8869280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2002/003864 WO2003043324A1 (fr) 2001-11-12 2002-11-12 Systeme audiovisuel modulaires pour met tre en presence une scene locale et une scene distante

Country Status (7)

Country Link
US (1) US7391439B2 (fr)
EP (1) EP1444827A1 (fr)
JP (1) JP2005510142A (fr)
KR (1) KR100729657B1 (fr)
CN (1) CN1633807A (fr)
FR (1) FR2832282B1 (fr)
WO (1) WO2003043324A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2105790A1 (fr) * 2008-03-28 2009-09-30 Christie Digital Systems USA, Inc. Système automatique de correction de géométrie pour système de projection arrière

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2814309B1 (fr) * 2000-09-15 2002-10-25 France Telecom Systeme interactif audiovisuel
US7868847B2 (en) * 2005-05-24 2011-01-11 Mark W Miles Immersive environments with multiple points of view
US20070279483A1 (en) * 2006-05-31 2007-12-06 Beers Ted W Blended Space For Aligning Video Streams
TW200822745A (en) * 2006-11-01 2008-05-16 Inventec Corp Electronic device
US20080163656A1 (en) * 2007-01-05 2008-07-10 Tse Wen Chang Identifiers for keys permitting visual, low-light and tactile recognition
US7961157B2 (en) * 2007-05-14 2011-06-14 Christie Digital Systems Usa, Inc. Configurable imaging system
US7965257B2 (en) * 2007-05-14 2011-06-21 Christie Digital Systems Usa, Inc. Configurable imaging system
US9047039B2 (en) 2007-05-14 2015-06-02 Christie Digital Systems Usa, Inc. Configurable imaging system
US20090172756A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Lighting analysis and recommender system for video telephony
US7918565B2 (en) * 2008-07-31 2011-04-05 Christie Digital Systems Usa, Inc. Expanding chassis for imaging systems
TWI384887B (zh) * 2009-06-11 2013-02-01 Univ Nat Central 多視點影像編解碼方法
US8520064B2 (en) * 2009-07-21 2013-08-27 Telepresence Technologies, Llc Visual displays and TelePresence embodiments with perception of depth
US8457155B2 (en) * 2009-09-11 2013-06-04 Nokia Corporation Encoding and decoding a multi-view video signal
US8611072B2 (en) 2010-05-17 2013-12-17 Christie Digital Systems Usa, Inc. Thermal actuator for configurable imaging systems
US8451315B2 (en) 2010-11-30 2013-05-28 Hewlett-Packard Development Company, L.P. System and method for distributed meeting capture
KR20160073540A (ko) * 2014-12-17 2016-06-27 삼성전자주식회사 멀티비전

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990002466A1 (fr) * 1988-08-26 1990-03-08 Bell Communications Research, Inc. Systeme de teleconference avec affichage video de haute resolution
GB2353429A (en) * 1999-08-10 2001-02-21 Peter Mcduffie White Video conference system with 3D projection of conference participants, via a two-way mirror.

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5117285A (en) * 1991-01-15 1992-05-26 Bell Communications Research Eye contact apparatus for video conferencing
KR100345587B1 (ko) * 1993-11-29 2002-11-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 다수의모듈을구비한제어시스템,제어수단,및모듈
US5572248A (en) * 1994-09-19 1996-11-05 Teleport Corporation Teleconferencing method and system for providing face-to-face, non-animated teleconference environment
FR2728753A1 (fr) * 1994-12-21 1996-06-28 Grenier Yves Dispositif de prise de sons comprenant un systeme video pour le reglage de parametres et procede de reglage
US6731334B1 (en) * 1995-07-31 2004-05-04 Forgent Networks, Inc. Automatic voice tracking camera system and method of operation
EP0765084A3 (fr) * 1995-09-21 1997-10-15 At & T Corp Système automatique de poursuite vidéo
FR2761562B1 (fr) * 1997-03-27 2004-08-27 France Telecom Systeme de visioconference
US6545700B1 (en) * 1997-06-25 2003-04-08 David A. Monroe Virtual video teleconferencing system
US6611241B1 (en) * 1997-12-02 2003-08-26 Sarnoff Corporation Modular display system
US6310650B1 (en) * 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
US6275251B1 (en) * 1998-11-05 2001-08-14 Motorola, Inc. Teleconference system with personal presence cells
US20030067587A1 (en) * 2000-06-09 2003-04-10 Masami Yamasaki Multi-projection image display device
FR2811501B1 (fr) * 2000-07-04 2003-06-13 France Telecom Terminal et systeme de communication
US6727864B1 (en) * 2000-07-13 2004-04-27 Honeywell International Inc. Method and apparatus for an optical function generator for seamless tiled displays
FR2814309B1 (fr) * 2000-09-15 2002-10-25 France Telecom Systeme interactif audiovisuel
FR2818860B1 (fr) * 2000-12-22 2004-01-16 France Telecom Systeme interactif audiovisuel comprenant plusieurs dispositif de prise de vue
US7019713B2 (en) * 2002-10-30 2006-03-28 The University Of Chicago Methods and measurement engine for aligning multi-projector display systems
FR2848762A1 (fr) * 2002-12-13 2004-06-18 France Telecom Systeme audiovisuel interactif
US7864210B2 (en) * 2005-11-18 2011-01-04 International Business Machines Corporation System and methods for video conferencing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990002466A1 (fr) * 1988-08-26 1990-03-08 Bell Communications Research, Inc. Systeme de teleconference avec affichage video de haute resolution
GB2353429A (en) * 1999-08-10 2001-02-21 Peter Mcduffie White Video conference system with 3D projection of conference participants, via a two-way mirror.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2105790A1 (fr) * 2008-03-28 2009-09-30 Christie Digital Systems USA, Inc. Système automatique de correction de géométrie pour système de projection arrière

Also Published As

Publication number Publication date
KR100729657B1 (ko) 2007-06-18
FR2832282B1 (fr) 2004-07-30
CN1633807A (zh) 2005-06-29
EP1444827A1 (fr) 2004-08-11
US20050018040A1 (en) 2005-01-27
FR2832282A1 (fr) 2003-05-16
JP2005510142A (ja) 2005-04-14
US7391439B2 (en) 2008-06-24
KR20050044410A (ko) 2005-05-12
WO2003043324B1 (fr) 2003-10-09

Similar Documents

Publication Publication Date Title
CA2284884C (fr) Systeme de visioconference
WO2003043324A1 (fr) Systeme audiovisuel modulaires pour met tre en presence une scene locale et une scene distante
US8941715B1 (en) Telepresence eye contact display
US6882358B1 (en) Apparatus, system and method for enabling eye-to-eye contact in video conferences
US8228371B2 (en) Projection screen and camera array
US20040008423A1 (en) Visual teleconferencing apparatus
WO2002023902A1 (fr) Systeme interactif audiovisuel
JP2005510142A5 (fr)
JP2005510142A6 (ja) 現地場面と遠隔地場面とを統合するモジュール型視聴覚システム
KR20140003993A (ko) 실물 크기 비디오 회의용 스튜디오 및 시스템
EP1344398B1 (fr) Systeme interactif audiovisuel comprenant plusieurs dispositifs de prise de vue
WO2002003692A1 (fr) Terminal et systeme de communication
KR101954680B1 (ko) 반전 망원경 카메라를 이용한 화상 회의 시스템
EP1516487B1 (fr) Systeme audiovisuel pour l'etablissement d'une communication bidirectionnelle entre une premiere scene et une deuxieme scene
JPH11298779A (ja) 画像取り込み装置
CN111355883B (zh) 为超宽和360相机提供凝视和感知的系统和方法
FR2848762A1 (fr) Systeme audiovisuel interactif
Gillen The hybrid theatre
JP2000165834A (ja) 表示及び撮像装置
FR2801757A1 (fr) Systeme de visualisation d'images video permettant la television interactive, la visiophonie et la telesurveillance

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SC SD SE SG SI SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2002803049

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2003545025

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 20028224426

Country of ref document: CN

Ref document number: 10495292

Country of ref document: US

Ref document number: 1020047007162

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2002803049

Country of ref document: EP