WO2006053991A1 - Procede et dispositif de commandes et d'entree de donnees - Google Patents

Procede et dispositif de commandes et d'entree de donnees Download PDF

Info

Publication number
WO2006053991A1
WO2006053991A1 PCT/FR2005/002878 FR2005002878W WO2006053991A1 WO 2006053991 A1 WO2006053991 A1 WO 2006053991A1 FR 2005002878 W FR2005002878 W FR 2005002878W WO 2006053991 A1 WO2006053991 A1 WO 2006053991A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensitive
zones
ded
zone
objects
Prior art date
Application number
PCT/FR2005/002878
Other languages
English (en)
Inventor
Laurent Guyot-Sionnest
Simone Mazzoni
Original Assignee
Laurent Guyot-Sionnest
Simone Mazzoni
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR0452712A external-priority patent/FR2878343B1/fr
Application filed by Laurent Guyot-Sionnest, Simone Mazzoni filed Critical Laurent Guyot-Sionnest
Priority to US11/791,406 priority Critical patent/US8125440B2/en
Priority to EP05818245A priority patent/EP1839108A1/fr
Priority to JP2007542040A priority patent/JP4975634B2/ja
Publication of WO2006053991A1 publication Critical patent/WO2006053991A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0235—Character input methods using chord techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to the field of devices and methods for controlling and entering data (DED) in an electronic, computer or other system, and more particularly to combinatorial methods allowing simultaneous simultaneous or successive designation of key combinations.
  • DED data
  • the present invention relates to the field of devices and methods for controlling and entering data (DED) in an electronic, computer or other system, and more particularly to combinatorial methods allowing simultaneous simultaneous or successive designation of key combinations.
  • a guiding device for a user using a keyboard the guiding consisting of displaying the production means activated by the user and the character produced by these activated means;
  • the present invention intends to remedy one or more disadvantages of the prior art control devices and data entry, including combinatorial keyboards allowing the user, with the same device, to take advantage of its beginner or expert performance . It offers a universal control and data entry device, combined with a pointing device for graphic HMIs, holding under one hand or even under a finger like the thumb, suitable for any computer or electronic device and based on on the combined action in the broad sense on a reduced number of sensitive areas capable of providing information with which computer programs will be able to determine the positions and movements of the fingers of a hand, or any actuator handled by the user .
  • the invention allows the mass beginner to start in a few minutes, while allowing him to to progress naturally by the use to the simultaneous mode f whatever the grammar!
  • the invention proposes configurable means, according to the invention. expertise or the needs or preferences of the user, symbolic presentation of the tables containing the objects. These means indicate to the user immediately the positions of the fingers or actuators allowing the designation of the address, in the active table, of the target object (which sensitive areas to activate), what are, at a given moment, the sensitive areas that the system considers enabled and which objects are designatable with the already active zones and others that can be added to the combination being built.
  • This system is a kind of transposition of the operation of the graphic HMIs, with the important difference that the DED allows, if the user sees its advantage, to avoid having to move the electronic pointer on the screen and above computer objects that are represented by icons or menu items fixed or drop down, but only move the available fingers or actuators between the different sensitive areas.
  • a versatile HMI for any computer or electronic device the invention integrates in or next to sensitive areas means for tracking the movements of one or more actuators for the link to electronic pointers according to the state of the art.
  • this symbolic representation of addresses is, in a way, a writing, which may also have a cursive or electronic form, electronic, virtual or material on paper or other media.
  • This canonical symbolic representation deviates from previous systems of writing which are based on the stylization of the designated object, in that it takes as a starting point a symbolic representation of the simple positioning possibilities of each finger of a hand. human.
  • the method according to the present invention particularly well meets the accumulated needs of a person in terms of discrete, comfortable and fast capture in any place, any position and any time and integration into small devices that proliferate like mobile phones. , personal assistants, and listening and multimedia recording devices.
  • the invention also makes it possible to provide a unique object production solution that adapts equally well to the performance of a beginner or to an expert without requiring a change of equipment.
  • DED data input device
  • the method further comprises a step of symbolically visual presentation of information indicative of the manner of designating the sensitive areas corresponding to the combination associated with each box of the active table, the said symbolic presentations which may themselves be sensitive according to the technology of virtual keyboards,
  • the method comprises, between said designation step and said validation step, a step of exploration and adjustments of the designatable combinations,
  • said scanning step comprises a step of symbolic visual, sound or tactile presentation and highlighting, audible or tactile, sensitive zones activated or deactivated as the user interacts with and objects associated with them. combinations sharing the already designated sensitive areas, until the stage where there is only one combination associated with a box of the active table and the object that it contains, - said scanning step comprises:
  • said step of naming / selecting an object is only performed by the designation of the combination in successive mode, for at least one subpart of the second part of the objects, said step of naming / selecting an object is performed by a single support-survey on a single sensitive area
  • said validation step comprises the detection of the deselection of all the main sensitive zones, the validated combination being that constituted by the sensitive zones which were still selected until a past deadline, this delay being:
  • a particular device further comprising at least one additional detection main zone consisting of a plurality of logic zones and a plurality of tables from which the active table is located, characterized in that it further comprises a step of substituting said active table with one of said plurality of tables by activating at least one of said logical areas of the at least one additional main area,
  • the method further comprises a step of correcting, disambiguating and predicting the designated or validated object strings, said step enabling the creation of a suggestion table comprising at least one suggestion, and a step of visual presentation, sound or touch of the suggestions table whose objects are designatable, can be explored and validated by said description / selection step,
  • said designated, validated and produced objects are chosen from the set of computer and electronic objects, for example, one or more alphanumeric characters, a standard sentence, an image, an icon, a drop-down menu item; , a command and a computer program internal to said device, a command and a computer program external to said device and resident on any computer or electronic equipment to which the DED device is connected.
  • DED data input device
  • the device further comprises displacement detection means controlling at least one electronic pointer, said displacement detection means being one of the group consisting of all or part of the sensitive detection zones, means juxtaposed to said zones; main Zi and means carrying the detection zones,
  • the device further comprises at least one additional detection main zone consisting of a plurality of logical zones and a plurality of tables from which the active table is located, said at least one additional main zone being able via the software means when at least one of its logical regions is designated, substituting said active table with one of said plurality of tables, the device comprises means of authentication of the DED of the electronic chip type specific to said device, the chip being able to produce an alphanumeric string according to the current usage profile of the device by the user and a character string entered by the user thanks to the sensitive activatable means of producing objects of said device,
  • the invention also relates to a data entry system comprising at least one previously presented data entry device DED and computer equipment, said DEDs controlling, with the aid of the objects produced by them, the equipment computer to which they are connected.
  • system further comprises visual, sound or tactile presentation means for symbolically restoring the active table, the selected logical sensitive areas and those to be designated to activate at least one of the elements of the table.
  • the subject of the invention is also a computer program intended to implement the method, comprising a plurality of instructions able to process the designation / deselection information of the logical zones and to produce an object according to the logical zones designated in FIG. sequential or simultaneous combinatorial mode when the user validates the selection.
  • FIG. 4 illustrates an example of tactile feedback, provided by the two different positions of the fingertips, when using the present invention
  • Figures 5, 6, 7 and 8 illustrate examples of bands or object tables (generally alphanumeric characters) implemented in the present invention
  • Fig. 11 is a flow diagram of the activation of an object according to the present invention
  • Fig. 12 illustrates a system according to the present invention in which three users interact
  • Figures 13, 14 and 15 are presentations of interactive visual guidance means of designation and activation of objects according to the present invention
  • Fig. 16 is an example of a canonical representation of a table of 5 tapes containing objects;
  • FIG. 17 illustrates an example of highlighting the possible combinations during the interaction of a user for the canonical representation of FIG. 16;
  • Figure 18 illustrates several cursive and dot forms of the writing actually created by the present invention;
  • Figure 19 illustrates how visual guidance can leverage the utility of semantic correction and prediction software;
  • Figures 20, 21 and 22 illustrate different implementations of a DED on mobile phones;
  • FIG. 23 illustrates the implementation of a DED such as a set of 6, 9 or 12 keys added on the back of a mouse which moreover has a conventional number of contactors (left, right, thumb, thumb and thumb clicks).
  • FIGS. 24a to 24d represent combination activation tables coexisting on the same equipment in order to make it accessible to both a beginner and an expert, and
  • Figures 25a and 25b show an alternative to the modes of Figures 24a to 24d.
  • FIG. 1 shows an embodiment of the present invention according to which the combinational data input device, hereinafter referred to as DED, has three adjacent main detection areas (11, 12, 13) associated with the three fingers.
  • DED combinational data input device
  • "Agile" index, middle finger, ring finger
  • These zones are arranged to correspond morphologically to the fingers of the hand and each comprise two adjacent sensitive areas (upper zone or "front” and lower zone or “back"), such as, often and especially in expert mode, a single to the time is logically activated by the corresponding agile finger, for example by software processing, or by hardware construction.
  • this may not be suitable for beginners.
  • This embodiment makes it possible to take full advantage of the kinetic possibilities of the hand and the brain which controls and controls them because the movements requested by the fingers alone are simple and have a wide range of tolerance.
  • the tactile sensations of the fingertips and kinesthetic in the fingers themselves, associated with the positions are simple and distinct for a human hand and brain. It is understood that this embodiment is not limiting and that an embodiment in which the number of logical sensitive areas is variable from one main zone to the other is also conceivable within the scope of the present invention. Each of these zones can be likened to a "logical" zone with which a state is associated.
  • N zones detection logic make it possible to use N + l different states, even if other embodiments are possible in particular to avoid ambiguities between different logical zones and to create a redundancy of information between the zone which is deactivated and that which is active during this transition.
  • the activation detection of a zone is done by acoustic impact detection, it is necessary to be able to detect the deactivation of the zone, that is to say the entry into the non-activated state. None of the N sensitive areas. Conversely, a solution might not take into account the N + lth state and use only the N states associated with N sensitive areas.
  • the embodiment 1 would be made with 3 areas such that the user would not have to raise his fingers, so with the same number three of useful states, which would allow him, by slipping or supported vertical more or shallower (as in a trumpet key), continue to hold the DED or object, eg phone or handlebar or joystick, while designating and validating the sensitive areas of the desired combinations.
  • the DED or object eg phone or handlebar or joystick
  • the use of the fingers as main actuators on the sensitive areas of a DED according to the invention is the most obvious solution.
  • all types of actuators can be used and even mixed together to designate the different logical areas: stylus, pen, extremities of limbs, moving parts of the body, including devices for monitoring the eyes and eyelids, (for the disabled) , head, fingers, from one to three as part of the realization 1, electronic pointer of any kind, etc. ...
  • the various terms designating an actuator are used without, for all that, restricting the description of the present invention.
  • the designation mode can be successive, slipped, simultaneous or mixed, so more or less fast and requiring more or less attention, but still allow to designate a given box in a reference table, symbolically representative, especially on the screen.
  • the invention is based on a canonical arrangement, according to the characteristics of the human hand with five fingers, in tables common to all contexts, containing "boxes” whose same content is designated and validated according to a process "Writing" of its "address” in the table that is adapted to the context, the technologies with which the DED is made, the number of mobilizable actuators and the preferences of the user.
  • a small number of boxes may not be accessible by all processes and their contents are possibly duplicated in other boxes of the canonical arrangement.
  • certain combinations based on non-exclusivity between sensitive zones of the same main zone can be added to modes that access only a lower number of combinations.
  • an additional area can be added to allow the equivalent of the simultaneous support of two sensitive areas normally exclusive to each other.
  • each finger can take three states which corresponds to 27 combinations in the mathematical sense, and allows as described in the FR85 / 11532 patent of Guyot- Sionnest, to address an alphabet of 26 signs.
  • FIG. 5 illustrates, in a band presentation, an example of an association between the 26 possible useful combinations according to the device of FIG. 1 and the characters of the Latin alphabet.
  • this strip corresponds to each of the letters of the alphabet a checkerboard representation of the combination to be made on the device to produce this letter (the black boxes are those that have been designated by the fingers of the user).
  • the device for the band of FIG. 5, will have a "Y" that will be activated when the fingers leave the three zones together. sensitive upper.
  • Ad-hoc software makes it possible to interpret the combination provided to activate the corresponding object.
  • the software can for example recover the identifier of the activated zones and, using an active correspondence table as illustrated in FIG. 5, produce the character determined by the combination of these identifiers.
  • One of the advantages of the successive mode is that it can easily be realized with a single actuator, which is often practical, especially for DED according to the invention which will be implemented on mobile objects preferably handled with one hand (telephones, readers multimedia ...), or when the other hand is occupied or there is no support to hold the DED or that it is made in a technology that does not allow simultaneous support (touch screens currents, virtual zones), as described below under "technologies”.
  • This successive mode with a single actuator also allows the action with a stylus, which is also a pointing device, and the remote action on the sensitive areas or their symbolic representations with a simple pointer.
  • the basic variant of the successive mode and the "Bitap" process already described above.
  • a first successive variant, particularly interesting because quite natural and applicable with a wide variety of actuators is to slide it on a surface type touchpad or touch screens.
  • this variant of the successive mode called "Dragged” a single actuator descends on one zone then slides to another zone, possibly passing through one or two others, then is raised, which validates the arrangement.
  • This slipped mode can be practiced with a stylus or finger on a touch screen, a pointer on virtual zones, for example the very representations of the sensitive areas on the screen, or a finger like the thumb, on an area capable of following its movement. , like a touchpad (commercial name), standard according to the state of the art, or a touchscreen (touchscreen).
  • the combination formed may be the combination of the first and last zones or the combination of all the zones described by the slide.
  • you realize this "Dragged" with a stylus you get closer to a cursive script. It will be seen later that this cursive handwriting can also be done without a sensitive area, with a paper and a pencil / pen, or on a sensitive screen tablet, in a very small area, for example the size of a large slider. which then brings it closer to the handwriting recognition systems, but with a simplified writing so easily recognizable.
  • a second advantageous variant for the speed of the successive mode consists, when the user can mobilize two fingers, for example the two thumbs, to dispense the user to raise the first finger before activating, with a second finger, the second zone, if it is different from the first, then to raise the two fingers together which represents a simultaneous validation similar to that of the combination mode.
  • This first variant leaving the user the choice to use one or two fingers, or three, thus performs a first example of mixed mode.
  • a third successive variant and "Successitap" favors the use of three agile fingers positioned above the DED, each loading two sensitive areas, front and rear, the hand remaining stationary.
  • This variant by canceling the movements of one or both fingers between the columns of the DED, and allowing the parallel action of the fingers, promotes the speed.
  • the slight problem concerns the six arrangements on a single zone, which almost needlessly require two successive supports. If one wishes to make only one support, then the six arrangements normally produced by a finger going successively from one of its two sensitive areas to the other are no longer feasible.
  • One solution is, when technology allows, to allow the same finger to activate successively but without reading, its 2 sensitive areas mainly exclusive.
  • a delay threshold (tempol) which delimits the Simultaneous designation (without order and thus short ) of the Successive designation (in an order, therefore a little slower).
  • a typical value for an average ability to simultaneously press the fingers is 20 milliseconds for tempol.
  • a fourth variant of the successive mode consists in adding a third finger, without worrying about its nature or position (index, major or annular) and considering only the fact that it activates a sensitive zone "before “Or” back “to make him play somehow the role of a tape rotation actuator, (feature described later in connection with embodiment 2) thus allowing access to 3 x 36 or 3 x 33, or 3 * 30 combinations depending on whether the user has chosen the Bitap or one of the different Successitap using only two fingers for a combination.
  • the third activated zone corresponded to an active 36 (33, 30) active band substitution command for a second of 36 (33, 30) when the third support is in the "forward" or third of 36 (33, 30) when the third support is in the "back” or lower position.
  • the fastest mode of designation and validation but requiring the most actuators is the one that can be called "Simultaneous" in which the order of designation of the sensitive zones is not taken into account and the validation is made in recognizing that the main areas managed by the three nimble fingers are physically disabled and taking into account only the areas that were still activated at the validation time minus a certain time delay (tempo2) parameterizable.
  • This back delay device is necessary to take into account that the finger readings are not absolutely simultaneous and to avoid that any zone which has been activated and deactivated since the previous validation is taken into account, as is seen on most combinatorial keyboards. (like the CyKey).
  • the tempo2 At each reading of a physical zone, the tempo2 is triggered and at its expiration the associated logical zone is in turn deactivated.
  • This tempo2 acts as a timeout for forgetting the zones that are activated and then deactivated, for example during an exploration or a trial and error. It can not be reduced to zero, because in this case, areas desired by the user would be seen as not part of the validated combination.
  • a typical value for an average skill at simultaneously raising fingers is 50 milliseconds for the tempo2. It can not be too big because forgetting would be slow, which would curb the exploration, important feature of the guidance, described later.
  • the activation order of the zones facilitates the action of the fingers, especially the transitions between combinations, but allows only 26 useful combinations on 6 zones and requires three fingers for 8 of them.
  • the triggering event of the validation of the activated combination arrives (for example, no more physical zone activated)
  • the produced object is that corresponding to the combination whose logical zones are still active, that is to say of which the timeout of forgetting tempo2 is not yet expired.
  • each of the eighteen possible combinations can correspond to only two distinct arrangements by the typing order of the same two keys, which corresponds to a weak ambiguity, easy to treat.
  • a radical or a single word will very often be the only possibility.
  • combinatorial keyboards do not look at the keyboard, allows you to look at the screen, and therefore see the system messages immediately, then, with the dynamic guidance associated with the interactive presentation (described below), present the choices so that they can be selected with a combination related to the position of choice in the dynamic guidance, therefore, without having to go to activate keys of movement and validation: one sees and one clicks by producing the implicit combination, which is then faster than finishing the typing of the word ...
  • a second "Mixed" mode consists of mixing the Successitap mode and the Simultaneous mode in order to have access to 30 combinations at the same time and for 26 of them to benefit from the Simultaneous speed or the comfort of one or two fingers only ( 6 + 12 simultaneous combinations only, and respect of the activation order for the 8 combinations that would otherwise require three fingers and the 4 arrangements with 2 fingers that have no possible match in the band of 26 combinations).
  • This mode is illustrated in Figure 7.
  • the combinations with a single finger on a single zone, column 73 of Figure 7 must be made with a single support-statement, leaving only 30 boxes accessible on the 36 of the "Bitap" reference.
  • the 6 combinations corresponding to column 77 of FIG. 7 are no longer possible.
  • the first 3 possible additional combinations are those that can be produced by pressing simultaneously, when technologies allow, with a single actuator-finger, on the two sensitive areas of the same main zone figure 24 (c), 24 (d) and 25 (b), column 77.
  • a third particularly interesting mixed mode is to simultaneously make possible the modes “Bitap”, “Successitap” and “Simultaneous” ("Simultap") under the sole constraint that the six particular combinations of the "Simultaneous" mode that are normally done by a single
  • the raised bearings, called “pivot combinations", column 73 in Fig. 7 and Fig. 25, are produced by a double tilt, as in the "Bitap” process.
  • the advantage of this mixed mode is that the same DED with the same settings can be used with one to three fingers or actuators, figures 24, column 73.
  • the mixed mode makes several production modes coexist: the simple mode (a) for the beginner, the intermediate mode (b), the confirmed mode (c) and finally the (d) expert mode.
  • the simple beginner mode (a) offers 36 combinations, all activated by the successive Bitap mode.
  • the mode (b) is similar to that described for FIG. 6, making it possible to combine the BiTap and Successitap modes: the clear box being the first activated zone, the dark one the second beyond the simultaneity time (tempo 1).
  • the 8 Bitap combinations (underlined twice in the figures) which have a previous competitor but which can easily be differentiated from these competitors by the addition of a third box causing the Simultap designation of the combination.
  • the user can use a third disambiguation zone (box with a rhombus) which makes it possible to confirm the activated combination.
  • the confirmed mode (c) retains the BiTap mode for the six "pivot" combinations.
  • the expert mode (d) accelerates the production of objects with respect to mode (c) by no longer requiring the respect of an order for these 3 combinations by authorizing simultaneous support of four adjacent zones to provide the immediate disambiguation necessary.
  • FIGS. 25a and 25b differ from the previous ones in that the successive Pure Bitap mode of the six pivot combinations is omitted in favor of a designation by a single statement-support.
  • the combinations other than the pivots are designatable by successive action of the two zones composing these combinations. This is a common success story.
  • the expert mode (25b) provides a maximum of producible combinations simultaneously and thus offering increased performance: the six pivot combinations are activatable by a single zone in support-raised.
  • an intermediate mode can be set up grouping the designations of the mode illustrated in Figure 24c among which the designation of the pivot combinations is only performed by a single support-statement.
  • the designation is made by 1, 2, 3 or 4 supports and only according to the only mode successitap maintained and simultaneous, the 26 objects (77 + 79) of the first part of the active table being facts in the same way in both variants.
  • the difference between these variants relates to the 6 pivot boxes which are made, in the second variant, by a single press-statement on a single sensitive area, bringing to 32 the number of boxes that can be addressed without having to respect an order.
  • the designation mode combines the Combined (81, 83 and 84) and the Successive (82) combinations.
  • a delay threshold temporary
  • the definition of a delay threshold makes it possible to delimit the designation Simultaneous (without order and thus short) of the designation Successive (according to an order, therefore a little slower), carrying by the same number of possible combinations with 6 arrangements / combinations mono-finger + 24 arrangements successitap bi-fingers + 20 simultaneous combinations bi and tri-fingers, ie 50 combinations.
  • a "special" mode some cells of the table will be validated involving only the 2 nd or 3 rd finger of the associated combination, which will facilitate rehearsals, according to a customary gesture, for example to increase or decrease the volume or turn pages.
  • the immediate exploration described below will be lost for these boxes (it will remain valid by leaving the final finger of the combination raised beyond the timeout (tempo2) of oblivion / exploration).
  • This particular mode corresponds to a general need for repetition of a combination. To avoid having to repeat the complete combination, or to allow faster repetitions than the fingers can do, there are several possibilities to obtain repetition, a combination or a series of combinations, without losing the significant ability of exploration and correction before validation.
  • Example 1 by triggering the sustained maintenance of conventional keyboards only at the 2nd successive designation of the same combination.
  • Example 2 by creating a function internal to the software that would be stored in a particularly practical or logical box and whose designation and maintenance supported trigger the repetition of the previous combination (or a succession like Alt + Tab, or Ctrl + -> or Ctrl + Del), repetition that would stop at the reading and start over again.
  • the successive mode gives access to 36 combinations (arrangements) (figure 6) and the simultaneous mode to 26 combinations (Figures 5 and 7).
  • Figure 7 groups together the 36 arrangements and the 26 combinations, distinguishing them by distinct signs of activation of the zones (bright, black or square point).
  • the 36 arrangements are divided between 12 arrangements (71, figure 6 or 7) made with the same finger and 24 with two different fingers (72, figure 6 or 7) and that the 26 combinations include 6 made with a finger ( 73), 12 made with two fingers (74) and 8 made with three fingers (75 and 76).
  • a first logical solution for a user who wants to be able, depending on the context, to act with one, two or three actuators and keep the same object tables, will be to abandon the 6 difficult arrangements to be done in combination mode (77), add a third finger (represented by a black square in the figure) to 8 arrangements (75 and 76) to be able to overcome a successive striking in an order and to keep or not the four arrangements (78) that will always require a precise order of successive action.
  • the user can keep 30 "combinations" in all cases of use of one to three actuators and thus place durably and memorably objects to activate.
  • NATURE OF OBJECTS The present invention is not limited to computer objects of type alphanumeric characters since it allows, for example, to assign to a particular combination of fingers a function of the device to be controlled, such as for example the opening of an application on a computer or the extinction of the TV set.
  • a designated and validated object may be, without limitation: one or more alphanumeric characters, a standard sentence, an image, a computer icon, an item of a drop-down menu, an internal command to the proper operation of the DED , or driving external equipment, an internal program to the device or external residing on a third party computer or electronic equipment.
  • the tapes may contain objects of a heterogeneous nature, examples of which are provided previously.
  • a device or software to record all the computer objects (icons, commands, applications, ...) available and organize them in the form of tapes and of tables so that they can be presented, designated and activated by the device of the present invention, much faster than an electronic pointer, much more compact than a conventional keyboard, much more powerful than the devices of small portable electronic objects or personal.
  • the representation of these objects can be the object itself (this is particularly the case for alphanumeric characters) or for example an icon representative of the object (an example is the icons of Word toolbars allowing execute a specific command).
  • “Mouse” solutions are not suitable for a large part of mobility situations.
  • various technologies exist to implement the different detection zones and a pointer when there is no surface to put a mouse on.
  • the management of the inter-zone borders can be carried out by a software that will interpret the coordinates delivered by this sensor to activate the logical zones corresponding to the different supports of the different fingers.
  • Some sensors provide a set of coordinates corresponding to the extended area of influence and support of the finger.
  • a software makes it possible to associate a significant point with all the coordinates provided by the sensor (and thus constituting the coordinates of the finger), for example the centroid or the upper (lower) point if the majority of coordinates are in one of the upper or front zones (lower or rear).
  • the choice of the significant point must be made in order to maximize the discrimination of the actions of the actuator on the different logical zones of detection.
  • An advantage of capacitive solutions lies in the small thickness of the sensors allowing their integration into systems such as mobile phones ( Figures 21 and 22).
  • Resistive technologies make it possible to create equivalent sensitive areas, the differences being mainly related to the force required to activate the sensitive zone, which is non-zero in resistive technology, which will slow down the designation and validation of objects, zero with the capacitive, which may result in involuntary activations.
  • This bracelet is provided with detection means (22) by waves (luminous, infrared ...) characteristics and positions of the fingers of the user.
  • the values of the distances D dolgt and angles ⁇ finger allow, according to parameters predefined by the user, to identify the areas of the virtual keyboard that are activated.
  • CCD charge-coupled device
  • charge-coupled device sensors which are used to delimit volumes of the space corresponding to the different zones mentioned above, can be used. and to create analyzable images of the presence and positions of the different fingers.
  • the user places a finger, or a hand, in the volume corresponding to the logical zone that he wants to activate to designate a combination and activate a desired object.
  • the present invention also applies when the sensitive areas are created on a touch screen according to the state of the art. In the general case, these touch screens are not currently manufactured to accept multiple support, (“multitouch”) although this is quite possible, as for the realization with touchpad technologies described above.
  • Figure 3 illustrates an exemplary implementation of the invention.
  • a cursor intelligent proposes a grid (31) representing the virtual keyboard and in which the different zones to be activated are designated by the stylus (32) to produce the desired object (here the box "right rear” has been designated, in order to produce the letter "U” according to the table of Figure 5.
  • the present invention also applies when the detection zone is virtual, for example when the logic zones are simulated by a computer to interact with an electronic pointer, mouse type, which is then the single actor handled, in successive or slipped mode. , by the hand of the user, which can be remote from the screen without any other device than the current equipment of a computer and software to install to emulate the keyboard of the system.
  • this virtual realization will be advantageously cumulative with realizations of sensitive areas placed under the fingers, in particular so as to facilitate the cognitive transition of the user of the HMIs dominant graphics with pointer to the use of the additional HMI where the movement of the fingers is sufficient to designate and validate a computer object, presented in the symbolic representation which in fact realizes a conventional virtual control device.
  • This tactile and kinesthetic capacity is particularly optimized with embodiment 1.
  • the only two positions (FIG. 4, (a) and (b)) of the fingertips with the bouncing surface give rise to distinct sensations of the fingertips which allow the brain of the user to know, before raising the fingers, if they are well positioned where they must be to designate a given combination.
  • the fingertips is extremely sensitive and makes it possible to differentiate between two very close positions of the finger, as illustrated in FIG. 4.
  • This information is reinforced by differentiated embodiments, possibly with vibration generators. surfaces of different sensitive areas assigned to the same finger, possibly creating a sensitive border, like a hollow of separation, and by the kinesthetic sensation of the angles of the phalanges.
  • This good tactile feedback possible with the realization 1 will allow users to reach faster the reflex mode where the conscious brain is no longer required to control the movements of the fingers, which frees the user's attention from seizure and achieves faster, after less time of use, the maximum speed allowed by the intrinsic velocity capacity of the fingers of the hand of the user (up to fifteen strokes (cycles) per second for a virtuoso pianist or flutist at three to five for a person with little agile fingers).
  • tactile and kinesthetic abilities of the human hand and brain do not prevent the director of a DED according to the invention from providing an echo presentation of the position of the fingers, for example in the form of a tactile range of zones. active in correspondence with the sensitive zones of the DED, or an audio or visual echo, according to the interactive guidance modes before validation of the combinations mentioned below.
  • the DED When the DED is made to be activated by three fingers, the DED must have at least the width of the central finger and half of the left and right fingers, plus two movement spaces, which, according to the persons, is a minimum total width. can go down to 30 mm.
  • one of the important characteristics of the invention is that, since the sensitive zones of a main zone assigned to a finger are only very rarely logically activated together, it is sufficient that the zone main detects that the actuator is rather ahead or rather behind to distinguish the two cases. Pressing / Activating simultaneously two zones of a main zone with the same finger is equivalent to creating a third zone between the two and requires more precaution to avoid bad support compared to what is targeted and thus slows down action and increases the necessary surfaces, but this may be a preferable compromise, in some cases and with certain technologies. In all cases, these simultaneous supports by the same finger of several zones must remain limited to the few cases (not more than 10), easy to do by the fingers.
  • a DED according to the invention can thus go down to a few millimeters.
  • the counterpart of a low height is that one can not go as fast as with heights more dimensioned, for fear of being outside the detectable zone. But this can be a very interesting compromise in mobile and discreet situations.
  • the DED according to embodiment 1 can be a very compact tool while being powerful (36 base but up to 108 combinations possible in a single action cycle of the fingers).
  • the decrease in size then translates by a certain decrease in possible speeds but without falling below the writing speed with the other known means on moving objects.
  • another embodiment consists in defining five main zones: three identical to the embodiment defined above (91) for the three nimble fingers, a main zone (92) associated with the thumb and a main zone (93) associated with the auricular.
  • the main area of the thumb has five logical sensitive areas (94) for six states and the small finger area comprises two (95) for three states.
  • these two additional main zones as "modifying" keys, (such as Shift or Ctrl or Alt on conventional keyboards)
  • This type of realization considerably increases the number of possible combinations in a single action cycle of the fingers, exceeding the constraints discussed above in the description of embodiment 1, which allows to go to processes "Simultaneous", without order, so much faster and favoring the achievement of the reflex mode, additional factor of speed.
  • the constraint is reported on size, with Type 2 achievements being inherently larger than Type 1 designs.
  • the minimum size is then that of a credit card, the thumb and the little finger being obliged to enter a little on hand.
  • the comfortable size is then that of a diary, for example 70 mm x 110 mm. Objects for use on a table would reach the A5 format.
  • the technologies are a priori the same as for the realization 1, with a greater importance of the "pointer" function, single or multiple.
  • the realization would tend to make the five main zones contiguous and together make a kind of graphic tablet, as shown in Figure 10.
  • mice augmented with a type 2 embodiment poses the problem of involuntary movement of the mouse during the input operations.
  • the solutions mentioned above are sufficient.
  • the pointing device may also advantageously no longer be a mouse but a touchpad or other solution where it is an actuator that moves and not the entire DED.
  • the main zones associated with the thumb (92) and the little finger (93) allow, according to a conceptual angle of arrangement of the available raw combinations and according to their combination, to modify the active table of 36, 33, 30 or 26 boxes whose objects are designatable by a combination of three nimble fingers.
  • band being the whole, of 26, 30, 33 or 36, (portable at 50 or 108 for the processes "Advanced” and “Tritap") objects designatable by a combination of the fingers agile on a realization of type 1 discussed above, for given thumb and atrial positions.
  • the inches and auricular zones are then in a Shift, Ctrl, Alt, AItGr, Fn, Win or Apple ...
  • the role of the zones affected to the thumb and the little finger is preferentially seen for reasons of mental identification by the user and to allow the functioning of the arborescent guidance like that of rotation of band and table, it is naturally affected to the combination particular using only one finger acting alone on one of the areas thumb or little finger a box useful for storing frequently used objects. This defines a second role for these sensitive areas of the thumb or the little finger. To promote the production of these objects, like the space character, it can be set to add it to the activated object by the validation of the nimble fingers, when the thumb or small finger area is deactivated at the same time.
  • the space is added automatically by the single thumb reading simultaneously with the validation of the last letter of a word, the thumb having been previously placed on the zone calling a band of lowercase or uppercase letters and associated with a box where the space is.
  • band or table rotation commands can be placed as objects in boxes of boxes. a band, calling small internal computer programs to the device DED.
  • These objects internal to the DED control rotation of bands or tables are particularly useful when you are in a situation of type 1 with only 36 boxes available or accessible because of a reduced number of available actuators.
  • These rotations of tables or bands may, according to the state of the art, be either temporary for a combination to follow, or locked until a different order of table rotation puts an end to the active role held by the table or the called band.
  • These small programs can be very flexible objects allowing for example to lock the called table or band by leaving the finger or fingers that called the band and unlock it by returning to the previous band when the finger or fingers are raised, which recreates in a way the classical combinatorial use of capital type.
  • the rotation between two bands or tables is performed automatically by the detection of a new application context. For example, if the DED is used for entering text into a word processing application, switching to an Excel spreadsheet application (business name) will make it useful to change the tape so that it can be quickly named. functions and commands specific to this context.
  • the embodiment will advantageously cause the five main zones to produce together a kind of graphic tablet, as illustrated by FIG. 10.
  • the continuous lines indicate the limits of the five independent main zones (100 to 104).
  • the device then comprises means making it possible to interpret the sliding of an actuator on the detection zones such as the sliding of an electronic pointer of the computer mouse type.
  • the means are of the software type for interpreting the coordinates transmitted by the sensor module to convert them in displacement of a pointer in a computer system. This allows in particular to pass quickly without moving the hand significantly from a data entry mode to that of electronic pointer and vice versa.
  • each main zone corresponds to a part of the screen on which is available the pointer device or a pointer device specific to each part of the screen defined in this way.
  • This solution allows in particular to move very quickly from one part of the screen to another without having to slide its actuator from one end of the screen to the other, or manage and come and go between several sliders independent devices that manage multiple tasks in one or more documents or windows.
  • all the main zones form a single super zone in a mode of use of the mouse.
  • the mouse function is implemented on means, such as joystick, or touchpad, juxtaposed to the sensitive detection areas of the device.
  • the DED is naturally installed on the upper part of a mouse made according to the state of the art, ultra dominant pointing system.
  • the simplest solution, but not necessarily adapted to mobile contexts, to implement the object of the invention is indeed to place conventional keys on the top of a mouse according to the state of the art and FIGS.
  • FIG. 23a corresponds to the installation of an embodiment of type 1, FIG. 23b and 23c to the installation of embodiments of type 2.
  • the embodiment 23a is naturally ambidextrous, the three main zones left, middle and right, remaining as they are, regardless of the fingers that support them. Achievements 23b and 23c are also ambidextrous, with a permutation of the areas affected to the thumb and the little finger.
  • Fig. 11 illustrates the production of an object according to the present invention.
  • the user designates (interactive designation guided or not) (112) a combination of logical areas using one to three of his three nimble fingers, for example if each of the three fingers is in the "front" position on its main zone, the combination indicates the box containing the letter "Y”.
  • the user then performs a validation operation (114) that activates the object (115).
  • the creation process is the following sequence: 110: the user determines in thought what object he wishes to produce;
  • the user verifies that he has designated the desired object, and sometimes uses additional information (117, for example a small bubble or informative label displaying the functionality of the object when it is designated, at the like bubbles of information that are activated on computers when the mouse cursor is positioned on a button of Word _ commercial name) and presented to him to comfort him;
  • additional information 117, for example a small bubble or informative label displaying the functionality of the object when it is designated, at the like bubbles of information that are activated on computers when the mouse cursor is positioned on a button of Word _ commercial name
  • 115 the object designated and validated is thus activated; 116: a feedback (for example a letter written on the display screen or vocal or tactile echo) allows the user to check the result.
  • a feedback for example a letter written on the display screen or vocal or tactile echo
  • SYMBOLIC PRESENTATION it is also a question of presenting the information on the display screen (or any other means of presentation) even when the device is in use.
  • Means make it possible to symbolically display on the screen the active band and the means (that is to say the sensitive areas to form the combinations) to activate each of the elements of the band.
  • the compact symbolic presentation consists of a map of 36 or fewer cells divided into 6 large areas symbolized themselves as checkers of 6 boxes (some of which may be not filled by an illustration).
  • the activation of a first sensitive area will trigger a display with only the 6 boxes that were in the large area of the map, then after activation of the second sensitive area, the indication of sensitive areas activated and the only icon corresponding to the contents of the box thus designated. Thanks to the timed forget, the deactivation of a zone makes return the visualization back.
  • This presentation of the tape itself is complemented by a presentation that updates the objects presented during a triggered rotation of the tape, for example, by the action on a logical zone of modification (thumb and / or auricular) , or any other cause as mentioned above.
  • the user has activated an outside thumb zone and the front middle zone and the four possible choices are the letters i, j, k, 1 of the Latin alphabet letter strip selected.
  • the components can be represented, according to the state of the art of the graphical and tree HMIs, by icons illustrating groups of combinations (other bands for example) rather that the set of icons of each combination, each icon, when designated, can be explained by a text label, according to the state of the art.
  • cursives can be considered as a production alphabet: each sign corresponds to a combination.
  • This handwriting which is initially a variant of the representation of the positions of the fingers on the sensitive areas, turns out to be very simple to produce in handwritten form, either linked cursively, or slipped or pointed in a pre-existing grid, and is also easy to recognize because it is composed of simple, easily distinguishable elements for a simple handwriting recognition device.
  • an optical pencil of some diodes or equivalent would easily detect the successions of upper and lower sticks with respect to the beginning and the end of the central trace.
  • the vectors and the points are very easy to draw, then, in real time or a posteriori, detect, identify and relate to the models associated with the 36 basic combinations. Up to 6 upper and lower accents are easy to identify as well and allow to define a set of basic signs, excluding commands to change reference tables, up to 216 possibilities.
  • a graphic tablet or touch screen system and recognition software can easily do these treatments, while they are struggling to recognize beyond 95% of the signs of a current handwriting or even simplified .
  • the symbolic representation according to FIG. 13 can be advantageously made equivalent to that of a virtual keyboard according to the state of the art, where the pointer and the click make it possible to designate successively remotely, with or without zones. material sensitive, then validate the combinations according to the method of the invention.
  • the nature, size, importance and permanence of the symbolic presentation will be advantageously adjustable. We can thus distinguish several configurable levels:
  • a level for example at the cursor point where only the sign or command ready to be validated is displayed, and possibly changed according to the exploration before validation or cancellation, according to Figure 3;
  • the presentation software visually highlights the logical areas that are turned on and off as the novice user interacts with the DED. This emphasis is fundamental for beginners to know what they have already done to go to the desired box and content object.
  • This highlighting is done according to the chosen representation. For example, the highlighting will be done either in the form of successive screens (sequence of figures 13, 14 and 15) or highlighting the group of boxes sharing the activated area and the designated box before validation and eventual withdrawal or abandonment , the displayed band being changed according to the state or the activation of a modification logical zone (FIGS. 16 and 17).
  • FIG. 16 and 17 In a representation according to FIG.
  • highlighting enabled keys can be done by adding indexes of different colors in the grids and highlighting what is designated. The different colors can make it possible to distinguish among all the keys that are activated physically, those that are validly according to the active process, and those that are not, because prohibited.
  • the presentation can only become active when a timer (tempo4) has elapsed from the designation of a first logic zone, the flow of this delay being interpreted as a hesitation of the part of the user.
  • the presentation is then proposed as an aid, according to the modalities set by the user, advantageously by bringing together several bands or zoom.
  • the representation may fade, either just after the validation, or after a delay (tempo3) and pass in the background of the active window, allowing the action of the pointer, and return to the foreground only when the a sensitive zone is activated, either immediately for the beginner or after the parameterizable delay (tempo4) mentioned above.
  • the visual presentation can not be constituted as such, in graphic block in addition, This forces a certain visual shuttle between areas of the screen, and hides more or less depending on the transparency rate chosen for the interactive graphic representation, which is below, but be associated with the existing presentation of the available commands.
  • the symbolic symbolic representations, finger positions can be contiguous permanently or dynamically next to the icons and fixed or dropdown menus and different choices. In this way, the beginner sees as he practices the old way how he can again use only the movement of his fingers to activate a command.
  • the visual presentation is a solution but not unique.
  • the presentation in the absence of a screen, which corresponds to an advantageous use of the DEDs in social or movement situations or other observation activities, the presentation can be done under vocal or tactile form.
  • the sensitive areas are each associated with a pin that acts on the skin when the sensitive area is activated, either statically once or vibrating.
  • This tactile presentation is also interesting to present information of any type when neither a screen nor a listener are possible, technically or socially.
  • This tactile presentation could be, in a particular embodiment, associated with a wristwatch or bracelet containing the heart of a dematerialized DED (FIG. 2).
  • the DED may "forget" the logical zone designated by error as soon as a duration greater than the time delay (tempo2) previously defined in the different simultaneous reading processes has elapsed that the user has raised his finger from the wrong zone, provided that there is always a sensitive area assigned to an agile finger that is physically activated, which may require physically activate another area assigned to an agile finger before raising the finger with a wrong position.
  • This possibility provides the user with an accessible exploratory learning and also offers a reassuring error tolerance for the beginner.
  • a cancellation function is possible.
  • the active band or the band without thumb or little finger of the active table has at least one combination associated with this empty object or NuIl, created as a function internal to the cancellation DED.
  • this empty object or NuIl created as a function internal to the cancellation DED.
  • the special combination of support of the 6 keys assigned to the three nimble fingers or more generally, an easy combination of construction by moving the fingers according to the process of forgetting.
  • the user by designating this object, by using the mechanisms of correction, hesitation and forgetting described above, then by validating it, produces no object.
  • This feature of the invention avoids the user to have to correct the result of an untimely activation, often easy with modern software but not always, and most of the time expensive in time and pace of work.
  • this NuIl function simultaneously performs the resetting of the memories containing information on modifiers and locks of all types in particular positions, thus causing the return to a well known and unambiguous reference position and difference between what the user believes and what the system knows.
  • the present invention also relates to means of correction, disambiguation, prediction and completion which are implemented on the DED.
  • Two aspects can be considered: the finger-detection aspect and the semantic aspect of what is grasped.
  • the device comprises means, hardware, by construction and parameterization sensitivities, possibly software, correction of typing errors, including very short strikes and without forces (flicking).
  • the sensitive zones of the same main zone are almost totally exclusive to each other, except, in certain cases, for actions that are not done very quickly. Therefore, if the actuator acts inadvertently on two zones, the system gives priority to the first one which is touched, and in the case of a simultaneous touch, to that where the force or the surface, according to the technologies, are the biggest.
  • the sensitive areas adapted to the invention do not need, as keys of a conventional keyboard, to make them exceed a threshold of displacement and provide a feeling of collapse of resistance, and are on the contrary low or no displacement, weak or no force. Indeed, on the one hand the fingers that gallop several shots per second would be slowed by these movements and forces, other by the fact that the movements of the fingers are simple there is no need to discriminate between the desired touch and its neighbors, almost constantly touched touching typing fingers moving on important surfaces.
  • software means store this data (delicate object-object2-linking for this user) and provide means for landing and anticipating (thus predicting and correcting) the errors: when the first object is produced, the logical zones associated with the second object can be enlarged to the detriment of those of the third object, to facilitate the production of this second object.
  • Another way to reduce errors is to propose two-finger processes without order. This is possible, as mentioned above when you enter text and significant words in a given language.
  • the principle is called disambiguation and was made famous by the T9 technique of the Tegic company. It consists in not asking the user to produce exact letters but simply producing a code associated with two (Suretype) or three / four (T9 or iTap) or six letters (Tengo) and leaving the software and its vocabulary tables, remove ambiguities by proposing syllables or words that the user only has to choose instead of typing them, which is not always advantageous with existing systems.
  • each of the eighteen possible combinations can only correspond to two distinct arrangements by the typing order of the same two keys, for example the "C”. and the "P" according to Figure 7, which corresponds to a weak linguistic ambiguity, easy to deal with.
  • a radical or a single word will very often be the only possibility.
  • the prior art also knows semantic prediction and completion means based on the dictionaries and the most frequent sentences of the user, in particular implemented in mobile phones.
  • the DED offers semantic suggestions to the user based on, for example, objects immediately entered, a syntactic and semantic analysis of the beginning of the sentence entered, the context (software) in which the DED is used. .
  • the active band presented on the screen contains empty boxes, or boxes containing objects without use at this time, it is modified to present to the user one or more objects (word, portion of sentence, command ... ) proposed as and when by the semantic or language prediction.
  • an optional band is created with one or more of these new objects and presented to the user at a favorable location on the screen. This is particularly the case in Figure 19 which presents three nominable proposals following the entry of the beginning of word "Per”.
  • This modified or created band is presented, visually or by any other means, to the user, if he so desires.
  • the latter can actually produce the desired object faster if it is part of the suggestions, while often with conventional systems, selecting a suggestion is slower than finishing typing the letters of the intended word, without count that if he looks at his keys the user does not see the suggestion very early.
  • the suggested objects are presented in the boxes of a large domino or nested dominoes so that the selection of the preferred object is done by a similar action of the fingers to that of the production of the elementary objects remaining to be added to reach a word or phrase that is semantically correct and adapted to the thought desired by the user.
  • This presentation is of interest because the user of a DED according to the invention never looks at his hands or the DED, is trained to interpret the symbolic representations mimeetically and produces them quickly. This compact and easily designatable presentation applies to standard words or phrases.
  • the symbolic presentation may relate to strips where the sentences are represented by icons that select display the sentence and then produce it as a block when the corresponding combination is validated.
  • This method makes sense with the invention because the user can keep his eyes on the screen and call at will strips of particular and personal objects.
  • text production is greatly accelerated and corresponds to the contexts of Instant Messaging or SMS.
  • the device comprises software modules for managing the steps and mechanisms previously described. This makes it possible in particular to offer a parametering interface to the user according to his aspirations:
  • tempoO in pure Bitap mode, defines the time available for the user to move the single actuator from the first sensitive zone to the second
  • the DED device (120) is connected by a wired connection (122) (USB cable, network cable) or a non-wired connection (123) (Infra ⁇ red, Bluetooth, Wifi, RF ...), to the equipment (121) to enter data.
  • a wired connection (122) USB cable, network cable
  • a non-wired connection (123) Infra ⁇ red, Bluetooth, Wifi, RF Certainly
  • the DED comprises software means making it possible to implement the method described in the present invention and to communicate with the equipment to which it is connected.
  • the equipment includes software means and can communicate with the DED and interpret the data sent to perform an action for example.
  • the user who wishes to perform an action on the equipment in question produces using the DED the combination corresponding to the desired action.
  • the DED transmits to the equipment some data that is interpreted by the equipment to produce the action. According to the possibilities of installing programs and of storing tables implementing the invention, or of accessing the presentation means of the equipment, a greater or lesser part, possibly zero, of the method according to the invention will be performed in the equipment, and the DED will achieve what can not be done by this equipment.
  • DEDs can concurrently control the same equipment.
  • This system has certain advantages: for one person but also for several people working or playing together by sharing only a local or duplicated screen and applications, each being able to intervene in his place while easily watching what is happening pass on the common screen.
  • the use of DED according to the invention brings significant advantages, in particular the fact that only one hand is requested for, both the seizures, the controls and the device of the invention. score.
  • Another advantage is that the possible physical positions for the participants are more comfortable and more varied (less need for tables, standing and moving possible, etc.) and that users do not need to look even stealthily the keyboard, can focus on what's shows on the common screen or in the attentive overall listening of the one who expresses himself.
  • a special case concerns the case where two DEDs, possibly of different architectures, are connected and handled by each of the two hands of the same user (user 2 of FIG. 12), thus involving up to 10 actuators.
  • This configuration which will only concern users who are already experts in both hands, makes it possible, particularly but not necessarily, to make the strikes of two successive signs completely independent, whereas on conventional two-handed keyboards the independence is less than 80%. .
  • the DED can also be an independent device having its own calculation means (interpretation software for the sensor, table management software, etc.) and possibly means for presenting the object produced by the user: own display screen, for example fixed on the back of the hand that acts on the DED, external display screen, sound presentation means (voice synthesizer, speaker, earphones, ear buds ...), tactile presentation means. ..
  • the DED can be part of a client-server architecture.
  • the DED comprises sensitive detection means (sensors), presentation means (a screen, a loudspeaker), means of communication with a network (for example, Wifi, GSM or UMTS).
  • a network for example, Wifi, GSM or UMTS.
  • the DED is only a human interface. Machine and application services of the process are deported to a server connected to the network. This DED can be either personal or trivialized, or specific to a given location and context, depending on the state of the art of the terminals.
  • the personalization data (structure of the bands, dimensioning of the sensitive zones, etc.) are stored on the server and only the coordinates of the actuators determined through the sensor (s) are transmitted to the server.
  • the use in real time that is to say a fluid use compared to the production of a normal user, can be feasible on current high-performance communication networks (GPRS, WiFi, UMTS ).
  • the user's parameters and adapted programs are temporarily installed in the DED terminal, according to the state of the art of the terminals and the servers.
  • the DED is connected at least to a display screen possibly via a computer.
  • the display screen makes it possible to enrich the DED with modules that are useful for learning and using this combinational data entry device. Variations even more favorable for use in situations of mobility, would associate to the DED a voice synthesis and an audio presentation via a listener, much less intrusive than a screen vis-à-vis third parties.
  • the least intrusive being the tactile presentation on a large enough skin surface, for example under the wrist in a bracelet possibly associated with the heart of the detection device, according to Figure 2.
  • EXEMPLARY EMBODIMENT DED INTEGRATED INTO A PORTABLE TELEPHONE.
  • a particular application of the DED concerns mobile phones that are becoming more and more terminals and therefore need a Man Machine Interface that goes beyond the twelve historical keys, the cursor movement manager and the "entry” and “entry” keys. exhaust ".
  • the DED banner has the width of the phone and a centimeter of height. It can be used in Bitap, Dragged, Successitap, Tritap, Simultap, Mixed and Advanced, depending on whether the user has one hand or two hands to hold and operate his device.
  • the DED makes it possible to realize and accelerate all the actions of the HMI of a telephone.
  • the strip (210) is used in slipped mode. For this purpose, sliding (211) between the two boxes “left front” and “middle front” produces the letter "B" (grammar of Figure 5).
  • the multi-touchpad covers all or part of the non-screen surface of the phone.
  • Conventional keys are represented on the surface and can be active by simple software switchover.
  • DED mode by simple addition of software, it allows the uses of embodiment 1 plus a four or five fingers use, right hand or left hand and the use of a mouse.
  • the manufacturer can notably significantly increase the already frequent, according to the state of the art, universal wireless remote control features of his phone, currently limited and slow due to the constraints of conventional mobile object keyboards. With a DED according to the invention, the phone can then really act very powerful and fast on all electronic objects worn by the person and those he meets.
  • the DED is an electronic object that communicates with external means. When they are not passive and can dialogue with the DED and control what it transmits, it is advantageous to include in the electronic system DED means for authentication of the DED and User Identification dialoguing with these external means according to processes that can not, according to the state of the art, question the user.
  • the DED can integrate a security chip by which the DED can pass when it receives particular requests after or before inserting information entered by the user.
  • the way of moving the fingers can characterize quite a given person.
  • the system can add, in an automated way, without soliciting the user, regular checks on the identity of the user. current user. This new solution would be juxtaposed, for security issues defined by the ad hoc managers, traditional requests for information capture that the user is deemed alone know and protect disclosure, or finger-laying on a biometric reader .
  • the DED By integrating the means of authentication and identification of a person in a personal DED that transports and uses this person for his own reasons, the objects, called “Token” by the state of the art, are made much more comfortable to use.
  • the DED according to the invention makes it much easier to significantly increase the security on networks and mobiles, that is to say to go beyond the only combination “login” + “password” which the well-known weaknesses do not prevent, because of the heavy constraints of Token (they force to wear a specific object for interruptive use) that they remain dominant.

Abstract

La présente invention se rapporte au domaine des dispositifs et procédés combinatoires de commande et d'entrée de données (DED). Elle associe trois à cinq zones sensibles principales contenant elles-mêmes, de une à six zones sensibles et des moyens de pilotage d'au moins un pointeur électronique. A ce dispositif, maniable d'une seule main, est associé un procédé de désignation, exploration et validation, selon des modalités librement successives ou simultanées appliquées avec un nombre d'actuateurs allant de un à cinq, de combinaisons de zones sensibles associées aux cases d'une table activable et substituable, contenant tout objet informatique, avantageusement construite et présentables sous- formes canoniques et communes, quelque soit le nombre d'actuateurs utilisés. Le procédé peut présenter de façon symbolique comment désigner un objet contenu dans une case de la table active, les zones sensibles activées, ce qui est en cours d'être désigné et en accepter l'ajustement ou l'annulation. Les paramètres et les tables personnalisées, sont des fichiers échangeables entre les différents DED ou les systèmes commandés par eux. La flexibilité de l'invention permet de créer un DED optimisé pour un objet ou un DED très adaptable au cours du temps à son utilisateur et aux objets qu'il utilise. Un DED peut être doté de moyens autonomes, inclure des moyens d'authentification et d'identification, être intégré dans un objet électronique ou constituer un système avec d'autres DED et avec un objet informatique ou électronique distinct.

Description

PROCEDE ET DISPOSITIF DE COMMANDES ET D'ENTRÉE DE DONNÉES
La présente invention se rapporte au domaine des dispositifs et procédés de commande et d'entrée de données (DED) dans un système électronique, informatique ou autre, et plus particulièrement des procédés combinatoires permettant une désignation concurremment simultanée ou successive de combinaisons de touches.
On connaît déjà de nombreux claviers combinatoires, notamment celui décrit dans le brevet français FR85/11532 (Guyot-Sionnest) .
On connaît également, par les documents US 4 344 069, US 2003/063775, US 5 535 421, WO 97/23816 et « HP48 G Séries user's manual » (XP002333594) , respectivement :
- un dispositif permettant de générer des caractères par appui successif de deux touches, le caractère étant produit au relevé de la dernière touche ;
- un dispositif permettant d'évaluer et de calculer des distances tridimensionnelles dans des applications telles que des claviers virtuels ;
- un dispositif de guidage pour un utilisateur se servant d'un clavier, le guidage consistant à afficher les moyens de production activés par l'utilisateur et le caractère produit par ces moyens activés ;
- un procédé informatique pour l'identification d'un utilisateur en fonction de son profil comportemental ; et
- un manuel d'utilisation d'une calculatrice affectant plusieurs caractères productibles par une même touche au moyen d'une ou d'autres touches de sélection (touche a).
L'inconvénient de ces solutions réside dans le fait qu'elles ne sont pas adaptées pour être utilisées à la fois par un novice qui prend le temps d'acquérir le fonctionnement du dispositif et un expert qui cherche les performances du dispositif. En effet, de par sa complexité et sa lourdeur, la première étape de découverte et d'apprentissage des claviers combinatoires a toujours rebuté l'utilisateur qui abandonne le plus souvent. Aucun guidage initiatique voire adapté en fonction de la dextérité et des hésitations de l'utilisateur n'est proposé. Aucune de ces solutions ne propose d'équipement unique permettant d'allier la production d'objets via un mode d'activation de touches simultané et successif.
La présente invention entend remédier à un ou plusieurs inconvénients de l'art antérieur des dispositifs de commande et d'entrée de données, notamment des claviers combinatoires permettant à l'utilisateur, avec le même dispositif, de tirer profit de ses performances débutantes ou expertes. Elle propose un dispositif universel d'entrée de commande et de données, combiné avec un dispositif de pointage pour les IHM graphiques, tenant sous une seule main ou même sous un seul doigt comme le pouce, pouvant convenir à tout dispositif informatique ou électronique et basé sur l'action combinée au sens large sur un nombre réduit de zones sensibles capables de fournir des informations avec lesquelles des programmes informatiques seront en mesure de déterminer les positions et mouvements des doigts d'une main, ou de tout actuateur manié par l'utilisateur. Les combinaisons ou successions de zones sensibles activées étant interprétées par un autre programme informatique paramétrable selon les préférences et contextes dans lesquels se trouve l'utilisateur et interprétant des tables personnalisées pour l'utilisateur dans lesquelles sont rangés des objets informatiques, avec leurs éléments d'exécution, au moins une représentation symbolique et au moins une étiquette de commentaires, selon l'exemple connu des icônes et menus déroulants des Interfaces Hommes Machine graphiques.
L'invention permet notamment au débutant de masse de démarrer en quelques minutes, tout en lui permettant de progresser naturellement par l'usage vers le mode simultanéf quelque soit la grammaire !
Pour faciliter l'exploration des contenus des tables et faciliter la capacité de l'utilisateur à désigner et activer un nombre important d'objets, de façon rapide et sans avoir à les mémoriser au préalable, l'invention propose des moyens paramétrables, selon l'expertise ou les besoins ou préférences de l'utilisateur, de présentation symbolique des tables contenant les objets. Ces moyens indiquent à l'utilisateur de façon immédiate les positions des doigts ou actuateurs permettant la désignation de l'adresse, dans la table active, de l'objet visé (quelles zones sensibles activer), quelles sont, à un moment donné, les zones sensibles que le système considère comme activées et quels objets sont désignables avec les zones déjà actives et d'autres ajoutables à la combinaison en cours de construction. Ce système est une sorte de transposition du fonctionnement des IHM graphiques, à la différence importante que le DED permet, si l'utilisateur y voit son avantage, d'éviter d'avoir à déplacer le pointeur électronique sur l'écran et au-dessus des objets informatiques qui y sont représentés par des icônes ou des items de menus fixes ou déroulants, mais seulement mouvementer les doigts disponibles ou actuateurs entre les différentes zones sensibles.
Pour parachever cette intégration, sous la main de l'utilisateur, d'un IHM polyvalent pour tout dispositif informatique ou électronique, l'invention intègre dans ou à côté des zones sensibles des moyens de suivis des déplacements d'un ou plusieurs actuateurs pour les lier à des pointeurs électroniques selon l'état de l'art.
Pour permettre à l'utilisateur de se servir des dispositifs de saisie et des modes de production les plus daptés à chaque contexte de mobilité tout en réutilisant le
Figure imgf000006_0001
coirtbinatoires, et dont il est possible d'avancer que cette représentation symbolique des adresses constitue en quelque sorte une écriture, qui peut aussi avoir une forme cursive ou par pqints, électronique, virtuelle ou matérielle sur des supports papier ou autre. Cette représentation symbolique canonique s'écarte des systèmes d'écritures antérieurs qui ont comme base la stylisation de l'objet désigné, en ce qu'elle prend comme point de départ une représentation symbolique des possibilités de positionnements simples de chaque doigt d'une main humaine.
Le procédé selon la présente invention répond particulièrement bien aux besoins cumulés d'une personne en matière de saisie discrète, confortable et rapide en tout lieu, toute position et tout moment et d'intégration dans des dispositifs de petite taille qui prolifèrent comme les téléphones mobiles, les assistants personnels et les dispositifs d'écoute et d'enregistrement multimédia. L'invention permet également de fournir une solution unique de production d'objet qui s'adapte tout aussi bien aux performances d'un débutant qu'à celles d'un expert, sans nécessiter un changement d'équipement.
Il est entendu que les aspects techniques évoqués précédemment et largement décrits dans la suite pourront faire l'objet d'une protection spécifique, chacun de ces aspects étant protégé de façon indépendante. Notons l'importance : -des mécanismes permettant de fournir au dispositif les fonctionnalités universelles et personnelles permettant de commander de façon très flexible tout objet électronique télécommandable de l'extérieur, -des mécanismes et moyens techniques pour l'exploration et le guidage interactif permettant d'indiquer, illustrer et commenter, sur écran ou de façon audio ou tactile, quelles positions des doigts correspondent à un objet ou un groupe d'objets, et ceci de façon paramétrable selon les choix et les performances de l'utilisateur : d'un guidage permanent à un guidage optionnel apparaissant quand certaines hésitations sont perceptibles par le système,
-des mécanismes et moyens techniques pour l'apprentissage et le coaching de la progression des savoir- faire des utilisateurs, du moment de la découverte de la commande universelle à la phase où l'utilisateur l'utilise de façon réflexe et à vitesse maximale pour les capacités kinétiques de sa main et les tables d'objets en mémoire, en passant par l'actualisation de ces tables selon l'évolution des besoins de l'utilisateur,
-de la structuration des objets activables les plus variés sous forme de bandes et de tables représentables de façon symbolique et commune aux différents modes d'usage du DED, -de la création d'une écriture manuscrite facile à interpréter par des moyens électroniques, en différé ou en temps réel, qui complète le DED et en élargit les avantages pour un utilisateur,
-de l'intégration volontairement redondante sous une forme inégalée des fonctions clavier, souris et commandes sous une seule main qui reste quasiment immobile et n'a pas besoin de se repositionner ni de délai pour passer d'un mode à un autre d'Interfaçage entre l'Homme et la Machine,
-de la capacité à remplacer les IHM de type penser/voir/pointer/sélectionner/cliquer telle que la souris et les environnements à menus et barres déroulants dans les opérations de désignation d'objets, exploration de contenus et activation, par un IHM de type penser/voir/cliquer, puis penser/cliquer, infiniment plus rapide, -de la possibilité d'implémenter une partie significative de ce procédé sur des dispositifs existants par simple installation de logiciels,
-de la possibilité de donner à un objet personnel une fonction d'authentification et d'identification performante sans être contraignante pour toute relation de l'utilisateur avec des dispositifs et systèmes tiers.
À cet effet, l'invention concerne dans son acception la plus générale un procédé combinatoire d'entrée de données sur un dispositif d'entrée de données (DED) comportant des moyens sensibles activables par l'intermédiaire d'au moins un actuateur, permettant, selon la combinaison des moyens sensibles activés, à un programme informatique ad hoc, de désigner et d'activer, un objet contenu dans une table active de correspondance en mémoire, les moyens sensibles étant constitués par au moins trois zones principales Zi de détection constituées chacune de Fi (Fi = 1, 2, 3... ) zones sensibles distinctes, ledit procédé comprenant au moins une étape de désignation/sélection d'un objet de ladite table active et une étape postérieure de validation et de production de l'objet désigné, caractérisé en ce que, pour au moins une première partie des objets de ladite table active, ladite étape de désignation/sélection d'un même objet est indifféremment réalisée soit par la désignation dudit objet en mode combinatoire successif soit par la désignation dudit objet en mode combinatoire simultané.
Par la suite, on parlera de désignation d'une case ou d'un objet dans la table active pour la production de cet objet. Cette désignation nécessite la « production » de la combinaison associée à cette case/objet ; il s'agit de 1'activation d'une zone physique ou logique. L'activation d'une zone physique consiste en l'action de l'actuateur sur cette zone physique. La zone logique est une zone abstraite associée à la zone physique d'un point de vue informatique. L'activation de cette zone logique est consécutive à l'activation ou la désactivation d'une zone physique qui lui est liée. Cependant, cette activation n'est pas nécessairement synchronisée à l'activation d'une zone physique, notamment en ce qui concerne, par exemple, la validation d'une combinaison lorsque l'utilisateur tente de relever de façon simultanée les actuateurs sur les zones physiques mais qu'il existe un temps très petit entre le relevé des actuateurs sur deux zones distinctes. On introduit alors une temporisation d'oubli associé à une zone logique qui se déclenche lorsque l'actuateur d'une zone physique associée est relevé. La zone logique sera désactivée à l'expiration de cette temporisation. Ainsi, au moment de l'événement de validation, seront prises en compte les zones logiques encore actives, c'est-à-dire celles dont la temporisation d'oubli n'est pas expirée.
Selon divers modes de réalisation, :
- le procédé comprend, en outre, une étape de présentation visuelle symbolique d'informations indicatives de la façon de désigner les zones sensibles correspondant à la combinaison associée à chaque case de la table active, les dites présentations symboliques pouvant elles-mêmes être sensibles selon la technologie des claviers virtuels,
- le procédé comprend, entre ladite étape de désignation et ladite étape de validation, une étape d'exploration et d'ajustements des combinaisons désignables,
- ladite étape d'exploration comprend une étape de présentation symbolique visuelle, sonore ou tactile et de mise en exergue visuelle, sonore ou tactile, des zones sensibles activées ou désactivées au fur et à mesure que l'utilisateur interagit avec et des objets associés aux combinaisons partageant les zones sensibles déjà désignées, jusqu'au stade où il n'y a plus qu'une combinaison associée à une case de la table active et à l'objet que celle-ci contient, - ladite étape d'exploration comprend :
• une étape de présentation, sur des moyens de visualisation reliés au DED, des différentes zones sensibles et, pour chaque zone sensible, des objets dont la production requiert l'activation de cette zone sensible en plus des zones sensibles déjà sélectionnées,
• lorsque l'utilisateur sélectionne une nouvelle zone sensible ou libère une zone sensible, une étape temporisée de mise à jour de la présentation des zones sensibles sélectionnées et des objets associés aux combinaisons de zones sensibles pour tenir compte de toutes les zones sensibles désignées à cet instant ou qui l'étaient dans un délai passé inférieur à une ou plusieurs temporisations, et des objets pouvant encore être produits, - sur un dispositif particulier comprenant deux zones sensibles distinctes pour chacune des trois zones principales, ladite désignation en mode successif d'un objet de ladite table active par une combinaison comprend l'activation successive d'au moins deux zones sensibles parmi les six zones,
- pour au moins une deuxième partie des objets de ladite table active, ladite étape de désignation/sélection d'un objet est uniquement réalisée par la désignation de la combinaison en mode successif, - pour au moins une sous-partie de la deuxième partie des objets, ladite étape de désignation/sélection d'un objet est réalisée par un seul appui-relevé sur une seule zone sensible
- ladite étape de validation comprend la détection de la désélection de toutes les zones sensibles principales, la combinaison validée étant celle constituée par les zones sensibles qui étaient encore sélectionnées jusqu'à un délai passé, ce délai étant :
• pour les combinaisons hors mode successif pur Bitap, égal à une première temporisation d'oubli (tempo2), et
• pour les combinaisons en mode successif pur Bitap, égal à une deuxième temporisation d'oubli (tempoO) supérieure à la première temporisation, afin de permettre un déplacement confortable de l'actuateur unique de la première zone sensible à la seconde,
- sur un dispositif particulier comprenant, en outre, au moins une zone principale additionnelle de détection constituée d'une pluralité de zones logiques et une pluralité de tables parmi laquelle se trouve la table active, caractérisé en ce qu'il comprend, en outre, une étape de substitution de ladite table active avec l'une de ladite pluralité de tables en activant au moins l'une desdites zones logiques de la au moins une zone principale additionnelle,
- le procédé comprend, en outre, une étape de correction, désambiguïsation et prédiction des chaînes d'objets désignés ou validés, ladite étape permettant la création d'une table de suggestions comprenant au moins une suggestion, et une étape de présentation visuelle, sonore ou tactile de la table des suggestions dont les objets sont désignables, explorables et validables par ladite étape de description/sélection,
- lesdits objets désignés, validés et produits sont choisis parmi l'ensemble des objets informatiques et électroniques, par exemple, un ou plusieurs caractère(s) alphanumérique(s), une phrase type, une image, un icône, un item de menu déroulant, une commande et un programme informatique internes audit dispositif, une commande et un programme informatique externes audit dispositif et résidant sur tout équipement informatique ou électronique auquel est relié le dispositif DED. L'invention concerne également un dispositif d'entrée de données (DED) comportant des moyens sensibles activables par l'intermédiaire d'au moins un actuateur, permettant, selon la combinaison des moyens sensibles activés, à un programme informatique ad hoc, de désigner et d'activer, un objet contenu dans une case d'une table active en mémoire, les moyens sensibles étant constitués d'au moins 3 zones principales Zi de détection constituées chacune de Fi (Fi = 1, 2, 3... ) zones logiques distinctes, pour la mise en œuvre du procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend, en outre, des moyens logiciels et de mémoire, les moyens de mémoire stockant au moins la table active et un code informatique, les moyens logiciels exécutant ledit code informatique et étant aptes à traiter les informations d'activation desdites zones sensibles dans un mode indifféremment successif Bitap pur, successif ou simultané et à produire l'objet désigné lors de la validation de la combinaison de zones sensibles activées. Selon divers modes de réalisation :
- le dispositif comprend, en outre, des moyens de détection de déplacement pilotant au moins un pointeur électronique, lesdits moyens de détection de déplacement étant l'un parmi le groupe constitué de toute ou partie des zones sensibles de détection, des moyens juxtaposés auxdites zones principales Zi et des moyens porteurs des zones de détection,
- le dispositif comprend, en outre, au moins une zone principale additionnelle de détection constituée d'une pluralité de zones logiques et une pluralité de tables parmi laquelle se trouve la table active, ladite au moins une zone principale additionnelle étant apte via les moyens logiciels, lorsque au moins une de ses zones logiques est désignée, à substituer ladite table active par l'une de ladite pluralité de tables, - le dispositif comprend des moyens d'authentification du DED de type puce électronique spécifique audit dispositif, la puce étant apte à produire une chaîne alphanumérique en fonction du profil d'utilisation en cours du dispositif par l'utilisateur et d'une chaîne de caractères saisie par l'utilisateur grâce aux moyens sensibles activables de production d'objets dudit dispositif,
- lesdites zones sensibles logiques Fi d'une même zone principale Zi sont exclusives entre-elles. L'invention concerne également un système d'entrée de données comprenant au moins un dispositif d'entrée de données DED précédemment présenté et un équipement informatique, lesdits DED pilotant concurremment, à l'aide des objets produits par ceux-ci, l'équipement informatique auquel ils sont reliés.
Selon un mode de réalisation, le système comprend, en outre, des moyens de présentation visuelle, sonore ou tactile permettant de restituer symboliquement la table active, les zones sensibles logiques sélectionnées et celles à désigner pour activer au moins un des éléments de la table
L'invention a également pour objet un Programme d'ordinateur destiné à la mise en œuvre du procédé, comprenant une pluralité d'instructions aptes à traiter les informations de désignation/désélection des zones logiques et produire un objet en fonction des zones logiques désignés en mode combinatoire successif ou simultané lorsque l'utilisateur valide la sélection.
On comprendra mieux l'invention à l'aide de la description, faite ci-après à titre purement explicatif, d'un mode de réalisation de l'invention, en référence aux figures annexées où : les figures 1, 2, 3, 9 et 10 représentent des modes de réalisation de la présente invention ; la figure 4 illustre un exemple de feedback tactile, apporté par les deux positions différentes des bouts de doigts, lors de l'utilisation de la présente invention ; les figures 5, 6, 7 et 8 illustrent des exemples de bandes ou tables d'objets (généralement des caractères alphanumériques) mise en œuvre dans la présente invention ; la figure 11 est un ordinogramme de l'activation d'un objet selon la présente invention ; la figure 12 illustre un système selon la présente invention dans lequel interagissent trois utilisateurs ; les figures 13, 14 et 15 sont des présentations des moyens de guidage visuels interactifs de la désignation et l'activation des objets selon la présente invention ; la figure 16 est un exemple de représentation canonique d'une table de 5 bandes contenant des objets ;
- la figure 17 illustre un exemple de mise en exergue des possibles combinaisons lors de l'interaction d'un utilisateur pour la représentation canonique de la figure 16 ; la figure 18 illustre plusieurs formes cursives et par points de l'écriture créée de fait par la présente invention ; la figure 19 illustre comment le guidage visuel permet de démultiplier l'utilité des logiciels de correction et prédiction sémantiques ; - les figures 20, 21 et 22 illustrent différentes implémentations d'un DED sur des téléphones mobiles ; la figure 23 illustre l'implémentation d'un DED comme un jeu de 6, 9 ou 12 touches ajoutées sur le dos d'une souris disposant par ailleurs d'un nombre classique de contacteurs (clics gauche, droit, molette, sous le pouce ...), les figures 24a à 24d représentent des tables d'activation de combinaisons coexistant sur un même équipement afin de le rendre accessible aussi bien à un débutant qu'à un expert, et les figures 25a et 25b représentent une alternative aux modes des figures 24a à 24d.
REALISATION 1. La figure 1 représente un mode de réalisation de la présente invention selon lequel le dispositif combinatoire d'entrée de données, ci-après nommé DED, présente trois zones principales (11, 12, 13) de détection adjacentes associées aux trois doigts « agiles » (index, majeur, annulaire) de la main. Ces zones sont disposées pour correspondre de façon morphologique aux doigts de la main et comportent chacune deux zones sensibles adjacentes (zone supérieure ou « avant » et zone inférieure ou « arrière »), telles que, souvent et notamment en mode expert, une seule à la fois est logiquement activée par le doigt agile correspondant, par exemple par un traitement logiciel, ou par construction matérielle. Comme illustré sur les figures 24(c), 24(d) et 25(b), cela peut ne pas convenir aux débutants. Ce mode de réalisation permet de tirer profit maximum des possibilités kinétiques de la main et du cerveau qui les commande et les contrôle car les mouvements demandés aux seuls doigts sont simples et ont une plage de tolérance large. De plus, les sensations tactiles des bouts de doigts et kinestésiques dans les doigts eux-mêmes, associées aux positions sont simples et bien distinctes pour une main et un cerveau humains. Il est entendu que ce mode de réalisation n'est pas limitatif et qu'une réalisation dans laquelle le nombre de zones sensibles logiques est variable d'une zone principale à l'autre est aussi envisageable dans le cadre de la présente invention. Chacune de ces zones est assimilable à une zone « logique » à laquelle est associé un état. Dans le présent mode de réalisation, pour chaque zone principale, trois états sont possibles : zone supérieure ou avant activée, zone inférieure ou arrière activée et aucune zone activée (état équivalent à « doigt relevé »). De façon générale, N zones logiques de détection permettent d'utiliser N+l états différents, même si d'autres modes de réalisation sont envisageables notamment pour éviter les ambiguïtés entre différentes zones logiques et créer une redondance d'information entre la zone qui est désactivée et celle qui s'active au cours de cette transition.
Par exemple, si la détection d'activation d'une zone se fait par détection acoustique d'impact, il est nécessaire de pouvoir détecter la désactivation de la zone, c'est-à-dire l'entrée dans l'état non activé d'aucune des N zones sensibles. En sens inverse, une solution pourrait ne pas prendre en compte le N+lème état et ne se servir que des N états associés à N zones sensibles.
Selon un autre exemple, la réalisation 1 serait faite avec 3 zones telles que l'utilisateur n'aurait pas a relever ses doigts, donc avec le même nombre trois d'états utiles, ce qui lui permettrait, par glissé ou appuyé vertical plus ou moins profond (comme dans une touche de trompette), de continuer à tenir le DED ou l'objet, par exemple téléphone ou guidon ou manette, tout en désignant et validant les zones sensibles des combinaisons voulues.
L'action de tous ou partie des trois doigts agiles sur les zones sensibles du dispositif produit une combinaison de zones logiques activées à laquelle est associé un objet informatique, par exemple un caractère alphanumérique.
VARIETE DES ACTUATEURS
L'utilisation des doigts en tant qu'actuateurs principaux sur les zones sensibles d'un DED selon l'invention, s'impose comme solution la plus évidente. Cependant tout type d'actuateurs peuvent être utilisés et même mélangés entre eux pour désigner les différentes zones logiques : stylet, stylo, extrémités de membres, parties mobiles du corps, dont les dispositifs de suivis des yeux et des paupières, (pour les handicapés), tête, doigts, de un à trois dans le cadre de la réalisation 1, pointeur électronique de toute nature, etc. ... Dans la suite, les différents termes désignant un actuateur sont utilisés sans que, pour autant, cela restreigne la description de la présente invention. II faut simplement se souvenir que selon le nombre d'actuateurs disponibles le mode de désignation peut être successif, glissé, simultané ou mixte, donc plus ou moins rapide et nécessitant plus ou moins d'attention, mais toujours permettre de désigner une case donnée dans une table de référence, représentable de façon symbolique, notamment à l'écran.
PRECISIONS SUR LES COMBINAISONS
Dans tous les cas, et notamment pour la réalisation de la figure 1, le mot combinaison doit s'entendre au sens large, et comprend soit des Arrangements (tenant compte de l'ordre de désignation/activation) , soit des Combinaisons au sens mathématique (ne tenant pas compte de l'ordre de désignation/activation) , ou un mélange « mixte » des deux. Cet élargissement des concepts habituels des « chord keyboards », jusqu'ici presque exclusivement combinatoires au sens mathématique, a pour but de permettre l'usage d'un même dispositif donné, comme celui de la réalisation 1, avec un nombre de doigts ou d'actuateurs ou maniés par eux, variable de un à cinq, pour tenir compte des différents contextes où se trouve l'utilisateur et de ses préférences. Pour cela, l'invention s'appuie sur un rangement canonique, selon les caractéristiques de la main humaine à cinq doigts, dans des tables communes à tous les contextes, contenant des « cases » dont le même contenu est désigné puis validé selon un processus « d'écriture » de son « adresse » dans la table qui est adaptée au contexte, aux technologies avec lesquels le DED est réalisé, aux nombres d'actuateurs mobilisables et aux préférences de l'utilisateur. Pour tenir compte des contraintes examinées ci-après, un petit nombre de cases peuvent ne pas être accessibles par tous les processus et leurs contenus sont éventuellement dupliqués dans d'autres cases du rangement canonique. Alternativement, certaines combinaisons s'appuyant sur une non exclusivité entre zones sensibles d'une même zone principale peuvent être ajoutées aux modes n'accédant qu'à un nombre inférieur de combinaisons. Alternativement, pour les technologies ne permettant pas le multitouche de deux zones sensibles, une zone supplémentaire peut être ajoutée pour permettre l'équivalent de l'appui simultané de deux zones sensibles normalement exclusives entre elles.
MODE COMBINATOIRE SIMULTANE ET MODE SUCCESSIF En ce qui concerne les combinaisons mathématiques possibles avec une réalisation de type 1, chaque doigt peut prendre trois états ce qui correspond à 27 combinaisons au sens mathématique, et permet comme décrit dans le brevet FR85/11532 de Guyot-Sionnest, d'adresser un alphabet de 26 signes. La figure 5 illustre, selon une présentation en bande, un exemple d'association entre les 26 combinaisons utiles possibles selon le dispositif de la figure 1 et les caractères de l'alphabet latin. Dans l'exemple de la figure 5, cette bande fait correspondre à chacune des lettres de l'alphabet une représentation sous forme de damier de la combinaison à réaliser sur le dispositif pour produire cette lettre (les cases en noir sont celles qui ont été désignées par les doigts de l'utilisateur). Par exemple, si les trois doigts agiles activent chacun la zone sensible supérieure ou avant de leur zone de détection, alors le dispositif, pour la bande de la figure 5, présentera un « Y » qui sera activé lorsque les doigts quitteront ensemble les 3 zones sensibles supérieures. C'est une caractéristique généralisée de l'état de l'art des systèmes combinatoires de ne valider principalement une combinaison qu'après le relevé du dernier doigt impliqué, au contraire des claviers conventionnels qui déclenchent à l'appuyé. Un logiciel ad hoc permet d'interpréter la combinaison fournie pour activer l'objet correspondant. Le logiciel peut par exemple récupérer l'identifiant des zones activées et, à l'aide d'une table active de correspondance telle qu'illustrée par la figure 5, produire le caractère déterminé par la combinaison de ces identifiants.
Mais le même dispositif selon la réalisation de la figure 1 peut aussi adresser facilement 36 adresses logiques différentes si l'utilisateur choisit le mode « Bitap » successif pour désigner deux zones sensibles parmi les six. La figure 6 donne une représentation de ces 36 « combinaisons », qui sont des arrangements au sens mathématique, deux parmi six. Dans cette représentation, on voit quelle est la première (carré blanc) zone sensible à activer et désactiver et la seconde (carré noir), dont le relevé validera la « combinaison » .
Nous allons décrire ci-après le continuum des processus selon l'invention, allant du plus simple à implémenter avec des zones sensibles réalisées avec des touches classiques désignées, activées et relâchées successivement par un seul doigt, au plus élaboré, mixant arrangements et combinaisons produits par 3 doigts agissant sur un DED selon une réalisation de type 1 avec une technologie « multitouch » permettant un mélange (mix) d'actions successives, simultanées et glissées. Ce faisant nous examinerons les différentes variantes associées à différents compromis en matière de nombre de combinaisons, de facilité, de rapidité, de taille...
PROCESSUS SELON LE MODE SUCCESSIF
Un des intérêts du mode successif est qu'il peut facilement se réaliser avec un seul actuateur, ce qui est souvent pratique, notamment pour les DED selon l'invention qui seront implémentés sur des objets mobiles manipulés préférentiellement d'une seule main (téléphones, lecteurs multimédia ...) , ou lorsque l'autre main est occupée ou qu'il n'y a pas de support pour tenir le DED ou que celui-ci est réalisé dans une technologie qui ne permet pas l'appui simultané (écrans tactiles courants, zones virtuelles), comme décrit ci-après au paragraphe « technologies » . Ce mode successif avec un seul actuateur permet aussi l'action avec un stylet, qui est aussi un dispositif de pointage, et l'action distante sur les zones sensibles ou leurs représentations symboliques avec un simple pointeur. La variante de base du mode successif et le processus « Bitap » déjà décrit plus haut.
Une première variante successive, particulièrement intéressante car assez naturelle et applicable avec une grande variété d'actuateurs consiste à faire glisser celui-ci sur une surface de type touchpad ou écrans tactiles (touch screens). Dans cette variante du mode successif appelée « Glissé » un actuateur unique descend sur une zone puis glisse vers une autre zone, en passant éventuellement par une ou deux autres, puis est relevé, ce qui valide l'arrangement. Ce mode glissé peut se pratiquer avec un stylet ou un doigt sur écran tactile, un pointeur sur zones virtuelles, par exemple les représentations mêmes des zones sensibles à l'écran, ou un doigt comme le pouce, sur une zone capable de suivre son mouvement, comme un touchpad (nom commercial), standard selon l'état de l'art, ou un écran tactile (touchscreen) . La combinaison constituée peut être l'association des première et dernière zones ou l'association de toutes les zones décrites par le glissé. Quand on réalise ce « Glissé » avec un stylet, on se rapproche d'une écriture cursive. On verra plus loin que cette écriture cursive peut aussi se faire sans zone sensible, avec un papier et un crayon/stylo, ou sur une tablette écran sensible, dans une surface très petite, par exemple de la taille d'un gros curseur, ce qui la rapproche alors des systèmes de reconnaissance de l'écriture manuscrite, mais avec une écriture simplifiée donc facilement reconnaissable. Une seconde variante avantageuse pour la vitesse du mode successif, dite « Successitap », consiste, lorsque l'utilisateur peut mobiliser deux doigts, par exemple les deux pouces, à dispenser l'utilisateur de relever le premier doigt avant d'activer, avec un deuxième doigt, la deuxième zone, si elle est différente de la première, puis de relever les deux doigts ensemble ce qui représente une validation simultanée analogue à celle du mode combinaison. Cette première variante, laissant à l'utilisateur le choix d'utiliser un ou deux doigts, ou trois, réalise ainsi un premier exemple de mode mixte. Les six arrangements qui se valident par deux appuis- relevés successifs d'un même doigt sur une seule zone, restent produits de cette façon. Il y a toujours 36 « combinaisons ».
Une troisième variante successive et « Successitap » favorise l'usage à trois doigts agiles positionnés au dessus du DED, chacun se chargeant de deux zones sensibles, avant et arrière, la main restant immobile. Cette variante, en annulant les déplacements du ou des deux doigts entre les colonnes du DED, et permettant l'action parallèle des doigts, favorise la vitesse. Le léger problème concerne les six arrangements sur une seule zone, qui nécessitent presque inutilement deux appuis successifs. Si on souhaite ne faire qu'un appui, alors les six arrangements normalement produits par un doigt en allant successivement d'une de ses deux zones sensibles à l'autre ne sont plus faisables. Une solution consiste, lorsque la technologie le permet, à permettre qu'un même doigt puisse activer successivement mais sans relevé, ses 2 zones sensibles principalement exclusives. Cela peut se faire avec des technologies de type touchpad ou écrans tactiles, par un glissé, ou avec des touches par un basculement/glissement du doigt. En pratique ce problème est plus important quand on veut mixer du combinatoire simultané avec du successitap, car, en successif, faire deux appuis-relevés successifs sur une même zone n'est pas très pénalisant. Une autre façon, favorisant la rapidité et ne perdant que 3 combinaisons, consiste à autoriser l'appui simultané d'un doigt sur ses deux zones sensibles, principalement exclusives, ce qui redonne 3 « combinaisons » (sans ordre) aux 6*4 + 6 = 30 arrangements du mode Successitap initial où l'on désire un seul appui-relevé pour les combinaisons avec un seul doigt sur la même zone, et le rend « mixte » . Pour compenser les 3 combinaisons encore manquantes en Successitap rapide, par rapport au Bitap, on peut autoriser l'ajout de combinaisons à 3 doigts, par exemple les deux combinaisons « simples » à 3 doigts avant et 3 doigts arrière, ou les 3 combinaisons faisant appuyer simultanément les 4 zones avant et arrière de 2 colonnes par deux doigts ou même un seul quand les deux colonnes sont contiguës, et une 4ème en appuyant les six zones simultanément. Ces solutions ne sont possibles qu'avec certaines technologies, soit des touches classiques à faible force d'enfoncement et surfaces adaptées, en formes, inclinaisons et interstices, soit des zones touchpad ou touchscreen autorisant le multitouch, ce qui n'est pas encore fréquent. Bien que les ambiguïtés et les risques d'erreurs soient encore faibles, il est avantageux d'accentuer la différenciation entre combinaisons successitap et simultanées par la définition d'un seuil de temporisation (tempol) qui délimite la désignation Simultanée (sans ordre et donc courte) de la désignation Successive (selon un ordre, donc un peu plus lente) . Une valeur typique pour une habileté moyenne à appuyer simultanément les doigts est de 20 millisecondes pour la tempol.
Une quatrième variante du mode successif, appelée « Tritap », consiste à ajouter un troisième doigt, sans se préoccuper de sa nature ou position (index, majeur ou annulaire) et à ne considérer que le fait qu'il active une zone sensible « avant » ou « arrière » pour lui faire jouer en quelque sorte le rôle d'un actuateur de rotation de bande, (fonctionnalité décrite plus loin à l'occasion de la réalisation 2) permettant ainsi d'accéder à 3 x 36 ou 3 x 33, ou 3*30 combinaisons selon que l'utilisateur a choisi le Bitap ou un des différents Successitap n'utilisant que deux doigts pour une combinaison. Comme si la troisième zone activée correspondait à une commande de substitution de la bande active de 36 (33, 30) en cours pour une seconde de 36 (33, 30) lorsque le troisième appui se fait en position « avant » ou supérieur et une troisième de 36 (33, 30) lorsque le troisième appui se fait en position « arrière » ou inférieure.
PROCESSUS BASE SUR LE MODE SIMULTANE
Le mode de désignation et de validation le plus rapide mais nécessitant le plus d'actuateurs est celui qui peut s'appeler « Simultané » dans lequel l'ordre de désignation des zones sensibles n'est pas pris en compte et la validation se fait en constatant que les zones principales gérées par les trois doigts agiles sont physiquement désactivées et en ne prenant en compte que les zones qui étaient encore activées au temps de validation moins une certaine temporisation (tempo2) paramétrable. Ce dispositif de temporisation arrière est nécessaire pour tenir compte que les relevés des doigts ne sont pas absolument simultanés et éviter que toute zone qui a été activée puis désactivée depuis la précédente validation soit prise en compte, comme cela se voit sur la plupart des claviers combinatoires (comme le CyKey) . A chaque relevé d'une zone physique, la tempo2 est déclenchée et à expiration de celle-ci la zone logique associée est à son tour désactivée. Cette tempo2 joue comme une temporisation d'oubli des zones activées puis désactivées, par exemple au cours d'une exploration ou d'un tâtonnement. Elle ne peut être réduite à zéro, car dans ce cas, des zones voulues par l'utilisateur seraient vues comme ne faisant pas partie de la combinaison validée. Une valeur typique pour une habileté moyenne à relever simultanément les doigts est de 50 millisecondes pour la tempo2. Elle ne peut pas être trop grande également car l'oubli serait lent, ce qui freinerait l'exploration, fonctionnalité importante du guidage, décrite plus loin. La non prise en compte de l'ordre d'activation des zones facilite l'action des doigts, notamment les transitions entre combinaisons, mais ne permet que 26 combinaisons utiles sur 6 zones et nécessite trois doigts pour 8 d'entre elles. Lorsque l'événement déclencheur de la validation de la combinaison activée arrive (par exemple, plus aucune zone physique activée), l'objet produit est celui correspondant à la combinaison dont les zones logiques sont encore actives, c'est-à-dire dont la temporisation d'oubli tempo2 n'est pas encore expirée.
Une manière de ne pas avoir à ajouter de troisième doigt et de faire du simultané avec suffisamment de combinaisons, est possible quand on saisit du texte et des mots significatifs dans une langue donnée. Le principe s'appelle la désambiguïsation et a été rendu célèbre par la technique T9 de la société Tegic. Il consiste à ne pas demander à l'utilisateur de produire des lettres exactes mais de se contenter de produire un code associé à deux (Suretype) ou trois/quatre (T9 ou iTap) ou six lettres (Tengo) et à laisser le logiciel et ses tables de vocabulaire, lever les ambiguïtés en proposant des syllabes ou des mots que l'utilisateur n'a plus qu,'à choisir au lieu de les taper, ce qui n'est pas toujours avantageux avec les systèmes existants. Dans le cas de l'invention, si on tape simultanément deux touches, chacune des dix-huit combinaisons possibles ne peut correspondre qu'à deux arrangements distincts par l'ordre de frappe des deux mêmes touches, ce qui correspond à une ambiguïté faible, facile à traiter. Un radical ou un mot unique seront très souvent la seule possibilité. Dans le cas de plusieurs choix, le fait qu'avec les claviers combinatoires on ne regarde pas le clavier, permet de ne regarder que l'écran, et de donc de voir immédiatement les messages du système, puis, avec le guidage dynamique associé à la présentation interactive (décrite ci-après), de présenter les choix de façon à les sélectionner avec une combinaison liée à la position du choix dans le guidage dynamique, donc, sans avoir à aller activer des touches de déplacement et de validation : on voit et on clique en produisant la combinaison implicite, ce qui est alors plus rapide que de finir la frappe du mot... Donc on peut, quand un logiciel de désambiguïsation est disponible pour la langue de création d'un texte, avoir une frappe simultanée à deux doigts, très facile et donc rapide, et naturelle pour un utilisateur ayant commencé en « Bitap » puis en « Successitap » . Une variante intéressante consiste alors à utiliser le 3ème doigt libéré pour faire du Tritap où les deux premiers doigts agissent simultanément, et le troisième successivement.
Un second mode « Mixte » consiste à mixer le mode Successitap et le mode Simultané pour, à la fois, avoir accès à 30 combinaisons et profiter pour 26 d'entre elles de la vitesse du Simultané ou du confort de un ou deux doigts seulement (6+12 combinaisons simultanées seulement, et respect de l'ordre d'activation pour les 8 combinaisons qui autrement nécessitent trois doigts et les 4 arrangements à 2 doigts qui n'ont pas de correspondance possible dans la bande des 26 combinaisons). Ce mode est illustré par la figure 7. Dans ce mode mixte rapide, les combinaisons avec un seul doigt sur une seule zone, colonne 73 de la figure 7, se font obligatoirement avec un seul appui-relevé, ce qui ne laisse que 30 cases accessibles sur les 36 du « Bitap » de référence. Les 6 combinaisons correspondant à la colonne 77 de la figure 7 ne sont plus possibles. Les 3 premières combinaisons supplémentaires possibles, déjà évoquées ci-dessus, sont celles que l'on peut produire en appuyant simultanément, lorsque les technologies le permettent, avec un seul actuateur-doigt, sur les deux zones sensibles d'une même zone principale figure 24(c), 24(d) et 25(b), colonne 77. Pour compenser les 3 combinaisons encore manquantes dans ce deuxième mode mixte rapide, par rapport au « Bitap » de référence, on peut encore autoriser l'ajout des 3 combinaisons faisant appuyer simultanément les 4 zones « avant » et « arrière » de 2 zones principales (colonnes dans la réalisation de la figure 1) par deux doigts (ou même un seul quand les deux colonnes sont contiguës) et une 4&me en appuyant les six zones simultanément, figure 24(c), 24(d) et 25(b), colonne 77. Ces solutions ne sont possibles qu'avec certaines technologies, soit des touches classiques à faible force d'enfoncement et surfaces adaptées en formes, inclinaisons et interstices de séparation, soit des zones touchpad ou touchscreen autorisant le multitouch, ce qui n'est pas encore fréquent. Du point de vue manipulations, ces combinaisons « anormales » sont un peu moins faciles à bien faire sans erreur, et donc se font plus lentement. Il est alors assez légitime d'affecter à ces cases plus lentes à « adresser » un contenu que l'on appelle moins souvent, et par souci de compatibilité ascendante et descendante selon le nombre de doigts disponibles, ces contenus seront logiquement rangées dans les 6 cases correspondant aux 6 arrangements « successif » produits par un actuateur allant d' « avant » à « arrière » ou d' « arrière » à « avant » d'une même zone principale (colonne dans la réalisation de la figure 1), combinaisons illustrées dans la colonne 77 de la figure 7. Dans ce second mode mixte à objectif de rapidité, les risques d'erreurs sont significatifs entre les appuis simultanés et les appuis successifs dans les deux ordres opposés, il est alors impératif de prévoir la définition d'un seuil de temporisation (tempol) qui permet de délimiter la désignation Simultanée (sans ordre et donc courte) de la désignation Successive (selon un ordre, donc un peu plus lente). Un ordre de grandeur de 20 millisecondes permet à l'utilisateur moyen de produire des combinaisons simultanées correctes sans lui imposer un délai trop long pour que les combinaisons successives soient bien vues comme telles.
TROISIÈME PROCESSUS MIXTE PRÉFÉRÉ
Un troisième mode mixte particulièrement intéressant consiste à rendre possible simultanément les modes « Bitap » , « Successitap » et « Simultané » ( « Simultap » ) sous la seule contrainte que les six combinaisons particulières du mode « Simultané » qui se font normalement par un seul appui- relevé, appelées « combinaisons pivot », colonne 73 dans la figure 7 et dans les figures 25, soient produites par un double appui-relevé, comme dans le processus « Bitap ». L'avantage de ce mode mixte est que le même DED avec les mêmes paramétrages peut être utilisé avec un à trois doigts ou actuateurs, figures 24, colonne 73. Il ne s'agit pas, comme dans le processus « Tritap » ou les processus « Avancés » décrits ci-après d'augmenter le nombre de combinaisons différentes, mais de rendre possible la production des mêmes 36 combinaisons au sens large d'une bande « Bitap », par différents processus, selon le nombre de doigts disponibles.
En référence aux figures 24a à 24d, le mode mixte fait cohabiter plusieurs modes de production : le mode (a) simple pour le débutant, le mode (b) intermédiaire, le mode (c) confirmé et enfin le mode (d) expert.
Le mode simple débutant (a) propose 36 combinaisons, toutes activables par le mode successif Bitap.
Le mode (b) est similaire à celui décrit pour la figure 6, permettant d'allier les modes BiTap et Successitap : la case claire étant la première zone activée, la foncée la deuxième au-delà du temps de simultanéité (tempo 1). On peut noter les 8 combinaisons Bitap (soulignées deux fois sur les figures) qui ont un concurrent antérieur mais qui peuvent être différenciées facilement de ces concurrents par l'ajout d'une troisième case provoquant la désignation Simultap de la combinaison. Pour désambiguïser certaines combinaisons successives proches, par exemple al et a2, l'utilisateur peut utiliser une troisième zone de désambiguïsation (case avec un losange) qui permet de confirmer la combinaison activée. Le mode confirmé (c) conserve le mode BiTap pour les six combinaisons « pivot » . Grâce à la troisième touche de désambiguïsation, un grand nombre de combinaisons est désormais activable de façon simultanée (deux ou trois cases claires), la validation de la combinaison se faisant par relevé simultané de toutes les cases. Comme cela procure un gain de temps important dans la production, on choisit ces combinaisons pour les objets à produire les plus fréquents. Quatre combinaisons ne sont activables que par deux zones sélectionnées uniquement en mode successif, figures 24(d) et 25(b), partie 78, donc avec un ordre explicite afin de les différencier des combinaisons simultanées sélectionnées par les mêmes paires de zones sensibles. Enfin, les six combinaisons 77 « avant »-« arrière » sont activés de façon simultanée pour trois d'entre elles et les trois autres combinaisons sont activées en conservant un ordre d'appui, permettant la désambiguïsation avec les trois autres combinaisons 77.
Le mode expert (d) accélère la production d'objets par rapport au mode (c) en ne nécessitant plus le respect d'un ordre pour ces 3 combinaisons grâce à l'autorisation d'un appui simultané de quatre zones adjacentes pour fournir la désambiguïsation immédiate nécessaire.
Ces quatre modes coexistent dans le dispositif afin de permettre au débutant et à l'expert d'utiliser le même dispositif. Cette cohabitation est essentiellement due à la présence de la temporisation de simultanéité. Le débutant étant moins rapide, son activation de deux zones logiques est naturellement supérieure à cette temporisation ; il utilise alors le mode débutant essentiellement basé sur le Bitap (un seul actuateur) ou Successitap (au moins 2 actuateurs). Quant à l'expert, il produit suffisamment rapidement pour pouvoir activer deux zones dans un laps de temps inférieur à la temporisation de simultanéité : il peut donc privilégier l'utilisation du mode expert essentiellement basé sur le mode Simultap.
Les variantes illustrées par les figures 25a et 25b diffèrent des précédentes en ce que le mode successif Bitap pur des six combinaisons pivots est supprimé au profit d'une désignation par un seul appui-relevé.
Dans le mode débutant 25a (équivalant au mode 24a), les combinaisons autres que les pivots sont désignables par action successive des deux zones composant ces combinaisons. Il s'agit d'un successitap commun. Le mode expert (25b) fournit un maximum de combinaisons productibles de façon simultanée et offrant donc des performances accrues : les six combinaisons pivot sont activables par une unique zone en appui-relevé.
Il est à noter qu'un mode intermédiaire peut être mis en place regroupant les désignations du mode illustré par la figure 24c parmi lesquelles la désignation des combinaisons pivots n'est plus réalisée que par un seul appui-relevé.
Dans la première variante évoquée (figures 24), la désignation se fait par deux appuis minimum et la première partie de la table active composée de 20 + 6 = 26 objets
(77+79, figure 24d) adressables aussi bien en Bitap pur, qu'en successif maintenu et simultané. Il est à noter que les combinaisons 79, à l'inverse des combinaisons 77, sont adressables à l'aide de dispositifs dont les zones sensibles d'une même zone principale peuvent être exclusives.
Dans la deuxième variante (figures 25), la désignation est réalisée par 1, 2, 3 ou 4 appuis et seulement selon les seuls mode successitap maintenu et simultané, les 26 objets (77+79) de la première partie de la table active étant faits de la même manière dans les deux variantes. La différence entre ces variantes porte sur les 6 cases pivot qui se font, dans la deuxième variante, par un seul appui-relevé sur une seule zone sensible, portant à 32 le nombre de cases pouvant être adressées sans avoir à respecter un ordre.
Concernant les désignations correspondant à 2 cases avec le même doigt, elles ne sont faisables que si on utilise une techno permettant le glissé ou des touches incurvées vers leurs séparations pour faire une sorte de glissé de la première à la deuxième, sans relever.
PROCESSUS AVANCÉS
Dans un processus « Avancé » illustré par la figure 8 pour utilisateurs adroits, le mode de désignation cumule les combinaisons Simultanées (81, 83 et 84) et Successives (82). Comme ci-dessus, la définition d'un seuil de temporisation (tempol) permet de délimiter la désignation Simultanée (sans ordre et donc courte) de la désignation Successive (selon un ordre, donc un peu plus lente) , portant par la même le nombre de combinaisons possibles à 6 arrangements/combinaisons mono¬ doigt + 24 arrangements successitap bi-doigts + 20 combinaisons simultanées bi et tri-doigts, soit 50 combinaisons. Le choix entre le « Tritap » et ce mode « Avancé », pour augmenter le nombre de combinaisons accessibles en un seul cycle de désignation-validation sur une réalisation selon la figure 1, relèvera de l'utilisateur, selon ses préférences et habiletés, et doit aussi se comparer avec des solutions de type de la réalisation 2 décrite ci- après, qui met en jeu, en plus des trois doigts agiles sur une réalisation de type 1, le pouce sur une quatrième zone principale comportant jusqu'à cinq zones sensibles (multiplication par six des choix, par exemple 6*27-1 = 161 combinaisons accessibles en un seul cycle) et le petit doigt sur une cinquième zone principale comportant jusqu'à 2 zones sensibles (multiplication par 3, soit par exemple 3*6*27-1 = 486 combinaisons accessibles en un seul cycle).
Dans un mode « très Avancé » des désignations et validations par « Glissé » sont ajoutées pour tirer parti du fait que certains de ces mouvements sont naturels, bien que lents, et associables par mimétisme à des commandes typiques comme « fermer » ou « avancer » . Techniquement cela consiste à ajouter à l'éditeur de tables déjà évoqué, une capacité d'enregistrement de ces « Glissé » et de leur mise en correspondance avec une case des tables où sera logé l'objet souhaité pour cette action enregistrée.
VALIDATIONS PARTICULIÈRES
D'une manière générale, dans l'invention décrite ici, une combinaison est validée au relevé, soit du dernier doigt (Bitap, Glissé) soit des différents doigts constituant la combinaison (Successitap et Simultané). Tant qu'un doigt agile est appuyé, il n'y a pas validation, ce qui permet de corriger une combinaison avant de la produire de façon erronée, et avec les dispositifs d'oubli temporisé et de présentation à l'écran ou autre, comme décrit ci-après, d'explorer le contenu des bandes et tables actives (émulant ainsi la recherche sur un clavier classique ou virtuel et permettant au débutant et à l'expert de retrouver un objet qu'ils n'ont plus en mémoire, consciente ou réflexe).
Pour le débutant, ce processus peut être trop sophistiqué pour son état d'habileté. Selon l'état de l'art, pour certaines validations d'objets importants, comme des phrases types présentées par des icônes, on peut prévoir, dans la case concernée, que la validation ne se fait pas au relevé, mais après ce relevé, qui fait apparaître une fenêtre de validation selon l'état de l'art, et avoir confirmé en répondant « oui » ou annulé en répondant « non » . Dans le cas du « non » le DED revient à l'état antérieur, dans le cas du « oui », le DED passe à l'état normal après une validation. Dans un mode « particulier », certaines cases de la table pourront être validées en ne relevant que les 2ème ou 3ème doigt de la combinaison associée, ce qui facilitera les répétitions, selon une gestuelle habituelle, par exemple pour augmenter ou diminuer le volume ou tourner des pages. Dans ce cas, l'exploration immédiate décrite ci-après sera perdue pour ces cases (elle restera valable en laissant le doigt final de la combinaison levé au-delà de la temporisation (tempo2) d'oubli/exploration) . Ce mode particulier correspond à un besoin général de répétition d'une combinaison. Pour éviter d'avoir à faire répéter la combinaison complète, ou pour permettre des répétitions plus rapides que ce que peuvent faire les doigts, il y a plusieurs possibilités d'obtenir la répétition, d'une combinaison ou d'une suite de combinaisons, sans perdre l'importante capacité d'exploration et de correction avant validation. Exemple 1 : par un déclenchement au maintien appuyé des claviers classiques seulement à la 2ème désignation successive de la même combinaison. Exemple 2 : par la création d'une fonction interne au logiciel qui serait rangée dans une case particulièrement pratique ou logique et dont la désignation et le maintien appuyé déclencherait la répétition de la combinaison précédente (ou d'une succession comme Alt + Tab, ou Ctrl + —> ou Ctrl + Del), répétition qui s'arrêterait au relevé et recommencerait au re-appuyé.
COMPARAISON DES CAPACITÉS SELON PROCESSUS Bien que cela ne soit pas une obligation pour les utilisateurs, l'invention s'est attachée à permettre que les tables personnelles de l'utilisateur puissent être logiquement les mêmes, pour les différents processus de désignation et de validation. Ce qui suppose un nombre égal de cases adressables par des arrangements ou combinaisons ou un mix de celles-ci.
Sur six zones sensibles, le mode successif donne accès à 36 combinaisons (arrangements) (figure 6) et le mode simultané à 26 combinaisons (figures 5 et 7). La figure 7, regroupe les 36 arrangements et les 26 combinaisons, en les distinguant par des signes distincts d'activation des zones (point clair, noir ou carré) . On distingue que les 36 arrangements se répartissent entre 12 arrangements (71, figure 6 ou 7) faits avec le même doigt et 24 avec deux doigts différents (72, figure 6 ou 7) et que les 26 combinaisons comprennent 6 faites avec un doigt (73), 12 faites avec deux doigts (74) et 8 faites avec trois doigts (75 et 76). Une première solution logique pour un utilisateur qui veut pouvoir, selon les contextes, agir avec un, deux ou trois actuateurs et garder les mêmes tables d'objets, sera d'abandonner les 6 arrangements difficiles à faire en mode combinaison (77), de rajouter un troisième doigt (représenté par un carré noir sur la figure) à 8 arrangements (75 et 76) pour pouvoir s'affranchir d'une frappe successive en respectant un ordre et de garder ou non les quatre arrangements (78) qui nécessiteront toujours un ordre précis d'action successive. Avec un mode mixte de désignation et de validation, l'utilisateur pourra conserver 30 « combinaisons » dans tous les cas d'utilisation de un à trois actuateurs et donc y placer durablement et de façon mémorisable des objets à activer. Il aura aussi souvent avantage à placer dans les cases associées aux combinaisons qui ne sont pas accessibles dans le mode le plus rapide qui est le mode mixte2 (successitap plus simultané), donc nécessitant trois actuateurs distincts, des objets qui compensent la plus grande lenteur du mode successif ou de l'absence de zones principales activées par le pouce ou le petit doigt (voir la réalisation 2 ci-après). Cette première solution est assez logique, mais ne permet d'avoir que 30 combinaisons communes entre les trois processus principaux et leurs variantes mixtes.
Une deuxième solution, qui n'est pas possible avec toutes les technologies, consiste, comme évoqué plusieurs fois ci-dessus, à enfreindre partiellement le choix dominant d'exclusivité entre deux zones sensibles d'une même zone principale. On peut alors disposer de sept combinaisons encore assez faciles à produire et les mettre en correspondance avec les 6 arrangements difficiles à faire en mode combinaison (77 de la figure 7) , en y rangeant les mêmes contenus. Ce qui permet alors de gérer une bande commune de référence contenant 36 objets distincts.
NATURE DES OBJETS. La présente invention ne se limite pas à des objets informatiques de type caractères alphanumériques puisqu'elle permet, par exemple, d'attribuer à une combinaison particulière des doigts une fonction du dispositif à piloter, comme par exemple l'ouverture d'une application sur un ordinateur ou l'extinction du poste TV.
De façon générale, un objet désigné et validé peut être, de façon non restrictive : un ou plusieurs caractères alphanumériques, une phrase type, une image, une icône informatique, un item d'un menu déroulant, une commande interne au fonctionnement propre du DED, ou pilotant un équipement externe, un programme interne au dispositif ou externe résidant sur un équipement informatique ou électronique tiers.
L'intérêt de pouvoir désigner tout type d'objet réside dans la possibilité de commander avec les doigts de la main quasiment immobile, tout ce qui peut être commandable sur un équipement sans utiliser un dispositif dédié (clavier et commandes clavier, souris pour tout ce qui est informatique, télécommande pour les équipements électroniques ...) . Pour que cela soit opérationnel, il est clairement nécessaire de séparer dans l'objet, selon l'état de l'art informatique, sa représentation symbolique (lettre ou mot ou icône), son contenu exécutable, ses moyens de transmission et d'exécution dans un certain contexte et au moins une éventuelle étiquette explicative, analogue à ce qui peut être affiché quand on passe sur un item de menu déroulant ou une icône des IHM graphiques.
La table contenant les objets avec leurs différentes composantes sont naturellement, selon l'état de l'art, des fichiers échangeables et adaptables, notamment au niveau des éléments d'exécution, aux différents contextes et dispositifs que l'utilisateur voudra utiliser et commander avec les mêmes éléments visibles de ses tables personnelles.
Tout ceci, selon l'état de l'art, s'appuiera sur des éditeurs de tables capables et de capter ou saisir les objets à placer dans les tables et d'en adapter les éléments.
CONSTRUCTION DES TABLES/BANDES.
Les bandes peuvent contenir des objets de nature hétérogènes dont des exemples sont fournis précédemment. Dans certains contextes, notamment dans le domaine informatique, il sera avantageux de disposer d'un dispositif ou logiciel permettant d'enregistrer tous les objets informatiques (icônes, commandes, applications, ...) disponibles et de les organiser sous forme de bandes et de tables afin qu'ils puissent être présentés, désignés et activés par le dispositif de la présente invention, bien plus rapide qu'un pointeur électronique, bien plus compact qu'un clavier classique, bien plus puissant que les dispositifs des petits objets électroniques portables ou personnels.
La représentation de ces objets peut être l'objet lui- même (c'est notamment le cas pour les caractères alphanumériques) ou par exemple une icône représentative de l'objet (un exemple est les icônes des barres d'outils de Word permettant d'exécuter une commande spécifique).
TECHNOLOGIES.
Les solutions « souris » ne conviennent pas pour une grande partie des situations de mobilité. Dans ces cas, diverses technologies existent pour mettre en œuvre les différentes zones de détection et un pointeur quand on ne dispose pas de surface où poser une souris. Notons entre autres les technologies associées aux capteurs capacitifs ou résistifs, du type TouchPad (nom commercial), qui permettent sur une unique surface de créer, pour cette réalisation 1, les trois zones principales indépendantes ( « multi touch » ) et les deux zones sensibles logiques dans chacune de ces zones. La gestion des frontières inter-zones peut être réalisée par un logiciel qui interprétera les coordonnées délivrées par ce capteur pour activer les zones logiques correspondant aux différents appuis des différents doigts. Certains capteurs fournissent un ensemble de coordonnées correspondant à la zone étendue d'influence et d'appui du doigt. Dans ce cas-là, un logiciel permet d'associer un point significatif à l'ensemble des coordonnées fournies par le capteur (et constituant donc les coordonnées du doigt), par exemple le barycentre ou le point supérieur (inférieur) si la majorité des coordonnées sont dans une des zones supérieures ou avant (inférieures ou arrière). Le choix du point significatif doit être fait afin de maximiser la discrimination des actions de l'actuateur sur les différentes zones logiques de détection. Un avantage des solutions capacitives réside dans la faible épaisseur des capteurs permettant leur intégration dans des systèmes tels que les téléphones portables (figures 21 et 22). Des technologies résistives permettent de réaliser des zones sensibles équivalentes, les différences portant principalement sur la force nécessaire pour activer la zone sensible, non nulle en technologie résistive, ce qui ralentira la désignation et la validation d'objets, nulle avec le capacitif, ce qui pourra donner lieu à des activations involontaires.
De nombreuses technologies de détection sont envisageables dans le cadre de cette invention : soit que la détection se fasse sur et par la surface où se positionnent et bougent les doigts, comme les touchpad capacitifs ou résistifs, des touches classiques, ou à membranes, ou au bruit d'impact, soit que la détection se fasse par des capteurs non intégrés à la surface d'arrêt et de rebond des doigts, qui peut d'ailleurs ne pas être nécessaire, comme des détections lumineuses ou radios (technologies RFID), différents capteurs directs et indirects de l'angle des phalanges intégrés par exemple dans des gants électroniques... (brevet US5194862 déposé en 1993 par Philips, ou technologie par fibres optiques longeant chaque doigt) . Ces dernières peuvent notamment être mises en oeuvre en faisant porter dans un bracelet au poignet de la main concernée le cœur du dispositif de détection des positions de doigts. La figure 2 illustre un mode de réalisation sous la forme d'un bracelet (21) porté au poignet. Ce bracelet est doté de moyens de détection (22) par ondes (lumineuses, infrarouges ...) des caractéristiques et positions des doigts de l'utilisateur. Les valeurs des distances Ddolgt et des angles αdoigt permettent, selon des paramètres prédéfinis par l'utilisateur, d'identifier les zones du clavier virtuel qui sont activées. Ces dernières solutions permettent de détecter les positions des doigts s'arrêtant et rebondissant sur n'importe quelle surface, ou se passant totalement de surface de rebond, quoique probablement avec des vitesses inférieures, et sont particulièrement intéressantes, car la main peut écrire seule, avec tous les doigts disponibles, sans que l'autre main ou un support tiers ne soit nécessaire et en étant dans une situation de confort et de performances bien plus grandes qu'en tenant l'objet électronique dans la main et en disposant du seul pouce pour agir sur le DED intégré. Parmi les détections lumineuses pouvant être performantes et économiques, on peut utiliser des capteurs CCD (charge-coupled device) à couplage de charge, de type caméra CCD, qui vont permettre de délimiter des volumes de l'espace correspondants aux différentes zones évoquées précédemment, et de créer des images analysables de la présence et des positions des différents doigts. L'utilisateur place alors un doigt, ou une main, dans le volume correspondant à la zone logique qu'il veut activer pour désigner une combinaison et activer un objet voulu. La présente invention s'applique également quand les zones sensibles sont créées sur un écran tactile selon l'état de l'art. Dans le cas général, ces écrans tactiles ne sont pas actuellement fabriqués pour accepter un appui multiple, (« multitouch ») bien que cela soit tout à fait possible, comme pour la réalisation avec des technologies touchpad décrite ci-dessus. Dans ce cas, on ne peut utiliser, en mode successif ou glissé, qu'un actuateur, soit doigt ou pouce, sur des surfaces analogues à celles d'un clavier virtuel (par exemple un clavier représenté sur un écran tactile ou activable par la souris d'un ordinateur, soit stylet, sur des surfaces de la taille d'un gros curseur (figure 3). La figure 3 illustre un exemple de mise en œuvre de l'invention. Dans un logiciel de traitement de texte, un curseur intelligent propose une grille (31) représentant le clavier virtuel et dans laquelle les différentes zones à activer sont désignées par le stylet (32) pour produire l'objet désiré (ici la case « arrière droit » a été désignée, afin de produire la lettre « U » conformément à la table de la figure 5.
La présente invention s'applique également lorsque la zone de détection est virtuelle, par exemple lorsque les zones logiques sont simulées par un ordinateur pour interagir avec un pointeur électronique, type souris, qui est alors 1'actuateur unique manié, en mode successif ou glissé, par la main de l'utilisateur, qui peut être à distance de l'écran sans aucun autre dispositif que l'équipement courant d'un ordinateur et un logiciel à installer pour émuler le clavier du système. En pratique, cette réalisation virtuelle sera avantageusement cumulée avec des réalisations de zones sensibles placées sous les doigts, notamment de manière à faciliter la transition cognitive de l'utilisateur des IHM graphiques dominants avec pointeur vers l'utilisation de l'IHM additionnel où le mouvement des doigts suffit à désigner et valider un objet informatique, présenté dans la représentation symbolique qui réalise de fait un dispositif de commande virtuel classique.
C'est une caractéristique significative de l'invention que de pouvoir être mise en oeuvre de multiples façons selon les matériels disponibles, notamment par une simple installation des logiciels ad hoc et des tables personnelles de l'utilisateur.
FEEDBACK VISUELS, AUDIOS, TACTILES ET KINESTHESIQUES Alors qu'avec les claviers classiques la grande majorité des utilisateurs, notamment sur leurs réalisations pour les objets mobiles, regardent sur quelles touches agir avec leurs doigts qu'ils guident des yeux, ou qu'avec la souris, le feedback est visuel à l'écran, les claviers combinatoires bien conçus, simplifient les mouvements réalisés par les doigts et peuvent tirer parti, pour la majeure partie des utilisateurs, de feedback tactiles de bouts des doigts et kinesthésiques de mouvements des phalanges entre elles.
Cette capacité tactile et kinesthésique est particulièrement optimisée avec la réalisation 1. Les deux seules positions (figure 4, (a) et (b)) du bout des doigts avec la surface de rebond donnent lieu à des sensations distinctes du bout des doigts qui permettent au cerveau de l'utilisateur de savoir, avant de relever les doigts, s'ils sont bien positionnés là où ils doivent l'être pour désigner une combinaison donnée. En effet, le bout des doigts est extrêmement sensible et permet d'effectuer la différenciation entre deux positions du doigt même très rapprochées, telles qu'illustrées par la figure 4. Cette information est renforcée par des réalisations différenciées, éventuellement avec générateurs de vibrations, des surfaces des différentes zones sensibles affectées à un même doigt, éventuellement en créant une frontière sensible, comme un creux de séparation, et par la sensation kinesthésique des angles des phalanges. Ce bon feedback tactile possible avec la réalisation 1 permettra aux utilisateurs d'atteindre plus vite le mode réflexe où le cerveau conscient n'est plus sollicité pour contrôler les mouvements des doigts, ce qui libère l'attention de l'utilisateur vis à vis de la saisie et permet d'atteindre plus vite, après moins de temps d'utilisation, la vitesse maximale permise par la capacité de vitesse intrinsèque de battement des doigts de la main de l'utilisateur (de quinze coups (cycles) par seconde maximum pour un virtuose pianiste ou flûtiste à trois à cinq pour une personne peu agile de ses doigts) .
Ces capacités tactiles et kinesthésiques de la main et du cerveau humains n'empêchent pas le réalisateur d'un DED selon l'invention de prévoir une présentation en écho de la position des doigts, par exemple sous la forme d'une plage tactile de zones actives en correspondance avec les zones sensibles du DED, ou d'un écho audio ou visuel, selon les modalités de guidage interactif avant validation des combinaisons évoquées ci-après.
DIMENSIONS POSSIBLES POUR LA RÉALISATION 1 A 6 ZONES SENSIBLES. Les dimensions d'un DED selon la réalisation 1 varient selon les actuateurs utilisés.
Lorsque le DED est réalisé pour être activé par trois doigts, le DED doit avoir à minima la largeur du doigt central et la moitié des deux doigts gauche et droit, augmentée de deux espaces de mouvements, soit, selon les personnes, une largeur totale minimale pouvant descendre à 30 mm.
En hauteur, une des caractéristiques importantes de l'invention est que, du fait que les zones sensibles d'une zone principale affectée à un doigt ne sont que très peu souvent logiquement activées ensemble, il suffit que la zone principale détecte que l'actuateur est plutôt en avant ou plutôt en arrière pour distinguer les deux cas. Appuyer/Activer simultanément deux zones sensibles d'une zone principale avec le même doigt équivaut à créer en fait une troisième zone entre les deux et oblige à plus de précaution pour éviter les mauvais appuis par rapport à ce qui est visé et ralentit ainsi l'action et augmente les surfaces nécessaires, mais cela peut être un compromis préférable, dans certains cas et avec certaines technologies. Dans tous les cas ces appuis simultanés par un même doigt de plusieurs zones doivent rester limités aux quelques cas (pas plus de 10), faciles à faire par les doigts. En hauteur, un DED selon l'invention peut ainsi descendre à quelques millimètres. La contrepartie d'une hauteur faible est que l'on ne peut aller aussi vite qu'avec des hauteurs plus largement dimensionnées, de peur d'être en dehors de la zone détectable. Mais cela peut être un compromis très intéressant en situations mobiles et discrètes.
Ces dimensions minimales ne sont pas une obligation puisque souvent l'utilisateur préférera disposer d'une surface confortable pouvant aussi servir de pad de suivi des déplacements associé à un pointeur. 60mm par 20mm semblent des dimensions pouvant convenir à beaucoup d'utilisateurs.
Quand le DED est utilisé en mode successif par deux actuateurs doigts (comme deux pouces) ou un seul les dimensions peuvent se réduire sans que l'utilisateur n'ait à regarder ses doigts, comme par exemple dans la réalisation de la figure 21.
En mode successif activé par un stylet les dimensions peuvent descendre à quelques mm2, mais l'attention de l'utilisateur est mobilisée.
En résumé, le DED selon la réalisation 1 peut être un outil très compact tout en étant puissant (36 en base mais pouvant monter à 108 combinaisons possibles en un seul cycle d'action des doigts). La diminution de taille se traduit alors par une certaine diminution des vitesses possibles mais sans descendre en dessous de la vitesse d'écriture avec les autres moyens connus sur les objets mobiles.
RÉALISATION 2.
Comme illustré par la figure 9, un autre mode de réalisation consiste à définir cinq zones principales : trois identiques au mode de réalisation 1 défini précédemment (91) pour les trois doigts agiles, une zone principale (92) associée au pouce et une zone principale (93) associée à 1'auriculaire.
La zone principale du pouce comprend cinq zones sensibles logiques (94) permettant six états et celle du petit doigt en comprend deux (95) pour trois états. En positionnant logiquement ces deux zones principales supplémentaires comme des touches « modificatrices », (comme Maj ou Ctrl ou Alt sur des claviers classiques), ce type de réalisation accroît considérablement le nombre de combinaisons possibles en un seul cycle d'action des doigts, dépassant les contraintes discutées plus haut lors de la description de la réalisation 1, ce qui permet d'aller vers des processus « Simultanés », sans ordre, donc beaucoup plus rapides et favorisant l'atteinte du mode réflexe, facteur supplémentaire de rapidité. La contrainte est reportée sur la taille, les réalisations de type 2 étant par nature plus grandes que les réalisations de type 1.
DIMENSIONS POSSIBLES POUR LA REALISATION 2 A 5 ZONES PRINCIPALES. Par rapport à la réalisation 1 qui avait pour objectif principal la taille la plus petite, l'objectif principal d'une réalisation de type 2 est de permettre l'utilisation efficace et confortable des 5 doigts.
La taille minimale est alors celle d'une carte de crédit, le pouce et le petit doigt étant obligés de rentrer un peu sous la main. La taille confortable est ensuite celle d'un agenda, par exemple 70 mm x 110 mm. Des objets pour un usage sur une table atteindraient le format A5. Les tailles effectives des mains et leurs formes, très différentes et variées, laissent à penser qu'il existera une grande variété de DED.
Les technologies sont a priori les mêmes que pour la réalisation 1, avec une plus grande importance de la fonction « pointeur », unique ou multiple. Dans ce cas, la réalisation aurait tendance à faire en sorte que les cinq zones principales soient contiguës et réalisent ensemble une sorte de tablette graphique, comme illustrée par la figure 10. Dans cette illustration, les traits continus indiquent les limites des cinq zones principales indépendantes (100 à 104) et les traits en pointillé, les séparations entre zones sensibles exclusives (lOxa, lOxb, ..., où x = 0 à 4) l'une des autres au sein d'une même zone principale.
Pour les souris augmentées d'une réalisation de type 2, le fait que le pouce et le petit doigt sont utilisés, pose le problème du bougé involontaire de la souris pendant les opérations de saisie. En fait, les solutions évoquées ci- dessus (touches au centre de gravité, formes plutôt plates, patins anti-glissement et dispositif logiciel de découplage temporaire du pointeur à l'écran) s'avèrent suffisantes. Alternativement, le dispositif de pointage peut aussi avantageusement ne plus être une souris mais un touchpad ou autre solution où c'est un actuateur qui se déplace et non le DED tout entier. Ces réalisations statiques correspondent à des utilisateurs plus orientés « claviers » et « raccourcis claviers », pour lesquels le pointeur est un appoint, et non l'inverse pour les utilisateurs orientés souris (très majoritaires actuellement), et aux usages où l'on ne peut disposer de surface où faire agir la souris. ROTATION OU SUBSTITUTION DES TABLES
Toujours en référence à la figure 9, les zones principales associées au pouce (92) et à l'auriculaire (93) permettent, selon un angle conceptuel de rangement des combinaisons brutes disponibles et selon leur combinaison, de modifier la table active de 36, 33, 30 ou 26 cases dont les objets sont désignables par une combinaison des trois doigts agiles. On parlera alors de bande, la bande étant l'ensemble, de 26, 30, 33 ou 36, (portable à 50 ou 108 pour les processus « Avancé » et « Tritap ») objets désignables par une combinaison des doigts agiles sur une réalisation de type 1 exposée ci-dessus, pour des positions pouce et auriculaire données. Les zones pouces et auriculaire sont alors en situation de type Maj , Ctrl, Alt, AItGr, Fn, Win ou Pomme ..., c'est-à-dire des touches « modificatrices », concept universellement utilisé depuis longtemps pour augmenter le nombre de signes et commandes possibles avec un nombre de touches donné. Le terme de table regroupe alors l'ensemble des bandes possibles selon les combinaisons « pouce + auriculaire » . Dans le cas de la réalisation 2, il y a six bandes différentes désignables selon les six états possibles du pouce sur sa zone principale, ce qui, avec l'action du petit doigt entre ses trois états permet de désigner 18 bandes différentes par le simple positionnement du pouce ou du petit doigt fait à l'intérieur d'un cycle de base de désignation validation d'une combinaison. Dans une réalisation et un paramétrage particuliers des modalités de validation des combinaisons, il n'est pas nécessaire de désactiver les zones pouces ou petit doigt pour valider une combinaison faisant appel aux trois doigts agiles. Ce qui permet de limiter les cas où les quatre ou cinq doigts doivent bouger dans un seul cycle, ce qui est quand même toujours plus difficile, pour tout le monde, mais surtout pour le débutant, que de mouvementer un, deux ou trois doigts agiles seulement. Comme on l'a vu ci-dessus et on le verra ci-après pour le guidage, il existe dans la conception selon l'invention, une temporisation d'oubli (la tempo2) qu'une zone sensible particulière a été activée, puis désactivée avant que la validation soit calculée et actée. De ce fait le mouvement du pouce ou du petit doigt, alors qu'au moins un des trois doigts agiles active une zone sensible, se traduit par le simple changement de la bande associée, et donc de la case et du contenu qui seront validés et activés par la désactivation des seules zones des trois doigts agiles. Bien que le rôle des zones affectées au pouce et au petit doigt soit préférentiellement vu pour des raisons de repérage mental par l'utilisateur et pour permettre le fonctionnement du guidage arborescent comme celui de rotation de bande et table, il est naturellement affecté à la combinaison particulière ne faisant appel qu'à un seul doigt agissant seul sur une des zones pouce ou petit doigt une case utile pour y ranger des objets fréquemment utilisés. Ce qui définit un second rôle pour ces zones sensibles du pouce ou du petit doigt. Pour favoriser la production de ces objets, comme le caractère espace, il peut être paramétré de l'ajouter à l'objet activé par la validation des doigts agiles, lorsque la zone pouce ou petit doigt est désactivée en même temps. Par exemple si l'objet activé est la dernière lettre d'un mot, l'espace est ajouté automatiquement par le seul relevé du pouce simultanément à la validation de cette dernière lettre d'un mot, le pouce ayant été préalablement posé sur la zone appelant une bande des lettres minuscules ou majuscules et associé à une case où se trouve l'espace.
Ce mode d'action de rotation/substitution d'une bande à une autre est complété par le fait que, selon l'invention, on prévoit que des commandes de rotation de bande ou de table peuvent être placées comme des objets dans des cases d'une bande, appelant des petits programmes informatiques internes au dispositif DED. Ces objets internes au DED de commande de rotation de bandes ou de tables sont particulièrement utiles quand on se trouve dans une situation de type réalisation 1 avec seulement 36 cases disponibles ou accessibles du fait d'un nombre réduit d'actuateurs disponibles. Ces rotations de tables ou de bandes peuvent, selon l'état de l'art, être soit temporaires pour une combinaison à suivre, soit verrouillées jusqu'à ce qu'un ordre différent de rotation de table mette fin au rôle actif tenue par la table ou la bande appelée. Ces petits programmes peuvent être des objets très flexibles permettant par exemple de verrouiller la table ou bande appelée en laissant le ou les doigts qui ont appelé la bande et de la déverrouiller en revenant à la bande précédente quand on relève le ou lesdits doigts, ce qui recrée en quelque sorte l'usage combinatoire classique de type majuscule.
Dans un autre mode de réalisation, la rotation entre deux bandes ou tables est réalisée de manière automatique par la détection d'un nouveau contexte applicatif. Par exemple, si le DED est utilisé pour la saisie d'un texte dans une application de traitement de texte, le basculement dans une application tableur de type Excel (nom commercial) va rendre utile le changement de bande afin de disposer en désignation rapide des fonctions et commandes spécifiques à ce contexte.
Dans la réalisation 2, avec 5 zones principales, il est normalement prévu que l'utilisateur mette en jeu ses cinq doigts. Il peut arriver que cela ne lui soit pas possible ou voulu. Auquel cas, il pourra paramétrer son processus de désignation, par exemple via un programme informatique interne rangé comme un objet dans une case, pour que des zones sensibles pouce et des zones sensibles auriculaire, ou même quelconques, puissent être verrouillées, c'est-à-dire bloquées, sans que l'on ait besoin de laisser un doigt dans la zone sensible correspondante, tout en maintenant la capacité de validation des combinaisons auxquelles elles participent.
DISPOSITIFS DE POINTAGE DES DED Si l'on considère la figure 1 ou la figure 9, l'utilisation de certaines technologies pour les zones de détection permet d'obtenir une surface ou un volume continu, figure 10, sur ou dans lequel le déplacement continu d'un actuateur peut être déterminé.
Dans ce cas, la réalisation fera avantageusement en sorte que les cinq zones principales réalisent ensemble une sorte de tablette graphique, comme illustrée par la figure 10. Dans cette illustration, les traits continus indiquent les limites des cinq zones principales indépendantes (100 à 104) et les traits en pointillé, les séparations entre zones sensibles exclusives (lOxa, lOxb, ..., où x = 0 à 4) l'une des autres au sein d'une même zone principale.
Dans un mode de réalisation, le dispositif comprend alors des moyens permettant d'interpréter le glissé d'un actuateur sur les zones de détection comme le glissé d'un pointeur électronique de type souris informatique. Les moyens sont de type logiciel permettant d'interpréter les coordonnées transmises par le module capteur pour les convertir en déplacement d'un pointeur dans un système informatique. Ceci permet notamment de passer rapidement sans bouger significativement la main d'un mode de saisie de données à celui de pointeur électronique et vice-versa.
De façon spécifique, applicable dans le cas où les zones principales sont indépendantes ( « multi-touch » selon le jargon), à chaque zone principale correspond une partie de l'écran sur lequel est disponible le dispositif pointeur ou un dispositif pointeur spécifique à chaque partie de l'écran définie de la sorte. Cette solution permet notamment de passer très rapidement d'une partie de l'écran à l'autre sans avoir à faire glisser son actuateur d'un bout de l'écran à l'autre, ou de gérer et aller et venir entre plusieurs curseurs indépendants qui permettent de gérer plusieurs taches éloignées dans un ou plusieurs documents ou fenêtres. Dans le cas d'une présentation audio du contenu de l'écran, cette correspondance absolue associée à des zones principales physiquement perceptibles par les cinq parties de la main, rend possible une analyse rapide du contenu d'un écran et de ce qui a bougé où, sans avoir à regarder un écran, par exemple par présentation audio ou tactile, selon des processus connus des non-voyants utilisant un ordinateur.
De façon particulière, toutes les zones principales forment une seule super zone dans un mode d'utilisation de la souris.
Dans un mode de réalisation particulier, la fonction souris est mise en œuvre sur des moyens, de type joystick, ou touchpad, juxtaposés aux zones sensibles de détection du dispositif.
Dans un mode de réalisation particulier, notamment pour usage sur une surface de table ou autre, le DED est naturellement installé sur la partie supérieure d'une souris réalisée selon l'état de l'art, système de pointage ultra dominant. La solution la plus simple, mais pas forcément adaptée aux contextes mobiles, pour implémenter l'objet de l'invention est en effet de placer des touches classiques sur le dessus d'une souris selon l'état de l'art et les figures 23. La figure 23a correspond à l'installation d'une réalisation de type 1, la figure 23b et 23c à l'installation de réalisations de type 2. La réalisation 23a est naturellement ambidextre, les trois zones principales gauche, milieu et droite, restant telles quelles, quels que soient les doigts qui les prennent en charge. Les réalisations 23b et 23c sont aussi ambidextres, moyennant une permutation des zones affectées au pouce et au petit doigt. Pour rendre l'ensemble maniable il est nécessaire de faire une souris assez plate, de faire en sorte que les clics souris et la molette soient orientées vers l'intérieur de la surface, que les touches combinatoires soient sensiblement plus douces et à courses plus limitées que pour un clavier standard, que la forme vue de dessus de la souris permette une tenue efficace entre le pouce et le petit doigt et enfin que la masse totale et les patins de glissement de la souris limitent les mouvements involontaires de la souris pendant que l'on agit dessus avec les 3 doigts ou même avec les 3 doigts et le pouce, figure 23b, ou les 5 doigts, figure 23c. Une optique à grande définition (au-dessus de 800 dpi) bien adaptée à des souris à petits déplacements convient bien à une réalisation selon l'objet de l'invention. Des dispositifs logiciels inhibant l'éventuel déplacement du pointeur pendant la frappe permettent, sans rien demander à l'utilisateur, de conserver pour la souris toute l'ergonomie à laquelle il est habitué. Pour tenir compte du petit délai séparant la dernière utilisation souris/pointeur de la validation d'une première zone sensible du DED, ce qui inhibe le pointeur, et entre deux productions successives du DED, une temporisation, (tempoβ) permet d'oublier et d'annuler le déplacement involontaire éventuel pendant ce petit délai.
DEROULEMENT D'UN PROCESSUS DESIGNATION-VALIDATION. La figure 11 illustre la production d'un objet selon la présente invention.
En se référant au mode de réalisation de la figure 1, et selon la bande de la figure 5, l'utilisateur désigne (désignation interactive guidée ou non) (112) une combinaison de zones logiques à l'aide de un à trois de ses trois doigts agiles, par exemple si chacun des trois doigts est en position « avant » sur sa zone principale, la combinaison désigne la case contenant la lettre « Y ». L'utilisateur effectue alors une opération de validation (114) qui active l'objet (115).
Dans un mode de réalisation plus complet pour lequel le DED est équipé, par exemple, d'un écran de présentation, Le processus de création relève de l'enchaînement suivant : 110 : l'utilisateur détermine par la pensée quel objet il souhaite produire ;
111 : la présentation visuelle symbolique (décrite ci- après) des informations lui permet de voir comment désigner cet objet ;
112 : il désigne donc cet objet avec ou sans assistance interactive guidée, à l'aide des actuateurs (doigts) ;
113 : l'utilisateur vérifie qu'il a bien désigné l'objet désiré, et exploite parfois des informations complémentaires (117, par exemple une petite bulle ou étiquette informative affichant la fonctionnalité de l'objet lorsque celui-ci est désigné, à l'instar des bulles d'informations qui s'activent sur les ordinateurs lorsque le curseur de la souris est positionné sur un bouton de Word _ nom commercial) et qui lui sont présentées pour le conforter ;
114 : l'utilisateur valide son choix, par exemple en relevant ses doigts ; les différents moyens et modes de validation ont été décrits plus en détail ci-dessus ;
115 : l'objet désigné et validé est ainsi activé ; 116 : un retour (feedback, par exemple lettre qui s'écrit sur l'écran de visualisation ou écho vocal ou tactile) permet à l'utilisateur de contrôler le résultat.
PRESENTATION SYMBOLIQUE Dans la présente invention, il est également question de la présentation des informations sur l'écran de visualisation (ou tout autre moyen de présentation) alors même que le dispositif est en cours d'utilisation.
Des moyens, par exemple logiciels, permettent d'afficher symboliquement à l'écran la bande active et les moyens (c'est- à-dire les zones sensibles devant former les combinaisons) pour activer chacun des éléments de la bande.
En référence aux figures 13 et 14, pour une disposition de type réalisation 1, telle que celle de la figure 1, et pour une bande dont l'ordre de rangement des 26 combinaisons est selon la figure 5, la présentation symbolique compacte consiste en une carte de 36 cases ou moins réparties en 6 grandes zones symbolisées elles-mêmes comme des damiers de 6 cases (dont certaines peuvent être non remplies par une illustration) .
Dans cette représentation symbolique, où, par rapport à l'illustration 5, il n'y a plus la représentation de chaque damier pour chaque combinaison, la combinaison donnant accès à une case et à son contenu iconique doit se comprendre comme comprenant, comme première zone sensible à activer en Bitap ou Successitap, la zone sensible qui est dans la même position relative que la grande zone qui contient la case visée et son contenu, et comme seconde zone sensible celle qui est en correspondance positionnelle avec la case elle-même vis-à-vis des cinq autres.
Par exemple pour désigner un « B » on activera d'abord la zone sensible « avant gauche » puis la zone sensible « avant centre », et pour désigner un « T » on activera d'abord la zone sensible « avant droit » puis la zone sensible « arrière centre » .
Cette représentation reste similaire, même quand, pour indiquer que certaines combinaisons se font avec 3 doigts, on rajoute quelques signes ou symboles. De même les combinaisons contenues dans une grande case peuvent être représentées collectivement par une icône, et n'apparaître individuellement que lorsque l'on a sélectionné/activé une zone.
Dans la version dynamique de cette présentation, l'activation d'une première zone sensible déclenchera un affichage ne présentant plus que les 6 cases qui étaient dans la grande zone de la carte, puis après activation de la seconde zone sensible, l'indication des zones sensibles activées et la seule icône correspondant au contenu de la case ainsi désignée. Grâce à l'oubli temporisé, la désactivation d'une zone fait revenir la visualisation en arrière. Cette présentation de la bande elle-même est complétée d'une présentation qui met à jour les objets présentés lors d'une rotation de bande déclenchée, par exemple, par l'action sur une zone logique de modification (pouce et/ou auriculaire), ou toute autre cause comme évoqué ci-dessus.
Dans un autre mode de réalisation de la présentation dynamique illustré par la figure 16, sous la forme d'une matrice à 26 (ou 36) colonnes et N lignes (N = 2 à 18 de façon réaliste correspondant au nombre de combinaisons possibles dans les zones de modification, gérées par le pouce et le petit doigt, et aux besoins courants sur un ordinateur , permettant de basculer entre les bandes) où chaque colonne correspond à la combinaison des doigts de la case associée à un des 26 (36) dominos à 6 cases de la bande de référence, le dynamisme de la présentation peut être limité à la mise en exergue de plus en plus restreinte des zones de la table qui partagent entre elles les zones sensibles déjà activées (figure 17). Dans l'exemple de la figure 17, l'utilisateur a activé une zone pouce extérieure et la zone milieu avant et les quatre choix possibles sont les lettres i, j, k, 1 de la bande des lettres de l'alphabet latin, sélectionnée par la position du pouce. En ajoutant le doigt de droite sur sa position avant, on désignerait la seule lettre « j ». Pour guider l'utilisateur entre plusieurs tables ou de nombreuses bandes, les composantes peuvent être représentées, selon l'état de l'art des IHM graphiques et arborescentes, par des icônes illustrant des groupes de combinaisons (d'autres bandes par exemple) plutôt que l'ensemble des icônes de chaque combinaison, chaque icône, lorsqu'elle est désignée, pouvant être expliquée par une étiquette de texte, selon l'état de 1'art.
D'autres représentations sont également possibles, notamment celle illustrée par la figure 18 dont les formes cursives peuvent être considérées comme étant un alphabet de production : à chaque signe correspond une combinaison.
Cette écriture manuscrite qui est initialement une variante de la représentation des positions des doigts sur les zones sensibles, s'avère être d'une grande simplicité à produire sous forme manuscrite, soit de façon cursive liée, soit glissée ou pointée dans une grille préexistante, et s'avère aussi facile à reconnaître parce qu'elle est formée d'éléments simples, faciles à distinguer pour un dispositif simple de reconnaissance d'écriture. Par exemple, un crayon optique de quelques diodes ou équivalent, détecterait facilement les successions de bâtons supérieurs et inférieurs par rapport au début et à la fin du tracé central. De même, par rapport à une grille, physiquement représentée ou non, les vecteurs et les points sont très faciles à dessiner, puis, en temps réel ou a posteriori, détecter, identifier et relier aux modèles associés aux 36 combinaisons de base. Jusqu'à 6 accents supérieurs et inférieurs sont simples à identifier aussi et permettent de définir un jeu de signes de base, hors commandes de changement de tables de références, allant jusqu'à 216 possibilités.
De même un système de tablette graphique ou d'écran tactile et des logiciels de reconnaissance peuvent facilement faire ces traitements, alors qu'ils sont à la peine pour reconnaître au-delà de 95% des signes d'une écriture manuscrite courante ou même simplifiée.
L'avantage de cette écriture, plus rapide à dessiner et ayant un taux de reconnaissance significativement plus élevé que les écritures proches des graphies classiques, est d'étendre le domaine d'utilité de l'apprentissage du système combinatoire aux situations où il est avantageux de manier un stylet ou un crayon, avec ou sans électronique en temps réel, ou pour annoter de façon reconnaissable des documents imprimés avant scanning. La simplification de la reconnaissance permettant de la réaliser avec moins de ressources, plus en temps réel, au point d'écriture, sans zone spéciale ...
Comme évoqué précédemment, la représentation symbolique selon la figure 13, peut être avantageusement rendue équivalente à celle d'un clavier virtuel selon l'état de l'art, où le pointeur et le clic permettent de désigner successivement à distance, avec ou sans zones sensibles matérielles, puis de valider les combinaisons selon le procédé objet de l'invention. Selon le degré d'expertise de l'utilisateur, la nature, la taille, l'importance et la permanence de la présentation symbolique seront avantageusement ajustables. On peut ainsi distinguer plusieurs niveaux paramétrables :
1. le niveau permanent et dynamique mais limité à une bande de 36 combinaisons selon la représentation symbolique de l'illustration 13, avec zoom sur les 6 combinaisons restantes possibles après un premier appui (figure 14) ;
2. le niveau permanent limité à une bande ou étendu à une table de plusieurs bandes où la dynamique est limitée à la mise en exergue des zones activées et des combinaisons avec leur contenu qui partagent ces zones activées, comme dans les figures 16 et 17;
3. un niveau, par exemple au point de curseur où seul le signe ou la commande prête à être validée est affichée, et éventuellement changé selon l'exploration avant validation ou annulation, selon la figure 3;
4. un niveau où l'affichage a été évanoui partiellement ou totalement après une certaine temporisation (tempo3), et ne revient en avant-plan que quand on active une zone sensible, ce qui permet l'usage normal du pointeur de la souris sur la zone d'écran qu'aurait occupée la présentation ;
5. un niveau où un affichage de plusieurs bandes ou de toutes les bandes actives se tient en arrière plan et ne réapparaît qu'après l'écoulement d'une certaine autre temporisation (tempo4) de maintien activé d'au moins une zone sensible, cette temporisation étant interprétée comme une hésitation de l'utilisateur, l'affichage s'évanouissant de nouveau après la validation d'une combinaison ;
6. un niveau où l'affichage de comment faire les commandes possibles dans un contexte donné, (par une image symbolique des zones à activer) se fait dynamiquement, non pas en bloc spécifique au DED selon l'invention, mais à côté de chaque icône ou élément de menu déroulant au fur à mesure du déplacement du pointeur ou du changement de contexte ; 7. un niveau des différents types ci-dessus, augmenté, pour l'objet désigné et prêt à être validé, de l'affichage d'une étiquette explicative analogue à celle associée à une icône ou un item de menu déroulant selon l'état de l'art des IHM graphiques, cette étiquette explicative pouvant être réduite à quelques mots ou constituer un véritable paragraphe de Help,
EXPLORATION - APPRENTISSAGE
La combinaison des présentations dynamique et statique décrites précédemment avec le dispositif d'oubli déjà décrit pour les processus de désignation, permet à l'utilisateur novice ou hésitant (experts compris) d'explorer le contenu des diverses bandes et d'ajuster ses doigts de façon à réaliser correctement la combinaison désirée alors même qu'il n'a pas encore validé sa combinaison.
Cette exploration et ces ajustements sont nécessaires à l'utilisation non experte des claviers combinatoires qui induit inévitablement des hésitations et des corrections de la combinaison désignée. Ils sont notamment réalisables en utilisant le dispositif d'oubli déjà décrit ci-dessus avec les processus « Bitap », « Successitap » et « Simultané », qui considèrent comme logiquement actives les zones qui n'ont pas été physiquement libérées et celles qui n'ont été libérées que depuis une durée inférieure à une durée seuil paramétrable, (tempo2, et tempoO), qui caractérise l'oubli qu'une zone sensible a été activée, toutes les zones sensibles étant logiquement désactivées après la validation. Cette solution permet aussi de bien distinguer les zones sensibles faisant partie d'une combinaison car validées ensemble et celles qui n'en font pas partie.
Dans le cas du « Bitap », comme le relevé de l'actuateur de la deuxième zone sensible réalise la validation, il n'est pas possible de réaliser l'exploration ci-dessus, sauf si les technologies utilisées pour les zones sensibles permettent le glissé vers une autre zone sensible sans relever l'actuateur, ou si un deuxième actuateur peut activer une autre zone sensible sans avoir d'abord à relever le premier actuateur. Dans le cas où le « Bitap » n'est pas implémenté dans un processus mixte avec du « Successitap » ou « Simultané », on peut implémenter le fait que laisser l'actuateur en contact de la zone sensible une durée supérieure à une temporisation, (tempo5) équivaut à revenir en arrière, ce qui se signale à l'utilisateur en revenant à la présentation précédente créée après le premier appui, et autorise le relevé de l'actuateur sans que la validation n'ait lieu.
Pour un débutant, le logiciel de présentation met en exergue visuelle les zones logiques activées et désactivées au fur et à mesure que l'utilisateur débutant interagit avec le DED. Cette mise en exergue est fondamentale pour que les débutants sachent ce qu'ils ont déjà fait pour aller vers la case et l'objet contenu désirés. Cette mise en exergue se fait selon la représentation choisie. Par exemple, la mise en exergue se fera soit sous forme d'écrans successifs (enchaînement des figures 13, 14 et 15) soit en mettant en valeur le groupe de cases partageant la zone activée puis la case désignée avant validation et éventuel recul ou abandon, la bande affichée étant changée selon l'état ou l'activation d'une zone logique de modification (figures 16 et 17). Dans une représentation selon la figure 13, où la fonction zoom ne serait pas active ou disponible, la mise en exergue des touches activées peut se faire en ajoutant des index de différentes couleurs dans les grilles et en mettant en exergue ce qui est désigné. Les différentes couleurs peuvent permettre de distinguer parmi toutes les touches qui sont activées physiquement, celles qui le sont valablement selon le processus actif, et celles qui ne le sont pas, car interdites.
Dans un mode de réalisation paramétrable, la présentation peut ne devenir active qu'à l'expiration d'une temporisation (tempo4) à partir de la désignation d'une première zone logique, l'écoulement de cette temporisation étant interprété comme une hésitation de la part de l'utilisateur. La présentation est alors proposée comme une aide, selon les modalités paramétrées par l'utilisateur, avantageusement en réunissant plusieurs bandes ou zoom. De même la représentation peut s'évanouir, soit juste après la validation, soit après une temporisation (tempo3) et passer en arrière plan de la fenêtre active, permettant l'action du pointeur, et ne revenir en avant-plan que lorsque l'on active une zone sensible, soit immédiatement pour le débutant, soit après la temporisation paramétrable (tempo4) évoquée ci- dessus.
L'apprentissage et sa crainte étant ce qui a le plus empêché les dispositifs combinatoires d'émerger vers le grand public, dans une variante adaptative au contexte, la présentation visuelle peut être non pas constituée en tant que telle, en bloc graphique en plus, ce qui oblige à une certaine navette visuelle entre zones de l'écran, et cache plus ou moins selon le taux de transparence choisi pour la représentation graphique interactive, ce qui est en dessous, mais être associée à la présentation existante des commandes disponibles. Par exemple, les représentations symboliques en damiers, des positions des doigts peuvent être accolées en permanence ou dynamiquement à côté des icônes et menus fixes ou déroulants et des différents choix. De cette façon, le débutant voit au fur et à mesure qu'il pratique à l'ancienne comment il pourra une autre fois n'utiliser que le mouvement de ses doigts pour activer une commande.
Comme mentionnée plus haut, la présentation visuelle est une solution mais non unique. Notamment, toujours dans le cadre de la présente invention, en cas d'absence d'écran, ce qui correspond à un usage avantageux des DED en situations sociales ou de mouvement ou d'autres activités d'observation, la présentation pourra se faire sous forme vocale ou tactile. Dans ce dernier cas, les zones sensibles sont chacune associées à un picot qui agit sur la peau quand la zone sensible est activée, soit statiquement une fois, soit en vibrant. Cette présentation tactile est par ailleurs intéressante pour pouvoir présenter des informations de tout type quand ni un écran ni un écouteur ne sont possibles, techniquement ou socialement. Cette présentation tactile pourrait être, dans un mode de réalisation particulier, associée à un bracelet-montre ou au bracelet contenant le cœur d'un DED dématérialisé (figure 2).
HESITATION - ANNULATION.
Pour un utilisateur qui a désigné une zone logique par erreur, le DED peut « oublier » la zone logique désignée par erreur dès qu'une durée supérieure à la temporisation (tempo2) définie précédemment dans les différents processus de relevés simultanés s'est écoulée après que l'utilisateur a relevé son doigt de la zone erronée, à condition qu'il y ait toujours une zone sensible affectée à un doigt agile qui soit physiquement activée, ce qui peut nécessiter d'activer physiquement une autre zone affectée à un doigt agile avant de relever le doigt ayant une position erronée. Cette possibilité permet à l'utilisateur un apprentissage exploratoire accessible et offre également une rassurante tolérance à l'erreur pour le débutant. Parmi les corrections possibles, lorsque l'utilisateur change complètement d'avis avant la validation d'un objet qu'il commence à désigner, une fonction d'annulation est possible. Celle-ci peut être mise en œuvre par un mécanisme principal, mais non limitatif : la bande active ou la bande sans pouce ni petit doigt de la table active, présente au moins une combinaison associée à cet objet vide ou NuIl, créée comme une fonction interne au DED d'annulation. Par exemple, lorsque la technologie le permet, la combinaison spéciale d'appui des 6 touches affectées aux trois doigts agiles, ou plus généralement, une combinaison facile de construction par déplacement des doigts selon le processus d'oubli. L'utilisateur, en désignant cet objet, par utilisation des mécanismes de correction, hésitation et oubli décrits précédemment, puis en le validant, ne produit aucun objet. Cette particularité de l'invention évite à l'utilisateur d'avoir à corriger le résultat d'une activation intempestive, souvent facile avec les logiciels modernes mais pas toujours, et la plupart du temps coûteux en temps et rythme de travail. En variante intéressante, cette fonction NuIl réalise en même temps la remise à zéro des mémoires contenant des informations sur les touches modificatrices et les lock de toutes natures dans des positions particulières, entraînant ainsi le retour à une position de référence bien connue et sans ambiguïté ni décalage entre ce que croit l'utilisateur et ce que sait le système.
CORRECTION-DESAMBIGUISATION-PREDICTION-COMPLETION La présente invention concerne également des moyens de correction, de désambiguïsation, de prédiction et de complétion qui sont mis en œuvre sur le DED. Deux aspects peuvent être considérés : l'aspect détection des doigts et l'aspect sémantique de ce qui est saisi.
Lors de la saisie rapide de données par l'utilisateur, celui-ci peut réaliser une saisie erronée d'autant plus que la transition entre certaines paires de désignations d'objets n'est pas évidente pour des doigts non entraînés. Ainsi le dispositif comprend des moyens, matériels, par construction et paramétrage des sensibilités, éventuellement logiciels, de correction des erreurs de frappe, notamment des frappes très courtes et sans forces (effleurements). Selon la présente invention, les zones sensibles d'une même zone principale, sont quasi totalement exclusives entre elles, sauf, dans certains cas, pour des actions qui ne se font pas très rapidement. De ce fait, si l'actuateur agit malencontreusement sur deux zones, le système donne la priorité à la première qui est effleurée, et dans le cas d'un effleurement simultané, à celle où la force ou la surface, selon les technologies, sont les plus grandes. Basiquement, les zones sensibles adaptées à l'invention n'ont pas besoin, comme des touches d'un clavier classique, de leur faire dépasser un seuil de déplacement et fournir une sensation d'effondrement de résistance, et sont au contraire à faible ou nul déplacement, à force faible ou nulle. En effet, d'une part les doigts qui galopent à plusieurs coups par seconde seraient ralentis par ces déplacements et ces forces, d'autre par du fait que les mouvements des doigts sont simples il n'y a pas d'utilité de discriminer entre la touche voulue et ses voisines, pratiquement constamment effleurées en touch typing de doigts se déplaçant sur des surfaces importantes.
Par ailleurs, dans le cas où l'utilisateur a du mal à enchaîner la production d'un premier objet suivi d'un second objet parce que ses doigts se positionnent mal et désignent par erreur un troisième objet, des moyens logiciels mettent en mémoire cette donnée (enchaînement objetl-objet2 délicat pour cet utilisateur) et fournissent des moyens pour palier et anticiper (donc prédire et corriger) les erreurs : lorsque le premier objet est produit, les zones logiques associées au deuxième objet peuvent être agrandies au détriment de celles du troisième objet, afin de faciliter la production de ce deuxième objet.
Une autre manière de diminuer les erreurs est de proposer des processus à deux doigts sans ordre. Cela est possible, comme évoqué précédemment quand on saisit du texte et des mots significatifs dans une langue donnée. Le principe s'appelle la désambiguïsation et a été rendu célèbre par la technique T9 de la société Tegic. Il consiste à ne pas demander à l'utilisateur de produire des lettres exactes mais de se contenter de produire un code associé à deux (Suretype) ou trois/quatre (T9 ou iTap) ou six lettres (Tengo) et à laisser le logiciel et ses tables de vocabulaire, lever les ambiguïtés en proposant des syllabes ou des mots que l'utilisateur n'a plus qu'à choisir au lieu de les taper, ce qui n'est pas toujours avantageux avec les systèmes existants. Dans le cas de l'invention, si on tape simultanément deux touches parmi six, chacune des dix-huit combinaisons possibles ne peut correspondre qu'à deux arrangements distincts par l'ordre de frappe des deux mêmes touches, par exemple le « C » et le « P » selon la figure 7, ce qui correspond à une ambiguïté linguistique faible, facile à traiter. Un radical ou un mot unique seront très souvent la seule possibilité. Dans le cas de plusieurs choix, le fait qu'avec les claviers combinatoires on ne regarde pas le clavier, permet de ne regarder que l'écran, et donc de voir immédiatement les messages du système, puis, avec le guidage dynamique associé à la présentation interactive (déjà décrite), de présenter les choix de façon à les sélectionner avec une combinaison liée à la position du choix dans le guidage dynamique, comme illustré sur la figure 19, donc, sans avoir à aller activer des touches de déplacement, plus ou moins lointaines et de validation : on voit et on clique en produisant la combinaison implicite, ce qui est alors plus rapide que de finir la frappe du mot ... Donc on peut, quand un logiciel de désambiguïsation est disponible pour la langue de création d'un texte, avoir une frappe simultanée à deux doigts, très facile et donc rapide, et naturelle pour un utilisateur ayant commencé en « Bitap » puis en « Successitap » . Dans le cadre de la désambiguïsation sur deux éléments seulement il est souvent aussi possible de procéder à des corrections automatiques d'erreurs (élimination de mots n'ayant pas de sens) ou à des propositions pour que l'utilisateur corrige lui-même en précisant dans la foulée de sa frappe le radical ou le mot qu'il veut vraiment à la place du radical erroné. Au-delà de la désambiguïsation, l'art antérieur connaît aussi des moyens de prédiction et de complétion sémantique basés sur les dictionnaires et les phrases les plus fréquentes de l'utilisateur, notamment mis en œuvre dans les téléphones portables. Par des moyens logiciels, le DED propose des suggestions sémantiques à l'utilisateur en fonction, par exemple, des objets immédiatement saisis, d'une analyse syntaxique et sémantique du début de phrase saisie, du contexte (logiciel) dans lequel est utilisé le DED. Lorsque la bande active présentée à l'écran contient des cases vides, ou des cases contenant des objets sans utilisation à ce moment, elle est modifiée pour présenter à l'utilisateur un ou plusieurs objets (mot, portion de phrase, commande ...) proposés au fur et à mesure par la prédiction sémantique ou langagière. Alternativement, une bande optionnelle est créée avec un ou plusieurs de ces nouveaux objets et présentée à l'utilisateur à un endroit favorable de l'écran. C'est notamment le cas sur la figure 19 qui présente trois propositions désignables suite à la saisie du début de mot « Per » . Cette bande modifiée ou créée est présentée, visuellement ou par tout autre moyen, à l'utilisateur, si celui-ci le désire. Ainsi ce dernier peut effectivement produire plus rapidement l'objet désiré si celui-ci fait partie des suggestions, alors que souvent avec les systèmes classiques, sélectionner une suggestion est plus lent que de finir de taper les lettres du mot visé, sans compter que s'il regarde ses touches l'utilisateur ne voit pas la suggestion très tôt.
Lorsque l'écran est assez grand et les choix pas trop nombreux, les objets suggérés sont présentés dans les cases d'un grand domino ou de dominos emboîtés de telle façon que la sélection de l'objet préféré se fasse par une action des doigts analogue à celle de la production des objets élémentaires restant à ajouter pour atteindre un mot ou une phrase sémantiquement corrects et adaptés à la pensée voulue par l'utilisateur. Cette présentation revêt son intérêt par le fait que l'utilisateur d'un DED selon l'invention ne regarde jamais ni ses mains ni le DED, est entraîné à interpréter mimétiquement les représentations symboliques et les produit rapidement. Cette présentation compacte et facilement désignable s'applique à des mots ou des phrases types. Pour faciliter la production de textes répétitifs, conventionnels ou typiques, la présentation symbolique peut porter sur des bandes où les phrases sont représentées par des icônes qui sélectionnées affichent la phrase puis la produisent en bloc lorsque la combinaison correspondante est validée. Ce procédé a un sens avec l'invention car l'utilisateur peut garder son regard sur l'écran et appeler à volonté des bandes d'objets particuliers et personnels. Dans le cas évoqué, la production de texte est grandement accélérée et correspond bien aux contextes d'Instant Messaging ou de SMS.
PARAMETRAGE ET ADAPTATION AUTOMATIQUE
Selon un mode de réalisation, le dispositif comprend des modules logiciels pour la gestion des étapes et mécanismes précédemment décrits. Cela permet notamment d'offrir une interface de paramétrage à l'utilisateur en fonction de ses aspirations :
-Choix des durées seuil de temporisation : • tempoO, en mode Bitap pur, définit le temps disponible à l'utilisateur pour déplacer l'actuateur unique de la première zone sensible à la seconde,
• tempo1 pour le temps de séparation entre le simultané et le successif,
• tempo2 pour la validation et pour l'oubli temporisé des zones physiquement libérées,
• tempo3 pour gérer la vitesse d'évanouissement du guidage interactif • tempo4 pour gérer la réapparition d'une visualisation de guidage quand l'utilisateur hésite avant de valider ou d'ajouter un doigt,
• tempoδ pour l'oubli du deuxième appui Bitap,
• tempoβ pour l'oubli des mouvements pointeur avant l'inhibition déclenchée par l'activation d'une zone sensible du DED,
-Choix des niveaux de transparence de la visualisation interactive,
-Choix des modes de désignation et validation préférés (Bitap, Glissé, Successitap, Simultané, Mixte, Avancé ...),
-Paramétrage des zones sensibles logiques en fonction de la morphologie de la main de l'utilisateur,
-Choix des actuateurs,
-Paramétrage des tables/bandes (nature des objets, positionnements des objets selon préférences).
SYSTEME.
Dans un mode de réalisation illustré par la figure 12, le dispositif DED (120) est relié, par une liaison filaire (122) (câble USB, câble réseau) ou non filaire (123) (Infra¬ rouge, Bluetooth, Wifi, RF ...) , à l'équipement (121) où entrer des données.
Dans une réalisation le DED comporte des moyens logiciels permettant de mettre en œuvre le procédé décrit dans la présente invention et de communiquer avec l'équipement auquel il est relié. De façon similaire, l'équipement comprend des moyens logiciels et peut communiquer avec le DED et interpréter les données envoyées pour exécuter une action par exemple. L'utilisateur qui désire effectuer une action sur l'équipement en question, produit au moyen du DED la combinaison correspondant à l'action souhaitée. Le DED transmet à l'équipement, certaines données qui sont interprétées par l'équipement pour produire l'action. Selon les possibilités d'installer des programmes et de mettre en mémoire des tables mettant en œuvre l'invention, ou d'accéder aux moyens de présentations de l'équipement, une part plus ou moins grande, éventuellement nulle du procédé selon l'invention sera réalisée dans l'équipement, et le DED réalisera ce qui ne peut être fait par cet équipement.
Dans un mode de réalisation particulier, plusieurs DED peuvent piloter concurremment un même équipement. Un tel cas de figure permet notamment des applications de type jeu ou conférence ou séance de travail en commun. Ce système présente certains avantages : pour une seule personne mais aussi pour plusieurs personnes travaillant ou jouant ensemble en ne partageant qu'un écran local ou dupliqué et des applications, chacun étant en mesure d'intervenir de sa place tout en regardant aisément ce qui se passe sur l'écran commun. Par rapport à ce qui est faisable avec les claviers classiques, l'utilisation de DED selon l'invention apporte des avantages significatifs, notamment le fait qu'une seule main est sollicitée pour, à la fois les saisies, les commandes et le dispositif de pointage. Un autre avantage concerne le fait que les positions physiques possibles pour les participants sont plus confortables et plus variées (moins besoin de tables, positions debout et en se déplaçant possibles, etc.) et que les utilisateurs n'ayant pas besoin de regarder même furtivement le clavier, peuvent se concentrer sur ce qui se montre à l'écran commun ou dans l'écoute globale attentive de celui qui s'exprime.
Un cas particulier concerne le cas où deux DED, éventuellement d'architectures différentes, sont connectés et maniés par chacune des deux mains du même utilisateur (utilisateur 2 de la figure 12), mettant ainsi en jeu jusqu'à 10 actuateurs. Cette configuration qui ne concernera que des utilisateurs déjà experts des deux mains permet, notamment mais pas nécessairement, de rendre totalement indépendantes les frappes de deux signes successifs, alors que, sur les claviers classiques à deux mains, l'indépendance est inférieure à 80%. Cumulés avec des logiciels de correction et prédiction sémantique, éventuellement en utilisant des frappes de syllabes phonétiques (plusieurs dizaines seulement en français contre un peu plus de mille en orthographiquement correct) ce système pourrait être plus productif que ce qui existe actuellement de plus rapide : Qwerty-Azerty, Sténotypie directe et VeloType (nom commercial).
Le DED peut également être un dispositif indépendant disposant de ses propres moyens de calcul (logiciel d'interprétation pour le capteur, logiciel de gestion des tables, ...) et éventuellement de moyens de présentation de l'objet produit par l'utilisateur : écran de visualisation propre, par exemple fixé sur le dos de la main qui agit sur le DED, écran de visualisation externe, moyens de présentation sonore (synthétiseur vocal, haut-parleur, écouteurs, oreillettes...) , moyens de présentation tactile...
À l'opposé, le DED peut s'inscrire dans une architecture client-serveur. Dans une mise en œuvre particulière, le DED comprend les moyens sensibles de détection (capteurs), des moyens de présentation (un écran, un haut-parleur), des moyens de communication avec un réseau (par exemple, Wifi, GSM ou UMTS), des moyens logiciels permettant l'interfaçage homme- machine IHM et la transmission des données sur le réseau. Dans ce mode de réalisation, le DED n'est qu'une interface Homme- Machine et les services applicatifs du procédé sont déportés sur un serveur connecté au réseau. Ce DED peut être soit personnel ou banalisé, ou spécifique à un lieu et contexte donné, selon l'état de l'art des terminaux. Ainsi, les données de personnalisation (structure des bandes, dimensionnement des zones sensibles ...) sont stockées sur le serveur et seules les coordonnées des actuateurs déterminées au travers du/des capteur(s) sont transmises au serveur. L'utilisation en temps réel, c'est-à-dire une utilisation fluide comparée à la production d'un utilisateur normal, peut être réalisable sur les réseaux actuels de communication performants (GPRS, WiFi, UMTS...) .
En variante, les paramètres de l'utilisateur et des programmes adaptés sont installés temporairement dans le terminal DED, selon l'état de l'art des terminaux et des serveurs.
DED + ECRAN.
Dans un mode de réalisation particulier mais d'un usage courant, le DED est relié au moins à un écran de visualisation éventuellement par l'intermédiaire d'un ordinateur. L'écran de visualisation permet d'enrichir le DED de modules utiles pour l'apprentissage et l'utilisation de ce dispositif combinatoire d'entrée de données. Des variantes encore plus favorables à un usage en situations de mobilité, associeraient au DED une synthèse vocale et une présentation audio via un écouteur, beaucoup moins intrusifs qu'un écran vis-à-vis des tiers. Le moins intrusif étant la présentation tactile sur une surface de peau assez grande, par exemple sous le poignet dans un bracelet éventuellement associé au cœur du dispositif de détection, selon la figure 2.
EXEMPLE DE REALISATION : DED INTEGRE DANS UN TELEPHONE PORTABLE. Une application particulière du DED concerne les téléphones mobiles qui deviennent de plus en plus des terminaux et ont donc besoin d'un Interface Homme Machine allant plus loin que les douze touches historiques, le gestionnaire de déplacements de curseur et les touches « entrée » et « échappement » .
Selon le choix du constructeur ou ensuite de l'utilisateur, cinq modes de réalisation principaux sont possibles avec un DED selon l'invention :
Installationl limitée à du logiciel implémentant le processus selon l'invention et basé sur 6 + 4 + 2 touches reprises sur un clavier numérique standard, par exemple, selon la figure 20. Seuls les modes Bitap et Successitap à deux pouces sont pratiquement possibles du fait de la dureté d'appui des touches standard, mais permettent déjà des saisies et des commandes sans regarder du tout les touches, beaucoup plus rapides et sophistiquées qu'avec les claviers et processus classiques. Dans l'exemple de la figure 20, et avec la grammaire de la figure 5, les touches usuelles du téléphone mobile sont utilisées et l'appui des touches « 1 » et « 2 » produit la lettre « B ». De fait, cette implémentation logicielle apporte la puissance et la flexibilité d'un clavier virtuel sans nécessiter d'avoir à installer un écran tactile plus coûteux et fragile.
Installation d'une réalisation de type 1 à partir de technologies touchpad multitouch en remplacement du seul gestionnaire de curseur selon la figure 21. Le bandeau DED a la largeur du téléphone et un centimètre de hauteur. Il peut s'utiliser en Bitap, Glissé, Successitap, Tritap, Simultap, Mixtes et Avancés, selon que l'utilisateur dispose d'une seule main ou de deux mains pour tenir et actionner son appareil. Le DED permet de réaliser et d'accélérer toutes les actions de l'IHM d'un téléphone. Dans l'exemple de la figure 21, le bandeau (210) est utilisé en mode glissé. À cet effet, le glissé (211) entre les deux cases « gauche avant » et « milieu avant » produit la lettre « B » (grammaire de la figure 5).
Installations d'une réalisation de type 2 à partir de technologies touchpad du commerce, selon la figure 22. Le multi-touchpad recouvre toute ou partie de la surface non écran du téléphone. Les touches classiques sont représentées sur la surface et peuvent être actives par simple basculement logiciel. En mode DED selon l'invention, par simple adjonction de logiciel, il permet les utilisations de la réalisation 1 plus un usage à quatre ou cinq doigts, main droite ou main gauche et l'usage d'une souris. Le constructeur peut notamment augmenter significativement les déjà fréquentes, selon l'état de l'art, fonctionnalités de télécommande universelle sans fil de son téléphone, actuellement limitées et lentes à cause des contraintes des claviers classiques d'objets mobiles. Avec un DED selon l'invention, le téléphone peut alors vraiment agir de façon très puissante et rapide sur tous les objets électroniques portés par la personne et ceux qu'il rencontre.
Installation d'une réalisation de type 1 ou 2 directement dans l'écran tactile, soit monotouch ne permettant que des appuis Bitap ou Glissé avec les doigts ou un stylet, soit multitouch et permettant aussi les usages Successitap, Tritap, Simultap, Mixtes, et Avancés,
- Enfin, installations, l'utilisateur peut se procurer directement auprès du constructeur ou d'un fournisseur séparé de DED, un DED selon l'invention, distinct du téléphone et agissant à distance sur celui-ci ou réintégré avec celui-ci via un étui et des connectiques ad hoc selon l'état de l'art, et des situations correspondant à la figure 12.
EXEMPLE DE RÉALISATION de DED AVEC AUTHENTIFICATION et IDENTIFICATION
Le DED est un objet électronique qui communique avec des moyens extérieurs. Lorsque ceux-ci ne sont pas passifs et peuvent dialoguer avec le DED et contrôler ce que celui-ci transmet, il est avantageux d'inclure dans le système électronique du DED des moyens d'authentification du DED et d'Identification de l'utilisateur dialoguant avec ces moyens extérieurs selon des processus que ne peut, selon l'état de l'art, remettre en cause l'utilisateur.
Par exemple le DED peut intégrer une puce électronique de sécurité par laquelle le DED peut passer lorsqu'il reçoit des requêtes particulières après avoir ou avant d'avoir intercalé des informations saisies par l'utilisateur. Par ailleurs, comme cela est connu par l'état de l'art, la manière de bouger les doigts peut caractériser de façon assez forte une personne donnée. Dans une telle implémentation, au-delà du dialogue sous-jacent de la puce électronique authentifiant l'objet DED qui est connecté, le système peut ajouter, de façon automatisée, sans solliciter l'utilisateur, des vérifications régulières sur l'identité de l'utilisateur en cours. Cette solution nouvelle se juxtaposerait, pour des enjeux de sécurité définis par les responsables ad hoc, aux demandes classiques de saisie d'informations que l'utilisateur est réputé seul connaître et protéger de divulgation, ou de pose d'un doigt sur un lecteur biométrique. En intégrant les moyens d'authentification et d'identification d'une personne dans un DED personnel que transporte et utilise cette personne pour ses propres raisons, on rend les objets, nommés « Token » par l'état de l'art, beaucoup plus confortables à utiliser. Par cela, le DED selon l'invention rend bien plus facile d'augmenter de façon sensible la sécurité sur les réseaux et les mobiles, c'est-à- dire de dépasser la seule combinaison « login » + « mot de passe » dont les faiblesses bien connues n'empêchent pas, à cause des contraintes lourdes des Token, (ils obligent à porter un objet spécifique à usage interruptif) qu'elles restent dominantes.
En appliquant les réalisations ci-dessus aux réseaux de téléphonie (fixe, DECT, GSM, CDMA, UMTS...) et informatiques (GPRS, WiFi, UMTS) mobiles, il apparaît que la puce qui est actuellement logé de façon assez peu mobile dans un terminal donné, peut logiquement en être sortie et créer des conditions bien plus flexibles d'utilisation de toutes sortes de terminaux, personnels ou mis à dispositions par des tiers et d'accès à des lieux protégés, via un DED personnel, doté de moyens d'authentification et d'identification, que la personne utilise par ailleurs de façon assez naturelle et fréquente pour l'avoir toujours avec elle.

Claims

REVENDICATIONS
1. Procédé combinatoire d'entrée de données sur un dispositif d'entrée de données (DED) comportant des moyens sensibles activables par l'intermédiaire d'au moins un actuateur, permettant, selon la combinaison des moyens sensibles activés, à un programme informatique ad hoc, de désigner et d'activer, un objet contenu dans une table active de correspondance en mémoire, les moyens sensibles étant constitués par au moins trois zones principales Zi de détection constituées chacune de Fi (Fi = 1, 2, 3... ) zones sensibles distinctes, ledit procédé comprenant au moins une étape de désignation/sélection d'un objet de ladite table active et une étape postérieure de validation et de production de l'objet désigné, caractérisé en ce que, pour au moins une première partie des objets de ladite table active, ladite étape de désignation/sélection d'un même objet est indifféremment réalisée soit par la désignation dudit objet en mode combinatoire successif soit par la désignation dudit objet en mode combinatoire simultané.
2. Procédé selon la revendication 1, caractérisé en ce qu'il comprend, en outre, une étape de présentation visuelle symbolique d'informations indicatives de la façon de désigner les zones sensibles correspondant à la combinaison associée à chaque case de la table active, les dites présentations symboliques pouvant elles-mêmes être sensibles selon la technologie des claviers virtuels.
3. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il comprend, entre ladite étape de désignation et ladite étape de validation, une étape d'exploration et d'ajustements des combinaisons désignables.
4. Procédé selon la revendication 3, caractérisé en ce que ladite étape d'exploration comprend une étape de présentation symbolique visuelle, sonore ou tactile et de mise en exergue visuelle, sonore ou tactile, des zones sensibles activées ou désactivées au fur et à mesure que l'utilisateur interagit avec et des objets associés aux combinaisons partageant les zones sensibles déjà désignées, jusqu'au stade où il n'y a plus qu'une combinaison associée à une case de la table active et à l'objet que celle-ci contient.
5. Procédé selon la revendication 3 ou 4, sur un DED relié à des moyens de visualisation, caractérisé en ce que ladite étape d'exploration comprend :
- une étape de présentation, sur lesdits moyens de visualisation, des différentes zones sensibles et, pour chaque zone sensible, des objets dont la production requiert l'activation de cette zone sensible en plus des zones sensibles déjà sélectionnées,
- lorsque l'utilisateur sélectionne une nouvelle zone sensible ou libère une zone sensible, une étape temporisée de mise à jour de la présentation des zones sensibles sélectionnées et des objets associés aux combinaisons de zones sensibles pour tenir compte de toutes les zones sensibles désignées à cet instant ou qui l'étaient dans un délai passé inférieur à une ou plusieurs temporisations, et des objets pouvant encore être produits.
6. Procédé selon l'une des revendications précédentes, sur un dispositif particulier comprenant deux zones sensibles distinctes pour chacune des trois zones principales, caractérisé en ce que ladite désignation en mode successif d'un objet de ladite table active par une combinaison comprend l'activation successive d'au moins deux zones sensibles parmi les six zones.
7. Procédé selon l'une des revendications précédentes, caractérisé en ce que, pour au moins une deuxième partie des objets de ladite table active, ladite étape de désignation/sélection d'un objet est uniquement réalisée par la désignation de la combinaison en mode successif.
8. Procédé selon la revendication précédente, caractérisé en ce que, pour au moins une sous-partie de la deuxième partie des objets, ladite étape de désignation/sélection d'un objet est réalisée par un seul appui-relevé sur une seule zone sensible.
9. Procédé selon l'une des revendications précédentes, caractérisé en ce que ladite étape de validation comprend la détection de la désélection de toutes les zones sensibles principales, la combinaison validée étant celle constituée par les zones sensibles qui étaient encore sélectionnée jusqu'à un délai passé, ce délai étant : • pour les combinaisons hors mode successif pur Bitap, égal à une première temporisation d'oubli (tempo2), et • pour les combinaisons en mode successif pur Bitap, égal à une deuxième temporisation d'oubli (tempoO) supérieure à la première temporisation.
10. Procédé selon l'une des revendications précédentes, sur un dispositif particulier comprenant, en outre, au moins une zone principale additionnelle de détection constituée d'une pluralité de zones logiques et une pluralité de tables parmi laquelle se trouve la table active, caractérisé en ce qu'il comprend, en outre, une étape de substitution de ladite table active avec l'une de ladite pluralité de tables en activant au moins l'une desdites zones logiques de la au moins une zone principale additionnelle.
11. Procédé selon l'une des revendications précédentes, caractérisé en ce qu'il comprend, en outre, une étape de correction, désambiguïsation et prédiction des chaînes d'objets désignés ou validés, ladite étape permettant la création d'une table de suggestions comprenant au moins une suggestion, et une étape de présentation visuelle, sonore ou tactile de la table des suggestions dont les objets sont désignables, explorables et validables par ladite étape de description/sélection.
12. Procédé selon l'une des revendications précédentes, caractérisé en ce que lesdits objets désignés, validés et produits sont choisis parmi l'ensemble des objets informatiques et électroniques, par exemple, un ou plusieurs caractère(s) alphanumérique(s), une phrase type, une image, un icône, un item de menu déroulant, une commande et un programme informatique internes audit dispositif, une commande et un programme informatique externes audit dispositif et résidant sur tout équipement informatique ou électronique auquel est relié le dispositif DED.
13. Dispositif d'entrée de données (DED) comportant des moyens, sensibles activables par l'intermédiaire d'au moins un actuateur, permettant, selon la combinaison des moyens sensibles activés, à un programme informatique ad hoc, de désigner et d'activer, un objet contenu dans une case d'une table active en mémoire, les moyens sensibles étant constitués d'au moins 3 zones principales Zi de détection constituées chacune de Fi (Fi = 1, 2, 3... ) zones logiques distinctes, pour la mise en œuvre du procédé selon l'une quelconque des revendications précédentes, caractérisé en ce qu'il comprend, en outre, des moyens logiciels et de mémoire, les moyens de mémoire stockant au moins la table active et un code informatique, les moyens logiciels exécutant ledit code informatique et étant aptes à traiter les informations d'activation desdites zones sensibles dans un mode indifféremment successif Bitap pur, successif ou simultané et à produire l'objet désigné lors de la validation de la combinaison de zones sensibles activées.
14. Dispositif DED selon la revendication précédente, caractérisé en ce qu'il comprend, en outre, des moyens de détection de déplacement pilotant au moins un pointeur électronique, lesdits moyens de détection de déplacement étant l'un parmi le groupe constitué de toute ou partie des zones sensibles de détection, des moyens juxtaposés auxdites zones principales Zi et des moyens porteurs des zones de détection.
15. Dispositif DED selon l'une des revendications
13 à 14, caractérisé en ce qu'il comprend, en outre, au moins une zone principale additionnelle de détection constituée d'une pluralité de zones logiques et une pluralité de tables parmi laquelle se trouve la table active, ladite au moins une zone principale additionnelle étant apte via les moyens logiciels, lorsque au moins une de ses zones logique est désignée, à substituer ladite table active par l'une de ladite pluralité de tables.
16. Dispositif DED selon l'une des revendications
13 à 15, caractérisé en ce qu'il comprend des moyens d'authentification du DED de type puce électronique spécifique audit dispositif, la puce étant apte à produire une chaîne alphanumérique en fonction du profil d'utilisation en cours du dispositif par l'utilisateur et d'une chaîne de caractères saisie par l'utilisateur grâce aux moyens sensibles activables de production d'objets dudit dispositif.
17. Dispositif DED selon l'une des revendications 13 à 16, caractérisé en ce que lesdites zones sensibles logiques Fi d'une même zone principale Zi sont exclusives entre-elles.
18. Système d'entrée de données comprenant au moins un dispositif d'entrée de données DED selon l'une quelconque des revendications 13 à 17 et un équipement informatique, lesdits DED pilotant concurremment, à l'aide des objets produits par ceux-ci, l'équipement informatique auquel ils sont reliés.
19. Système selon la revendication 18, caractérisé en ce qu'il comprend, en outre, des moyens de présentation visuelle, sonore ou tactile permettant de restituer symboliquement la table active, les zones sensibles logiques sélectionnée et celles à désigner pour activer au moins un des éléments de la table.
20. Programme d'ordinateur destiné à la mise en œuvre du procédé selon la revendication 1, caractérisé en ce qu'il comprend une pluralité d'instructions aptes à traiter les informations de désignation/désélection des zones logiques et produire un objet en fonction des zones logiques désignés en mode combinatoire successif ou simultané lorsque l'utilisateur valide la sélection.
PCT/FR2005/002878 2004-11-22 2005-11-18 Procede et dispositif de commandes et d'entree de donnees WO2006053991A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/791,406 US8125440B2 (en) 2004-11-22 2005-11-18 Method and device for controlling and inputting data
EP05818245A EP1839108A1 (fr) 2004-11-22 2005-11-18 Procede et dispositif de commandes et d'entree de donnees
JP2007542040A JP4975634B2 (ja) 2004-11-22 2005-11-18 データを制御し入力するための方法およびデバイス

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
FR0452712A FR2878343B1 (fr) 2004-11-22 2004-11-22 Dispositif d'entree de donnees
FR0452712 2004-11-22
FR0508462 2005-08-09
FR0508462A FR2878344B1 (fr) 2004-11-22 2005-08-09 Dispositif de commandes et d'entree de donnees

Publications (1)

Publication Number Publication Date
WO2006053991A1 true WO2006053991A1 (fr) 2006-05-26

Family

ID=35589305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2005/002878 WO2006053991A1 (fr) 2004-11-22 2005-11-18 Procede et dispositif de commandes et d'entree de donnees

Country Status (5)

Country Link
US (1) US8125440B2 (fr)
EP (1) EP1839108A1 (fr)
JP (1) JP4975634B2 (fr)
FR (1) FR2878344B1 (fr)
WO (1) WO2006053991A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007100827B4 (en) * 2007-01-03 2010-04-01 Apple Inc. Multi-event input system
WO2010041092A1 (fr) * 2008-10-07 2010-04-15 Tiki'labs Procédé et dispositif de commande de données d'entrée

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100772453B1 (ko) * 2006-11-17 2007-11-01 삼성전자주식회사 휴대용 단말기에서 문자 입력 방법 및 장치
US8310453B1 (en) * 2007-10-02 2012-11-13 Avaya Inc. Touch-screen sign-in key
US20090122018A1 (en) * 2007-11-12 2009-05-14 Leonid Vymenets User Interface for Touchscreen Device
US20100110020A1 (en) * 2008-10-31 2010-05-06 Sprint Communications Company L.P. Virtual press number pad
US8856690B2 (en) * 2008-10-31 2014-10-07 Sprint Communications Company L.P. Associating gestures on a touch screen with characters
JP2010157039A (ja) * 2008-12-26 2010-07-15 Toshiba Corp 電子機器、入力制御方法
US20100238118A1 (en) * 2009-03-20 2010-09-23 Sony Ericsson Mobile Communications Ab System and method for providing text input to a communication device
KR101115467B1 (ko) * 2009-09-30 2012-02-24 주식회사 팬택 가상 키보드 제공 단말 및 그 방법
US8279091B1 (en) * 2009-11-03 2012-10-02 The United States Of America As Represented By The Secretary Of The Navy RFID system for gesture recognition, information coding, and processing
US20110138284A1 (en) * 2009-12-03 2011-06-09 Microsoft Corporation Three-state touch input system
WO2011130919A1 (fr) 2010-04-23 2011-10-27 Motorola Mobility, Inc. Dispositif électronique et procédé mettant en œuvre une surface de détection tactile
US10238362B2 (en) 2010-04-26 2019-03-26 Gary And Mary West Health Institute Integrated wearable device for detection of fetal heart rate and material uterine contractions with wireless communication capability
WO2011140518A1 (fr) * 2010-05-06 2011-11-10 West Wireless Health Institute Plateforme modulaire polyvalente pour instrumentation médicale mobile
KR20130088752A (ko) * 2010-05-24 2013-08-08 윌 존 템플 다방향 버튼, 키 및 키보드
US20110310126A1 (en) * 2010-06-22 2011-12-22 Emil Markov Georgiev Method and system for interacting with datasets for display
US9717412B2 (en) 2010-11-05 2017-08-01 Gary And Mary West Health Institute Wireless fetal monitoring system
US9261972B2 (en) 2011-04-21 2016-02-16 Inpris Innovative Products Ltd Ergonomic motion detection for receiving character input to electronic devices
US10146428B2 (en) 2011-04-21 2018-12-04 Inpris Innovative Products From Israel Ltd Device, system, and methods for entering commands or characters using a touch screen
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US8863042B2 (en) * 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
WO2013169865A2 (fr) 2012-05-09 2013-11-14 Yknots Industries Llc Dispositif, procédé et interface d'utilisateur graphique pour déplacer un objet d'interface d'utilisateur en fonction d'une intensité d'une entrée d'appui
WO2013169851A2 (fr) 2012-05-09 2013-11-14 Yknots Industries Llc Dispositif, procédé et interface d'utilisateur graphique pour faciliter l'interaction de l'utilisateur avec des commandes dans une interface d'utilisateur
WO2013169875A2 (fr) 2012-05-09 2013-11-14 Yknots Industries Llc Dispositif, méthode et interface utilisateur graphique d'affichage de contenu associé à une affordance correspondante
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
EP2847660B1 (fr) 2012-05-09 2018-11-14 Apple Inc. Dispositif, méthode et interface utilisateur graphique de sélection d'objets d'interface utilisateur
WO2013169842A2 (fr) 2012-05-09 2013-11-14 Yknots Industries Llc Dispositif, procédé, et interface utilisateur graphique permettant de sélectionner un objet parmi un groupe d'objets
WO2013169849A2 (fr) 2012-05-09 2013-11-14 Industries Llc Yknots Dispositif, procédé et interface utilisateur graphique permettant d'afficher des objets d'interface utilisateur correspondant à une application
WO2013169843A1 (fr) 2012-05-09 2013-11-14 Yknots Industries Llc Dispositif, procédé et interface graphique utilisateur pour manipuler des objets graphiques encadrés
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
WO2013169845A1 (fr) 2012-05-09 2013-11-14 Yknots Industries Llc Dispositif, procédé et interface graphique utilisateur pour faire défiler des régions imbriquées
DE112013002409T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
JP5832377B2 (ja) * 2012-05-31 2015-12-16 京セラドキュメントソリューションズ株式会社 操作入力装置、情報処理装置
US10209781B2 (en) * 2012-06-12 2019-02-19 Logitech Europe S.A. Input device with contoured region
WO2014105275A1 (fr) 2012-12-29 2014-07-03 Yknots Industries Llc Dispositif, procédé et interface utilisateur graphique pour renoncer à la génération d'une sortie tactile pour un geste à contacts multiples
EP2939095B1 (fr) 2012-12-29 2018-10-03 Apple Inc. Dispositif, procédé et interface utilisateur graphique pour déplacer un curseur en fonction d'un changement d'apparence d'une icône de commande à caractéristiques tridimensionnelles simulées
KR101905174B1 (ko) 2012-12-29 2018-10-08 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
WO2014105279A1 (fr) 2012-12-29 2014-07-03 Yknots Industries Llc Dispositif, procédé et interface utilisateur graphique pour une commutation entre des interfaces utilisateur
JP6021729B2 (ja) * 2013-04-30 2016-11-09 株式会社ベネッセコーポレーション 入力デバイス及びタッチパネル表示システム
JP6470485B2 (ja) * 2013-06-21 2019-02-13 シャープ株式会社 画像処理装置、画像処理方法、及び、プログラム
US9245205B1 (en) * 2013-10-16 2016-01-26 Xerox Corporation Supervised mid-level features for word image representation
US10133460B2 (en) 2014-03-26 2018-11-20 Unanimous A.I., Inc. Systems and methods for collaborative synchronous image selection
US10110664B2 (en) * 2014-03-26 2018-10-23 Unanimous A. I., Inc. Dynamic systems for optimization of real-time collaborative intelligence
US11151460B2 (en) 2014-03-26 2021-10-19 Unanimous A. I., Inc. Adaptive population optimization for amplifying the intelligence of crowds and swarms
US11941239B2 (en) 2014-03-26 2024-03-26 Unanimous A.I., Inc. System and method for enhanced collaborative forecasting
US20160154570A1 (en) * 2014-03-26 2016-06-02 Unanimous A. I., Inc. Iterative suggestion modes for real-time collaborative intelligence systems
US11269502B2 (en) 2014-03-26 2022-03-08 Unanimous A. I., Inc. Interactive behavioral polling and machine learning for amplification of group intelligence
US9940006B2 (en) 2014-03-26 2018-04-10 Unanimous A. I., Inc. Intuitive interfaces for real-time collaborative intelligence
US10817158B2 (en) 2014-03-26 2020-10-27 Unanimous A. I., Inc. Method and system for a parallel distributed hyper-swarm for amplifying human intelligence
AU2015236010A1 (en) 2014-03-26 2016-11-10 Unanimous A.I. LLC Methods and systems for real-time closed-loop collaborative intelligence
US10817159B2 (en) 2014-03-26 2020-10-27 Unanimous A. I., Inc. Non-linear probabilistic wagering for amplified collective intelligence
US10146330B2 (en) * 2014-06-18 2018-12-04 Matthew Swan Lawrence Systems and methods for character and command input
US20160098162A1 (en) * 2014-10-06 2016-04-07 Lenovo (Singapore) Pte. Ltd. Pen based locking mechanism
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10120567B2 (en) * 2015-04-02 2018-11-06 Inpris Innovative Products From Israel Ltd System, apparatus and method for vehicle command and control
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) * 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
KR102313755B1 (ko) * 2017-06-07 2021-10-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US11449167B2 (en) 2017-06-26 2022-09-20 Inpris Innovative Products Fromisrael, Ltd Systems using dual touch and sound control, and methods thereof
CN108196696B (zh) * 2018-01-02 2022-02-22 京东方科技集团股份有限公司 一种可穿戴输入装置、主机、输入方法及电子系统
JP6647348B2 (ja) * 2018-06-29 2020-02-14 キヤノン株式会社 電子機器
US11329823B2 (en) 2019-09-26 2022-05-10 Bank Of America Corporation User authentication using tokens
US10749678B1 (en) 2019-09-26 2020-08-18 Bank Of America Corporation User authentication using tokens
US11303629B2 (en) 2019-09-26 2022-04-12 Bank Of America Corporation User authentication using tokens
US11140154B2 (en) 2019-09-26 2021-10-05 Bank Of America Corporation User authentication using tokens
US11949638B1 (en) 2023-03-04 2024-04-02 Unanimous A. I., Inc. Methods and systems for hyperchat conversations among large networked populations with collective intelligence amplification

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4344069A (en) * 1978-11-21 1982-08-10 International Business Machines Corp. Method and apparatus for character generation
EP0213022A1 (fr) * 1985-07-29 1987-03-04 Laurent Guyot-Sionnest Clavier électronique actionnable d'une seule main
US5535421A (en) * 1993-03-16 1996-07-09 Weinreich; Michael Chord keyboard system using one chord to select a group from among several groups and another chord to select a character from the selected group
WO1997023816A1 (fr) * 1995-12-21 1997-07-03 Philips Electronics N.V. Systeme d'identification d'utilisateurs destine a un equipement de traitement de donnees dote d'un clavier
US6107997A (en) * 1996-06-27 2000-08-22 Ure; Michael J. Touch-sensitive keyboard/mouse and computing device using the same
US20030063775A1 (en) * 1999-09-22 2003-04-03 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5943777B2 (ja) * 1981-09-30 1984-10-24 富士通株式会社 マトリツクス方式によるテンキ−からの文字入力方式
JP2000516368A (ja) * 1996-08-23 2000-12-05 ライン・ヴォルフ・ハイデル データを片手で入力する方法および装置
KR100595912B1 (ko) * 1998-01-26 2006-07-07 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6552717B2 (en) * 1998-02-27 2003-04-22 Spice Technologies, Inc OHAI technology user interface
JP3440240B2 (ja) * 2001-01-15 2003-08-25 肇 中原 文字等の入力装置
CA2411227C (fr) * 2002-07-03 2007-01-09 2012244 Ontario Inc. Systeme et methode de creation et d'utilisation de donnees linguistiques compactes
JP2006527439A (ja) * 2003-06-13 2006-11-30 ユニヴァーシティ オブ ランカスター ユーザインタフェース
FI116499B (fi) * 2004-03-02 2005-11-30 Nokia Corp Viestintallennuspaikkojen hallinta

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4344069A (en) * 1978-11-21 1982-08-10 International Business Machines Corp. Method and apparatus for character generation
EP0213022A1 (fr) * 1985-07-29 1987-03-04 Laurent Guyot-Sionnest Clavier électronique actionnable d'une seule main
US5535421A (en) * 1993-03-16 1996-07-09 Weinreich; Michael Chord keyboard system using one chord to select a group from among several groups and another chord to select a character from the selected group
WO1997023816A1 (fr) * 1995-12-21 1997-07-03 Philips Electronics N.V. Systeme d'identification d'utilisateurs destine a un equipement de traitement de donnees dote d'un clavier
US6107997A (en) * 1996-06-27 2000-08-22 Ure; Michael J. Touch-sensitive keyboard/mouse and computing device using the same
US20030063775A1 (en) * 1999-09-22 2003-04-03 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007100827B4 (en) * 2007-01-03 2010-04-01 Apple Inc. Multi-event input system
WO2010041092A1 (fr) * 2008-10-07 2010-04-15 Tiki'labs Procédé et dispositif de commande de données d'entrée

Also Published As

Publication number Publication date
FR2878344A1 (fr) 2006-05-26
JP2008521112A (ja) 2008-06-19
EP1839108A1 (fr) 2007-10-03
FR2878344B1 (fr) 2012-12-21
US20080015115A1 (en) 2008-01-17
US8125440B2 (en) 2012-02-28
JP4975634B2 (ja) 2012-07-11

Similar Documents

Publication Publication Date Title
EP1839108A1 (fr) Procede et dispositif de commandes et d'entree de donnees
EP0213022B1 (fr) Clavier électronique actionnable d'une seule main
EP3557389B1 (fr) Clavier d'écriture manuscrite pour écrans
US20110209087A1 (en) Method and device for controlling an inputting data
US7454717B2 (en) Delimiters for selection-action pen gesture phrases
US9176668B2 (en) User interface for text input and virtual keyboard manipulation
AU2017262857B2 (en) Touch screen overlay for the visually impaired and computer program
US20210247849A1 (en) Input device, signal processing unit thereto, and method to control the input device
US20170228123A1 (en) Features ofa data entry system
US10817109B2 (en) Dynamic space bar
EP1586023A2 (fr) Clavier universel
FR2878343A1 (fr) Dispositif d'entree de donnees
Hinckley A background perspective on touch as a multimodal (and multisensor) construct
Chhibber et al. Typealike: Near-keyboard hand postures for expanded laptop interaction
Ni A framework of freehand gesture interaction: techniques, guidelines, and applications
WO2012098544A2 (fr) Systèmes d'entrée de données améliorés
CN102405456A (zh) 数据输入系统
Kurosu Human-Computer Interaction. Interaction Technologies: 20th International Conference, HCI International 2018, Las Vegas, NV, USA, July 15–20, 2018, Proceedings, Part III
Gaur AUGMENTED TOUCH INTERACTIONS WITH FINGER CONTACT SHAPE AND ORIENTATION
Rakhmetulla Inclusive Text Entry Techniques for Mobile Devices
WO2021197689A1 (fr) Procede et dispositif pour gerer des appuis multiples sur une surface tactile
WO2019077279A1 (fr) Dispositif informatique a interface tactile améliorée et procédé correspondant
Hinckley A Background Perspective on Touch
CN101627615A (zh) 为按钮提供更大效用的方法
FR2946768A1 (fr) Procede d'entree tactile d'instructions de commande d'un programme d'ordinateur et systeme pour la mise en oeuvre de ce procede

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KN KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005818245

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007542040

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 784/MUMNP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 11791406

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2005818245

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11791406

Country of ref document: US