DE60308952T2 - Verfahren und System zur Anzeige und Verknüpfung von Gegenständen aus elektronischer Tinte mit erkanntem Text und Objekten - Google Patents

Verfahren und System zur Anzeige und Verknüpfung von Gegenständen aus elektronischer Tinte mit erkanntem Text und Objekten Download PDF

Info

Publication number
DE60308952T2
DE60308952T2 DE60308952T DE60308952T DE60308952T2 DE 60308952 T2 DE60308952 T2 DE 60308952T2 DE 60308952 T DE60308952 T DE 60308952T DE 60308952 T DE60308952 T DE 60308952T DE 60308952 T2 DE60308952 T2 DE 60308952T2
Authority
DE
Germany
Prior art keywords
page
text
electronic ink
word
text page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60308952T
Other languages
English (en)
Other versions
DE60308952D1 (de
Inventor
Alex J. Seattle Simmons
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Application granted granted Critical
Publication of DE60308952D1 publication Critical patent/DE60308952D1/de
Publication of DE60308952T2 publication Critical patent/DE60308952T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting

Description

  • Diese Patentanmeldung bezieht sich auf die folgenden anhängigen nicht-vorläufigen Patentanmeldungen: US-Patentanmeldung Nr. 09/852799, eingereicht am 11. Mai 2001 mit dem Titel „Serial Storage of Ink and Its Properties", publiziert als US 2002013795 , und US-Patentanmeldung Nr. 09/430150, eingereicht am 29. Oktober 1999 mit dem Titel „Universal File Format for Digital Rich Ink Data", publiziert als US 6850228 . Beide Anmeldungen sind der Microsoft Corporation zugeordnet.
  • Die vorliegende Erfindung bezieht sich auf das Bearbeiten oder Editieren von elektronischen Dokumenten und im Speziellen auf eine Benutzerschnittstelle für das Bearbeiten (Editieren) von Text in einem elektronischen Dokument, das aus elektronischer Tinte konvertiert wurde.
  • Eines der einfachsten Verfahren zum Aufzeichnen und Kommunizieren von Information ist die traditionelle Methode des Niederschreibens der Information auf ein Stück Papier mit einem Schreibinstrument wie beispielsweise ein Füller. Das Schreiben von Informationen mit der Hand auf ein Stück Papier ist kostengünstig und kann schnell und leicht ohne große Vorbereitung erfolgen. Das traditionelle Verfahren ist ebenso flexibel darin, dass ein Schreiber generell in jedem Format überall auf der Seite Schreiben kann. Eine der Einschränkungen bei handgeschriebener Arbeit ist, dass diese nicht leicht verändert oder in andere Kontexte übertragen werden kann. In anderen Worten, das Verändern oder Übertragen eines Stück handgeschriebenen Textes erfordert typischerweise das erneute Schreiben des Texts auf ein anderes Medium.
  • Mit der Ausbreitung der Benutzung von Personal Computern (Arbeitsplatzrechnern) wird oftmals textliche Information oft aufgezeichnet unter Benutzung von Textbearbeitungssoftware, welche auf einem Arbeitsplatzrechner läuft. Der Vorteil eines solchen elektronischen Verfahrens für das Aufzeichnen von Information ist, dass die Information leicht gespeichert und auf andere entfernte Computer und elektronische Medien übertragen werden kann. Solch ein elektronisch aufgezeichneter Text kann in einer Vielzahl von verschiedenen Wegen leicht korrigiert, verändert und verarbeitet werden.
  • Typische Computersysteme, speziell Computersysteme welche grafische Benutzerschnittstellen (GUI) Systeme benutzen wie beispielsweise Microsoft Windows, sind optimiert für das Annehmen von Benutzereingaben über ein oder mehrere diskrete Eingabegeräte. Gebräuchliche Eingabegeräte umfassen eine Tastatur für das Eingeben von Text und ein Zeigegerät, wie beispielsweise eine Maus mit ein oder mehreren Tasten für das Steuern der Benutzerschnittstelle. Die Tastatur- und Mausschnittstelle erleichtert das Erzeugen und Verändern von elektronischen Dokumenten, welche Text, Tabellenkalkulationen, Datenbanken, Zeichnungen und Fotos beinhalten.
  • Eine der Beschränkungen mit konventionellen GUI-Systemen ist die, dass der Benutzer im Allgemeinen den Text, den er eingeben möchte, unter Benutzung der Tastatur, in den Computer eintippen muss. Die Eingabe von Text unter Benutzung einer Tastatur ist im Allgemeinen langsamer und anstrengender als das Schreiben von Hand. Obwohl in letzter Zeit Fortschritte gemacht wurden, bei der Reduzierung der Größe von Computern, sind diese noch nicht so tragbar und leicht zugreifbar wie traditionelles Papier und Stift. Des Weiteren bietet traditionell Stift und Papier dem Benutzer eine beachtliche Flexibilität für das Bearbeiten eines Dokumentes, für das Aufzeichnen von Notizen am Rand und das Zeichnen von Figuren und Formen. Unter bestimmten Umständen bevorzugt ein Benutzer die Benutzung eines Stiftes für das Auszeichnen eines Dokumentes anstelle der Durchsicht des Dokumentes auf einen Bildschirm, wegen der Fähigkeit freie Notizen außerhalb der Begrenzungen von Tastatur und Maus zu machen.
  • Um die Mängel von herkömmlichen Tastatur- und Mausschnittstellen anzugehen, gab es zahlreiche Versuche, um ein Electronic Tablet (auch als Tablet/Tablett bezeichnet), welches Handschriften erkennen kann, zu erschaffen. Solche Electronic Tablets beinhalten typischerweise einen Schirm und ein in der Hand zu haltendes Gerät, welches einem Stift ähnelt (auch als Stylus bezeichnet). Ein Benutzer kann den Stift benutzen, um auf dem Electronic Tablet zu schreiben in einer Weise, die der Benutzung von herkömmlichem Stift und Papier entspricht. Das Electronic Tablet kann die Striche der Benutzerhandschrift „lesen", die der Benutzer mit dem im der Hand zu haltenden Gerät ausgeführt hat und kann die Handschrift in ihrer elektronischen Form auf dem Schirm und/oder dem Computerdisplay als „Electronic Ink" (oder auch „Elektronische Tinte" oder lediglich „Ink"/„Tinte") darstellen. Der Ansatz mit dem Electronic Tablet kann auf eine Vielzahl von Wegen angewendet werden, beispielsweise auf einem Computer und auf einem Handheld-Computer
  • In letzter Zeit wurden andere Computersysteme entwickelt, welche für ein anspruchsvolleres Anlegen und Manipulieren von Electronic Ink entwickelt wurden. Beispielsweise erlaubt manche konventionelle Software das Hinzufügen von Electronic Ink zu einem Dokument. Die Softwareanwendungen speichern Electronic Ink und bieten diese dem Benutzer an, wenn dieser dieses anfordert. Andere Anwendungen (z.B. Zeichenprogramme im Zusammenhang mit dem Palm- und Pocket PC-Betriebssystem) erlauben das Erfassen (capture) und Abspeichern von Zeichnungen. Diese Zeichnungen beinhalten andere Eigenschaften im Zusammenhang mit den Ink-Strichen, welche benutzt werden, um die Zeichnungen zu erstellen. Z.B. Linienbreite und -Farbe können zusammen mit dem Ink gespeichert werden. Ein Ziel dieser Systeme ist es das „Look and Feel" von echter Tinte auf einem Stück Papier wiederzugeben.
  • Das Wiedergeben oder Imitieren von „Look and Feel" von echter Tinte benötigt Computersysteme, welche mit Electronic Ink arbeiten, um Electronic Ink anders zu behandeln als traditionelle elektronische Texte und Zeichnungen, die auf der Anzeigevorrichtung angezeigt werden können. Anders als Textbearbeitungsprogramme, welche lediglich ein oder zwei Typen von Seitenobjekten, wie beispielsweise Text und Zeichnungen verarbeiten, benötigen Computersysteme, welche mit Electronic Ink arbeiten, die Fähigkeit um viele Typen von Seitenobjekten zu verarbeiten, welche beispielsweise Bitmap-Bilder, Zeichnungsobjekte und Umriss-(Outline-)Objekte beinhalten. Jedes Umrissobjekt kann ein oder mehrere Knoten beinhalten, wobei jeder Knoten mindestens eine Textseite, ein Bild oder ein Titelobjekt beinhaltet.
  • Während konventionelle Computersysteme die Fähigkeit besitzen, um mit Electronic Ink umzugehen, haben diese konventionellen Computersysteme sehr eingeschränkte Electronic Ink-Umwandlungssysteme, welche Electronic Ink erkennen und diese in Text konvertieren können. Die Einschränkungen der konventionellen Electronic Ink-Umwandlungssysteme werden im Zusammenhang mit Texteditoren deutlich. Die Korrektur von Text, welcher aus Electronic Ink umgewandelt wurde, kann mit konventionellen Techniken sehr schwierig und zeitaufwendig sein. Genauer, wenn mehrere Seiten von Electronic Ink zur gleichen Zeit umgewandelt werden, arbeitet das Textbearbeitungsprogramm in einer 'modalen' Art und Weise. Das bedeutet, dass ab dem Start des konventionellen Textbearbeitungsprogramm der Bearbeitungsprozess nicht angehalten werden kann, bis alle Seiten korrigiert wurden. Ebenso ist ein temporäres Verlassen des Bear beitungsprozesses nicht zulässig. Das bedeutet, wenn immer nur wenige Seiten von einer Vielzahl von Seiten korrigiert werden sollen, können wenige Seiten als die Vielzahl von Seiten nicht bearbeitet werden.
  • Ein weiteres Problem mit konventionellen Computersystemen ist, dass diese nur selten bei der Korrektur von Worten mithelfen, welche aus Electronic Ink umgewandelt wurden. In anderen Worten ist die herkömmliche Technik darauf angewiesen, dass der Benutzer irgendwelche Diskrepanzen oder Umwandlungsfehler zwischen der Electronic Ink und dem umgewandelten Text aufdeckt. Ebenso bietet die herkömmliche Technik keinen bequemen und benutzerfreundlichen Weg, um Worte aufzuspalten (oder auch zu trenne), welche versehentlich von dem Tintenerkennungssystem kombiniert wurden.
  • Ein weiterer Nachteil von herkömmlichen Computersystemen ist, dass Textverarbeitungsprogramme keine angemessene Hilfe für den Benutzer anbieten. In anderen Worten bieten herkömmliche Computersysteme, welche Electronic Ink in Text umwandeln keine abgestufte Folge von Empfehlungen für falsch buchstabierte Worte oder neue Worte, die nicht in dem Wörterbuch des Computersystems enthalten sind an.
  • Demzufolge besteht ein Bedarf für ein Verfahren und System zum Edititeren/Bearbeiten von Text, welcher aus Electronic Ink umgewandelt wurde, welche das Aussetzen der Tätigkeit oder das Verlassen des Systems vor der Beendung des Bearbeitungsprozesses erlauben. Es gibt die weitere Erfordernis, dass die Komplettierung eines Bearbeitungsprozesses zugelassen wird, obwohl nur wenige Seiten der Vielzahl von Seiten bearbeitet wurden. Ein weiteres Erfordernis ist, dass das Verfahren und das System zulässt, Textseiten zu speichern, wenn das Bearbeiten einer jeden Textseite beendet wurde. Ein weiteres Bedürfnis für ein Verfahren und ein System besteht, welches logische und abgestufte Empfehlungen für Worte, welche schwierig von Electronic Ink in Text umgewandelt werden können, geben kann. Ein weiteres Bedürfnis ist, dass ein Verfahren und System die Auswahl von einem Umbruchpunkt in einer Gruppe von Worten, welche versehentlich von dem Tintenumwandlungssystem kombiniert wurden, erlaubt.
  • US 5500937 schlägt ein Verfahren für das Manipulieren von Tintenobjekten in einem Computersystem vor, welches die Schritte des Anzeigens eines ersten erkannten Objektes auf einem Computerbildschirm und Anzeigen eines ersten Tintenobjektes, welches zuvor erkannt wurde als das erste erkannte Objekt, auf dem Schirm beinhaltet. Das ers te Tintenobjekt wird bearbeitet, um ein zweites Tintenobjekt zu erzeugen und das zweite Tintenobjekt wird erkannt als das zweite erkannte Objekt. Das erste erkannte Objekt wird dann durch das zweite erkannte Objekt ersetzt. Es wird ebenso vorgeschlagen, das erste erkannte Objekt auszuwählen und das erste Tintenobjekt anzuzeigen als Antwort auf den Auswahlschritt.
  • In „Handwriting Recognition in Office XP", ein Microsoft Product Support Services White Paper veröffentlicht am 30. Juli 2001, wird ein Handschriftenerkennungsmerkmal beschrieben, welches erlaubt, dass Text durch Schreiben anstelle von Tippen eingegeben werden kann, wobei die Handschrift umgewandelt wird in Buchstaben und in den vorhandenen Text eingefügt wird. Wenn ein handgeschriebenes Element in Text konvertiert ist, erscheint es, als ob besagtes handgeschriebenes Element aus dem Dokument entfernt wurde. Jedoch bleibt das handgeschriebene Element mit dem umgewandelten Text verbunden und die bezüglichen Daten werden in der Datei abgespeichert.
  • Es ist die Aufgabe der vorliegenden Erfindung das Bearbeiten von Electronic Ink Dokumenten zu verbessern.
  • Diese Aufgabe ist gelöst durch den Gegenstand der unabhängigen Ansprüche.
  • Bevorzugte Ausführungsformen der vorliegenden Erfindung sind durch die abhängigen Ansprüche definiert.
  • Die vorliegende Erfindung ist in den angefügten Ansprüchen, im Speziellen in den unabhängigen Ansprüchen 1 und 16 definiert. Sie liefert einen effizienten Weg zum Bearbeiten von Text, der aus erkanntem Electronic Ink konvertiert werden kann. Im Besonderen kann eine Benutzerschnittstelle Electronic Ink in einem Bereich der Anzeigevorrichtung anzeigen und entsprechenden erkannten oder umgewandelten Text, der durch ein Electronic Ink Erkennungssystem erzeugt wurde, in einem anderen Bereich der Anzeigevorrichtung anzeigen. Der erkannte oder umgewandelte Text kann leicht mit dem Electronic Ink verglichen werden, um irgendwelche Umwandlungsfehler zu erkennen, wenn diese Umwandlungsfehler vorhanden sind. Der Umfang der Daten, welcher in jedem Bereich der Anzeigevorrichtung angezeigt wird, kann eine Seite umfassen. Jedoch, in manchen Fällen, abhängig von der Größe des Electronic Ink, der Schriftgröße des umgewandelten Textes und der Größe der Anzeigevorrichtung können oder können nicht ganze Seiten anzeigbar sein. In den Fällen, in denen ganze konvertierte Textseiten oder ganze Electronic Ink Seiten nicht angezeigt werden können, können Fenster mit scrollbarem (verschiebbarem) Fensterinhalt für den Teil mit Electronic Ink oder für den Teil mit dem konvertierten Text auf der Benutzerschnittstelle angezeigt werden.
  • Wenn ein Wort in dem Textabschnitt ausgewählt wird, welches auf der Benutzerschnittstelle angezeigt wird, kann die Benutzerschnittstelle das entsprechende Electronic Ink Wort mittels Mechanismen, wie z.B. Hervorheben, identifizieren. Der Begriff „ausgewählt" oder „auswählen" kann das Markieren oder Identifizieren eines auf der Anzeigevorrichtung angezeigten Objektes für eine spätere Operation bedeuten. Ebenso, wenn ein Wort in dem Teil mit Electronic Ink ausgewählt wird, kann die Benutzerschnittstelle mittels Hervorheben den entsprechenden konvertierten Text identifizieren.
  • Gemäß eines erfinderischen Aspekts der vorliegenden Erfindung wird jede Seite von Electronic Ink und jede entsprechende Seite des erkannten oder umgewandelten Textes miteinander verknüpft (verlinkt). In anderen Worten, kann jede Seite von Electronic Ink nur mit der entsprechenden Seite des konvertierten oder erkannten Textes angezeigt werden, bis eine Anweisung oder Nachricht empfangen wurde, dass das Bearbeiten des umgewandelten oder erkannten Textes beendet wurde. Nach dem Empfang der Anweisung oder Nachricht, dass die Bearbeitung des umgewandelten oder erkannten Textes beendet wurde, wird die Verbindung zwischen der Electronic Ink Seite und dem entsprechenden umgewandelten Text aufgehoben/getrennt. Das bedeutet, dass die umgewandelte Textseite nun unabhängig von der dazugehörigen Electronic Ink Seite abgespeichert werden kann.
  • Ein anderer erfinderischer Aspekt der vorliegenden Erfindung ist, dass die Bearbeitung von verknüpften Seiten beendet werden kann, wenn ein Satz von Electronic Ink Seiten umgewandelt wurde. Das bedeutet, dass, wenn die Bearbeitung einer einzelnen Electronic Ink Seite und deren korrespondierende umgewandelte Textseite beendet wurde, der umgewandelte Text separat von dem entsprechenden Electronic Ink, ebenso wie separat von den noch verbleibenden umgewandelten Textseiten die noch nicht bearbeitet wurden, gespeichert werden kann.
  • Gemäß einem weiteren erfinderischen Aspekt kann die Benutzerschnittstelle zu jeder Zeit angehalten oder unterbrochen werden. Das bedeutet z.B., dass wenn mehrere Sei ten von umgewandelten Text und Electronic Ink bearbeitet worden sind und als komplettiert bezeichnet wurden, kann die Benutzerschnittstelle das Speichern des umgewandelten Textes separat von den Seiten, die noch nicht bearbeitet wurden, erlauben, um anderen Programmen Zugriff zu gewähren. Anders als herkömmliche Electronic Ink Umwandlungssysteme ist die vorliegende Erfindung nicht modal, was bedeutet, dass ein Benutzer nicht gezwungen ist, die Bearbeitung von Electronic Ink zu beenden bevor der Zugriff anderen Programmen gestattet wird. Die vorliegende Erfindung ist flexibel und erlaubt die Bearbeitung von so vielen oder so wenigen verknüpften Seiten wie gewünscht. Auf diese Art kann ein Benutzer zum Bearbeiten eines Satzes von verknüpften Seiten an die gleiche Stelle, wo er das Bearbeiten der verknüpften Seiten zuvor beendet hatte, zurückkehren.
  • Gemäß einem weiteren beispielhaften erfinderischen Aspekt der Erfindung, kann ein Menü, welches Vorschläge für umgewandelten Text beinhaltet, nach der Auswahl eines Wortes in dem umgewandelten Text auf der Benutzerschnittstelle angezeigt werden. Genauer, gemäß einer beispielhaften Ausführungsform, nach dem Auswählen eines Wortes in dem umgewandelten Text und einem Rechts-Klick mit einem Zeigegerät wie beispielsweise einer Maus, kann die Benutzerschnittstelle ein Menü von unterschiedlichen Schreibweisen des umgewandelten Textwortes anzeigen, welche den Empfehlungen, die von dem Electronic Ink Erkennungssystem gemacht wurden als der Text umgewandelt wurde, entsprechen. Die Liste von alternativen Worten kann durch das Ink Erkennungssystem abgestuft sein, um die Wahrscheinlichkeit, dass niedriger eingestufte Worte aus der Liste näher an dem korrekten Electronic Ink Wort stehen, zu verringern.
  • Gemäß einem anderen alternativen beispielhaften Aspekt der vorliegenden Erfindung kann die Benutzerschnittstelle einen Trennungs- oder Teilungsmechanismus anzeigen, welcher einem Benutzer erlaubt, den umgewandelten Text zu trennen, welcher versehentlich zu einem einzigen Wort gruppiert wurde. Anders gesagt, empfängt die vorliegende Erfindung eine Benutzereingabe wie die Stelle wo der Bruch zwischen Worten erfolgen soll, wenn der gruppierte Text als zwei oder mehrere Worte hätte erkannt werden sollen.
  • Kurze Beschreibung der Zeichnungen
  • 1 ist ein Blockdiagramm, welches eine beispielhafte Betriebsumgebung für die Implementation von zahlreichen Ausführungsformen der vorliegenden Erfindung illustriert.
  • 2 ist ein Blockdiagramm, welches die primären funktionalen Bestandteile eines beispielhaften formfreien Dokumentenbearbeitungsprogrammes und die damit verbundenen Eingabegeräte zeigt.
  • 3 ist ein beispielhafter Anzeigeschirm, welcher illustriert, wie Worte in einer Textauswahl hervorgehoben werden, so dass diese mit den Worten, welche in einem Electronic Ink Abschnitt auf eine Benutzerschnittstelle hervorgehoben sind, übereinstimmen, gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
  • 4 ist ein beispielhafter Anzeigeschirm, welcher ein Menü illustriert, welches Empfehlungen für umgewandelten Text gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung enthält.
  • 5 ist ein beispielhafter Anzeigeschirm, welcher einen beispielhaften Aufteilungsmechanismus zeigt, welcher das Trennen oder Aufbrechen von umgewandeltem Text gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung zulässt.
  • 6 ist ein beispielhafter Anzeigeschirm, welcher zeigt, wie der konvertierte Text, wie in 5 gezeigt, gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung, aufgeteilt wurde.
  • 7 ist ein beispielhafter Anzeigeschirm, welcher eine Seite von konvertiertem Text zeigt, welche von ihrer entsprechenden Electronic Ink Seite getrennt wurde, gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
  • 8 ist ein funktionales Blockdiagramm, welches die Verbindung zwischen einer Electronic Ink Seite und einer konvertierten Textseite gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung illustriert.
  • 9 ist ein funktionales Blockdiagramm, welches die Hierarchie von unterschiedlichen Typen von Seitenobjekten zeigt, welche auf eine Anzeigevorrichtung vorhanden sind, gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
  • 10 ist ein funktionales Blockdiagramm, welches eine beispielhafte Abbildungsstruktur illustriert, welche zwischen einer Electronic Ink Seite und einer Seite aus umgewandelten Text existieren kann, gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
  • 11 ist ein logisches Flussdiagramm, welches eine Übersicht eines beispielhaften Prozesses zeigt, für das Anzeigen und verketten (verlinken) von Erzeugnissen mit erkanntem Text und Objekten gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
  • 12 ist ein logisches Flussdiagramm, welches eine Fortsetzung des logischen Flussdiagramms der 11 ist und zeigt eine Übersicht des beispielhaften Prozesses gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
  • 13 ist ein logisches Flussdiagramm, welches ein Unterverfahren zeigt für das identifizieren von zugehöriger Tinte oder zugehörigem Text, welcher ein Teil des logischen Flussdiagramms der 11 ist, gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
  • 14 ist ein logisches Flussdiagramm, welches ein anderes Unterverfahren zeigt für das Anzeigen eines Menüs, welches eine abgestufte Liste von alternativen Worten beinhaltet, welches Teil ist des logischen Flussdiagramms der 11 gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung.
  • Detaillierte Beschreibung von beispielhaften Ausführungsformen
  • Eine Benutzerschnittstelle kann Electronic Ink in einem Abschnitt einer Anzeigevorrichtung und entsprechenden erkannten oder umgewandelten Text in einem anderen Abschnitt der Anzeigevorrichtung anzeigen, welcher von einem Electronic Ink Erkennungssystem erzeugt wurde. Jede Seite von Electronic Ink und jede entsprechende Seite von umgewandeltem oder erkanntem Text werden miteinander verkettet (verlinkt). In ande ren Worten kann jede Seite von Electronic Ink nur angezeigt werden, mit ihrer entsprechenden Seite von umgewandeltem oder erkanntem Text bis eine Anweisung oder Nachricht empfangen wurde, dass die Bearbeitung des umgewandelten oder erkannten Textes beendet ist. Nachdem die Anweisung der Nachricht empfangen wurde, dass die Bearbeitung des umgewandelten oder erkannten Textes beendet wurde, wird die Verbindung (Link) zwischen einer Electronic Ink Seite und der dazugehörigen umgewandelten Textseite aufgebrochen. Das bedeutet dass die umgewandelte Textseite unabhängig von ihrer entsprechenden Electronic Ink Seite gespeichert werden kann. Dies ermöglicht das Abspeichern von Seiten und das Umwandeln von Seiten, wenn diese bearbeitet sind.
  • Eine beispielhafte Betriebsumgebung
  • Beispielhafte Ausführungsformen der vorliegenden Erfindung werden hiernach beschrieben in Bezug auf die Zeichnungen, in welchen gleiche Ziffern gleiche Elemente durchwegs in den Figuren repräsentieren. 1 illustriert eine beispielhafte Betriebsumgebung für die Implementation der vorliegenden Erfindung. Die beispielhafte Betriebsumgebung beinhaltet eine Mehrzweckcomputereinrichtung, in der Form eines konventionellen Personal Computers 120. Im Allgemeinen beinhaltet der Personal Computer 120 eine Verarbeitungseinheit 121, einen Systemspeicher 122 und einen Systembus 123, welcher die zahlreichen Komponenten miteinander koppelt, beinhaltend den Systemspeicher 122 bis zur Verarbeitungseinheit 121. Der Systembus 123 kann einer von zahlreichen Typen von Busstrukturen sein, beinhaltend einen Speicherbus oder Speicher-Controller, einen Peripherie-Bus und einen lokalen Bus, welcher einen der Vielzahl von Busarchitekturen benutzt. Der Systemspeicher beinhaltet einen Festwertspeicher (ROM) 124 und einen Direktzugriffsspeicher (RAM) 125. Ein Basic Input/Output-System (BIOS) 126, beinhaltend die Grundroutinen, die beispielsweise in der Startphase Informationen zwischen den Elementen des Personal Computer 120 transferieren, ist in ROM 124 gespeichert.
  • Der Personal Computer 120 beinhaltet weiter eine Festplatte 127 für das Lesen und Schreiben, nicht gezeigt, ein Magnetplattenlaufwerk 128 für das Lesen und das Schreiben auf eine herausnehmbare Magnetplatte 129, und ein optisches Plattenlaufwerk 130 zum Lesen und Schreiben einer entnehmbaren optischen Platte 131, wie beispielsweise eine CD-ROM oder andere optische Medien. Die Festplatte 127, das Magnetplattenlauf werk 128 und das optische Laufwerk 130 sind verbunden mit dem Systembus 123, eine Festplattenlaufwerksschnittstelle 132, eine Magnetplattenlaufwerksschnittstelle 133, und eine Schnittstelle für optische Laufwerke 134. Obwohl die hierin beschriebene beispielhafte Umgebung eine Festplatte 127, entnehmbare Magnetplatte 129 und entnehmbare optische Platte 131 gebraucht, weiß der Fachmann, dass andere Typen von computerlesbaren Medien, welche Daten speichern können, welche durch einen Computer gelesen werden können sowie beispielsweise magnetische Kassetten, Flash Speicherkarten, Magnetbildplatten, Bernoulli Kassetten, RAMs, ROMs usw. in einer beispielhaften Betriebsumgebung benutzt werden können. Die Laufwerke und deren verbundene computerlesbare Medien bieten nicht-flüchtige Speicherung von computerausführbaren Anweisungen, Datenstrukturen, Programmmodulen und anderen Daten für den Personal Computer 120.
  • Eine Anzahl von Programmmodulen, beinhaltend ein Betriebssystem 135, Dokumentenbearbeitungsprogramm 136, ein Platzverwaltungsmodul 138 und ein elektronisches Dokument 139, können auf der Festplatte 127, Magnetplatte 129, optischen Platte 131, ROM 124 oder RAM 125 gespeichert werden. Programmmodule beinhalten Routinen, Subroutinen, Programme, Objekte, Komponenten, Datenstrukturen und sofort welche bestimmte Aufgaben ausführen oder bestimmte abstrakte Datentypen implementieren. Aspekte der vorliegenden Erfindung können implementiert werden in der Form eines Tintenbearbeitungsmoduls 225, welches zusammen mit einem Stift und Tintenmodul 228 arbeitet, um ein elektronisches Dokument 139 zu bearbeiten.
  • Ein Benutzer kann Anweisungen und Informationen in einen Personal Computer 120 durch Eingabegeräte eingeben, wie beispielsweise eine Tastatur 140 und ein Zeigegerät 142. Zeigegeräte können eine Maus, einen Trackball und einen elektronischen Stift, der zusammen mit einem Electronic Tablet benutzt werden kann, beinhalten. Andere Eingabegeräte (nicht gezeigt) können ein Mikrofon, Joy Stick, Game Pad, Satellitenschüssel, Scanner oder ähnliches beinhalten. Diese und andere Eingabegeräte sind normalerweise mit der Verarbeitungseinheit 122 durch eine serielle Schnittstelle 146, welche mit dem Systembus 123 verbunden ist, verbunden, können aber mittels anderer Schnittstellen, wie beispielsweise eine Parallelschnittstelle, Spielschnittstelle, einen Universal Serial Bus (USB), oder ähnliches verbunden sein. Eine Anzeigevorrichtung 147 kann ebenso mit dem Systembus 123 über eine Schnittstelle verbunden sein, wie beispielsweise ein Video-Adapter 148. Zusätzlich zu dem Monitor beinhalten Personal Computer typi scherweise andere Peripherieausgabegeräte (nicht gezeigt), wie beispielsweise Lautsprecher und Drucker.
  • Der Personal Computer 120 kann in einer Netzwerkumgebung unter Benutzung von logischen Verbindungen mit einem oder mehreren entfernten Computern 149 operieren. Entfernte Computer 149 können andere Personal Computer, ein Server, ein Client Computer, ein Router, ein Netzwerk-PC, ein Peer-Gerät oder andere verbreitete Netzwerkknoten sein. Während ein entfernter Computer 149 typischerweise viele oder alle Elemente, die oben relativ zu dem Personal Computer 120 beschrieben wurden, beinhaltet, wurde nur eine Speichervorrichtung 150 in der Abbildung verbildlicht. Die logischen Verbindungen, welche in der Abbildung gezeigt sind, beinhalten ein Local Area Network (LAN) 151 und ein Wide Area Network (WAN) 152. Solche Netzwerkumgebungen sind alltäglich in Büros, unternehmensweiten Computernetzwerken, Intranets und dem Internet.
  • Wenn der Personal Computer in einer LAN-Netzwerkumgebung benutzt wird, ist dieser oftmals mit dem Local Area Network 151 mittels Netzwerkschnittstelle oder -adapter 153 verbunden. Wenn der Personal Computer 120 in einer WAN Netzwerkumgebung verwendet wird, beinhaltet dieser typischerweise ein Modem 154 oder andere Mittel für das Errichten von Kommunikationsverbindungen über ein WAN 152 wie beispielsweise das Internet. Das Modem 154, welches intern oder extern ausgeführt sein kann, ist mit dem Systembus 123 über eine serielle Schnittstelle 146 verbunden. In einer Netzwerkumgebung können Programmmodule, welche relativ zum Personal Computer 120 gezeigt sind, in einer entfernten Speichervorrichtung 150 gespeichert sein. Es versteht sich, dass die gezeigten Netzwerkverbindungen beispielhaft sind und andere Mittel zum Errichten von Kommunikationsverbindungen zwischen den Computern benutzt werden können.
  • Darüber hinaus weiß der Fachmann, dass die vorliegende Erfindung in anderen Computerkonfigurationen implementiert sein kann, beinhaltend Handheld-Geräte, Multiprozessorsysteme, mikroprozessorbasierte oder programmierbare Geräte, Netzwerkcomputer, Minicomputer, Main Frame Computer und sofort. Die Erfindung kann ebenso in einer verteilten Computerumgebung ausgeführt werden, wo die einzelnen Aufgaben durch entfernte Verarbeitungsgeräte ausgeführt werden, welche mittels eines Kommunikati onsnetzwerkes verbunden sind. In einer verteilten Computerumgebung können Programmmodule in lokalen und entfernten Speichervorrichtungen gespeichert sein.
  • In 2 wird eine beispielhafte Architektur 200, für das Verarbeiten von elektronischer Tinte gemäß einer Ausführungsform der vorliegenden Erfindung verbildlicht. 2 zeigt typische Hardware und Softwarekomponenten, welche bei dem Betreiben der Erfindung aus einer funktionalen Perspektive benutzt werden. Herkömmliche Eingabegeräte werden durch die Tastatur 260 und das Zeigegerät (Maus) 265 repräsentiert. Ein Benutzer kann Anweisungen und Informationen in dem Computer 20 unter Benutzung der Eingabegeräte eingeben. Andere Eingabegeräte (nicht gezeigt) können ein Mikrofon, Joystick, Game Pad, Satellitenschüssel und Scanner beinhalten. Eine herkömmliche Ausgabevorrichtung, wie beispielsweise ein Monitor 270 wird benutzt, um Informationen aus dem Computer 20 anzuzeigen. Andere Ausgabegeräte (nicht gezeigt) können einen Drucker oder Lautsprecher beinhalten. Andere Hardwarekomponenten, die in 2 gezeigt sind, beinhalten ein Electronic Tablet 250 und einen dazugehörigen Stift (Stylus) 255. Das Tablet 250 und Stift 255 werden benutzt, um handgeschriebene Striche einzugeben, welche in eine Ansammlung von Daten umgewandelt werden, die durch elektronische Tinte repräsentiert sind. Die elektronische Tinte kann in ein elektronisches Dokument 220 hinzugefügt werden und kann auf dem Electronic Tablet 250, dem Monitor 270 oder beidem angezeigt werden. Obwohl das Electronic Tablet 250 und der Monitor 270 als voneinander getrennt gezeigt sind, können diese in der bevorzugten Ausführungsform gekoppelt sein oder eine einzige Komponente ausbilden. Die gemeinsame Tablet/Monitor Komponente hat die Fähigkeit Informationen anzuzeigen und Eingaben von einem Stift 255 zu empfangen. Unter den Hardwarekomponenten ist ebenso gezeigt, ein herkömmliches elektronisches Speichergerät 245 wie beispielsweise eine Festplatte oder RAM.
  • In der stellvertretenden Architektur 200 sind alle Hardware-Komponenten mit einem Tintenbearbeitungssoftwaremodul 255 verbunden. Es wird von den Fachleuten verstanden, dass 2 nur stellvertretend ist und dass in der Praxis die Hardwarekomponenten typischerweise mit den Elementen aus 1 verbunden sind. Das Tintenbearbeitungsmodul 225 ist betreibbar für den Empfang von Daten von den Electronic Tablet 250 und/oder dem Stift 255 und für das Umwandeln der Daten in elektronische Tinte. In der bevorzugten und beispielhaften Ausführungsform, ist das Tintenbearbeitungsmodul 255 eine Sammlung von Softwaremodulen, welche unterschiedliche Aufgaben für das Wan deln von handgeschriebenen Strichen in elektronische Tinte durchführen. Zum Beispiel kann das Stift- und Tintenmodul 228 Daten empfangen, welche die Position und Winkel des Stiftes für eine Reihe von handgeschriebenen Strichen beschreibt. Das Stift- und Tintenmodul 228 kann die Daten für das Umwandeln von elektronischer Tinte interpretieren. Andere Softwaremodule, wie beispielsweise ein Gesten-Erkenner 230 und Wort-Erkenner 235 können ausgeführt werden zum Identifizieren von bestimmten Handschriftstrichen und diesen eine bestimmte Signifikanz zuweisen. Zum Beispiel können bestimmte Gesten wie ein Durchkreuzen erkannt werden und mit einem anderen Bearbeitungsprozess verbunden werden. Das Tintenbearbeitungsmodul 225 kann ebenso Löschfunktionsmodul 240 beinhalten, für das Entfernen von elektronischer Tinte, die zuvor gewandelt wurde.
  • Obwohl Tintenbearbeitungsmodule bekannt sind und für das Betreiben einer Electronic Tablets notwendig sind, wird ein Dokumentenbearbeitungsmodul benötigt, wie beispielsweise in 2 gezeigt, welches die Leistungsfähigkeit eines Electronic Tablets steigert. Im speziellen ermöglicht das Dokumentenbearbeitungsmodul 205 die Manipulation von elektronischer Tinte, so dass ein Benutzer ein elektronisches Dokument 220 mit größerer Leichtigkeit und Gewandtheit erstellen und manipulieren kann. Das Dokumentenbearbeitungsmodul 205 beinhaltet typischerweise eine Sammlung von Softwaremodulen zum Steuern und Manipulieren von elektronischer Tinte, welche auf den Monitor 307 wiedergegeben wird. Zum Beispiel kann ein Parsingmodul 210 zum Identifizieren von Handschriftenstrichen, welche durch den Benutzer für das Bearbeiten ausgewählt wurden, benutzt werden. Ausgewählte Striche können hervorgehoben oder abgestuft sein, um dem Benutzer bei dem Identifizieren, welche Striche bearbeitet werden sollen, zu assistieren. Ein Klassifikationsmodul 215 kann bestimmte Handschriftenstriche identifizieren, welche Teil eines Wortes oder Zeichen sind. Softwaremodule, wie beispielsweise das Layoutmodul 216 und das Platz-Einfügen-Modul 217 können eingerichtet sein, um zu steuern, wie elektronische Tinte umgewandelt und bewegt wird. Andere Module können einen Auswahlmanager 280, einen Contextmenümanager 285, einen Ansichtmanager 290, einen Texteingabemanager 295 und einen Benutzerschnittstellenspracheneingabeprozessor 297 beinhalten. Der Auswahlmanager 280 kann aufzeichnen, wie umgewandelter Text oder elektronische Tinte ausgewählt ist für das Bearbeiten durch den Benutzer. Der Contextmenümanager 285 kann die Auswahl einer Liste von alternativen Wörtern aufzeichnen, welche angezeigt werden können, wenn der Benutzer ein Wort in dem konvertierten Text bearbeitet. Der Ansichtmanager 285 kann die Benutzer schnittstelle verändern, welche einen Anzeigeschirm beinhaltet, der eine Seite von konvertiertem Text mit einer Seite von entsprechender elektronischer Tinte verknüpft hat. Der Texteingabemanager 295 kann als eine Schnittstelle für einen Benutzerschnittstellenspracheingabeprozessor 297, der Sprachregeln benutzt, auftreten um die Erkennung von Worten mittels des Zusammenhangs zu unterstützen.
  • Die Module, wie in 2 gezeigt, sind repräsentativ und dem Fachmann ist klar, dass andere Module ebenso ein Teil des Dokumentenbearbeitungsmoduls 205 sein können oder an dieses gekoppelt sein können. Zum Beispiel kann das Dokumentenbearbeitungsmodul 205 ebenso mit einem Rich-Edit-Modul 275 zusammen arbeiten, welches zusätzliche Funktionalität bietet, wie beispielsweise das Aufzeichnen und Steuern der Auswahl von Text und dem Textumbruch.
  • Die vorliegende Erfindung beinhaltet mehrere Computerprogramme, welche die Funktionen verkörpern, die hiernach in den beispielhaften Anzeigeschirmen und dem angehängten Flussdiagramm beschrieben und verbildlicht werden. Jedoch sollte klar sein, dass es viele unterschiedliche Wege des Implementierens der Erfindung in der Computerprogrammierung gibt, und die Erfindung sollte nicht beschränkt auf einen Satz von Computerprogrammanweisungen angesehen werden. Des weiteren wäre ein fähiger Programmierer in der Lage, solch ein Computerprogramm zu schreiben, um die offenbarte Erfindung ohne Schwierigkeit zu implementieren, basierend auf den beispielhaften Anzeigeschirmen und Flussdiagrammen und der dazugehörigen Beschreibung in dem Anmeldungstext. Deshalb ist die Offenbarung eines bestimmten Satzes von Programmcodeinstruktionen für ein angemessenes Verstehen, wie die Erfindung gemacht und benutzt werden soll, nicht als notwendig anzusehen. Die erfinderische Funktionalität des beanspruchten Computerprogrammes wird im Detail in der nachfolgenden Beschreibung im Zusammenhang mit den verbleibenden Figuren, welche die Funktionen und den Programmfluss illustrieren, erklärt.
  • In Bezug auf 3 können beispielhafte Anzeigeschirme 300 erzeugt werden durch eine Anzeigevorrichtung wie beispielsweise das Tablet 250 oder Monitor 270. Jedoch ist die vorliegende Erfindung nicht beschränkt auf Electronic Tablets Umgebungen. Die vorliegende Erfindung kann auf jedem Computersystem operieren, welches eine Anzeigevorrichtung hat, die mit elektronischer Tinte, elektronischem Text oder elektronischen Bildern oder jeder möglichen Kombination davon umgehen kann.
  • Beispielhafte Anzeigeschirme 300 können eine Sektion mit umgewandeltem Text 305 beinhalten, welche durch eine Linie 307 von einer Sektion mit originaler Tinte („Ink") 310 getrennt ist. Der Fachmann wird wissen, dass die Größen der umgewandelten Textsektion 305 und elektronische Tintensektion 310 durch den Benutzer eingestellt werden können. Das heißt, wenn eine Sektion mit umgewandeltem Text 305 eine andere Größe hat als erwünscht, kann die Linie 307 relativ zu dem Anzeigeschirm 300 entweder nach oben oder nach unten bewegt werden.
  • Die umgewandelte Textsektion 305 beinhaltet umgewandelten Text 315, der der elektronischen Originaltinte 320 entspricht. Die umgewandelte Textsektion 305 beinhaltet des weiteren ein Bild 325, welches dem Bild 325 der elektronischen Tintensektion 310 entspricht.
  • In der umgewandelten Textsektion 305 kann das Wort "Flutteryl" 330 ausgewählt werden. Der Begriff „ausgewählt" oder „auswählen" kann das Markieren oder Identifizieren eines Objektes bedeuten, welches auf einer Anzeigevorrichtung für eine spätere Operation angezeigt wird. Das Auswählen des Wortes "Flutteryl" 330 kann mit einem Mechanismus wie das Hervorheben 335 identifiziert werden. Jedoch sind andere Identifizierungsmechanismen anders als das Hervorheben nicht außerhalb des Schutzbereiches der vorliegenden Erfindung. Zum Beispiel anstelle des Identifizierens des Wortes "Flutteryl" 330 durch Hervorheben 335 könnte das Wort "Flutteryl" 330 mittels Kursivschrift, Fettschrift oder jedem anderen Verfahren identifiziert werden, um die Auswahl des Textes durch den Benutzer zu demonstrieren.
  • Wenn jedes Wort des umgewandelten Textes 315 ausgewählt ist, wird ein entsprechendes Wort in der originalen elektronischen Tinte 320 ebenso gekennzeichnet oder identifiziert für eine erneute Durchsicht. Deshalb, wenn das Wort "Flutteryl" 330 des umgewandelten Textes 315 ausgewählt wurde, wurde das entsprechende Wort in der originalen elektronischen Tinte 320, welches "Flattery" 340 ist, gekennzeichnet oder identifiziert mit einem anderen hervorgehobenen Teilstück 345.
  • Jedes Wort des umgewandelten Textes 315 wird mit Worten in einem elektronischen Wörterbuch verglichen. Worte die entweder fehlbuchstabiert oder die nicht in dem elekt ronischen Wörterbuch vorhanden sind, werden mit Markierungen gekennzeichnet, wie beispielsweise eine gewellte Unterstreichung 350.
  • Die Sektion mit umgewandeltem Text 305 auf dem Anzeigeschirm 300 beinhaltet des weiteren einen Scrollbalken/Scrollbar 355 der benutzt werden kann, um durch die gesamte Seite des umgewandelten Textes zu navigieren. Ähnlicherweise beinhaltet die Sektion mit elektronischer Tinte 310 ebenso einen Scrollbar 360, um die Navigation durch die Sektion der elektronischen Tinte 310 des Anzeigeschirms 300 zu erlauben.
  • Die Sektion mit elektronischer Tinte 310 beinhaltet des weiteren einen Beendigungsknopf (Done-Button) 365, der aktiviert werden kann, wenn das Bearbeiten der umgewandelten Textsektion 305 und der elektronischen Tintensektion 310 beendet ist. Jedoch ist die vorliegende Erfindung nicht beschränkt auf einen „on-screen"-Knopf 365. Die Funktion des Knopfes 365 kann leicht ein Teil eines „drop-down"-Menüs oder ähnliche andere Benutzerschnittstellen sein. Wenn der Komplettierungsknopf oder "Done" Knopf 365 aktiviert ist, wird eine Verknüpfung zwischen der umgewandelten Textsektion 305 und der elektronischen Tintensektion 310 aufgebrochen, so wie es weiter unten in Bezug auf 8 diskutiert wird.
  • 4 illustriert einen beispielhaften Anzeigeschirm 400 in welchem ein Menü 405 angezeigt wird. In Erwiderung auf einen Rechtsklick auf das Wort "Flutteryl" 330. Das Menü 405 kann ein oder mehrere abgestufte Empfehlungen 410 beinhalten, ebenso wie einen Reklassifikationsbefehl 415, einen Wörterbuchbefehl 420, einen Ausschneidebefehl 425, einen Kopierbefehl 430 und einen Einfügenbefehl 445. Die Empfehlung 410 kann andere Worte beinhalten, welche durch den Benutzerschnittstellenspracheingabeprozessor 297 erzeugt werden, wenn die elektronische Tinte 320 verarbeitet wird. Der Benutzerschnittstellenspracheingabeprozessor 297 bestimmt, welches Wort in einem Wörterbuch den in der elektronischen Tinte 320 erkannten am ähnlichsten erscheint.
  • Die Empfehlungen 410 sind abgestuft, das bedeutet, dass ein Benutzerschnittstellenspracheingabeprozessor 297 Muster von erkannten Worten nach der Auswahl durch den Benutzer aus dem Menü 405 erlernt werden kann. Die Empfehlung 410 niedrigerer zahlenmäßiger Einstufung sind typischerweise die Worte, die eine höhere Wahrscheinlichkeit aufweisen, das entsprechende korrekte Wort bezüglich der erkannten elektronischen Tinte 320 zu sein.
  • Die Anweisung oder Befehle, welche aus dem Menü 405 ausgewählt wurden, werden erzeugt und überwacht durch den Kontextmenümanager 285, wie zuvor in Bezug auf 2 diskutiert. Der Reklassifikationsbefehl 415 erlaubt, dass erkannte Tinte erneut als eine Zeichnung klassifiziert wird, wenn erkannt wird, dass beabsichtigt war, dass die elektronische Tinte eine Zeichnung anstelle eines Textes sein sollte. Die Anweisung "zum Wörterbuch hinzufügen" 420 erlaubt, das Hinzufügen des derzeitigen Textes zu dem Wörterbuch als ein neues Wort, so dass im nachfolgenden Rechtschreibkontrollen das vorliegende Wort erkannt werden kann.
  • 5 zeigt einen beispielhaften Anzeigeschirm 500, der einen Aufteilungsmechanismus 505 beinhaltet, wo eine Trennstelle (oder auch Umruch- oder Aufbruchstelle) 510 ausgewählt werden kann. Zusätzlich zu dem Aufteilungsmechanismus 505 beinhaltet der beispielhafte Anzeigeschirm 500 weiterhin einen Text 515, welcher angibt, wie der Aufteilungsmechanismus 505 benutzt werden kann. Der Aufteilungsmechanismus 505 ist ausgestaltet, um das Aufteilen von Wörtern, die von dem Benutzerschnittstellenspracheingabeprozessor 297 unbeabsichtigt zusammengruppiert wurden, aufzuteilen. In der beispielhaften Ausführungsform von 5 kann das Wort "backpacking" mit dem Aufteilungsmechanismus 505 aufgeteilt oder gespalten werden. Der Aufteilungsmechanismus 505 kann durch ein Parsingmodul 210 überwacht und gesteuert werden, wie zuvor in Bezug auf 2 illustriert und diskutiert wurde.
  • 6 zeigt einen beispielhaften Anzeigeschirm 600, der mit einer Umbruch- oder Trennstelle 510, die zuvor in 5 ausgewählt wurde, zusammenhängt. Genauer gesagt werden Leerzeichen 605 und 610 nun zwischen dem Text "back" 615 und "packing" 620 angezeigt. Ähnlicherweise, in Bezug auf die elektronische Tinte 320 wird das Wort "back" 625 von dem elektronischen Tintenwort "packing" 630 durch ein Leerzeichen 610 getrennt. In anderen Worten wird in der beispielhaften Ausführungsform der 6 jeder Trennpunkt oder Leerzeichen zwischen dem konvertierten Text 315 in die elektronische Tinte 320 umgesetzt. Jedoch wird angemerkt, dass in einer nicht gezeigten beispielhaften Ausführungsform jedes Leerzeichen oder neue Umbruchstelle die mit dem Aufteilungsmechanismus 505 in dem konvertierten Text 315 gemacht wird, nicht in die elektronische Tinte 320 übertragen wird. Das heißt, in einer nicht illustrierten beispielhaften Ausführungsform ist das Leerzeichen 610 nicht für die elektronische Tinte 320 er zeugt worden, wenn eine Umbruchstelle ausgewählt wurde, um das Textwort "back" 615 von dem umgewandelten Textwort "packing" 620 zu separieren.
  • 7 zeigt einen beispielhaften Anzeigeschirm 700, in dem der umgewandelte Text 315 komplett separat von der zuvor angezeigten elektronischen Tinte 320 angezeigt wird. 7 verbildlicht den Anzeigeschirm 700, der in Erwiderung auf den Beendigungs- oder "Done" Knopf 365 angezeigt werden kann, in welchem das Bearbeiten des konvertierten Textes beendet oder terminiert wurde. 7 zeigt ebenso, dass einzelne Seiten von elektronischer Tinte umgewandelt und bearbeitet werden können, ohne zu erfordern, dass alle konvertierten Textseiten gleichzeitig bearbeitet werden müssen.
  • 8 illustriert eine funktionales Blockdiagramm, welches die Verbindungen (Links) 800, welche zwischen der originalen elektronischen Tinte 320 und dem konvertiertem Text 315 existieren, demonstriert. Die Verbindung (Link) 800 beinhaltet eine „Miew"-Ansicht 805, die in den 3 bis 6 verbildlicht ist. In anderen Worten ist die „Miew"-Ansicht 805 der Anzeigeschirm oder die Benutzerschnittstelle, der/die den Abschnitt mit konvertiertem Text 305 beinhaltet, welcher von dem Abschnitt mit elektronischer Tinte 310 durch eine Trennlinie 307 getrennt ist. Die „Miew"-Ansicht 805 ist eine Kombination einer Modusoperation und einer Ansicht (View) für den erkannten Text. Daher rührt die Bezeichnung „Miew"-Ansicht 805. Wenn die Verknüpfung der „Miew"-Ansicht 805 aufgebrochen wird, können der umgewandelte Text 315 oder die originale Tinte 320 separat gespeichert werden. Alternativ kann die originale Tinte 320 in einem separaten Speicherbereich relativ zu dem umgewandelten Text 315 gespeichert werden, jedoch kann die Datei oder die Seite, die die elektronische Tinte beinhaltet, ein Flag beinhalten, welches anzeigt, dass die „Miew"-Ansicht 805 immer noch aktiviert ist und deshalb erfordert, dass das Anzeigen von irgend einem umgewandelten Text 315 gleichzeitig oder zusammen mit elektronischer Tinte 320 wie in 3 bis 6 gezeigt wird. Wie zuvor beschrieben, nach dem Auswählen des Beendigungs- oder "done" Knopfes 365 kann die Ansichtsverknüpfung 805 beendet oder entfernt werden, relativ zu der originalen elektronischen Tinte 320 und der umgewandelte Text 315 der zuvor angezeigt wurde in der „Miew"-Ansicht 805 kann nun auf einem separaten Schirm relativ zu der originalen elektronischen Tinte 320 angezeigt werden.
  • 9 ist ein funktionales Blockdiagramm, welches die Hierarchie 900 von verschiedenen Typen von Seitenobjekten anzeigt, die auf einer Anzeigevorrichtung gemäß einer beispielhaften Ausführungsform der vorliegenden Erfindung vorhanden sein können. Eine Seite 905 kann eine von drei Typen von Seitenobjekten beinhalten: ein bitmap-Bild oder Grafik 910; ein Umrissobjekt 1005; und ein Zeichnungsobjekt 940. Jedoch ist dem Fachmann klar, dass andere Typen von Seitenobjekten dann nicht außerhalb des Bereichs der vorliegenden Erfindung liegen.
  • Jedes Umrissobjekt kann ein oder mehrere Knoten (Node) 915 beinhalten. Jeder Knoten 915 kann einer von drei Typen von Knotenelementen beinhalten: Text 920, ein bitmap-Bild oder Grafik 910, oder ein Tintenobjekt 930. Jedoch ähnlich wie bei den Seitenobjekten wie zuvor beschrieben, ist dem Fachmann klar, dass unterschiedliche Typen von Knotenelementen nicht außerhalb des Bereichs und der Idee der vorliegenden Erfindung liegen. Ein Tintenobjekt 930 beinhaltet typischerweise ein Objekt, das erzeugt wird mit einem Stift oder einer anderen Schirmanzeigevorrichtung, die daran erinnert, wie solch ein Objekt mit Stift und Papier erstellt werden würde. Unterdessen kann ein Bild 910 ein existierendes Bild in einer Datei im Speicher oder ein Bild, das mit einem Softwareprogramm erzeugt wurde, beinhalten.
  • 10 verbildlicht ein funktionales Blockdiagramm, welches einer Abbildungs- oder Baumhierarchie 1000 zeigt, auf wie mittels des Auswahlmanagers 280 zugegriffen werden kann, um das Hervorheben des umgewandelten Textes 315 oder elektronischer Tinte 320 die ausgewählt wurde, zu erfolgen. Der Hierarchiebaum 1000 beinhaltet eine elektronische Tintenseite 310 und eine Textseite aus konvertiertem Text 305. Die Baumstruktur für die elektronische Tintenseite 310 beinhaltet des weiteren ein erstes Umrissobjekt 1005. Das erste Umrissobjekt 1005 beinhaltet einen ersten Knoten A 1010 und einen zweiten Knoten B 1035. Der erste Knoten A 1010 beinhaltet des weiteren ein erstes Tintenobjekt 1015 und ein zweites Tintenobjekt 1020. Der zweite Knoten B 1025 beinhaltet weiterhin ein drittes Tintenobjekt 1030 und ein viertes Tintenobjekt 1035.
  • Unterdessen beinhaltet die umgewandelte Textseite 305 ein erstes Tintenumrissobjekt 1040. Das erste Umrissobjekt 1040 beinhaltet weiterhin einen ersten Knoten A 1045, der dem ersten Knoten A 1010 entspricht. Der erste Knoten A 1045 der umgewandelten Textseite 305 beinhaltet des weiteren ein erstes Tintenobjekt 1050 und ein zweites Tintenobjekt 1055. Das erste Tintenobjekt 1050 des ersten Knotens 1045 entspricht direkt dem Tintenobjekt 1015, der die Adresse A1 hat. Ebenso entspricht das zweite Tintenobjekt 1055 dem zweiten Tintenobjekt 1020, das eine Adresse A2 hat.
  • Der zweite Knoten B 1065 der umgewandelten Textseite 305 beinhaltet des weiteren ein drittes Tintenobjekt 1070 und ein viertes Tintenobjekt 1075, das direkt dem dritten Tintenobjekt 1030 und dem vierten Tintenobjekt 1035 wie zuvor beschrieben, entspricht.
  • 10 verbildlicht eine beispielhafte Baumstruktur 1000 auf die mittels des Auswahlmanagers 280 in Erwiderung auf entweder der Auswahl der elektronischen Tinte 320 oder der Auswahl des umgewandelten Textes 315 zugegriffen werden kann. In anderen Worten, kann der Auswahlmanager 280 auf die beispielhafte Architekturstruktur 1000 zugreifen, um hervorzuheben oder anzuzeigen, dass das derzeitige Wort in einer Sektion der Anzeigevorrichtung mit elektronischer Tinte einem anderen Wort in einer Sektion mit umgewandelten Text entspricht und umgekehrt. In anderen Worten, nach der Auswahl des umgewandelten Textes 315 kann der Auswahlmanager 280 die beispielhafte hierarchische Baumstruktur 1000 benutzen, um die entsprechende Adresse der elektronischen Tinte zu finden, die übersetzt worden ist. Die vorliegende Erfindung ist nicht beschränkt auf die beispielhafte Datenstruktur 1000, wie in 10 gezeigt. Der Fachmann ist sich darüber im klaren, dass andere Wege existieren, um ausgewählten Text mit entsprechender elektronischer Tinte oder elektronischer Tinte mit dem entsprechenden elektronischen Text zuzuordnen.
  • Bestimmte Schritte in dem unten beschriebenen Prozess müssen natürlicherweise anderen Schritten vorangehen, damit die vorliegende Erfindung wie beschrieben funktioniert. Jedoch ist die vorliegende Erfindung nicht beschränkt auf die Reihenfolge der Schritte wie beschrieben, wenn eine solche Reihenfolge oder Sequenz nicht die Funktionalität der vorliegenden Erfindung ändert. Das heißt, es ist klar, dass einige Schritte durchgeführt werden können, vor oder nach anderen Schritten, oder parallel zu diesen Schritten, ohne von dem Umfang oder der Idee der vorliegenden Erfindung abzuweichen.
  • 11 illustriert ein logisches Flussdiagramm einer Übersicht eines beispielhaften Prozesses zum Anzeigen und Verketten von Erzeugnissen mit erkanntem Text und Objekten. Der erste Schritt in dem Prozess 1100 ist der Schritt 1103 in welchem Eingaben von einer Schnittstelle empfangen werden. Zum Beispiel kann das Tablet 250 eine Eingabe von einem Stift 255 empfangen.
  • Als nächstes, in Schritt 1106, kann die Eingabe in elektronische Tinte umgewandelt werden. Zum Beispiel kann das Tintenerzeugungskommando, welches von dem Stift 225 empfangen wurde, zu einem Klassifikationsmodul 215 gesendet werden. Das Klassifikationsmodul 215 bestätigt, dass das empfangene Kommando tatsächlich Tinte („Ink") ist und sendet diese Information zurück zu dem Dokumentenbearbeitungsmodul/Benutzerschnittstelle 205. Das Dokumentenbearbeitungsmodul 205"trocknet" die Tinte durch Glätten (oder Aufweichen, Smoothing) der Tinte gemäß mathematischen „Smoothing"-Gleichungen, die dem Fachmann bekannt sind. Nach dem Trocknen der elektronischen Tinte beendet das Dokumentenbearbeitungsmodul 205 das Umwandeln der elektronischen Tinte und sendet diese zu dem Tablet 250 oder Monitor 270 zum Anzeigen gemäß dem Schritt 1109.
  • In Schritt 1112 wird ein Kommando zum Umwandeln der elektronischen Tinte 320 in Text empfangen. Als nächstes, in Routine 1115 wird die elektronische Tinte 320 in Text 315 konvertiert. Dokumentenbearbeitungsmodul/Benutzerschnittstelle 205 sendet die elektronische Tinte zu einem Worterkenner 235. Der Worterkenner 235 erzeugt eine Liste von Alternativen für jedes erkannte elektronische Tintenwort. Nach dem Erzeugen der Liste von Alternativen für jedes Wort das aus der elektronischen Tinte erkannt wurde, wird der umgewandelte Text zurück zu dem Dokumentenbearbeitungsmodul 205 gesendet. Das Dokumentenbearbeitungsmodul 205 leitet dann den Text zu einem „Rich"-Bearbeitungsmodul 275 weiter, welches den Wortumbruch und die Auswahl von Text beobachtet und steuert. Das Dokumentenbearbeitungsmodul 205 leitet dann einen Teil der Information an den Texteingabemanager 295 weiter. Der Texteingabemanager 295 leitet dann die Information an einen Benutzerschnittstellenspracheingabeprozessor 297 weiter. Der Benutzerschnittstellenspracheneingabeprozessor 297 führt eine zusätzliche Tinten-Erkennung durch und bietet zusätzliche Alternativen für die erkannten Worte an.
  • Nach dem Umwandeln der elektronischen Tinte in Text wird in dem optionalen Schritt 1118 die Rechtschreibung des umgewandelten Textes geprüft. Jedoch wird angemerkt, dass die Rechtschreibkontrolle des umgewandelten Textes nicht unbedingt nötig ist und dass solch ein Schritt auch ausgelassen werden kann, wenn dies gewünscht ist. Nach dem Schritt der Rechtschreibkontrolle 1118 werden in Schritt 1121 Seiten der elektronischen Tinte 320 mit Seiten des umgewandelten Textes 315 verknüpft. Die verknüpften Seiten werden dann auf der Anzeigevorrichtung wie beispielsweise das Tablet 250 oder den Monitor 270 angezeigt, wie in 3 gezeigt. Im Schritt 1127 werden falschgeschriebene oder nichterkannte/unerkennbare Worte auf der Anzeigevorrichtung, wie beispielsweise das Tablet 250 oder den Monitor, 270 angezeigt. Dann wird in dem Entscheidungsschritt 1130 festgestellt, ob ein umgewandelter Text 315 ausgewählt wurde. Der Terminus "Auswahl" oder "auswählen" kann das Markieren oder Identifizieren eines Objektes, welches auf der Anzeigevorrichtung für eine spätere Operation angezeigt wird, bedeuten.
  • Wenn das Ergebnis des Entscheidungsschrittes 1130 positiv ist, dann wird der "ja"-Verzweigung zur Routine 1133 gefolgt, in welcher die entsprechende elektronische Tinte 320 identifiziert wird. Weitere Details der Routine 1133 werden weiter unten diskutiert in Bezug auf 13. Wenn das Ergebnis des Entscheidungsschrittes 1130 negativ ist, dann wird der "nein"-Verzweigung zu dem Entscheidungsschritt 1136 gefolgt.
  • In dem Entscheidungsschritt 1136 wird festgestellt, ob irgend eine elektronische Tinte 320 ausgewählt wurde. Wenn das Ergebnis des Entscheidungsschrittes 1136 positiv ist, wird der ja"-Verzweigung zur Routine 1139 gefolgt in welcher der entsprechende konvertierte Text 315 identifiziert wird. Weitere Details der Routine 1139 wird weiter unten in Bezug auf 13 beschrieben.
  • Wenn das Ergebnis des Entscheidungsschrittes 1136 negativ ist, wird der "nein"-Verzweigung zu dem Entscheidungsschritt 1142 gefolgt. In dem Entscheidungsschritt 1142 wird festgestellt, ob ein einzelnes Wort in dem umgewandelten Text 315 ausgewählt wurde, für zusätzliche Optionen. Wenn das Ergebnis des Entscheidungsschrittes 1142 positiv ist, wird der "ja"-Verzweigung zur Routine 1145 gefolgt in welcher (ab)gestufte Optionen und Kommandos für das ausgewählte umgewandelte Wort in dem Menü 405 angezeigt werden. Weitere Details der Routine 1145 werden weiter unten in Bezug auf 14 diskutiert.
  • In dem Entscheidungsschritt 1148 wird festgestellt, ob eine Option, die in einem „drop-down"-Menü 405 für ein Wort ausgewählt wurde. Genauer, kann der Auswahlmanager 280 aufzeichnen, ob irgendwelche Optionen oder Kommandos aus dem Menü 405 ausgewählt wurden. Wenn das Ergebnis des Entscheidungsschrittes 1148 positiv ist, wird der " ja"-Verzweigung zu dem Schritt 1151 gefolgt, in welchem die ausgewählte Option ausgeführt wird. Zum Beispiel, wenn ein Ersatzwort aus der gestuften Liste 410 von al ternativen Worten ausgewählt wurde, dann wird das ausgewählte Wort ersetzt durch die ausgewählte Option. Wenn das Ergebnis des Entscheidungsschrittes 1148 negativ ist, dann wird der "nein"-Verzweigung zu dem Entscheidungsschritt 1154 gefolgt.
  • In dem Entscheidungsschritt 1154 wird festgestellt, ob der umgewandelte Text bearbeitet wurde. Wenn das Ergebnis des Entscheidungsschrittes 1154 positiv ist, dann wird der ja"-Verzweigung zu Schritt 1157 gefolgt, in welchem Bearbeitungsbefehle empfangen für ein oder mehrere Worte werden. In Schritt 1160 werden die bearbeiteten Worte angezeigt.
  • Wenn das Ergebnis des Entscheidungsschritte 1154 negativ ist, wird der "nein"-Verzweigung zu dem Entscheidungsschritt 1163 gefolgt. In dem Entscheidungsschritt 1163 wird festgestellt, ob ein Wort in dem umgewandelten Text aufgespalten/aufgetrennt werden muss. Wenn das Ergebnis des Entscheidungsschrittes 1163 positiv ist, dann wird der ja"-Verzweigung zu dem Schritt 1166 gefolgt, in welchem ein Trennungsmechanismus 505 auf der Anzeigevorrichtung 250 oder 270 angezeigt wird. Wenn das Ergebnis des Entscheidungsschrittes 1163 negativ ist, dann wird der "nein"-Verzweigung zu dem Entscheidungsschritt 1178 gefolgt.
  • In Schritt 1169 wird eine Trennungsauswahl von dem Trennungsmechanismus 505 empfangen. Dann wird in Schritt 1172 das umgewandelte Textwort mit der Trennung wie in 6 gezeigt erneut angezeigt. In dem optionalen Schritt 1175 (gezeigt mit gestrichelten Linien) wird das elektronische Tintenwort, das dem aufgetrennten Textwort entspricht, ebenso aufgetrennt.
  • In dem Entscheidungsschritt 1178 wird festgestellt, ob ein Benutzer das Bearbeiten der derzeitig angezeigten verknüpften Seite beendet hat. Wenn das Ergebnis des Entscheidungsschrittes 1178 positiv ist, wird der ja"-Verzweigung zu dem Schritt 1181 gefolgt. Wenn das Ergebnis des Entscheidungsschrittes 1178 negativ ist, dann verfährt der Prozess weiter zu dem Entscheidungsschritt 1184.
  • Wenn das Ergebnis des Entscheidungsschrittes 1178 positiv ist, dann wird der ja"-Verzweigung zu Schritt 1181 gefolgt in welchem die elektronische Tinte 320 von dem umgewandelten Text 315, wie in 3 bis 6 illustriert, getrennt wird.
  • Wenn das Ergebnis des Entscheidungsschrittes 1184 negativ ist, dann wird der "nein"-Verzweigung zu dem Entscheidungsschritt 1190 gefolgt. Wenn das Ergebnis des Entscheidungsschrittes 1184 positiv ist, dann wird der ja"-Verzweigung zu Schritt 1187 gefolgt, in welchem die Auswahl für einen nächsten Satz von verknüpften Seiten empfangen wird und die verknüpften Seiten dann auch ausgewählt werden.
  • In dem Entscheidungsschritt 1190 wird festgestellt, ob die umgewandelten Tintenseiten gespeichert werden können. Wenn das Ergebnis positiv ist, dann wird der ja"-Verzweigung zu dem Schritt 1193 gefolgt, in welchem die Seiten verknüpft und abgeschlossen werden. In dem Schritt 1193 werden die Seiten gespeichert, so dass die Verknüpfungen gespeichert werden für die Seiten, die nicht bearbeitet wurden.
  • 13 zeigt einen Subprozess 1133, 1139 von 11 für das Identifizieren von entsprechender elektronischer Tinte oder entsprechendem konvertiertem Text. Die Untermethode oder der Unterprozess 1133, 1139 beginnt mit dem Schritt 1305 in welchem die Adresse eine Auswahl identifiziert wird. Das bedeutet, dass wenn ein umgewandelter Text ausgewählt wird, wird die entsprechende Adresse der Auswahl an den Auswahlmanager 280 gesendet. Als nächstes kann der Auswahlmanager 280 in Schritt 1310 die passende Adresse auf der umgewandelten Textseite oder elektronischen Tintenseite ermitteln. Zum Beispiel, in einem kurzen Rückbezug auf 10, würde, wenn ein Tintenobjekt 1050 ausgewählt würde, das entsprechende Texttintenobjekt 1050 angezeigt werden.
  • Als nächstes, in Schritt 1315 werden die entsprechende Tinte oder der entsprechende umgewandelte Text hervorgehoben, mit der passenden Adresse. Der Prozess kehrt dann zurück entweder zu dem Entscheidungsschritt 1136 oder zu dem Entscheidungsschritt 1142.
  • 14 zeigt ein funktionales Blockdiagramm des Verfahrens 1145, welches das Menü 405 wie in 4 gezeigt, erzeugen kann. In Schritt 1405 wird eine gestufte Liste von alternativen Worten 410, die aus dem Benutzungskontext abgeleitet werden kann, für das ausgewählte Wort angezeigt. Das Aufzeichnen von Eingaben relativ zu den alternativen Worten kann von dem Kontextmenümanager 285 durchgeführt werden, wie zuvor diskutiert in Bezug auf 2.
  • In Schritt 1410 kann der Auswahlmanager 280 weitere Kommandos 415, 420, 425, 430, 435 und 440 für das ausgewählte Wort anzeigen. In Schritt 1415 kann eine Auswahl für ein alternatives Wort oder Kommando empfangen werden. Der Prozess endet dann und kehrt zu dem Entscheidungsschritt 1148 zurück.
  • Obwohl die vorliegende Erfindung im Zusammenhang mit zahlreichen beispielhaften Ausführungsformen beschrieben wurde, versteht der Fachmann, dass viele Modifikationen innerhalb des Schutzbereiches der Ansprüche, welche folgen, gemacht werden können. Demnach ist nicht beabsichtigt, dass der Schutzbereich der Erfindung in irgend einer Weise durch die vorherige Beschreibung eingeschränkt wird, aber statt dessen ist dieser durch die Ansprüche, welche nachfolgen, festgelegt.

Claims (19)

  1. Ein computerimplementiertes Verfahren für das Bearbeiten von erkannten Elektronische-Tinte-Dokumenten, beinhaltend die Schritte von: Empfangen (1103) einer Eingabe von einer Schnittstelle; Umwandeln (1106) der Eingabe von der Schnittstelle in eine Elektronische-Tinte-Seite; Anzeigen (1109) der Elektronische-Tinte-Seite auf einer Anzeigevorrichtung; Umwandeln (1115) der Elektronische-Tinte-Seite in eine Textseite; Verknüpfen (1121) der Elektronische-Tinte-Seite mit der Textseite durch Erzwingen, dass die Elektronische-Tinte-Seite nur dargestellt werden kann mit ihrer entsprechenden Textseite; Anzeigen (1124) des Textes auf der Anzeigevorrichtung neben der Elektronische-Tinte-Seite; Hervorheben eines Wortes in der Textseite auf eine Benutzereingabe hin; in Erwiderung zum Auswählen eines Wortes in der Textseite, Hervorheben eines zugehörigen Wortes in der Elektronische-Tinte-Seite; und Trennen (1181) der Textseite und der Elektronische-Tinte-Seite, in Erwiderung auf das Erhalten einer Bearbeitungsabschlussanweisung hin, durch Abspeichern der Elektronische-Tinte-Seite unabhängig von der Textseite.
  2. Das Verfahren gemäß Anspruch 1, des Weiteren beinhaltend die Schritte von: Auswählen, welches der Schritt des Identifizierens eines auf einer Anzeigevorrichtung angezeigten Objektes für eine spätere Operation, eines Wortes in der Textseite; in Erwiderung zum Auswählen eines Wortes in der Textseite, Auswählen eines zugehörigen Wortes in der Elektronische-Tinte-Seite.
  3. Das Verfahren gemäß Anspruch 1, des Weiteren beinhaltend die Schritte: Auswählen, welches der Schritt des Identifizierens eines auf einer Anzeigevorrichtung angezeigten Objektes ist, für eine spätere Operation; in Erwiderung zum Auswählen eines Wortes in der Elektronische-Tinte-Seite, Auswählen eines zugehörigen Wortes in der Textseite.
  4. Das Verfahren gemäß Anspruch 1, weiter beinhaltend die Schritte: Empfangen (1157) von Änderungseingaben für den Text von der Schnittstelle; und Anzeigen (1160) der Änderungseingaben auf der Anzeigevorrichtung.
  5. Das Verfahren gemäß Anspruch 1, des Weiteren beinhaltend die Schritte: Vergleichen des Texts mit einem Wörterbuch; und Anzeigen des Texts mit einem Indikator, wenn der Text nicht mit einem Wort in dem Wörterbuch übereinstimmt.
  6. Das Verfahren gemäß Anspruch 1, des Weiteren beinhaltend den Schritt des Anzeigens eines Menüs, welches eine abgestufte Liste von alternativen Wörtern beinhaltet, in Erwiderung zu einer Auswahl eines Worts in der Textseite auf der Anzeigevorrichtung.
  7. Das Verfahren gemäß Anspruch 1, des Weiteren beinhaltend den Schritt des Anzeigens eines Menüs, welches eine Liste von Optionen zum Bearbeiten eines ausgewählten Wortes beinhaltet.
  8. Das Verfahren gemäß Anspruch 7, wobei die Liste von Optionen beinhaltend eines von Wechseln einer Einstufung von Elektronische-Tinte entsprechend zu einem ausgewählten Wort in der Textseite, Hinzufügen eines ausgewählten Wortes in ein Wörterbuch, Ausschneiden eines ausgewählten Wortes aus der Textseite, Kopieren eines ausgewählten Wortes aus der Textseite oder Einfügen eines anderen Wortes über ein ausgewähltes Wort in der Textseite.
  9. Das Verfahren gemäß Anspruch 1, des Weiteren beinhaltend die Schritte: Anzeigen (1166) eines Aufteilungsmechanismus zum Separieren von eines oder mehreren Worten in der Textseite; und Empfangen (1169) einer Eingabe, welche eine Umbruchstelle für eine oder mehrere Worte definiert.
  10. Das Verfahren gemäß Anspruch 9, des Weiteren beinhaltend den Schritt des Wiederanzeigens (1172) eines Wortes in der Textseite mit einem oder mehreren Leerzeichen, welche der Umbruchstelle entsprechen.
  11. Das Verfahren gemäß Anspruch 9, des Weiteren beinhaltend den Schritt des Wiederanzeigens (1175) eines Wortes in der Elektronische-Tinte-Seite mit einem oder mehreren Leerzeichen, welche der Umbruchstelle entsprechen.
  12. Das Verfahren gemäß Anspruch 1, des Weiteren beinhaltend die Schritte von: Bearbeiten einer Textseite, welche ein Teil einer Gruppe von Seiten ist; Trennen der bearbeiteten Seite von dem entsprechenden Electronic Ink; Abspeichern der bearbeiteten Seite separat von der Gruppe von verbleibenden unbearbeiteten Seiten.
  13. Das Verfahren gemäß Anspruch 1, des Weiteren beinhaltend den Schritt von: Anzeigen (1145) eines Menüs, beinhaltend eine Liste von Optionen für das Bearbeiten eines ausgewählten Wortes; und Empfangen einer Eingabe, welche mit dem Menü verbunden ist.
  14. Das Verfahren gemäß Anspruch 13, des Weiteren beinhaltend den Schritt von: Empfangen (1157) von Änderungseingaben für den Text von der Schnittstelle; und Anzeigen der Änderungseingaben auf der Anzeigevorrichtung.
  15. Das Verfahren gemäß Anspruch 13, des Weiteren beinhaltend die Schritte von: Anzeigen (1166) eines Aufteilungsmechanismus zum Aufteilen von einem oder mehreren Wörtern in der Textseite; und Empfangen (1169) einer Eingabe, welche eine Umbruchstelle für ein oder mehrere Wörter definiert.
  16. Ein Computersystem (120) für das Bearbeiten von Elektronische-Tinte-und Text, welcher aus dem Elektronische-Tinte-umgewandelt ist, beinhaltend: eine Bearbeitungseinheit (121); eine Speichervorrichtung; eine Anzeigevorrichtung für das Anzeigen von Daten, welche an die Bearbeitungseinheit angekoppelt ist; und ein Programm, welches in der Speichervorrichtung gespeichert ist, für das zur Verfügung stellen von Anweisungen an die Bearbeitungseinheit; die Bearbeitungseinheit, reagierend auf die Anweisungen des Programmes, betreibbar für Umwandeln (1115) einer Elektronische-Tinte-Seite in eine Textseite; Verknüpfen (1121) der Elektronische-Tinte-Seite mit der Textseite durch das Erzwingen, dass die Elektronische-Tinte-Seite nur mit der dazugehörigen Textseite angezeigt werden kann; Anzeigen (1124) der Elektronische-Tinte-Seite und der Textseite gleichzeitig; Hervorheben eines Wortes in der Textseite reagierend auf eine Benutzereingabe; in Erwiderung auf das Auswählen eines Wortes in der Textseite, Hervorheben eines zugehörigen Wortes in der Elektronische-Tinte-Seite; und Empfangen (1157) von Änderungseingaben für den Text; Trennen (1181) der Textseite von der Elektronische-Tinte-Seite, in Erwiderung auf die Aktivierung von einer Bearbeitungabschlussanweisung, durch Abspeichern der Elektronische-Tinte-Seite unabhängig von der Textseite; und Abspeichern (1193) die bearbeitete Textseite.
  17. Das Computersystem (120) gemäß Anspruch 16, worin die Bearbeitungseinheit betriebsbereit ist für Anzeigen (1166) eines Aufteilungsmechanismus zum Separieren einer oder mehrere Worte in der Textseite; und Empfangen (1169) einer Eingabe, welche eine Umbruchstelle für ein oder mehrere Worte definiert.
  18. Das Computersystem (120) gemäß Anspruch 16, worin die Bearbeitungseinheit weiterhin betriebsbereit ist für Anzeigen (1166) eines Aufteilungsmechanismus zum Aufteilen einer oder mehrerer Worte in der Textseite; Empfangen (1169) einer Eingabe, welche eine Umbruchstelle für ein oder mehrere Worte definiert; und Wiederanzeigen (1175) eines Wortes in der Textseite mit einem oder mehreren Leerzeichen, welche der Umbruchstelle entsprechen.
  19. Das Computersystem (120) gemäß Anspruch 16, worin die Verarbeitungseinheit weiterhin betriebsbereit ist für Empfangen einer Eingabe für das Auswählen, Auswählen ist der Schritt der Identifikation eines Objektes welches auf der Anzeigevorrichtung für eine spätere Operation angezeigt ist, eines Wortes; und Anzeigen (1145) eines Menüs, beinhaltend eine Liste von Optionen für die Bearbeitung des ausgewählten Wortes, worin die Liste der Optionen beinhaltet eines von Änderung einer Einstufung der Elektronische-Tinte-entsprechend dem ausgewählten Wort in der Textseite, Hinzufügen eines ausgewählten Wortes zu einem Wörterbuch, Ausschneiden eines ausgewählten Wortes aus der Textseite, Kopieren eines ausgewählten Wortes aus der Textseite, oder Einfügen eines anderen Wortes über ein ausgewähltes Wort in der Textseite.
DE60308952T 2002-06-28 2003-05-28 Verfahren und System zur Anzeige und Verknüpfung von Gegenständen aus elektronischer Tinte mit erkanntem Text und Objekten Expired - Lifetime DE60308952T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US186463 2002-06-28
US10/186,463 US7079713B2 (en) 2002-06-28 2002-06-28 Method and system for displaying and linking ink objects with recognized text and objects

Publications (2)

Publication Number Publication Date
DE60308952D1 DE60308952D1 (de) 2006-11-23
DE60308952T2 true DE60308952T2 (de) 2007-03-08

Family

ID=29718025

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60308952T Expired - Lifetime DE60308952T2 (de) 2002-06-28 2003-05-28 Verfahren und System zur Anzeige und Verknüpfung von Gegenständen aus elektronischer Tinte mit erkanntem Text und Objekten

Country Status (6)

Country Link
US (2) US7079713B2 (de)
EP (1) EP1376448B1 (de)
JP (1) JP4235500B2 (de)
AT (1) ATE342551T1 (de)
CA (1) CA2430802C (de)
DE (1) DE60308952T2 (de)

Families Citing this family (228)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7185278B1 (en) 2002-06-28 2007-02-27 Microsoft Corporation Separating and moving document objects using the movement of a wiper bar
US7188309B2 (en) 2002-06-28 2007-03-06 Microsoft Corporation Resolving document object collisions
US7174042B1 (en) * 2002-06-28 2007-02-06 Microsoft Corporation System and method for automatically recognizing electronic handwriting in an electronic document and converting to text
US7079713B2 (en) * 2002-06-28 2006-07-18 Microsoft Corporation Method and system for displaying and linking ink objects with recognized text and objects
US7259752B1 (en) 2002-06-28 2007-08-21 Microsoft Corporation Method and system for editing electronic ink
US7751623B1 (en) 2002-06-28 2010-07-06 Microsoft Corporation Writing guide for a free-form document editor
US7137077B2 (en) * 2002-07-30 2006-11-14 Microsoft Corporation Freeform encounter selection tool
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20060104515A1 (en) * 2004-07-19 2006-05-18 King Martin T Automatic modification of WEB pages
US7358965B2 (en) * 2004-02-18 2008-04-15 Microsoft Corporation Tapping to create writing
US7721226B2 (en) * 2004-02-18 2010-05-18 Microsoft Corporation Glom widget
US7659890B2 (en) * 2004-03-19 2010-02-09 Microsoft Corporation Automatic height adjustment for electronic highlighter pens and mousing devices
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US8081849B2 (en) 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US20060098900A1 (en) 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US7372993B2 (en) 2004-07-21 2008-05-13 Hewlett-Packard Development Company, L.P. Gesture recognition
US20060190424A1 (en) * 2005-02-18 2006-08-24 Beale Kevin M System and method for dynamically linking
US7350716B2 (en) * 2005-05-10 2008-04-01 International Business Machines Corporation Mechanism for ensuring authenticity of written and printed documents
US7357333B2 (en) * 2005-05-10 2008-04-15 International Business Machines Corporation Mechanism for storing authenticity information about a written or printed document
US20070038955A1 (en) * 2005-08-09 2007-02-15 Nguyen Mitchell V Pen-based computer system having first and second windows together with second window locator within first window
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7526737B2 (en) * 2005-11-14 2009-04-28 Microsoft Corporation Free form wiper
US8250486B2 (en) * 2006-01-19 2012-08-21 International Business Machines Corporation Computer controlled user interactive display interface for accessing graphic tools with a minimum of display pointer movement
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080195931A1 (en) * 2006-10-27 2008-08-14 Microsoft Corporation Parsing of ink annotations
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US20110035662A1 (en) 2009-02-18 2011-02-10 King Martin T Interacting with rendered documents using a multi-function mobile device, such as a mobile phone
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
US20130124242A1 (en) 2009-01-28 2013-05-16 Adobe Systems Incorporated Video review workflow process
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
EP2406767A4 (de) 2009-03-12 2016-03-16 Google Inc Automatische bereitstellung von mit erfassten informationen, z. b. in echtzeit erfassten informationen, assoziierten inhalten
US8819597B2 (en) * 2009-04-10 2014-08-26 Google Inc. Glyph entry on computing device
US8943408B2 (en) 2009-05-27 2015-01-27 Adobe Systems Incorporated Text image review process
US8943431B2 (en) 2009-05-27 2015-01-27 Adobe Systems Incorporated Text operations in a bitmap-based document
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
WO2011089450A2 (en) 2010-01-25 2011-07-28 Andrew Peter Nelson Jerram Apparatuses, methods and systems for a digital conversation management platform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8478777B2 (en) * 2011-10-25 2013-07-02 Google Inc. Gesture-based search
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US8504842B1 (en) 2012-03-23 2013-08-06 Google Inc. Alternative unlocking patterns
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9280524B2 (en) * 2012-06-28 2016-03-08 Texas Instruments Incorporated Combining a handwritten marking with a rendered symbol to modify the rendered symbol
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
KR102091000B1 (ko) * 2013-05-31 2020-04-14 삼성전자 주식회사 사용자 제스처를 이용한 데이터 처리 방법 및 장치
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US10671795B2 (en) * 2014-12-23 2020-06-02 Lenovo (Singapore) Pte. Ltd. Handwriting preview window
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
US10210383B2 (en) * 2015-09-03 2019-02-19 Microsoft Technology Licensing, Llc Interacting with an assistant component based on captured stroke information
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10976918B2 (en) 2015-10-19 2021-04-13 Myscript System and method of guiding handwriting diagram input
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10228775B2 (en) * 2016-01-22 2019-03-12 Microsoft Technology Licensing, Llc Cross application digital ink repository
US11373033B2 (en) * 2016-01-26 2022-06-28 Lenovo (Singapore) Pte. Ltd. Display of ink input and digital recognition results
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10970476B2 (en) * 2017-05-17 2021-04-06 Microsoft Technology Licensing, Llc Augmenting digital ink strokes
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US10957080B2 (en) * 2019-04-02 2021-03-23 Adobe Inc. Automatic illustrator guides
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction

Family Cites Families (153)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2354332A (en) 1942-05-22 1944-07-25 Wladimir J Polydoroff Loop antenna
US5063376A (en) 1989-05-05 1991-11-05 Chang Ronald G Numeric mouse one hand controllable computer peripheral pointing device
US5133076A (en) 1989-06-12 1992-07-21 Grid Systems Corporation Hand held computer
GB8919283D0 (en) 1989-08-24 1989-10-04 Phase Track Limited Active loop antenna
US5339391A (en) 1990-05-14 1994-08-16 Microelectronics And Computer Technology Corporation Computer display unit with attribute enhanced scroll bar
US5063600A (en) 1990-05-14 1991-11-05 Norwood Donald D Hybrid information management system for handwriting and text
US5379376A (en) 1990-06-04 1995-01-03 International Business Machines Corporation Bi-directional graphics attribute conversion profile
US5347295A (en) 1990-10-31 1994-09-13 Go Corporation Control of a computer through a position-sensed stylus
US5491495A (en) * 1990-11-13 1996-02-13 Wang Laboratories, Inc. User interface having simulated devices
US5442742A (en) 1990-12-21 1995-08-15 Apple Computer, Inc. Method and apparatus for the manipulation of text on a computer display screen
US5220649A (en) 1991-03-20 1993-06-15 Forcier Mitchell D Script/binary-encoded-character processing method and system with moving space insertion mode
US5231698A (en) 1991-03-20 1993-07-27 Forcier Mitchell D Script/binary-encoded-character processing method and system
US5953735A (en) 1991-03-20 1999-09-14 Forcier; Mitchell D. Script character processing method and system with bit-mapped document editing
US5327342A (en) 1991-03-31 1994-07-05 Roy Prannoy L Method and apparatus for generating personalized handwriting
US5946406A (en) 1991-06-17 1999-08-31 Microsoft Corporation Method and system for data entry of handwritten symbols
US5539427A (en) 1992-02-10 1996-07-23 Compaq Computer Corporation Graphic indexing system
US5523775A (en) 1992-05-26 1996-06-04 Apple Computer, Inc. Method for selecting objects on a computer display
US5583542A (en) 1992-05-26 1996-12-10 Apple Computer, Incorporated Method for deleting objects on a computer display
US5579467A (en) 1992-05-27 1996-11-26 Apple Computer, Inc. Method and apparatus for formatting a communication
US5764818A (en) 1992-05-27 1998-06-09 Apple Computer, Inc. Method for locating and displaying information in a pointer-based computer system
US5544295A (en) 1992-05-27 1996-08-06 Apple Computer, Inc. Method and apparatus for indicating a change in status of an object and its disposition using animation
US5592566A (en) 1992-05-27 1997-01-07 Apple Computer, Incorporated Method and apparatus for computerized recognition
US5390281A (en) 1992-05-27 1995-02-14 Apple Computer, Inc. Method and apparatus for deducing user intent and providing computer implemented services
US5477447A (en) 1992-05-27 1995-12-19 Apple Computer, Incorporated Method and apparatus for providing computer-implemented assistance
US5321768A (en) 1992-09-22 1994-06-14 The Research Foundation, State University Of New York At Buffalo System for recognizing handwritten character strings containing overlapping and/or broken characters
US5446882A (en) 1992-10-02 1995-08-29 Apple Computer, Inc. Interface for a computerized database having card and list views
US5666139A (en) 1992-10-15 1997-09-09 Advanced Pen Technologies, Inc. Pen-based computer copy editing apparatus and method for manuscripts
US5588105A (en) 1992-11-16 1996-12-24 Apple Computer, Inc. Status bar for application windows
US5465325A (en) 1992-11-16 1995-11-07 Apple Computer, Inc. Method and apparatus for manipulating inked objects
US5404442A (en) 1992-11-30 1995-04-04 Apple Computer, Inc. Visible clipboard for graphical computer environments
US5428805A (en) * 1992-12-22 1995-06-27 Morgan; Michael W. Method and apparatus for recognizing and performing handwritten calculations
US5513309A (en) 1993-01-05 1996-04-30 Apple Computer, Inc. Graphic editor user interface for a pointer-based computer system
JPH0773190A (ja) 1993-04-29 1995-03-17 Matsushita Electric Ind Co Ltd ペンベースコンピューターシステム用絵文字ネーミング
US5559942A (en) 1993-05-10 1996-09-24 Apple Computer, Inc. Method and apparatus for providing a note for an application program
US5517578A (en) 1993-05-20 1996-05-14 Aha! Software Corporation Method and apparatus for grouping and manipulating electronic representations of handwriting, printing and drawings
US7203903B1 (en) 1993-05-20 2007-04-10 Microsoft Corporation System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings
US5613019A (en) * 1993-05-20 1997-03-18 Microsoft Corporation System and methods for spacing, storing and recognizing electronic representations of handwriting, printing and drawings
US5528743A (en) 1993-05-27 1996-06-18 Apple Computer, Inc. Method and apparatus for inserting text on a pen-based computer system
US5479596A (en) 1993-05-27 1995-12-26 Apple Computer, Inc. Method and apparatus for formatting paragraphs
US5710831A (en) * 1993-07-30 1998-01-20 Apple Computer, Inc. Method for correcting handwriting on a pen-based computer
US5596350A (en) 1993-08-02 1997-01-21 Apple Computer, Inc. System and method of reflowing ink objects
US5367453A (en) 1993-08-02 1994-11-22 Apple Computer, Inc. Method and apparatus for correcting words
US6021218A (en) 1993-09-07 2000-02-01 Apple Computer, Inc. System and method for organizing recognized and unrecognized objects on a computer display
US5500937A (en) * 1993-09-08 1996-03-19 Apple Computer, Inc. Method and apparatus for editing an inked object while simultaneously displaying its recognized object
US5596697A (en) 1993-09-30 1997-01-21 Apple Computer, Inc. Method for routing items within a computer system
US5555363A (en) 1993-09-30 1996-09-10 Apple Computer, Inc. Resetting the case of text on a computer display
CN1045679C (zh) * 1993-12-01 1999-10-13 摩托罗拉公司 以字典为基础与可能的字符串结合的手写物识别方法
JPH07200155A (ja) 1993-12-10 1995-08-04 Microsoft Corp ペン型コンピュータシステムの非目的結果検出
US5561446A (en) 1994-01-28 1996-10-01 Montlick; Terry F. Method and apparatus for wireless remote information retrieval and pen-based data entry
US6154758A (en) 1994-05-13 2000-11-28 Apple Computer, Inc. Text conversion method for computer systems
US5434929A (en) 1994-07-12 1995-07-18 Apple Computer, Inc. Method and apparatus for setting character style preferences in a pen-based computer system
JP3399665B2 (ja) 1994-11-04 2003-04-21 シャープ株式会社 情報処理装置
US5760773A (en) 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
US5880743A (en) 1995-01-24 1999-03-09 Xerox Corporation Apparatus and method for implementing visual animation illustrating results of interactive editing operations
US6295372B1 (en) 1995-03-03 2001-09-25 Palm, Inc. Method and apparatus for handwriting input on a pen based palmtop computing device
US5801702A (en) 1995-03-09 1998-09-01 Terrabyte Technology System and method for adding network links in a displayed hierarchy
US5649133A (en) 1995-06-13 1997-07-15 Apple Computer, Inc. Method for collision avoidance for user interface for object with multiple handles
US5634102A (en) 1995-08-07 1997-05-27 Apple Computer, Inc. Methods and apparatus for a selectable backdrop
US5682439A (en) 1995-08-07 1997-10-28 Apple Computer, Inc. Boxed input correction system and method for pen based computer systems
US5745716A (en) 1995-08-07 1998-04-28 Apple Computer, Inc. Method and apparatus for tab access and tab cycling in a pen-based computer system
US5778404A (en) 1995-08-07 1998-07-07 Apple Computer, Inc. String inserter for pen-based computer systems and method for providing same
US5838819A (en) 1995-11-14 1998-11-17 Lucent Technologies Inc. System and method for processing and managing electronic copies of handwritten notes
US5930813A (en) 1995-12-21 1999-07-27 Adobe Systems Incorporated Method and system for designating objects
US6081829A (en) 1996-01-31 2000-06-27 Silicon Graphics, Inc. General purpose web annotations without modifying browser
US5757383A (en) 1996-05-10 1998-05-26 Apple Computer, Inc. Method and system for highlighting typography along a geometric path
JP3378900B2 (ja) 1996-06-25 2003-02-17 富士通株式会社 オブジェクト編集方法,オブジェクト編集システム及び記録媒体
US6049329A (en) 1996-06-04 2000-04-11 International Business Machines Corporartion Method of and system for facilitating user input into a small GUI window using a stylus
US5864635A (en) 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
JP3829366B2 (ja) 1996-07-16 2006-10-04 カシオ計算機株式会社 入力装置、および入力方法
US5911145A (en) 1996-07-29 1999-06-08 Rae Technology, Inc. Hierarchical structure editor for web sites
US6128007A (en) 1996-07-29 2000-10-03 Motorola, Inc. Method and apparatus for multi-mode handwritten input and hand directed control of a computing device
US5933531A (en) * 1996-08-23 1999-08-03 International Business Machines Corporation Verification and correction method and system for optical character recognition
US5838326A (en) 1996-09-26 1998-11-17 Xerox Corporation System for moving document objects in a 3-D workspace
US6304272B1 (en) 1996-12-10 2001-10-16 Micrografx, Inc. Graphics system and method having objects conformed to a template
US6069626A (en) 1997-02-27 2000-05-30 International Business Machines Corporation Method and apparatus for improved scrolling functionality in a graphical user interface utilizing a transparent scroll bar icon
US5874957A (en) 1997-02-28 1999-02-23 International Business Machines Corporation Method and apparatus for improved scrolling functionality in a graphical user interface utilizing a software tether
US5970455A (en) 1997-03-20 1999-10-19 Xerox Corporation System for capturing and retrieving audio data and corresponding hand-written notes
US6128633A (en) 1997-03-25 2000-10-03 Microsoft Corporation Method and system for manipulating page-breaks in an electronic document
US6061472A (en) * 1997-06-06 2000-05-09 Microsoft Corporation Method and mechanism to reduce handwriting recognizer errors using multiple decision trees
US6035324A (en) 1997-08-28 2000-03-07 International Business Machines Corporation Client-side asynchronous form management
US6279014B1 (en) 1997-09-15 2001-08-21 Xerox Corporation Method and system for organizing documents based upon annotations in context
US6223145B1 (en) 1997-11-26 2001-04-24 Zerox Corporation Interactive interface for specifying searches
US6154219A (en) 1997-12-01 2000-11-28 Microsoft Corporation System and method for optimally placing labels on a map
US6091395A (en) 1997-12-15 2000-07-18 International Business Machines Corporation Computer system and method of manipulating a graphical user interface component on a computer display through collision with a pointer
US6112216A (en) 1997-12-19 2000-08-29 Microsoft Corporation Method and system for editing a table in a document
GB2335822B (en) 1998-03-25 2003-09-10 Nokia Mobile Phones Ltd Context sensitive pop-up window for a portable phone
DE69909134D1 (de) 1998-04-24 2003-07-31 Natural Input Solutions Inc Verfahren zur verarbeitung und korrektur in einer griffelunterstützten benutzerschnittstelle
US6570541B2 (en) 1998-05-18 2003-05-27 Db Tag, Inc. Systems and methods for wirelessly projecting power using multiple in-phase current loops
US6199125B1 (en) 1998-05-26 2001-03-06 Bentley Systems, Incorporated Input manager for a computer application with display icons mapped to a user selectable set of standard keyboard keys
JP3270403B2 (ja) 1998-09-08 2002-04-02 エヌイーシーモバイリング株式会社 装置角度制御方式
US6188405B1 (en) 1998-09-14 2001-02-13 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory, to objects
US6195094B1 (en) 1998-09-29 2001-02-27 Netscape Communications Corporation Window splitter bar system
US6345389B1 (en) 1998-10-21 2002-02-05 Opentv, Inc. Interactive television system and method for converting non-textual information to textual information by a remote server
US6337698B1 (en) 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US6348935B1 (en) 1998-11-30 2002-02-19 International Business Machines Corporation Programmable tree viewer graphical user interface with integrated control panel
US6380957B1 (en) 1998-12-15 2002-04-30 International Business Machines Corporation Method of controlling view of large expansion tree
US6529215B2 (en) 1998-12-31 2003-03-04 Fuji Xerox Co., Ltd. Method and apparatus for annotating widgets
US6487569B1 (en) 1999-01-05 2002-11-26 Microsoft Corporation Method and apparatus for organizing notes on a limited resource computing device
US6552719B2 (en) 1999-01-07 2003-04-22 Microsoft Corporation System and method for automatically switching between writing and text input modes
US6650347B1 (en) 1999-02-24 2003-11-18 Cisco Technology, Inc. Heirarchical GUI representation for web based network management applications
US6565611B1 (en) 1999-02-26 2003-05-20 Xerox Corporation Automatic index creation for handwritten digital ink notes
US7091959B1 (en) 1999-03-31 2006-08-15 Advanced Digital Systems, Inc. System, computer program product, computing device, and associated methods for form identification and information manipulation
US6243258B1 (en) 1999-05-07 2001-06-05 Intermec Ip Corp. Hand held user computer interface
US7102772B1 (en) 1999-05-25 2006-09-05 Silverbrook Research Pty Ltd Method and system for delivery of a facsimile
WO2000074240A1 (en) 1999-05-27 2000-12-07 America Online Keyboard system with automatic correction
US6559871B1 (en) 1999-09-29 2003-05-06 International Business Machines Corporation Asynchronous tree navigator graphical user interface and associated methods
US6546397B1 (en) 1999-12-02 2003-04-08 Steven H. Rempell Browser based web site generation tool and run time engine
WO2001063479A1 (en) 2000-02-22 2001-08-30 Metacarta, Inc. Spatially coding and displaying information
US6859909B1 (en) 2000-03-07 2005-02-22 Microsoft Corporation System and method for annotating web-based documents
US6727927B1 (en) 2000-03-08 2004-04-27 Accenture Llp System, method and article of manufacture for a user interface for a knowledge management tool
US20020126153A1 (en) 2000-03-13 2002-09-12 Withers James G. Apparatus and method for navigating electronic files using an array display
US6683600B1 (en) 2000-04-19 2004-01-27 Microsoft Corporation Adaptive input pen mode selection
US7259753B2 (en) 2000-06-21 2007-08-21 Microsoft Corporation Classifying, anchoring, and transforming ink
US6792475B1 (en) 2000-06-23 2004-09-14 Microsoft Corporation System and method for facilitating the design of a website
US6355889B1 (en) 2000-06-28 2002-03-12 International Business Machines Corporation Method and apparatus for linking electronic ink to electronic personal information systems
US6836759B1 (en) 2000-08-22 2004-12-28 Microsoft Corporation Method and system of handling the selection of alternates for recognized words
US6891551B2 (en) 2000-11-10 2005-05-10 Microsoft Corporation Selection handles in editing electronic documents
US6944830B2 (en) 2000-12-21 2005-09-13 Xerox Corporation System and method for browsing hierarchically based node-link structures based on an estimated degree of interest
US6741749B2 (en) 2001-01-24 2004-05-25 Advanced Digital Systems, Inc. System, device, computer program product, and method for representing a plurality of electronic ink data points
US7240284B2 (en) 2001-02-15 2007-07-03 Denny Jaeger Method for formatting text by hand drawn inputs
US7240300B2 (en) 2001-02-15 2007-07-03 Nbor Corporation Method for creating user-defined computer operations using arrows
US6690364B1 (en) 2001-05-31 2004-02-10 Palm Source, Inc. Method and system for on screen text correction via pen interface
US7039234B2 (en) 2001-07-19 2006-05-02 Microsoft Corporation Electronic ink as a software object
US6661409B2 (en) 2001-08-22 2003-12-09 Motorola, Inc. Automatically scrolling handwritten input user interface for personal digital assistants and the like
US6978445B2 (en) 2001-09-28 2005-12-20 Siebel Systems, Inc. Method and system for supporting user navigation in a browser environment
US20030071850A1 (en) 2001-10-12 2003-04-17 Microsoft Corporation In-place adaptive handwriting input method and system
US6907234B2 (en) 2001-10-26 2005-06-14 Microsoft Corporation System and method for automatically tuning an antenna
US20030214531A1 (en) 2002-05-14 2003-11-20 Microsoft Corporation Ink input mechanisms
US7096432B2 (en) 2002-05-14 2006-08-22 Microsoft Corporation Write anywhere tool
US7925987B2 (en) 2002-05-14 2011-04-12 Microsoft Corporation Entry and editing of electronic ink
US7191411B2 (en) 2002-06-06 2007-03-13 Moehrle Armin E Active path menu navigation system
US7185278B1 (en) 2002-06-28 2007-02-27 Microsoft Corporation Separating and moving document objects using the movement of a wiper bar
US7259752B1 (en) 2002-06-28 2007-08-21 Microsoft Corporation Method and system for editing electronic ink
US7079713B2 (en) * 2002-06-28 2006-07-18 Microsoft Corporation Method and system for displaying and linking ink objects with recognized text and objects
US7062090B2 (en) 2002-06-28 2006-06-13 Microsoft Corporation Writing guide for a free-form document editor
US7370288B1 (en) 2002-06-28 2008-05-06 Microsoft Corporation Method and system for selecting objects on a display device
US7188309B2 (en) 2002-06-28 2007-03-06 Microsoft Corporation Resolving document object collisions
US7174042B1 (en) 2002-06-28 2007-02-06 Microsoft Corporation System and method for automatically recognizing electronic handwriting in an electronic document and converting to text
US7353453B1 (en) 2002-06-28 2008-04-01 Microsoft Corporation Method and system for categorizing data objects with designation tools
US7137077B2 (en) 2002-07-30 2006-11-14 Microsoft Corporation Freeform encounter selection tool
US7002560B2 (en) 2002-10-04 2006-02-21 Human Interface Technologies Inc. Method of combining data entry of handwritten symbols with displayed character data
US7242387B2 (en) 2002-10-18 2007-07-10 Autodesk, Inc. Pen-mouse system
US7218779B2 (en) 2003-01-21 2007-05-15 Microsoft Corporation Ink divider and associated application program interface
US7218783B2 (en) 2003-06-13 2007-05-15 Microsoft Corporation Digital ink annotation process and system for recognizing, anchoring and reflowing digital ink annotations
US7055110B2 (en) 2003-07-28 2006-05-30 Sig G Kupka Common on-screen zone for menu activation and stroke input
US6989822B2 (en) 2003-11-10 2006-01-24 Microsoft Corporation Ink correction pad
US7358965B2 (en) 2004-02-18 2008-04-15 Microsoft Corporation Tapping to create writing
US20050179647A1 (en) 2004-02-18 2005-08-18 Microsoft Corporation Automatic detection and switching between input modes
US7721226B2 (en) 2004-02-18 2010-05-18 Microsoft Corporation Glom widget
US7659890B2 (en) 2004-03-19 2010-02-09 Microsoft Corporation Automatic height adjustment for electronic highlighter pens and mousing devices
US20060001656A1 (en) 2004-07-02 2006-01-05 Laviola Joseph J Jr Electronic ink system
US20060267967A1 (en) 2005-05-24 2006-11-30 Microsoft Corporation Phrasing extensions and multiple modes in one spring-loaded control
US7526737B2 (en) 2005-11-14 2009-04-28 Microsoft Corporation Free form wiper

Also Published As

Publication number Publication date
US7916979B2 (en) 2011-03-29
US7079713B2 (en) 2006-07-18
CA2430802C (en) 2011-09-27
US20040001649A1 (en) 2004-01-01
JP4235500B2 (ja) 2009-03-11
US20060233464A1 (en) 2006-10-19
CA2430802A1 (en) 2003-12-28
DE60308952D1 (de) 2006-11-23
EP1376448A3 (de) 2005-01-12
JP2004070938A (ja) 2004-03-04
EP1376448B1 (de) 2006-10-11
EP1376448A2 (de) 2004-01-02
ATE342551T1 (de) 2006-11-15

Similar Documents

Publication Publication Date Title
DE60308952T2 (de) Verfahren und System zur Anzeige und Verknüpfung von Gegenständen aus elektronischer Tinte mit erkanntem Text und Objekten
DE60314977T2 (de) Tintensegmentierer und zugehöriges Programm
DE4301766C2 (de) Verfahren zum Darstellen eines doppelseitigen, umwendbaren elektronischen Papiers
DE60308944T2 (de) Layoutanalyse eines handschriftlichen Dokuments für Freiform-Eingabe mit digitaler Tinte
EP0424803B1 (de) Verfahren zur mindestens teilweisen Umsetzung von Bilddaten in Text mit Vorbereitung für nachfolgende Speicherung oder Weiterverarbeitung
DE69734400T2 (de) Verfahren und system zur prüfung der richtigkeit der rechtschreibung und grammatik eines dokuments
DE10162156B4 (de) Die Benutzernavigation durch Multimedia-Dateiinhalte unterstützendes System und Verfahren
DE69434434T2 (de) Verfahren und gerät um text- und bilddaten zu synchronisieren, anzeigen und manipulieren
DE60316503T2 (de) Klassifikationsanalyse von Freiformeingaben mit digitaler Tinte
EP1902407B1 (de) System zum übertragen von daten aus einer dokumentenanwendung in eine datenanwendung
DE602004003139T2 (de) System und verfahren für eine datentabelle zur verwaltung von einfügeoperationen in rekursiven skalierbaren vorlageninstanzen
EP1669852B1 (de) Verfahren und Computerprogramm zum Umwandeln eines Eingangs-Dokumentendatenstroms mit einem oder mehreren Dokumenten in eine strukturierte Datendatei
DE102005032734B4 (de) Indexextraktion von Dokumenten
EP1353276A2 (de) Drucken mit variablen Daten unter Verwendung einer dynamischen Ausschiessvorlage
DE19800423A1 (de) Rechnerverfahren und -vorrichtung zur Vorabansicht von Dateien außerhalb eines Andwendungsprogramms
DE19706512A1 (de) Echtzeit-Ereignisanordnung in einem elektronischen Ablaufdiagramm
DE60203525T2 (de) Vorrichtung und verfahren in einer büroapplikation zur bereitstellung von inhaltsabhängiger hilfeinformation
DE10223750A1 (de) Aufteilen einer Druckaufgabe zum Verbessern der Durckgeschwindigkeit
WO2005119580A1 (de) Verfahren und einrichtung zur strukturanalyse eines dokuments
EP1211099A2 (de) Verfahren zum digitalen Drucken von zusammengesetzten Dokumenten
EP1234686A2 (de) Verfahren zur Wahl einer Weiter- oder Endbearbeitungsvorrichtung für das digitale Drucken
DE60019996T2 (de) System zum Koordinieren von Dokumenten und Aufgaben für einen Rechner
DE10252797A1 (de) Verfahren und System zum Erstellen von Dokumentenvorlagen mit Ressourcenverwaltung
DE602004003140T2 (de) System und verfahren in einer datentabelle zur verwaltung von löschoperationen in rekursiven skalierbaren vorlageninstanzen
DE102005032733A1 (de) Indexextraktion von Dokumenten

Legal Events

Date Code Title Description
8364 No opposition during term of opposition