-
Diese
Patentanmeldung bezieht sich auf die folgenden anhängigen nicht-vorläufigen Patentanmeldungen:
US-Patentanmeldung Nr. 09/852799, eingereicht am 11. Mai 2001 mit
dem Titel „Serial
Storage of Ink and Its Properties", publiziert als
US 2002013795 , und US-Patentanmeldung
Nr. 09/430150, eingereicht am 29. Oktober 1999 mit dem Titel „Universal
File Format for Digital Rich Ink Data", publiziert als
US 6850228 . Beide Anmeldungen sind der
Microsoft Corporation zugeordnet.
-
Die
vorliegende Erfindung bezieht sich auf das Bearbeiten oder Editieren
von elektronischen Dokumenten und im Speziellen auf eine Benutzerschnittstelle
für das
Bearbeiten (Editieren) von Text in einem elektronischen Dokument,
das aus elektronischer Tinte konvertiert wurde.
-
Eines
der einfachsten Verfahren zum Aufzeichnen und Kommunizieren von
Information ist die traditionelle Methode des Niederschreibens der
Information auf ein Stück
Papier mit einem Schreibinstrument wie beispielsweise ein Füller. Das
Schreiben von Informationen mit der Hand auf ein Stück Papier ist
kostengünstig
und kann schnell und leicht ohne große Vorbereitung erfolgen. Das
traditionelle Verfahren ist ebenso flexibel darin, dass ein Schreiber generell
in jedem Format überall
auf der Seite Schreiben kann. Eine der Einschränkungen bei handgeschriebener
Arbeit ist, dass diese nicht leicht verändert oder in andere Kontexte übertragen
werden kann. In anderen Worten, das Verändern oder Übertragen eines Stück handgeschriebenen
Textes erfordert typischerweise das erneute Schreiben des Texts auf
ein anderes Medium.
-
Mit
der Ausbreitung der Benutzung von Personal Computern (Arbeitsplatzrechnern)
wird oftmals textliche Information oft aufgezeichnet unter Benutzung
von Textbearbeitungssoftware, welche auf einem Arbeitsplatzrechner
läuft.
Der Vorteil eines solchen elektronischen Verfahrens für das Aufzeichnen von
Information ist, dass die Information leicht gespeichert und auf
andere entfernte Computer und elektronische Medien übertragen
werden kann. Solch ein elektronisch aufgezeichneter Text kann in einer
Vielzahl von verschiedenen Wegen leicht korrigiert, verändert und
verarbeitet werden.
-
Typische
Computersysteme, speziell Computersysteme welche grafische Benutzerschnittstellen
(GUI) Systeme benutzen wie beispielsweise Microsoft Windows, sind
optimiert für
das Annehmen von Benutzereingaben über ein oder mehrere diskrete Eingabegeräte. Gebräuchliche
Eingabegeräte
umfassen eine Tastatur für
das Eingeben von Text und ein Zeigegerät, wie beispielsweise eine
Maus mit ein oder mehreren Tasten für das Steuern der Benutzerschnittstelle.
Die Tastatur- und Mausschnittstelle erleichtert das Erzeugen und
Verändern
von elektronischen Dokumenten, welche Text, Tabellenkalkulationen,
Datenbanken, Zeichnungen und Fotos beinhalten.
-
Eine
der Beschränkungen
mit konventionellen GUI-Systemen ist die, dass der Benutzer im Allgemeinen
den Text, den er eingeben möchte,
unter Benutzung der Tastatur, in den Computer eintippen muss. Die
Eingabe von Text unter Benutzung einer Tastatur ist im Allgemeinen
langsamer und anstrengender als das Schreiben von Hand. Obwohl in
letzter Zeit Fortschritte gemacht wurden, bei der Reduzierung der
Größe von Computern,
sind diese noch nicht so tragbar und leicht zugreifbar wie traditionelles
Papier und Stift. Des Weiteren bietet traditionell Stift und Papier
dem Benutzer eine beachtliche Flexibilität für das Bearbeiten eines Dokumentes,
für das Aufzeichnen
von Notizen am Rand und das Zeichnen von Figuren und Formen. Unter
bestimmten Umständen
bevorzugt ein Benutzer die Benutzung eines Stiftes für das Auszeichnen
eines Dokumentes anstelle der Durchsicht des Dokumentes auf einen
Bildschirm, wegen der Fähigkeit
freie Notizen außerhalb der
Begrenzungen von Tastatur und Maus zu machen.
-
Um
die Mängel
von herkömmlichen
Tastatur- und Mausschnittstellen anzugehen, gab es zahlreiche Versuche,
um ein Electronic Tablet (auch als Tablet/Tablett bezeichnet), welches
Handschriften erkennen kann, zu erschaffen. Solche Electronic Tablets
beinhalten typischerweise einen Schirm und ein in der Hand zu haltendes
Gerät,
welches einem Stift ähnelt
(auch als Stylus bezeichnet). Ein Benutzer kann den Stift benutzen,
um auf dem Electronic Tablet zu schreiben in einer Weise, die der
Benutzung von herkömmlichem
Stift und Papier entspricht. Das Electronic Tablet kann die Striche
der Benutzerhandschrift „lesen", die der Benutzer
mit dem im der Hand zu haltenden Gerät ausgeführt hat und kann die Handschrift
in ihrer elektronischen Form auf dem Schirm und/oder dem Computerdisplay
als „Electronic
Ink" (oder auch „Elektronische
Tinte" oder lediglich „Ink"/„Tinte") darstellen. Der Ansatz mit dem Electronic
Tablet kann auf eine Vielzahl von Wegen angewendet werden, beispielsweise
auf einem Computer und auf einem Handheld-Computer
-
In
letzter Zeit wurden andere Computersysteme entwickelt, welche für ein anspruchsvolleres Anlegen
und Manipulieren von Electronic Ink entwickelt wurden. Beispielsweise
erlaubt manche konventionelle Software das Hinzufügen von
Electronic Ink zu einem Dokument. Die Softwareanwendungen speichern
Electronic Ink und bieten diese dem Benutzer an, wenn dieser dieses
anfordert. Andere Anwendungen (z.B. Zeichenprogramme im Zusammenhang mit
dem Palm- und Pocket PC-Betriebssystem) erlauben das Erfassen (capture)
und Abspeichern von Zeichnungen. Diese Zeichnungen beinhalten andere Eigenschaften
im Zusammenhang mit den Ink-Strichen, welche benutzt werden, um
die Zeichnungen zu erstellen. Z.B. Linienbreite und -Farbe können zusammen
mit dem Ink gespeichert werden. Ein Ziel dieser Systeme ist es das „Look and
Feel" von echter Tinte
auf einem Stück
Papier wiederzugeben.
-
Das
Wiedergeben oder Imitieren von „Look and Feel" von echter Tinte
benötigt
Computersysteme, welche mit Electronic Ink arbeiten, um Electronic Ink
anders zu behandeln als traditionelle elektronische Texte und Zeichnungen,
die auf der Anzeigevorrichtung angezeigt werden können. Anders
als Textbearbeitungsprogramme, welche lediglich ein oder zwei Typen
von Seitenobjekten, wie beispielsweise Text und Zeichnungen verarbeiten,
benötigen
Computersysteme, welche mit Electronic Ink arbeiten, die Fähigkeit
um viele Typen von Seitenobjekten zu verarbeiten, welche beispielsweise
Bitmap-Bilder, Zeichnungsobjekte und Umriss-(Outline-)Objekte beinhalten.
Jedes Umrissobjekt kann ein oder mehrere Knoten beinhalten, wobei
jeder Knoten mindestens eine Textseite, ein Bild oder ein Titelobjekt
beinhaltet.
-
Während konventionelle
Computersysteme die Fähigkeit
besitzen, um mit Electronic Ink umzugehen, haben diese konventionellen
Computersysteme sehr eingeschränkte
Electronic Ink-Umwandlungssysteme, welche Electronic Ink erkennen
und diese in Text konvertieren können.
Die Einschränkungen der
konventionellen Electronic Ink-Umwandlungssysteme
werden im Zusammenhang mit Texteditoren deutlich. Die Korrektur
von Text, welcher aus Electronic Ink umgewandelt wurde, kann mit
konventionellen Techniken sehr schwierig und zeitaufwendig sein. Genauer,
wenn mehrere Seiten von Electronic Ink zur gleichen Zeit umgewandelt
werden, arbeitet das Textbearbeitungsprogramm in einer 'modalen' Art und Weise. Das
bedeutet, dass ab dem Start des konventionellen Textbearbeitungsprogramm
der Bearbeitungsprozess nicht angehalten werden kann, bis alle Seiten
korrigiert wurden. Ebenso ist ein temporäres Verlassen des Bear beitungsprozesses
nicht zulässig.
Das bedeutet, wenn immer nur wenige Seiten von einer Vielzahl von
Seiten korrigiert werden sollen, können wenige Seiten als die
Vielzahl von Seiten nicht bearbeitet werden.
-
Ein
weiteres Problem mit konventionellen Computersystemen ist, dass
diese nur selten bei der Korrektur von Worten mithelfen, welche
aus Electronic Ink umgewandelt wurden. In anderen Worten ist die
herkömmliche
Technik darauf angewiesen, dass der Benutzer irgendwelche Diskrepanzen
oder Umwandlungsfehler zwischen der Electronic Ink und dem umgewandelten
Text aufdeckt. Ebenso bietet die herkömmliche Technik keinen bequemen
und benutzerfreundlichen Weg, um Worte aufzuspalten (oder auch zu
trenne), welche versehentlich von dem Tintenerkennungssystem kombiniert
wurden.
-
Ein
weiterer Nachteil von herkömmlichen Computersystemen
ist, dass Textverarbeitungsprogramme keine angemessene Hilfe für den Benutzer anbieten.
In anderen Worten bieten herkömmliche Computersysteme,
welche Electronic Ink in Text umwandeln keine abgestufte Folge von
Empfehlungen für
falsch buchstabierte Worte oder neue Worte, die nicht in dem Wörterbuch
des Computersystems enthalten sind an.
-
Demzufolge
besteht ein Bedarf für
ein Verfahren und System zum Edititeren/Bearbeiten von Text, welcher
aus Electronic Ink umgewandelt wurde, welche das Aussetzen der Tätigkeit
oder das Verlassen des Systems vor der Beendung des Bearbeitungsprozesses
erlauben. Es gibt die weitere Erfordernis, dass die Komplettierung
eines Bearbeitungsprozesses zugelassen wird, obwohl nur wenige Seiten
der Vielzahl von Seiten bearbeitet wurden. Ein weiteres Erfordernis
ist, dass das Verfahren und das System zulässt, Textseiten zu speichern,
wenn das Bearbeiten einer jeden Textseite beendet wurde. Ein weiteres
Bedürfnis
für ein
Verfahren und ein System besteht, welches logische und abgestufte
Empfehlungen für
Worte, welche schwierig von Electronic Ink in Text umgewandelt werden
können,
geben kann. Ein weiteres Bedürfnis
ist, dass ein Verfahren und System die Auswahl von einem Umbruchpunkt
in einer Gruppe von Worten, welche versehentlich von dem Tintenumwandlungssystem
kombiniert wurden, erlaubt.
-
US 5500937 schlägt ein Verfahren
für das Manipulieren
von Tintenobjekten in einem Computersystem vor, welches die Schritte
des Anzeigens eines ersten erkannten Objektes auf einem Computerbildschirm
und Anzeigen eines ersten Tintenobjektes, welches zuvor erkannt
wurde als das erste erkannte Objekt, auf dem Schirm beinhaltet.
Das ers te Tintenobjekt wird bearbeitet, um ein zweites Tintenobjekt
zu erzeugen und das zweite Tintenobjekt wird erkannt als das zweite
erkannte Objekt. Das erste erkannte Objekt wird dann durch das zweite
erkannte Objekt ersetzt. Es wird ebenso vorgeschlagen, das erste
erkannte Objekt auszuwählen
und das erste Tintenobjekt anzuzeigen als Antwort auf den Auswahlschritt.
-
In „Handwriting
Recognition in Office XP",
ein Microsoft Product Support Services White Paper veröffentlicht
am 30. Juli 2001, wird ein Handschriftenerkennungsmerkmal beschrieben,
welches erlaubt, dass Text durch Schreiben anstelle von Tippen eingegeben
werden kann, wobei die Handschrift umgewandelt wird in Buchstaben
und in den vorhandenen Text eingefügt wird. Wenn ein handgeschriebenes Element
in Text konvertiert ist, erscheint es, als ob besagtes handgeschriebenes
Element aus dem Dokument entfernt wurde. Jedoch bleibt das handgeschriebene
Element mit dem umgewandelten Text verbunden und die bezüglichen
Daten werden in der Datei abgespeichert.
-
Es
ist die Aufgabe der vorliegenden Erfindung das Bearbeiten von Electronic
Ink Dokumenten zu verbessern.
-
Diese
Aufgabe ist gelöst
durch den Gegenstand der unabhängigen
Ansprüche.
-
Bevorzugte
Ausführungsformen
der vorliegenden Erfindung sind durch die abhängigen Ansprüche definiert.
-
Die
vorliegende Erfindung ist in den angefügten Ansprüchen, im Speziellen in den
unabhängigen Ansprüchen 1 und
16 definiert. Sie liefert einen effizienten Weg zum Bearbeiten von
Text, der aus erkanntem Electronic Ink konvertiert werden kann.
Im Besonderen kann eine Benutzerschnittstelle Electronic Ink in
einem Bereich der Anzeigevorrichtung anzeigen und entsprechenden
erkannten oder umgewandelten Text, der durch ein Electronic Ink
Erkennungssystem erzeugt wurde, in einem anderen Bereich der Anzeigevorrichtung
anzeigen. Der erkannte oder umgewandelte Text kann leicht mit dem
Electronic Ink verglichen werden, um irgendwelche Umwandlungsfehler
zu erkennen, wenn diese Umwandlungsfehler vorhanden sind. Der Umfang
der Daten, welcher in jedem Bereich der Anzeigevorrichtung angezeigt wird,
kann eine Seite umfassen. Jedoch, in manchen Fällen, abhängig von der Größe des Electronic
Ink, der Schriftgröße des umgewandelten
Textes und der Größe der Anzeigevorrichtung
können
oder können nicht
ganze Seiten anzeigbar sein. In den Fällen, in denen ganze konvertierte
Textseiten oder ganze Electronic Ink Seiten nicht angezeigt werden
können, können Fenster
mit scrollbarem (verschiebbarem) Fensterinhalt für den Teil mit Electronic Ink
oder für den
Teil mit dem konvertierten Text auf der Benutzerschnittstelle angezeigt
werden.
-
Wenn
ein Wort in dem Textabschnitt ausgewählt wird, welches auf der Benutzerschnittstelle
angezeigt wird, kann die Benutzerschnittstelle das entsprechende
Electronic Ink Wort mittels Mechanismen, wie z.B. Hervorheben, identifizieren.
Der Begriff „ausgewählt" oder „auswählen" kann das Markieren oder
Identifizieren eines auf der Anzeigevorrichtung angezeigten Objektes
für eine
spätere
Operation bedeuten. Ebenso, wenn ein Wort in dem Teil mit Electronic
Ink ausgewählt
wird, kann die Benutzerschnittstelle mittels Hervorheben den entsprechenden
konvertierten Text identifizieren.
-
Gemäß eines
erfinderischen Aspekts der vorliegenden Erfindung wird jede Seite
von Electronic Ink und jede entsprechende Seite des erkannten oder
umgewandelten Textes miteinander verknüpft (verlinkt). In anderen
Worten, kann jede Seite von Electronic Ink nur mit der entsprechenden
Seite des konvertierten oder erkannten Textes angezeigt werden,
bis eine Anweisung oder Nachricht empfangen wurde, dass das Bearbeiten
des umgewandelten oder erkannten Textes beendet wurde. Nach dem Empfang
der Anweisung oder Nachricht, dass die Bearbeitung des umgewandelten
oder erkannten Textes beendet wurde, wird die Verbindung zwischen der
Electronic Ink Seite und dem entsprechenden umgewandelten Text aufgehoben/getrennt.
Das bedeutet, dass die umgewandelte Textseite nun unabhängig von
der dazugehörigen
Electronic Ink Seite abgespeichert werden kann.
-
Ein
anderer erfinderischer Aspekt der vorliegenden Erfindung ist, dass
die Bearbeitung von verknüpften
Seiten beendet werden kann, wenn ein Satz von Electronic Ink Seiten
umgewandelt wurde. Das bedeutet, dass, wenn die Bearbeitung einer
einzelnen Electronic Ink Seite und deren korrespondierende umgewandelte
Textseite beendet wurde, der umgewandelte Text separat von dem entsprechenden Electronic
Ink, ebenso wie separat von den noch verbleibenden umgewandelten
Textseiten die noch nicht bearbeitet wurden, gespeichert werden
kann.
-
Gemäß einem
weiteren erfinderischen Aspekt kann die Benutzerschnittstelle zu
jeder Zeit angehalten oder unterbrochen werden. Das bedeutet z.B.,
dass wenn mehrere Sei ten von umgewandelten Text und Electronic Ink
bearbeitet worden sind und als komplettiert bezeichnet wurden, kann
die Benutzerschnittstelle das Speichern des umgewandelten Textes
separat von den Seiten, die noch nicht bearbeitet wurden, erlauben,
um anderen Programmen Zugriff zu gewähren. Anders als herkömmliche
Electronic Ink Umwandlungssysteme ist die vorliegende Erfindung
nicht modal, was bedeutet, dass ein Benutzer nicht gezwungen ist,
die Bearbeitung von Electronic Ink zu beenden bevor der Zugriff
anderen Programmen gestattet wird. Die vorliegende Erfindung ist
flexibel und erlaubt die Bearbeitung von so vielen oder so wenigen
verknüpften
Seiten wie gewünscht. Auf
diese Art kann ein Benutzer zum Bearbeiten eines Satzes von verknüpften Seiten
an die gleiche Stelle, wo er das Bearbeiten der verknüpften Seiten zuvor
beendet hatte, zurückkehren.
-
Gemäß einem
weiteren beispielhaften erfinderischen Aspekt der Erfindung, kann
ein Menü,
welches Vorschläge
für umgewandelten
Text beinhaltet, nach der Auswahl eines Wortes in dem umgewandelten
Text auf der Benutzerschnittstelle angezeigt werden. Genauer, gemäß einer
beispielhaften Ausführungsform,
nach dem Auswählen
eines Wortes in dem umgewandelten Text und einem Rechts-Klick mit
einem Zeigegerät
wie beispielsweise einer Maus, kann die Benutzerschnittstelle ein
Menü von
unterschiedlichen Schreibweisen des umgewandelten Textwortes anzeigen,
welche den Empfehlungen, die von dem Electronic Ink Erkennungssystem
gemacht wurden als der Text umgewandelt wurde, entsprechen. Die
Liste von alternativen Worten kann durch das Ink Erkennungssystem
abgestuft sein, um die Wahrscheinlichkeit, dass niedriger eingestufte
Worte aus der Liste näher
an dem korrekten Electronic Ink Wort stehen, zu verringern.
-
Gemäß einem
anderen alternativen beispielhaften Aspekt der vorliegenden Erfindung
kann die Benutzerschnittstelle einen Trennungs- oder Teilungsmechanismus
anzeigen, welcher einem Benutzer erlaubt, den umgewandelten Text
zu trennen, welcher versehentlich zu einem einzigen Wort gruppiert
wurde. Anders gesagt, empfängt
die vorliegende Erfindung eine Benutzereingabe wie die Stelle wo der
Bruch zwischen Worten erfolgen soll, wenn der gruppierte Text als
zwei oder mehrere Worte hätte
erkannt werden sollen.
-
Kurze Beschreibung der
Zeichnungen
-
1 ist
ein Blockdiagramm, welches eine beispielhafte Betriebsumgebung für die Implementation
von zahlreichen Ausführungsformen
der vorliegenden Erfindung illustriert.
-
2 ist
ein Blockdiagramm, welches die primären funktionalen Bestandteile
eines beispielhaften formfreien Dokumentenbearbeitungsprogrammes
und die damit verbundenen Eingabegeräte zeigt.
-
3 ist
ein beispielhafter Anzeigeschirm, welcher illustriert, wie Worte
in einer Textauswahl hervorgehoben werden, so dass diese mit den
Worten, welche in einem Electronic Ink Abschnitt auf eine Benutzerschnittstelle
hervorgehoben sind, übereinstimmen,
gemäß einer
beispielhaften Ausführungsform
der vorliegenden Erfindung.
-
4 ist
ein beispielhafter Anzeigeschirm, welcher ein Menü illustriert,
welches Empfehlungen für
umgewandelten Text gemäß einer
beispielhaften Ausführungsform
der vorliegenden Erfindung enthält.
-
5 ist
ein beispielhafter Anzeigeschirm, welcher einen beispielhaften Aufteilungsmechanismus
zeigt, welcher das Trennen oder Aufbrechen von umgewandeltem Text
gemäß einer
beispielhaften Ausführungsform
der vorliegenden Erfindung zulässt.
-
6 ist
ein beispielhafter Anzeigeschirm, welcher zeigt, wie der konvertierte
Text, wie in 5 gezeigt, gemäß einer
beispielhaften Ausführungsform
der vorliegenden Erfindung, aufgeteilt wurde.
-
7 ist
ein beispielhafter Anzeigeschirm, welcher eine Seite von konvertiertem
Text zeigt, welche von ihrer entsprechenden Electronic Ink Seite getrennt
wurde, gemäß einer
beispielhaften Ausführungsform
der vorliegenden Erfindung.
-
8 ist
ein funktionales Blockdiagramm, welches die Verbindung zwischen
einer Electronic Ink Seite und einer konvertierten Textseite gemäß einer
beispielhaften Ausführungsform
der vorliegenden Erfindung illustriert.
-
9 ist
ein funktionales Blockdiagramm, welches die Hierarchie von unterschiedlichen
Typen von Seitenobjekten zeigt, welche auf eine Anzeigevorrichtung
vorhanden sind, gemäß einer
beispielhaften Ausführungsform
der vorliegenden Erfindung.
-
10 ist
ein funktionales Blockdiagramm, welches eine beispielhafte Abbildungsstruktur
illustriert, welche zwischen einer Electronic Ink Seite und einer
Seite aus umgewandelten Text existieren kann, gemäß einer
beispielhaften Ausführungsform
der vorliegenden Erfindung.
-
11 ist
ein logisches Flussdiagramm, welches eine Übersicht eines beispielhaften
Prozesses zeigt, für
das Anzeigen und verketten (verlinken) von Erzeugnissen mit erkanntem
Text und Objekten gemäß einer
beispielhaften Ausführungsform
der vorliegenden Erfindung.
-
12 ist
ein logisches Flussdiagramm, welches eine Fortsetzung des logischen
Flussdiagramms der 11 ist und zeigt eine Übersicht
des beispielhaften Prozesses gemäß einer
beispielhaften Ausführungsform
der vorliegenden Erfindung.
-
13 ist
ein logisches Flussdiagramm, welches ein Unterverfahren zeigt für das identifizieren
von zugehöriger
Tinte oder zugehörigem
Text, welcher ein Teil des logischen Flussdiagramms der 11 ist,
gemäß einer
beispielhaften Ausführungsform
der vorliegenden Erfindung.
-
14 ist
ein logisches Flussdiagramm, welches ein anderes Unterverfahren
zeigt für
das Anzeigen eines Menüs,
welches eine abgestufte Liste von alternativen Worten beinhaltet,
welches Teil ist des logischen Flussdiagramms der 11 gemäß einer
beispielhaften Ausführungsform
der vorliegenden Erfindung.
-
Detaillierte
Beschreibung von beispielhaften Ausführungsformen
-
Eine
Benutzerschnittstelle kann Electronic Ink in einem Abschnitt einer
Anzeigevorrichtung und entsprechenden erkannten oder umgewandelten Text
in einem anderen Abschnitt der Anzeigevorrichtung anzeigen, welcher
von einem Electronic Ink Erkennungssystem erzeugt wurde. Jede Seite
von Electronic Ink und jede entsprechende Seite von umgewandeltem
oder erkanntem Text werden miteinander verkettet (verlinkt). In
ande ren Worten kann jede Seite von Electronic Ink nur angezeigt
werden, mit ihrer entsprechenden Seite von umgewandeltem oder erkanntem
Text bis eine Anweisung oder Nachricht empfangen wurde, dass die
Bearbeitung des umgewandelten oder erkannten Textes beendet ist.
Nachdem die Anweisung der Nachricht empfangen wurde, dass die Bearbeitung
des umgewandelten oder erkannten Textes beendet wurde, wird die
Verbindung (Link) zwischen einer Electronic Ink Seite und der dazugehörigen umgewandelten
Textseite aufgebrochen. Das bedeutet dass die umgewandelte Textseite
unabhängig
von ihrer entsprechenden Electronic Ink Seite gespeichert werden
kann. Dies ermöglicht das
Abspeichern von Seiten und das Umwandeln von Seiten, wenn diese
bearbeitet sind.
-
Eine beispielhafte
Betriebsumgebung
-
Beispielhafte
Ausführungsformen
der vorliegenden Erfindung werden hiernach beschrieben in Bezug
auf die Zeichnungen, in welchen gleiche Ziffern gleiche Elemente
durchwegs in den Figuren repräsentieren. 1 illustriert
eine beispielhafte Betriebsumgebung für die Implementation der vorliegenden
Erfindung. Die beispielhafte Betriebsumgebung beinhaltet eine Mehrzweckcomputereinrichtung,
in der Form eines konventionellen Personal Computers 120.
Im Allgemeinen beinhaltet der Personal Computer 120 eine
Verarbeitungseinheit 121, einen Systemspeicher 122 und
einen Systembus 123, welcher die zahlreichen Komponenten
miteinander koppelt, beinhaltend den Systemspeicher 122 bis zur
Verarbeitungseinheit 121. Der Systembus 123 kann
einer von zahlreichen Typen von Busstrukturen sein, beinhaltend
einen Speicherbus oder Speicher-Controller,
einen Peripherie-Bus und einen lokalen Bus, welcher einen der Vielzahl
von Busarchitekturen benutzt. Der Systemspeicher beinhaltet einen Festwertspeicher
(ROM) 124 und einen Direktzugriffsspeicher (RAM) 125.
Ein Basic Input/Output-System (BIOS) 126, beinhaltend die
Grundroutinen, die beispielsweise in der Startphase Informationen
zwischen den Elementen des Personal Computer 120 transferieren,
ist in ROM 124 gespeichert.
-
Der
Personal Computer 120 beinhaltet weiter eine Festplatte 127 für das Lesen
und Schreiben, nicht gezeigt, ein Magnetplattenlaufwerk 128 für das Lesen
und das Schreiben auf eine herausnehmbare Magnetplatte 129,
und ein optisches Plattenlaufwerk 130 zum Lesen und Schreiben
einer entnehmbaren optischen Platte 131, wie beispielsweise
eine CD-ROM oder andere optische Medien. Die Festplatte 127,
das Magnetplattenlauf werk 128 und das optische Laufwerk 130 sind
verbunden mit dem Systembus 123, eine Festplattenlaufwerksschnittstelle 132, eine
Magnetplattenlaufwerksschnittstelle 133, und eine Schnittstelle
für optische
Laufwerke 134. Obwohl die hierin beschriebene beispielhafte
Umgebung eine Festplatte 127, entnehmbare Magnetplatte 129 und
entnehmbare optische Platte 131 gebraucht, weiß der Fachmann,
dass andere Typen von computerlesbaren Medien, welche Daten speichern
können,
welche durch einen Computer gelesen werden können sowie beispielsweise magnetische
Kassetten, Flash Speicherkarten, Magnetbildplatten, Bernoulli Kassetten,
RAMs, ROMs usw. in einer beispielhaften Betriebsumgebung benutzt
werden können. Die
Laufwerke und deren verbundene computerlesbare Medien bieten nicht-flüchtige Speicherung
von computerausführbaren
Anweisungen, Datenstrukturen, Programmmodulen und anderen Daten
für den Personal
Computer 120.
-
Eine
Anzahl von Programmmodulen, beinhaltend ein Betriebssystem 135,
Dokumentenbearbeitungsprogramm 136, ein Platzverwaltungsmodul 138 und
ein elektronisches Dokument 139, können auf der Festplatte 127,
Magnetplatte 129, optischen Platte 131, ROM 124 oder
RAM 125 gespeichert werden. Programmmodule beinhalten Routinen,
Subroutinen, Programme, Objekte, Komponenten, Datenstrukturen und
sofort welche bestimmte Aufgaben ausführen oder bestimmte abstrakte
Datentypen implementieren. Aspekte der vorliegenden Erfindung können implementiert
werden in der Form eines Tintenbearbeitungsmoduls 225,
welches zusammen mit einem Stift und Tintenmodul 228 arbeitet,
um ein elektronisches Dokument 139 zu bearbeiten.
-
Ein
Benutzer kann Anweisungen und Informationen in einen Personal Computer 120 durch
Eingabegeräte
eingeben, wie beispielsweise eine Tastatur 140 und ein
Zeigegerät 142.
Zeigegeräte
können eine
Maus, einen Trackball und einen elektronischen Stift, der zusammen
mit einem Electronic Tablet benutzt werden kann, beinhalten. Andere
Eingabegeräte
(nicht gezeigt) können
ein Mikrofon, Joy Stick, Game Pad, Satellitenschüssel, Scanner oder ähnliches
beinhalten. Diese und andere Eingabegeräte sind normalerweise mit der
Verarbeitungseinheit 122 durch eine serielle Schnittstelle 146,
welche mit dem Systembus 123 verbunden ist, verbunden,
können aber
mittels anderer Schnittstellen, wie beispielsweise eine Parallelschnittstelle,
Spielschnittstelle, einen Universal Serial Bus (USB), oder ähnliches
verbunden sein. Eine Anzeigevorrichtung 147 kann ebenso mit
dem Systembus 123 über
eine Schnittstelle verbunden sein, wie beispielsweise ein Video-Adapter 148.
Zusätzlich
zu dem Monitor beinhalten Personal Computer typi scherweise andere
Peripherieausgabegeräte
(nicht gezeigt), wie beispielsweise Lautsprecher und Drucker.
-
Der
Personal Computer 120 kann in einer Netzwerkumgebung unter
Benutzung von logischen Verbindungen mit einem oder mehreren entfernten Computern 149 operieren.
Entfernte Computer 149 können andere Personal Computer,
ein Server, ein Client Computer, ein Router, ein Netzwerk-PC, ein Peer-Gerät oder andere
verbreitete Netzwerkknoten sein. Während ein entfernter Computer 149 typischerweise
viele oder alle Elemente, die oben relativ zu dem Personal Computer 120 beschrieben
wurden, beinhaltet, wurde nur eine Speichervorrichtung 150 in
der Abbildung verbildlicht. Die logischen Verbindungen, welche in
der Abbildung gezeigt sind, beinhalten ein Local Area Network (LAN) 151 und
ein Wide Area Network (WAN) 152. Solche Netzwerkumgebungen
sind alltäglich
in Büros,
unternehmensweiten Computernetzwerken, Intranets und dem Internet.
-
Wenn
der Personal Computer in einer LAN-Netzwerkumgebung benutzt wird,
ist dieser oftmals mit dem Local Area Network 151 mittels
Netzwerkschnittstelle oder -adapter 153 verbunden. Wenn
der Personal Computer 120 in einer WAN Netzwerkumgebung
verwendet wird, beinhaltet dieser typischerweise ein Modem 154 oder
andere Mittel für
das Errichten von Kommunikationsverbindungen über ein WAN 152 wie
beispielsweise das Internet. Das Modem 154, welches intern
oder extern ausgeführt
sein kann, ist mit dem Systembus 123 über eine serielle Schnittstelle 146 verbunden.
In einer Netzwerkumgebung können
Programmmodule, welche relativ zum Personal Computer 120 gezeigt
sind, in einer entfernten Speichervorrichtung 150 gespeichert
sein. Es versteht sich, dass die gezeigten Netzwerkverbindungen
beispielhaft sind und andere Mittel zum Errichten von Kommunikationsverbindungen zwischen
den Computern benutzt werden können.
-
Darüber hinaus
weiß der
Fachmann, dass die vorliegende Erfindung in anderen Computerkonfigurationen
implementiert sein kann, beinhaltend Handheld-Geräte, Multiprozessorsysteme,
mikroprozessorbasierte oder programmierbare Geräte, Netzwerkcomputer, Minicomputer,
Main Frame Computer und sofort. Die Erfindung kann ebenso in einer
verteilten Computerumgebung ausgeführt werden, wo die einzelnen
Aufgaben durch entfernte Verarbeitungsgeräte ausgeführt werden, welche mittels
eines Kommunikati onsnetzwerkes verbunden sind. In einer verteilten
Computerumgebung können
Programmmodule in lokalen und entfernten Speichervorrichtungen gespeichert
sein.
-
In 2 wird
eine beispielhafte Architektur 200, für das Verarbeiten von elektronischer
Tinte gemäß einer
Ausführungsform
der vorliegenden Erfindung verbildlicht. 2 zeigt
typische Hardware und Softwarekomponenten, welche bei dem Betreiben der
Erfindung aus einer funktionalen Perspektive benutzt werden. Herkömmliche
Eingabegeräte
werden durch die Tastatur 260 und das Zeigegerät (Maus) 265 repräsentiert.
Ein Benutzer kann Anweisungen und Informationen in dem Computer 20 unter
Benutzung der Eingabegeräte
eingeben. Andere Eingabegeräte
(nicht gezeigt) können
ein Mikrofon, Joystick, Game Pad, Satellitenschüssel und Scanner beinhalten.
Eine herkömmliche
Ausgabevorrichtung, wie beispielsweise ein Monitor 270 wird
benutzt, um Informationen aus dem Computer 20 anzuzeigen.
Andere Ausgabegeräte
(nicht gezeigt) können
einen Drucker oder Lautsprecher beinhalten. Andere Hardwarekomponenten,
die in 2 gezeigt sind, beinhalten ein Electronic Tablet 250 und
einen dazugehörigen
Stift (Stylus) 255. Das Tablet 250 und Stift 255 werden
benutzt, um handgeschriebene Striche einzugeben, welche in eine
Ansammlung von Daten umgewandelt werden, die durch elektronische
Tinte repräsentiert
sind. Die elektronische Tinte kann in ein elektronisches Dokument 220 hinzugefügt werden und
kann auf dem Electronic Tablet 250, dem Monitor 270 oder
beidem angezeigt werden. Obwohl das Electronic Tablet 250 und
der Monitor 270 als voneinander getrennt gezeigt sind,
können
diese in der bevorzugten Ausführungsform
gekoppelt sein oder eine einzige Komponente ausbilden. Die gemeinsame
Tablet/Monitor Komponente hat die Fähigkeit Informationen anzuzeigen
und Eingaben von einem Stift 255 zu empfangen. Unter den
Hardwarekomponenten ist ebenso gezeigt, ein herkömmliches elektronisches Speichergerät 245 wie
beispielsweise eine Festplatte oder RAM.
-
In
der stellvertretenden Architektur 200 sind alle Hardware-Komponenten
mit einem Tintenbearbeitungssoftwaremodul 255 verbunden.
Es wird von den Fachleuten verstanden, dass 2 nur stellvertretend
ist und dass in der Praxis die Hardwarekomponenten typischerweise
mit den Elementen aus 1 verbunden sind. Das Tintenbearbeitungsmodul 225 ist
betreibbar für
den Empfang von Daten von den Electronic Tablet 250 und/oder
dem Stift 255 und für
das Umwandeln der Daten in elektronische Tinte. In der bevorzugten
und beispielhaften Ausführungsform,
ist das Tintenbearbeitungsmodul 255 eine Sammlung von Softwaremodulen,
welche unterschiedliche Aufgaben für das Wan deln von handgeschriebenen
Strichen in elektronische Tinte durchführen. Zum Beispiel kann das
Stift- und Tintenmodul 228 Daten empfangen, welche die
Position und Winkel des Stiftes für eine Reihe von handgeschriebenen Strichen
beschreibt. Das Stift- und Tintenmodul 228 kann die Daten
für das
Umwandeln von elektronischer Tinte interpretieren. Andere Softwaremodule, wie
beispielsweise ein Gesten-Erkenner 230 und Wort-Erkenner 235 können ausgeführt werden
zum Identifizieren von bestimmten Handschriftstrichen und diesen
eine bestimmte Signifikanz zuweisen. Zum Beispiel können bestimmte
Gesten wie ein Durchkreuzen erkannt werden und mit einem anderen
Bearbeitungsprozess verbunden werden. Das Tintenbearbeitungsmodul 225 kann
ebenso Löschfunktionsmodul 240 beinhalten,
für das
Entfernen von elektronischer Tinte, die zuvor gewandelt wurde.
-
Obwohl
Tintenbearbeitungsmodule bekannt sind und für das Betreiben einer Electronic
Tablets notwendig sind, wird ein Dokumentenbearbeitungsmodul benötigt, wie
beispielsweise in 2 gezeigt, welches die Leistungsfähigkeit
eines Electronic Tablets steigert. Im speziellen ermöglicht das
Dokumentenbearbeitungsmodul 205 die Manipulation von elektronischer
Tinte, so dass ein Benutzer ein elektronisches Dokument 220 mit
größerer Leichtigkeit und
Gewandtheit erstellen und manipulieren kann. Das Dokumentenbearbeitungsmodul 205 beinhaltet typischerweise
eine Sammlung von Softwaremodulen zum Steuern und Manipulieren von
elektronischer Tinte, welche auf den Monitor 307 wiedergegeben wird.
Zum Beispiel kann ein Parsingmodul 210 zum Identifizieren
von Handschriftenstrichen, welche durch den Benutzer für das Bearbeiten
ausgewählt wurden,
benutzt werden. Ausgewählte
Striche können
hervorgehoben oder abgestuft sein, um dem Benutzer bei dem Identifizieren,
welche Striche bearbeitet werden sollen, zu assistieren. Ein Klassifikationsmodul 215 kann
bestimmte Handschriftenstriche identifizieren, welche Teil eines
Wortes oder Zeichen sind. Softwaremodule, wie beispielsweise das
Layoutmodul 216 und das Platz-Einfügen-Modul 217 können eingerichtet
sein, um zu steuern, wie elektronische Tinte umgewandelt und bewegt
wird. Andere Module können
einen Auswahlmanager 280, einen Contextmenümanager 285,
einen Ansichtmanager 290, einen Texteingabemanager 295 und
einen Benutzerschnittstellenspracheneingabeprozessor 297 beinhalten.
Der Auswahlmanager 280 kann aufzeichnen, wie umgewandelter
Text oder elektronische Tinte ausgewählt ist für das Bearbeiten durch den
Benutzer. Der Contextmenümanager 285 kann die
Auswahl einer Liste von alternativen Wörtern aufzeichnen, welche angezeigt
werden können,
wenn der Benutzer ein Wort in dem konvertierten Text bearbeitet.
Der Ansichtmanager 285 kann die Benutzer schnittstelle verändern, welche
einen Anzeigeschirm beinhaltet, der eine Seite von konvertiertem
Text mit einer Seite von entsprechender elektronischer Tinte verknüpft hat.
Der Texteingabemanager 295 kann als eine Schnittstelle
für einen
Benutzerschnittstellenspracheingabeprozessor 297, der Sprachregeln
benutzt, auftreten um die Erkennung von Worten mittels des Zusammenhangs
zu unterstützen.
-
Die
Module, wie in 2 gezeigt, sind repräsentativ
und dem Fachmann ist klar, dass andere Module ebenso ein Teil des
Dokumentenbearbeitungsmoduls 205 sein können oder an dieses gekoppelt sein
können.
Zum Beispiel kann das Dokumentenbearbeitungsmodul 205 ebenso
mit einem Rich-Edit-Modul 275 zusammen arbeiten, welches zusätzliche
Funktionalität
bietet, wie beispielsweise das Aufzeichnen und Steuern der Auswahl
von Text und dem Textumbruch.
-
Die
vorliegende Erfindung beinhaltet mehrere Computerprogramme, welche
die Funktionen verkörpern,
die hiernach in den beispielhaften Anzeigeschirmen und dem angehängten Flussdiagramm
beschrieben und verbildlicht werden. Jedoch sollte klar sein, dass
es viele unterschiedliche Wege des Implementierens der Erfindung
in der Computerprogrammierung gibt, und die Erfindung sollte nicht
beschränkt
auf einen Satz von Computerprogrammanweisungen angesehen werden.
Des weiteren wäre ein
fähiger
Programmierer in der Lage, solch ein Computerprogramm zu schreiben,
um die offenbarte Erfindung ohne Schwierigkeit zu implementieren,
basierend auf den beispielhaften Anzeigeschirmen und Flussdiagrammen
und der dazugehörigen
Beschreibung in dem Anmeldungstext. Deshalb ist die Offenbarung
eines bestimmten Satzes von Programmcodeinstruktionen für ein angemessenes
Verstehen, wie die Erfindung gemacht und benutzt werden soll, nicht
als notwendig anzusehen. Die erfinderische Funktionalität des beanspruchten
Computerprogrammes wird im Detail in der nachfolgenden Beschreibung
im Zusammenhang mit den verbleibenden Figuren, welche die Funktionen
und den Programmfluss illustrieren, erklärt.
-
In
Bezug auf 3 können beispielhafte Anzeigeschirme 300 erzeugt
werden durch eine Anzeigevorrichtung wie beispielsweise das Tablet 250 oder Monitor 270.
Jedoch ist die vorliegende Erfindung nicht beschränkt auf
Electronic Tablets Umgebungen. Die vorliegende Erfindung kann auf
jedem Computersystem operieren, welches eine Anzeigevorrichtung
hat, die mit elektronischer Tinte, elektronischem Text oder elektronischen
Bildern oder jeder möglichen
Kombination davon umgehen kann.
-
Beispielhafte
Anzeigeschirme 300 können eine
Sektion mit umgewandeltem Text 305 beinhalten, welche durch
eine Linie 307 von einer Sektion mit originaler Tinte („Ink") 310 getrennt
ist. Der Fachmann wird wissen, dass die Größen der umgewandelten Textsektion 305 und
elektronische Tintensektion 310 durch den Benutzer eingestellt
werden können.
Das heißt,
wenn eine Sektion mit umgewandeltem Text 305 eine andere
Größe hat als
erwünscht, kann
die Linie 307 relativ zu dem Anzeigeschirm 300 entweder
nach oben oder nach unten bewegt werden.
-
Die
umgewandelte Textsektion 305 beinhaltet umgewandelten Text 315,
der der elektronischen Originaltinte 320 entspricht. Die
umgewandelte Textsektion 305 beinhaltet des weiteren ein
Bild 325, welches dem Bild 325 der elektronischen
Tintensektion 310 entspricht.
-
In
der umgewandelten Textsektion 305 kann das Wort "Flutteryl" 330 ausgewählt werden.
Der Begriff „ausgewählt" oder „auswählen" kann das Markieren
oder Identifizieren eines Objektes bedeuten, welches auf einer Anzeigevorrichtung
für eine
spätere Operation
angezeigt wird. Das Auswählen
des Wortes "Flutteryl" 330 kann
mit einem Mechanismus wie das Hervorheben 335 identifiziert
werden. Jedoch sind andere Identifizierungsmechanismen anders als das
Hervorheben nicht außerhalb
des Schutzbereiches der vorliegenden Erfindung. Zum Beispiel anstelle
des Identifizierens des Wortes "Flutteryl" 330 durch
Hervorheben 335 könnte
das Wort "Flutteryl" 330 mittels
Kursivschrift, Fettschrift oder jedem anderen Verfahren identifiziert
werden, um die Auswahl des Textes durch den Benutzer zu demonstrieren.
-
Wenn
jedes Wort des umgewandelten Textes 315 ausgewählt ist,
wird ein entsprechendes Wort in der originalen elektronischen Tinte 320 ebenso
gekennzeichnet oder identifiziert für eine erneute Durchsicht.
Deshalb, wenn das Wort "Flutteryl" 330 des
umgewandelten Textes 315 ausgewählt wurde, wurde das entsprechende
Wort in der originalen elektronischen Tinte 320, welches "Flattery" 340 ist,
gekennzeichnet oder identifiziert mit einem anderen hervorgehobenen
Teilstück 345.
-
Jedes
Wort des umgewandelten Textes 315 wird mit Worten in einem
elektronischen Wörterbuch verglichen.
Worte die entweder fehlbuchstabiert oder die nicht in dem elekt ronischen
Wörterbuch
vorhanden sind, werden mit Markierungen gekennzeichnet, wie beispielsweise
eine gewellte Unterstreichung 350.
-
Die
Sektion mit umgewandeltem Text 305 auf dem Anzeigeschirm 300 beinhaltet
des weiteren einen Scrollbalken/Scrollbar 355 der benutzt
werden kann, um durch die gesamte Seite des umgewandelten Textes
zu navigieren. Ähnlicherweise
beinhaltet die Sektion mit elektronischer Tinte 310 ebenso
einen Scrollbar 360, um die Navigation durch die Sektion
der elektronischen Tinte 310 des Anzeigeschirms 300 zu
erlauben.
-
Die
Sektion mit elektronischer Tinte 310 beinhaltet des weiteren
einen Beendigungsknopf (Done-Button) 365, der aktiviert
werden kann, wenn das Bearbeiten der umgewandelten Textsektion 305 und der
elektronischen Tintensektion 310 beendet ist. Jedoch ist
die vorliegende Erfindung nicht beschränkt auf einen „on-screen"-Knopf 365.
Die Funktion des Knopfes 365 kann leicht ein Teil eines „drop-down"-Menüs oder ähnliche
andere Benutzerschnittstellen sein. Wenn der Komplettierungsknopf oder "Done" Knopf 365 aktiviert
ist, wird eine Verknüpfung
zwischen der umgewandelten Textsektion 305 und der elektronischen
Tintensektion 310 aufgebrochen, so wie es weiter unten
in Bezug auf 8 diskutiert wird.
-
4 illustriert
einen beispielhaften Anzeigeschirm 400 in welchem ein Menü 405 angezeigt wird.
In Erwiderung auf einen Rechtsklick auf das Wort "Flutteryl" 330. Das
Menü 405 kann
ein oder mehrere abgestufte Empfehlungen 410 beinhalten, ebenso
wie einen Reklassifikationsbefehl 415, einen Wörterbuchbefehl 420,
einen Ausschneidebefehl 425, einen Kopierbefehl 430 und
einen Einfügenbefehl 445.
Die Empfehlung 410 kann andere Worte beinhalten, welche
durch den Benutzerschnittstellenspracheingabeprozessor 297 erzeugt
werden, wenn die elektronische Tinte 320 verarbeitet wird.
Der Benutzerschnittstellenspracheingabeprozessor 297 bestimmt,
welches Wort in einem Wörterbuch
den in der elektronischen Tinte 320 erkannten am ähnlichsten
erscheint.
-
Die
Empfehlungen 410 sind abgestuft, das bedeutet, dass ein
Benutzerschnittstellenspracheingabeprozessor 297 Muster
von erkannten Worten nach der Auswahl durch den Benutzer aus dem Menü 405 erlernt
werden kann. Die Empfehlung 410 niedrigerer zahlenmäßiger Einstufung
sind typischerweise die Worte, die eine höhere Wahrscheinlichkeit aufweisen,
das entsprechende korrekte Wort bezüglich der erkannten elektronischen
Tinte 320 zu sein.
-
Die
Anweisung oder Befehle, welche aus dem Menü 405 ausgewählt wurden,
werden erzeugt und überwacht
durch den Kontextmenümanager 285,
wie zuvor in Bezug auf 2 diskutiert. Der Reklassifikationsbefehl 415 erlaubt,
dass erkannte Tinte erneut als eine Zeichnung klassifiziert wird,
wenn erkannt wird, dass beabsichtigt war, dass die elektronische
Tinte eine Zeichnung anstelle eines Textes sein sollte. Die Anweisung "zum Wörterbuch
hinzufügen" 420 erlaubt,
das Hinzufügen
des derzeitigen Textes zu dem Wörterbuch
als ein neues Wort, so dass im nachfolgenden Rechtschreibkontrollen
das vorliegende Wort erkannt werden kann.
-
5 zeigt
einen beispielhaften Anzeigeschirm 500, der einen Aufteilungsmechanismus 505 beinhaltet,
wo eine Trennstelle (oder auch Umruch- oder Aufbruchstelle) 510 ausgewählt werden
kann. Zusätzlich
zu dem Aufteilungsmechanismus 505 beinhaltet der beispielhafte
Anzeigeschirm 500 weiterhin einen Text 515, welcher
angibt, wie der Aufteilungsmechanismus 505 benutzt werden
kann. Der Aufteilungsmechanismus 505 ist ausgestaltet,
um das Aufteilen von Wörtern,
die von dem Benutzerschnittstellenspracheingabeprozessor 297 unbeabsichtigt
zusammengruppiert wurden, aufzuteilen. In der beispielhaften Ausführungsform
von 5 kann das Wort "backpacking" mit dem Aufteilungsmechanismus 505 aufgeteilt
oder gespalten werden. Der Aufteilungsmechanismus 505 kann durch
ein Parsingmodul 210 überwacht
und gesteuert werden, wie zuvor in Bezug auf 2 illustriert und
diskutiert wurde.
-
6 zeigt
einen beispielhaften Anzeigeschirm 600, der mit einer Umbruch-
oder Trennstelle 510, die zuvor in 5 ausgewählt wurde,
zusammenhängt.
Genauer gesagt werden Leerzeichen 605 und 610 nun
zwischen dem Text "back" 615 und "packing" 620 angezeigt. Ähnlicherweise,
in Bezug auf die elektronische Tinte 320 wird das Wort "back" 625 von
dem elektronischen Tintenwort "packing" 630 durch
ein Leerzeichen 610 getrennt. In anderen Worten wird in
der beispielhaften Ausführungsform
der 6 jeder Trennpunkt oder Leerzeichen zwischen dem
konvertierten Text 315 in die elektronische Tinte 320 umgesetzt.
Jedoch wird angemerkt, dass in einer nicht gezeigten beispielhaften
Ausführungsform
jedes Leerzeichen oder neue Umbruchstelle die mit dem Aufteilungsmechanismus 505 in
dem konvertierten Text 315 gemacht wird, nicht in die elektronische Tinte 320 übertragen
wird. Das heißt,
in einer nicht illustrierten beispielhaften Ausführungsform ist das Leerzeichen 610 nicht
für die
elektronische Tinte 320 er zeugt worden, wenn eine Umbruchstelle
ausgewählt
wurde, um das Textwort "back" 615 von
dem umgewandelten Textwort "packing" 620 zu
separieren.
-
7 zeigt
einen beispielhaften Anzeigeschirm 700, in dem der umgewandelte
Text 315 komplett separat von der zuvor angezeigten elektronischen
Tinte 320 angezeigt wird. 7 verbildlicht den
Anzeigeschirm 700, der in Erwiderung auf den Beendigungs-
oder "Done" Knopf 365 angezeigt
werden kann, in welchem das Bearbeiten des konvertierten Textes
beendet oder terminiert wurde. 7 zeigt ebenso,
dass einzelne Seiten von elektronischer Tinte umgewandelt und bearbeitet
werden können,
ohne zu erfordern, dass alle konvertierten Textseiten gleichzeitig
bearbeitet werden müssen.
-
8 illustriert
eine funktionales Blockdiagramm, welches die Verbindungen (Links) 800,
welche zwischen der originalen elektronischen Tinte 320 und
dem konvertiertem Text 315 existieren, demonstriert. Die
Verbindung (Link) 800 beinhaltet eine „Miew"-Ansicht 805,
die in den 3 bis 6 verbildlicht
ist. In anderen Worten ist die „Miew"-Ansicht 805 der
Anzeigeschirm oder die Benutzerschnittstelle, der/die den Abschnitt
mit konvertiertem Text 305 beinhaltet, welcher von dem
Abschnitt mit elektronischer Tinte 310 durch eine Trennlinie 307 getrennt ist.
Die „Miew"-Ansicht 805 ist
eine Kombination einer Modusoperation und einer Ansicht (View) für den erkannten
Text. Daher rührt
die Bezeichnung „Miew"-Ansicht 805.
Wenn die Verknüpfung
der „Miew"-Ansicht 805 aufgebrochen
wird, können
der umgewandelte Text 315 oder die originale Tinte 320 separat
gespeichert werden. Alternativ kann die originale Tinte 320 in
einem separaten Speicherbereich relativ zu dem umgewandelten Text 315 gespeichert werden,
jedoch kann die Datei oder die Seite, die die elektronische Tinte
beinhaltet, ein Flag beinhalten, welches anzeigt, dass die „Miew"-Ansicht 805 immer noch
aktiviert ist und deshalb erfordert, dass das Anzeigen von irgend
einem umgewandelten Text 315 gleichzeitig oder zusammen
mit elektronischer Tinte 320 wie in 3 bis 6 gezeigt
wird. Wie zuvor beschrieben, nach dem Auswählen des Beendigungs- oder "done" Knopfes 365 kann
die Ansichtsverknüpfung 805 beendet
oder entfernt werden, relativ zu der originalen elektronischen Tinte 320 und
der umgewandelte Text 315 der zuvor angezeigt wurde in der „Miew"-Ansicht 805 kann
nun auf einem separaten Schirm relativ zu der originalen elektronischen Tinte 320 angezeigt
werden.
-
9 ist
ein funktionales Blockdiagramm, welches die Hierarchie 900 von
verschiedenen Typen von Seitenobjekten anzeigt, die auf einer Anzeigevorrichtung
gemäß einer beispielhaften
Ausführungsform
der vorliegenden Erfindung vorhanden sein können. Eine Seite 905 kann
eine von drei Typen von Seitenobjekten beinhalten: ein bitmap-Bild oder
Grafik 910; ein Umrissobjekt 1005; und ein Zeichnungsobjekt 940.
Jedoch ist dem Fachmann klar, dass andere Typen von Seitenobjekten
dann nicht außerhalb
des Bereichs der vorliegenden Erfindung liegen.
-
Jedes
Umrissobjekt kann ein oder mehrere Knoten (Node) 915 beinhalten.
Jeder Knoten 915 kann einer von drei Typen von Knotenelementen
beinhalten: Text 920, ein bitmap-Bild oder Grafik 910, oder
ein Tintenobjekt 930. Jedoch ähnlich wie bei den Seitenobjekten
wie zuvor beschrieben, ist dem Fachmann klar, dass unterschiedliche
Typen von Knotenelementen nicht außerhalb des Bereichs und der Idee
der vorliegenden Erfindung liegen. Ein Tintenobjekt 930 beinhaltet
typischerweise ein Objekt, das erzeugt wird mit einem Stift oder
einer anderen Schirmanzeigevorrichtung, die daran erinnert, wie
solch ein Objekt mit Stift und Papier erstellt werden würde. Unterdessen
kann ein Bild 910 ein existierendes Bild in einer Datei
im Speicher oder ein Bild, das mit einem Softwareprogramm erzeugt
wurde, beinhalten.
-
10 verbildlicht
ein funktionales Blockdiagramm, welches einer Abbildungs- oder Baumhierarchie 1000 zeigt,
auf wie mittels des Auswahlmanagers 280 zugegriffen werden
kann, um das Hervorheben des umgewandelten Textes 315 oder
elektronischer Tinte 320 die ausgewählt wurde, zu erfolgen. Der
Hierarchiebaum 1000 beinhaltet eine elektronische Tintenseite 310 und
eine Textseite aus konvertiertem Text 305. Die Baumstruktur
für die
elektronische Tintenseite 310 beinhaltet des weiteren ein
erstes Umrissobjekt 1005. Das erste Umrissobjekt 1005 beinhaltet
einen ersten Knoten A 1010 und einen zweiten Knoten B 1035.
Der erste Knoten A 1010 beinhaltet des weiteren ein erstes
Tintenobjekt 1015 und ein zweites Tintenobjekt 1020.
Der zweite Knoten B 1025 beinhaltet weiterhin ein drittes
Tintenobjekt 1030 und ein viertes Tintenobjekt 1035.
-
Unterdessen
beinhaltet die umgewandelte Textseite 305 ein erstes Tintenumrissobjekt 1040. Das
erste Umrissobjekt 1040 beinhaltet weiterhin einen ersten
Knoten A 1045, der dem ersten Knoten A 1010 entspricht.
Der erste Knoten A 1045 der umgewandelten Textseite 305 beinhaltet
des weiteren ein erstes Tintenobjekt 1050 und ein zweites
Tintenobjekt 1055. Das erste Tintenobjekt 1050 des
ersten Knotens 1045 entspricht direkt dem Tintenobjekt 1015,
der die Adresse A1 hat. Ebenso entspricht das zweite Tintenobjekt 1055 dem
zweiten Tintenobjekt 1020, das eine Adresse A2 hat.
-
Der
zweite Knoten B 1065 der umgewandelten Textseite 305 beinhaltet
des weiteren ein drittes Tintenobjekt 1070 und ein viertes
Tintenobjekt 1075, das direkt dem dritten Tintenobjekt 1030 und
dem vierten Tintenobjekt 1035 wie zuvor beschrieben, entspricht.
-
10 verbildlicht
eine beispielhafte Baumstruktur 1000 auf die mittels des
Auswahlmanagers 280 in Erwiderung auf entweder der Auswahl
der elektronischen Tinte 320 oder der Auswahl des umgewandelten
Textes 315 zugegriffen werden kann. In anderen Worten,
kann der Auswahlmanager 280 auf die beispielhafte Architekturstruktur 1000 zugreifen, um
hervorzuheben oder anzuzeigen, dass das derzeitige Wort in einer
Sektion der Anzeigevorrichtung mit elektronischer Tinte einem anderen
Wort in einer Sektion mit umgewandelten Text entspricht und umgekehrt.
In anderen Worten, nach der Auswahl des umgewandelten Textes 315 kann
der Auswahlmanager 280 die beispielhafte hierarchische
Baumstruktur 1000 benutzen, um die entsprechende Adresse
der elektronischen Tinte zu finden, die übersetzt worden ist. Die vorliegende
Erfindung ist nicht beschränkt
auf die beispielhafte Datenstruktur 1000, wie in 10 gezeigt.
Der Fachmann ist sich darüber
im klaren, dass andere Wege existieren, um ausgewählten Text mit
entsprechender elektronischer Tinte oder elektronischer Tinte mit
dem entsprechenden elektronischen Text zuzuordnen.
-
Bestimmte
Schritte in dem unten beschriebenen Prozess müssen natürlicherweise anderen Schritten
vorangehen, damit die vorliegende Erfindung wie beschrieben funktioniert.
Jedoch ist die vorliegende Erfindung nicht beschränkt auf
die Reihenfolge der Schritte wie beschrieben, wenn eine solche Reihenfolge
oder Sequenz nicht die Funktionalität der vorliegenden Erfindung ändert. Das
heißt,
es ist klar, dass einige Schritte durchgeführt werden können, vor
oder nach anderen Schritten, oder parallel zu diesen Schritten,
ohne von dem Umfang oder der Idee der vorliegenden Erfindung abzuweichen.
-
11 illustriert
ein logisches Flussdiagramm einer Übersicht eines beispielhaften
Prozesses zum Anzeigen und Verketten von Erzeugnissen mit erkanntem
Text und Objekten. Der erste Schritt in dem Prozess 1100 ist
der Schritt 1103 in welchem Eingaben von einer Schnittstelle
empfangen werden. Zum Beispiel kann das Tablet 250 eine
Eingabe von einem Stift 255 empfangen.
-
Als
nächstes,
in Schritt 1106, kann die Eingabe in elektronische Tinte
umgewandelt werden. Zum Beispiel kann das Tintenerzeugungskommando,
welches von dem Stift 225 empfangen wurde, zu einem Klassifikationsmodul 215 gesendet
werden. Das Klassifikationsmodul 215 bestätigt, dass
das empfangene Kommando tatsächlich
Tinte („Ink") ist und sendet
diese Information zurück
zu dem Dokumentenbearbeitungsmodul/Benutzerschnittstelle 205.
Das Dokumentenbearbeitungsmodul 205"trocknet" die Tinte durch Glätten (oder Aufweichen, Smoothing)
der Tinte gemäß mathematischen „Smoothing"-Gleichungen, die
dem Fachmann bekannt sind. Nach dem Trocknen der elektronischen
Tinte beendet das Dokumentenbearbeitungsmodul 205 das Umwandeln der
elektronischen Tinte und sendet diese zu dem Tablet 250 oder
Monitor 270 zum Anzeigen gemäß dem Schritt 1109.
-
In
Schritt 1112 wird ein Kommando zum Umwandeln der elektronischen
Tinte 320 in Text empfangen. Als nächstes, in Routine 1115 wird
die elektronische Tinte 320 in Text 315 konvertiert.
Dokumentenbearbeitungsmodul/Benutzerschnittstelle 205 sendet die
elektronische Tinte zu einem Worterkenner 235. Der Worterkenner 235 erzeugt
eine Liste von Alternativen für
jedes erkannte elektronische Tintenwort. Nach dem Erzeugen der Liste
von Alternativen für
jedes Wort das aus der elektronischen Tinte erkannt wurde, wird
der umgewandelte Text zurück
zu dem Dokumentenbearbeitungsmodul 205 gesendet. Das Dokumentenbearbeitungsmodul 205 leitet
dann den Text zu einem „Rich"-Bearbeitungsmodul 275 weiter, welches
den Wortumbruch und die Auswahl von Text beobachtet und steuert.
Das Dokumentenbearbeitungsmodul 205 leitet dann einen Teil
der Information an den Texteingabemanager 295 weiter. Der
Texteingabemanager 295 leitet dann die Information an einen
Benutzerschnittstellenspracheingabeprozessor 297 weiter.
Der Benutzerschnittstellenspracheneingabeprozessor 297 führt eine
zusätzliche
Tinten-Erkennung durch und bietet zusätzliche Alternativen für die erkannten
Worte an.
-
Nach
dem Umwandeln der elektronischen Tinte in Text wird in dem optionalen
Schritt 1118 die Rechtschreibung des umgewandelten Textes
geprüft.
Jedoch wird angemerkt, dass die Rechtschreibkontrolle des umgewandelten
Textes nicht unbedingt nötig
ist und dass solch ein Schritt auch ausgelassen werden kann, wenn
dies gewünscht
ist. Nach dem Schritt der Rechtschreibkontrolle 1118 werden
in Schritt 1121 Seiten der elektronischen Tinte 320 mit Seiten
des umgewandelten Textes 315 verknüpft. Die verknüpften Seiten
werden dann auf der Anzeigevorrichtung wie beispielsweise das Tablet 250 oder den Monitor 270 angezeigt,
wie in 3 gezeigt. Im Schritt 1127 werden falschgeschriebene
oder nichterkannte/unerkennbare Worte auf der Anzeigevorrichtung,
wie beispielsweise das Tablet 250 oder den Monitor, 270 angezeigt.
Dann wird in dem Entscheidungsschritt 1130 festgestellt,
ob ein umgewandelter Text 315 ausgewählt wurde. Der Terminus "Auswahl" oder "auswählen" kann das Markieren
oder Identifizieren eines Objektes, welches auf der Anzeigevorrichtung
für eine
spätere
Operation angezeigt wird, bedeuten.
-
Wenn
das Ergebnis des Entscheidungsschrittes 1130 positiv ist,
dann wird der "ja"-Verzweigung zur Routine 1133 gefolgt,
in welcher die entsprechende elektronische Tinte 320 identifiziert
wird. Weitere Details der Routine 1133 werden weiter unten
diskutiert in Bezug auf 13. Wenn
das Ergebnis des Entscheidungsschrittes 1130 negativ ist, dann
wird der "nein"-Verzweigung zu dem
Entscheidungsschritt 1136 gefolgt.
-
In
dem Entscheidungsschritt 1136 wird festgestellt, ob irgend
eine elektronische Tinte 320 ausgewählt wurde. Wenn das Ergebnis
des Entscheidungsschrittes 1136 positiv ist, wird der ja"-Verzweigung zur
Routine 1139 gefolgt in welcher der entsprechende konvertierte
Text 315 identifiziert wird. Weitere Details der Routine 1139 wird
weiter unten in Bezug auf 13 beschrieben.
-
Wenn
das Ergebnis des Entscheidungsschrittes 1136 negativ ist,
wird der "nein"-Verzweigung zu dem Entscheidungsschritt 1142 gefolgt.
In dem Entscheidungsschritt 1142 wird festgestellt, ob ein
einzelnes Wort in dem umgewandelten Text 315 ausgewählt wurde,
für zusätzliche
Optionen. Wenn das Ergebnis des Entscheidungsschrittes 1142 positiv
ist, wird der "ja"-Verzweigung zur
Routine 1145 gefolgt in welcher (ab)gestufte Optionen und
Kommandos für
das ausgewählte
umgewandelte Wort in dem Menü 405 angezeigt
werden. Weitere Details der Routine 1145 werden weiter
unten in Bezug auf 14 diskutiert.
-
In
dem Entscheidungsschritt 1148 wird festgestellt, ob eine
Option, die in einem „drop-down"-Menü 405 für ein Wort
ausgewählt
wurde. Genauer, kann der Auswahlmanager 280 aufzeichnen,
ob irgendwelche Optionen oder Kommandos aus dem Menü 405 ausgewählt wurden.
Wenn das Ergebnis des Entscheidungsschrittes 1148 positiv
ist, wird der " ja"-Verzweigung zu dem
Schritt 1151 gefolgt, in welchem die ausgewählte Option
ausgeführt
wird. Zum Beispiel, wenn ein Ersatzwort aus der gestuften Liste 410 von
al ternativen Worten ausgewählt
wurde, dann wird das ausgewählte
Wort ersetzt durch die ausgewählte
Option. Wenn das Ergebnis des Entscheidungsschrittes 1148 negativ
ist, dann wird der "nein"-Verzweigung zu dem
Entscheidungsschritt 1154 gefolgt.
-
In
dem Entscheidungsschritt 1154 wird festgestellt, ob der
umgewandelte Text bearbeitet wurde. Wenn das Ergebnis des Entscheidungsschrittes 1154 positiv
ist, dann wird der ja"-Verzweigung
zu Schritt 1157 gefolgt, in welchem Bearbeitungsbefehle empfangen
für ein
oder mehrere Worte werden. In Schritt 1160 werden die bearbeiteten
Worte angezeigt.
-
Wenn
das Ergebnis des Entscheidungsschritte 1154 negativ ist,
wird der "nein"-Verzweigung zu dem Entscheidungsschritt 1163 gefolgt.
In dem Entscheidungsschritt 1163 wird festgestellt, ob
ein Wort in dem umgewandelten Text aufgespalten/aufgetrennt werden
muss. Wenn das Ergebnis des Entscheidungsschrittes 1163 positiv
ist, dann wird der ja"-Verzweigung
zu dem Schritt 1166 gefolgt, in welchem ein Trennungsmechanismus 505 auf
der Anzeigevorrichtung 250 oder 270 angezeigt
wird. Wenn das Ergebnis des Entscheidungsschrittes 1163 negativ
ist, dann wird der "nein"-Verzweigung zu dem
Entscheidungsschritt 1178 gefolgt.
-
In
Schritt 1169 wird eine Trennungsauswahl von dem Trennungsmechanismus 505 empfangen. Dann
wird in Schritt 1172 das umgewandelte Textwort mit der
Trennung wie in 6 gezeigt erneut angezeigt.
In dem optionalen Schritt 1175 (gezeigt mit gestrichelten
Linien) wird das elektronische Tintenwort, das dem aufgetrennten
Textwort entspricht, ebenso aufgetrennt.
-
In
dem Entscheidungsschritt 1178 wird festgestellt, ob ein
Benutzer das Bearbeiten der derzeitig angezeigten verknüpften Seite
beendet hat. Wenn das Ergebnis des Entscheidungsschrittes 1178 positiv
ist, wird der ja"-Verzweigung
zu dem Schritt 1181 gefolgt. Wenn das Ergebnis des Entscheidungsschrittes 1178 negativ
ist, dann verfährt
der Prozess weiter zu dem Entscheidungsschritt 1184.
-
Wenn
das Ergebnis des Entscheidungsschrittes 1178 positiv ist,
dann wird der ja"-Verzweigung zu Schritt 1181 gefolgt
in welchem die elektronische Tinte 320 von dem umgewandelten
Text 315, wie in 3 bis 6 illustriert,
getrennt wird.
-
Wenn
das Ergebnis des Entscheidungsschrittes 1184 negativ ist,
dann wird der "nein"-Verzweigung zu dem Entscheidungsschritt 1190 gefolgt. Wenn
das Ergebnis des Entscheidungsschrittes 1184 positiv ist,
dann wird der ja"-Verzweigung
zu Schritt 1187 gefolgt, in welchem die Auswahl für einen
nächsten
Satz von verknüpften
Seiten empfangen wird und die verknüpften Seiten dann auch ausgewählt werden.
-
In
dem Entscheidungsschritt 1190 wird festgestellt, ob die
umgewandelten Tintenseiten gespeichert werden können. Wenn das Ergebnis positiv
ist, dann wird der ja"-Verzweigung zu dem
Schritt 1193 gefolgt, in welchem die Seiten verknüpft und
abgeschlossen werden. In dem Schritt 1193 werden die Seiten
gespeichert, so dass die Verknüpfungen
gespeichert werden für
die Seiten, die nicht bearbeitet wurden.
-
13 zeigt
einen Subprozess 1133, 1139 von 11 für das Identifizieren
von entsprechender elektronischer Tinte oder entsprechendem konvertiertem
Text. Die Untermethode oder der Unterprozess 1133, 1139 beginnt
mit dem Schritt 1305 in welchem die Adresse eine Auswahl
identifiziert wird. Das bedeutet, dass wenn ein umgewandelter Text
ausgewählt
wird, wird die entsprechende Adresse der Auswahl an den Auswahlmanager 280 gesendet.
Als nächstes
kann der Auswahlmanager 280 in Schritt 1310 die
passende Adresse auf der umgewandelten Textseite oder elektronischen
Tintenseite ermitteln. Zum Beispiel, in einem kurzen Rückbezug
auf 10, würde,
wenn ein Tintenobjekt 1050 ausgewählt würde, das entsprechende Texttintenobjekt 1050 angezeigt
werden.
-
Als
nächstes,
in Schritt 1315 werden die entsprechende Tinte oder der
entsprechende umgewandelte Text hervorgehoben, mit der passenden
Adresse. Der Prozess kehrt dann zurück entweder zu dem Entscheidungsschritt 1136 oder
zu dem Entscheidungsschritt 1142.
-
14 zeigt
ein funktionales Blockdiagramm des Verfahrens 1145, welches
das Menü 405 wie
in 4 gezeigt, erzeugen kann. In Schritt 1405 wird
eine gestufte Liste von alternativen Worten 410, die aus
dem Benutzungskontext abgeleitet werden kann, für das ausgewählte Wort
angezeigt. Das Aufzeichnen von Eingaben relativ zu den alternativen Worten
kann von dem Kontextmenümanager 285 durchgeführt werden,
wie zuvor diskutiert in Bezug auf 2.
-
In
Schritt 1410 kann der Auswahlmanager 280 weitere
Kommandos 415, 420, 425, 430, 435 und 440 für das ausgewählte Wort
anzeigen. In Schritt 1415 kann eine Auswahl für ein alternatives Wort
oder Kommando empfangen werden. Der Prozess endet dann und kehrt
zu dem Entscheidungsschritt 1148 zurück.
-
Obwohl
die vorliegende Erfindung im Zusammenhang mit zahlreichen beispielhaften
Ausführungsformen
beschrieben wurde, versteht der Fachmann, dass viele Modifikationen
innerhalb des Schutzbereiches der Ansprüche, welche folgen, gemacht
werden können.
Demnach ist nicht beabsichtigt, dass der Schutzbereich der Erfindung
in irgend einer Weise durch die vorherige Beschreibung eingeschränkt wird,
aber statt dessen ist dieser durch die Ansprüche, welche nachfolgen, festgelegt.