CN101308441B - 三维显示控制方法和三维显示控制装置 - Google Patents

三维显示控制方法和三维显示控制装置 Download PDF

Info

Publication number
CN101308441B
CN101308441B CN2008101256414A CN200810125641A CN101308441B CN 101308441 B CN101308441 B CN 101308441B CN 2008101256414 A CN2008101256414 A CN 2008101256414A CN 200810125641 A CN200810125641 A CN 200810125641A CN 101308441 B CN101308441 B CN 101308441B
Authority
CN
China
Prior art keywords
aforementioned
pointer
dimensional
display
input pen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101256414A
Other languages
English (en)
Other versions
CN101308441A (zh
Inventor
中平笃
铃木尚文
越智大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN101308441A publication Critical patent/CN101308441A/zh
Application granted granted Critical
Publication of CN101308441B publication Critical patent/CN101308441B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

本发明揭示了三维指示方法。在本发明的三维指示方法中，根据在预定的检测面上使用输入笔的笔尖进行了指示时的指示位置的二维坐标、以及对前述输入笔的笔尖施加的压力即笔压或者进行了持续指示的时间或前述输入笔具有的操作单元的操作，指示表现在显示装置上的三维空间内的期望点。并且，在本发明的三维指示方法中，根据前述输入笔的笔尖或者进行了持续指示的时间或前述输入笔具有的操作单元的操作，使显示在前述三维空间内的三维指针的深度方向的坐标变化来显示在显示装置上。

Description

三维显示控制方法和三维显示控制装置
本申请是分案申请，原案申请的申请号为200580002676.3，国际申请号为PCT/JP2005/018799，申请日为2005年10月12日，发明名称为“三维指示方法、三维显示控制方法、三维指示装置、三维显示控制装置、三维指示程序、以及三维显示控制程序”。
技术领域
本发明涉及用于进行三维指示的技术，特别是，涉及使用具有笔型操作部的输入装置来进行表现在显示装置上的三维空间内的指示的技术。并且，本发明涉及用于使用指针三维指示配置(显示)在表现于显示装置上的三维空间上的对象的技术。并且，本发明涉及用于选择配置和显示在三维空间内的对象或者用于指示配置和显示在三维空间内的对象的三维显示控制技术。
背景技术
近年来，伴随PC(个人计算机)的运算性能的显著提高和处理速度的高速化、以及图形功能的强化等，GUI(图形用户界面)的显示、功能、操作全都比以往更加复杂，有很多情况是，当操作者执行目标动作时，它们成为累赘而妨碍有效操作。
为了改善这种状态而想出的是，使用三维空间来呈现和操作信息。这常常被称为三维GUI等，是在三维空间内三维地配置对象，并使用规定的输入装置来操作该对象的结构。除了该三维GUI以外，在三维空间内进行设计等的CAD和CG等中，有时也使用相同的结构，但从操作和指示相同的三维对象的观点来看，这里以三维GUI为例进行讨论。当使用该三维GUI时，可三维地配置以往在二维上排列或者重叠配置的对象，可有效使用作业空间。并且，由于包围我们的实际世界是三维空间，因而通过使GUI三维化，得到可比二维GUI更直观地使用的GUI。
这里，在操作该三维GUI的过程中成为必要的课题之一，有位于各种深度位置的对象的指示。在以往的技术中，通过使用在二维GUI中使用的鼠标、键盘、操纵杆等来附加指针的深度移动所需要的新的功能，实现了三维空间内的指示。然而，这具有以下等的缺点，即：由于操作者使用输入装置进行操作的空间与实际显示指针的空间不同，因而操作者需要有意识地将这些空间之间对应起来的多余动作，而且由于针对深度移动的功能附加等而使操作自身变得复杂。
而且，作为在操作三维GUI的过程中成为必要的课题之一，有在三维空间内的对象的操作。以往，有时使用PHANToM(SensAbleTechologies，Inc.)或SPIDER(例如，参照非专利文献1)的三维输入装置来进行三维空间内的对象操作，但与先前的指示问题一样，由于操作者使用输入装置进行操作的空间与实际显示指针的空间不同，因而操作者需要必须使这些空间有意识地对应的多余作业，而且，由于存在臂和固定线，因而操作者可操作的空间有限制，为了扩大空间，无论怎么也不得不使装置大规模化。而且，上述装置作为装置尚未一般普及，还不能说是每个人都能够熟练使用的装置。
另外，作为具有我们非常熟知的形式的装置，有笔型输入装置。近年来，作为在以往的二维GUI等的指示和对象操作中广泛使用的装置，有手写数码笔板(pen tablet)。其中，电磁感应方式的手写数码笔板(例如，参照专利文献1)由于因该装置的简易性而具有便携性、可直接使用笔指示画面、以及可取得的信息(二维位置、笔压、笔的壳体的角度、笔具有的按钮、滚轮等的状态等)的丰富性等，所以作为取代鼠标的输入装置，正安装在PC和PDA(Personal Digital Assistant：个人数字助理)上，并且近年来也正安装在便携电话等上。
然而，作为二维输入装置广泛使用的手写数码笔板(笔型输入装置)作为三维输入装置使用的例子不多。作为一例，有以下尝试，即：在空中手持可取得笔的倾斜和三维位置的笔型装置，在位于笔尖的显示装置内虚拟显示笔尖(指针)，使用虚拟显示的笔尖作为指针来实现三维空间内的指示(例如，参照专利文献2)。在该方法中，虽然操作者进行操作的空间与实际有指针显示的空间分离，但是在感觉到虚拟显示的笔尖犹如是自己的笔的一部分的这点上却超过了以往技术。然而，由于操作者必须在空中手持笔型输入装置，因而从疲劳的观点来看不适合长时间的指示作业。并且，由于手悬空，因而手的位置难以固定在一点，具有不能在操作者的目标位置保持笔尖的大的缺点。即，由于操作者使用输入装置进行操作的空间与实际显示指针和对象的空间不同，因而操作者需要必须使这些空间有意识地对应的多余作业。因此，使用该系统进行对象的细微操作等实际上是困难的。
根据以上所述，要求以下的三维指示方法和三维对象操作方法，即：能对比以往的二维GUI更接近实际世界的三维GUI，以与实际世界相同的感觉进行指示和对象操作，装置结构也简单，而且操作者不会疲劳而能有效且准确地对三维空间进行指示和对象操作，并且也能容易地进行所指示的对象的加工、编辑等。
下面，对三维空间内的指针显示相关的背景技术进行说明。如前所述，在以往的技术中，通过对在二维GUI中使用的鼠标、键盘、操纵杆等的操作附加朝深度方向移动所需要的新功能，实现指针的三维空间内的移动。并且，指针的深度方向的位置例如，通过使指针放大或缩小来表现，进行空间内的位于深处的对象的指示(例如，参照非专利文献2)。即，提出了在三维空间内，当指针位于近处时使指针显示得大，当位于深处时，使指针显示得小的方法等。
然而，这些方法大多屡次发生以下情况，即：由于显示在三维空间内的指针可在空间内沿深度方向自由移动，因而即使指针显示在显示装置上，操作者也不能对该指针究竟在哪个深度位置以及正在指示何处进行感知(识别)。
为了解决该问题，例如具有如下的方法：在指针附近显示表示深度位置不改变的xyz轴等的基准坐标等，以容易感知深度位置(例如，参照专利文献3)。然而，有时由于在显示面上出现基准坐标而遮挡操作者的视野，使作业效率下降。并且，基准坐标在指示实际世界的对象时不出现。因此，显示基准坐标的方法，在从要以与实际世界相同的感觉操作GUI的观点来看的情况下，难以说是最佳方法。
根据以上，为了以与实际世界相同的感觉操作三维GUI，在三维GUI中的使用指针的指示作业中，要求由操作者对指针位于哪个深度位置、以及正在指示何处都能迅速且准确地进行识别的有效的指示方法。
在以往的三维GUI中的使用指针的指示作业中，具有以下的问题点，即：操作者难以对指针位于哪个深度位置以及正在指示何处直观且准确地进行识别。
下面，对三维空间内的指针显示相关的其他背景技术进行说明。
作为广泛用作计算机的GUI的例子，在计算机的显示画面上模仿桌面图像的桌面隐喻(desktop metaphor)是公知的。目前，计算机大多使用以该桌面画面为核心的用户界面。桌面画面从20世纪80年代的后半期实现了产品化，而由于计算机的处理能力和显示装置的高性能化，二维桌面画面采用细微的图形表现，与此同时，达到高性能化，外观也华丽，立体视觉效果也实现多样化。而且，最近还提出把桌面扩展到三维空间、并三维地配置图标和窗口等的对象的尝试(例如，参照非专利文献3)。
在三维桌面中，具有的优点是，除了以往的二维平面空间以外，还由于深度方向的自由度扩大，因而可功能性地进行图标和窗口的排列。然而，即使使桌面三维化，使用指针的指示依然受二维移动制约。因此，完全利用深度方向的自由度变得困难。
相比之下，还考虑了使指针三维移动的尝试，然而在将对象配置在三维空间内，使指针三维移动的情况下，具有的问题是，指针隐藏在位于近处的对象的背后，看不见指针。
在桌面界面中，使用者总是识别指针位置是不可或缺的。在二维GUI中，一般，指针总是显示在最前面，而在指针背后的对象的颜色与指针自身的颜色相同的情况下，很难把指针和对象区别开，难以识别指针正在指示何处。为了避免该问题，一般，指针使用2种或2种以上的颜色。在指针的颜色例如是镶白边的黑色的情况下，只要背面颜色是白色，就能使用黑色部分明确识别指示位置，在背面颜色是黑色的情况下，可使用所镶边的白色明确识别指示位置。这样，在桌面界面中，需要总是使操作者明确识别指针正在指示哪个位置，在以往的桌面中也实施上述办法。
然后，在三维桌面中，也必须总是使操作者明确识别指针位置，然而在三维空间的性质上，在使指针移动到从操作者来看位于某对象的里(深)侧的位置的情况下，产生的问题是，指针被该对象隐藏，操作者看不见指针位置。因此，对正在指示何处进行识别是困难的，结果，产生不能进行对象选择的在桌面界面中致命的问题。这样，即使使桌面三维化，也难以使指针移动三维化，三维桌面具有不能充分利用使桌面三维化的优点的问题。
即，在以往的三维桌面等的显示装置上所表现的三维空间中，具有以下的问题，即：当在三维空间内使指针移动时，指针隐藏在对象的背面侧，操作者不能识别指针位置。
并且，与指针隐藏在某对象的里面而不能识别的情况一样，在以往的三维桌面等的显示装置上所表现的三维空间中，在某对象(近处的对象)的里面有别的对象(深处的对象)的情况下，不能直接识别深处的对象。因此，当识别或操作深处的对象的位置时，需要使近处的对象移动、或者使显示区域缩小或处于非显示状态的操作。并且，在进行了使近处的对象的显示区域缩小或处于非显示状态的操作的情况下，为了识别近处的对象的显示内容，需要使显示区域回到原来的大小或者恢复到显示状态的操作。因此，还具有操作者的便利性不良的问题。
专利文献1：日本特开平5-073208号公报
专利文献2：日本特开平6-75693号公报
专利文献3：日本特开平8-248938号公报
非专利文献1：Y.Hirata and M.Sato，“3-Dimensional Interface Devicefor Virtual Work Space”，Proc.of the 1992 IEEE/RSJ Int.Conf.on IROS，2，pp.889-896，1992.
非专利文献2：渡边惠太，安村通晃，「RUI：Realizable User Interface一カ一ソルを用いた情報リアライゼ一シヨン」，ヒユ一マンインタフエ一スシンポジウム2003論文集，2003年，p.541-544
非专利文献3：George Robertson，他7名，“The Task Gallery：A 3DWindow Manage”，Proceedings of CHI2000，1-6APRIL 2000，pp.494-501
发明内容
本发明的第1目的是提供可由操作者使用尽量小规模且操作者娴熟的装置，不会疲劳地且有效直观地三维操作位于三维GUI上的三维空间内的任意位置的指针和对象的三维指示技术。
本发明的第2目的是提供在三维GUI中的使用指针的指示中，可由操作者直观且准确地识别指针位于哪个深度位置以及正在指示何处的指示技术。
本发明的第3目的是提供在使表现于显示装置上的三维空间内的指针三维移动的情况下，当指针移动到位于另一对象的里(深)侧的位置时，也能容易地识别指针位置的技术。并且，本发明的第3目的还提供在表现于显示装置上的三维空间内，可使隐藏在显示于近处的对象的里面的别的对象的识别和操作变得容易，并使操作者的便利性提高的技术。
上述第1目的使用一种三维指示方法来达到，该三维指示方法根据在预定的检测面上使用输入笔的笔尖进行了指示时的指示位置的二维坐标、以及对前述输入笔的笔尖施加的压力即笔压，指示表现在显示装置上的三维空间内的期望点，其特征在于，根据前述输入笔的笔压，使显示在前述三维空间内的三维指针的深度方向的坐标变化来显示。
并且，第1目的还可使用一种三维指示方法来达到，该三维指示方法根据在预定的检测面上使用输入笔的笔尖进行了指示时的指示位置的二维坐标、对输入笔的笔尖施加的压力即笔压、输入笔的轴与前述检测面所成的角度即输入笔的倾斜角、以及输入笔的轴在前述检测面上的投影与前述检测面上的规定直线所成的角即输入笔的方位角，指示表现在显示装置上的三维空间内的期望点，其特征在于，根据前述输入笔的倾斜角和方位角求出前述输入笔的轴在前述三维空间的延长线；使三维指针显示在前述三维空间的延长线上；根据前述输入笔的笔压，使前述三维指针在前述三维空间的延长线方向的坐标变化来显示。
并且，第1目的还可使用一种三维指示方法来达到，该三维指示方法根据在预定的检测面上使用输入笔的笔尖进行了指示时的指示位置的二维坐标、以及进行了持续指示的时间或者前述输入笔具有的操作单元的操作，指示表现在显示装置上的三维空间内的期望点，其特征在于，根据使用前述输入笔的笔尖进行了持续指示的时间、或者前述输入笔的前述操作单元的操作，使显示在前述三维空间内的三维指针的深度方向的坐标变化来显示。
并且，第1目的还可使用一种三维指示方法来达到，该三维指示方法根据在预定的检测面上使用输入笔的笔尖进行了指示时的指示位置的二维坐标、进行了持续指示的时间或者前述输入笔具有的操作单元的操作、前述输入笔的轴与前述检测面所成的角即输入笔的倾斜角、以及前述输入笔的轴在前述检测面上的投影与前述检测面上的规定直线所成的角即输入笔的方位角，指示表现在显示装置上的三维空间内的期望点，其特征在于，根据前述输入笔的倾斜角和方位角求出前述输入笔的轴在前述三维空间的延长线；使三维指针显示在前述三维空间的延长线上；根据使用前述输入笔的笔尖进行了持续指示的时间、或者前述输入笔的前述操作单元的操作，使前述三维指针在前述三维空间的延长线方向的坐标变化来显示。
在上述结构中，当在距前述三维指针指示的点的三维坐标规定距离以内存在对象时，判定为正在指示该对象。
并且，当使用前述三维指针正在指示显示在前述三维空间内的对象时，如果进行了用于选择或抓住该对象的操作，则可以根据在用于选择或抓住前述对象的操作之后的前述三维指针的三维位置的变化，使前述对象的三维位置变化来显示。
并且，当正在指示显示在前述三维空间内的对象时，如果进行了用于开始对前述对象的操作或编辑或加工的操作，则可以使前述所指示的对象二维显示在前述显示装置的从操作者来看最近处的面上；可以针对前述进行了二维显示的对象，接受使用前述输入笔进行的二维操作或编辑或加工。
并且，可以把前述三维指针指示的点的二维坐标作为在前述检测面上使用前述输入笔的笔尖进行了指示的位置的二维坐标，可以使前述三维指针指示的点的前述二维坐标一定，而使前述三维指针的深度方向的坐标变化。
并且，本发明还可构成为一种三维指示装置，该三维指示装置生成基于在预定的检测面上使用输入笔的笔尖进行了指示时的指示位置的二维坐标、以及对前述输入笔的笔尖施加的压力即笔压的指针，使前述所生成的指针显示在表现于显示装置上的三维空间内的期望点进行指示，其特征在于，该三维指示装置具有：输入信息取得单元，其取得来自前述输入笔的二维坐标和前述笔压的信息；指针位置/旋转角度算出单元，其根据由前述输入信息取得单元所取得的信息，算出使表现在前述显示装置上的三维空间内的指针显示的位置和旋转角度；指针生成单元，其生成基于前述指针位置/旋转角度算出单元的算出结果的指针；指示判定单元，其判定在表现于前述显示装置上的三维空间内是否有使用由前述指针生成单元所生成的指针正在指示的对象；对象生成单元，其生成显示在表现于前述显示装置上的三维空间内的对象；以及显示控制单元，其使由前述指针生成单元所生成的指针和由前述对象生成单元所生成的对象显示在表现于前述显示装置上的三维空间内；前述指针位置/旋转角度算出单元根据前述输入笔的笔压，使显示在前述三维空间内的三维指针的深度方向的坐标变化来算出。
前述输入笔可以具有笔尖的长度根据前述笔压而缩短的结构；前述三维指针可以具有与前述输入笔的笔尖同等的形状、或者与笔尖的一部分同等的形状。
并且，本发明还可构成为一种三维指示装置，该三维指示装置生成基于在预定的检测面上使用输入笔的笔尖进行了指示时的指示位置的二维坐标、以及进行了持续指示的时间或者前述输入笔具有的操作单元的操作的指针，使指针显示在表现于显示装置上的三维空间内的期望点上进行指示，其特征在于，该三维指示装置具有：输入信息取得单元，其取得来自前述输入笔的二维坐标、以及前述输入笔的笔尖的有无接触或者前述输入笔的操作单元的操作的信息；输入信息处理单元，其根据由前述输入信息取得单元所取得的信息，算出使用前述输入笔的笔尖进行了持续指示的时间、或者操作了前述操作单元的量；指针位置/旋转角度算出单元，其根据由前述输入信息取得单元所取得的信息，算出使表现在前述显示装置上的三维空间内的指针显示的位置；指针生成单元，其生成基于前述指针位置/旋转角度算出单元的算出结果的指针；指示判定单元，其判定在表现于前述显示装置上的三维空间内是否有使用由前述指针生成单元所生成的指针正在指示的对象；对象生成单元，其生成显示在表现于前述显示装置上的三维空间内的对象；以及显示控制单元，其使由前述指针生成单元所生成的指针和由前述对象生成单元所生成的对象显示在表现于前述显示装置上的三维空间内；前述指针位置/旋转角度算出单元根据使用前述输入笔的笔尖进行了持续指示的时间、或者前述输入笔的操作单元的操作，使显示在前述三维空间内的三维指针的深度方向的坐标变化来算出。
前述输入笔可以具有笔尖的长度根据使用笔尖进行了持续指示的时间、或者操作单元的操作而缩短的结构；前述三维指针可以具有与前述输入笔的笔尖同等的形状、或者与笔尖的一部分同等的形状。
并且，本发明还可构成为一种三维指示程序，该三维指示程序使计算机执行上述各三维指示装置中的各单元的处理。
第2目的可使用一种三维指示方法来达到，该三维指示方法使显示在可表现三维空间的显示装置的前述三维空间内的指针在前述三维空间内移动，指示前述三维空间内的期望点，其特征在于，该三维指示方法具有：步骤1，使前述指针在与前述显示装置的三维空间的深度方向正交的二维平面内移动或旋转，并向前述深度方向移动；步骤2，在使除了前述指针的进行指示的点及其附近的进行指示的部分以外的前述指针上的预定1点的前述深度方向的位置、前述指针的形状以及尺寸保持一定的状态下，使前述指针的进行指示的部分向前述深度方向移动；以及步骤3，使在前述步骤1和步骤2中移动的指针显示在前述显示装置上。
在上述三维指示方法中，前述步骤2可以使前述指针以除了前述指针的表面上或内部的点以外的预定的中心点或中心轴为中心旋转。
并且，第2目的还可使用一种三维指示方法来达到，该三维指示方法使显示在可表现三维空间的显示装置的前述三维空间内的指针在前述三维空间内移动，指示前述三维空间内的期望点，其特征在于，该三维指示方法具有：步骤1，使前述指针在与前述显示装置的三维空间的深度方向正交的二维平面内移动或旋转，并向前述深度方向移动；步骤4，在使除了前述指针的进行指示的部分以外的前述指针上的预定1点的前述深度方向的位置保持一定，而且使前述指针的形状和尺寸变化的同时，使前述指针的进行指示的部分向前述深度方向移动；以及步骤3，使在前述步骤1和步骤4中移动的指针显示在前述显示装置上。
在上述三维指示方法中，前述步骤4可以使前述指针以除了前述指针的表面上或内部的点以外的预定的中心点或中心轴为中心旋转。并且，使前述指针旋转的前述中心点或中心轴可以根据前述指针旋转时的旋转角度而移动。
并且，前述指针包含：前述深度方向的位置、前述二维平面内的位置、形状以及尺寸是一定的第1部分，至少前述深度方向的位置变化的第2部分，以及使前述第1部分和第2部分连接的第3部分；前述步骤4可以使前述指针的前述第2部分向前述深度方向移动。并且，前述步骤4可以在使前述三维指针的前述第2部分的前述二维平面内的位置或形状或尺寸变化的同时，使前述第2部分向前述深度方向移动。
在使前述指针向深度方向移动时，前述指针的一部分超出到前述显示装置的可表现的三维空间外的情况下，可以使前述超出部分投影或折曲在前述显示装置的可表现的前述二维平面中的接近前述超出部分的二维平面上来显示。
前述步骤3可以使前述深度方向的位置是一定的参照用指针与前述指针一起显示在前述显示装置上。
并且，本发明还可构成为一种三维指示装置，该三维指示装置使指针显示在表现于可表现三维空间的显示装置上的三维空间内，根据来自输入装置的输入信息使前述指针三维移动，指示前述三维空间内的任意一点，其特征在于，该三维指示装置具有：输入信息取得单元，其取得来自前述输入装置的输入信息；指针位置/变形量算出单元，其根据由前述输入信息取得单元所取得的前述输入信息算出前述指针的显示位置和变形量；指针生成单元，其生成显示在由前述指针位置/变形量算出单元所算出的显示位置上的指针；指示判定单元，其根据由前述指针位置/变形量算出单元所算出的前述指针的显示位置，判定在前述指针所指示的点上是否有对象；对象生成单元，其在由前述指示判定单元判定为有正在指示的对象的情况下，使对象变化到被指示的状态；以及显示控制单元，其使由前述指针生成单元所生成的指针和由前述对象生成单元所生成的对象显示在前述显示装置上。并且，本发明还可构成为一种三维指示程序，该三维指示程序使计算机执行上述三维指示装置中的各单元的处理。
第3目的可使用一种三维显示控制方法来达到，该三维显示控制方法使指针和1个以上的对象显示在表现于可表现三维空间的显示装置上的三维空间内，根据来自输入装置的输入信息使前述指针三维移动，控制指示前述三维空间内的任意一点时的前述指针和前述对象的显示状态，其特征在于，该三维显示控制方法具有：步骤1，根据前述输入信息算出前述指针的显示位置；步骤2，使前述指针显示在由前述步骤1所算出的显示位置上；以及步骤3，根据由前述步骤1所算出的前述指针的显示位置，判定从观察者来看比前述指针的深度位置更近处是否有对象，使比前述指针的深度位置位于更近处的对象透明化来显示。
上述三维显示控制方法的步骤3可以仅使从观察者来看比前述指针的深度位置位于更近处的对象中的、从观察者来看与前述指针重合的对象透明化来显示。
并且，前述步骤3可以使从观察者来看比前述指针的深度位置位于更近处的对象中的除了根据来自前述输入装置的预定的输入信息所指定的对象以外的其他对象透明化来显示。
并且，前述步骤3可以根据从观察者来看比前述指针的深度位置位于更近处的对象与前述指针的深度方向的距离，使从观察者来看比前述指针的深度位置位于更近处的前述对象的透明度变化，前述对象与前述指针的深度方向的距离越大，就越增大透明度来显示。
并且，前述步骤3可以仅使以与前述指针正在指示的点重合的对象上的点为中心的任意形状的区域内透明化来显示。前述进行透明化的任意形状可以根据前述指针与前述对象的深度方向的距离的大小而变化，前述深度方向的距离越大，前述任意形状就越大。
并且，前述步骤3可以具有：在前述指针静止一定时间期间的情况下，使前述被透明化的对象回到进行透明化之前的不透明状态来显示的步骤。
并且，本发明还可构成为一种三维显示控制装置，该三维显示控制装置使指针和1个以上的对象显示在表现于可表现三维空间的显示装置上的三维空间内，根据来自输入装置的输入信息使前述指针三维移动，控制指示前述三维空间内的任意一点时的前述指针和前述对象的显示状态，其特征在于，该三维显示控制装置具有：输入信息取得单元，其取得来自前述输入装置的输入信息；指针位置算出单元，其根据由前述输入信息取得单元所取得的前述输入信息算出前述指针的显示位置；指针生成单元，其生成显示在由前述指针位置算出单元所算出的显示位置上的指针；对象变更判定单元，其根据由前述指针位置算出单元所算出的前述指针的显示位置，判定从观察者来看比前述指针的深度位置更近处是否有对象，并判定为使比前述指针的深度位置位于更近处的对象透明化；对象生成/透明化单元，其进行显示在前述显示装置上的对象的生成、以及由对象变更判定单元判定为进行透明化的对象的透明化；以及显示控制单元，其使由前述指针生成单元所生成的指针、以及由前述对象生成/透明化单元所生成的对象或进行了透明化的对象显示在前述显示装置上。并且，本发明还可构成为一种三维显示控制程序，该三维显示控制程序使计算机执行上述三维显示控制装置的各单元的处理。
根据用于达到第1目的的发明，通过生成反映了根据输入笔的笔尖的位置、笔压或者使用前述输入笔的笔尖进行了持续指示的时间或者前述输入笔的操作单元(按钮、滚轮、滑动条等)的操作所取得的信息、以及前述输入笔的倾斜和方位等的信息的指针，并显示在前述显示装置上，来指示表现在前述显示装置上的三维空间内的任意点。此时，前述输入笔是例如手写数码笔板的操作笔(电子笔)、操作触摸屏的记录笔等的笔，可在使笔尖与预定的检测面上接触的状态下进行操作。因此，准确的指示操作是容易的，可减轻由长时间的指示操作引起的疲劳。
并且，通过使前述手写数码笔板的检测单元(数字化装置)与前述显示装置的显示面重合，或者使用前述触摸屏，可使前述输入笔与前述显示装置的显示面上接触来进行指示操作。因此，可进行更准确的直观的三维指示操作。
并且，当生成反映前述输入笔的倾斜角、方位角、绕轴的旋转角的变化来使位置和朝向变化的指针时，生成和显示按照前述指针的变化而使前述对象的位置和朝向变化的对象，因而没有必要取得用于使前述对象的位置和朝向变化的特殊操作，操作者的便利性提高。
并且，当正在指示前述对象时，通过进行用于开始对该对象的操作或编辑或加工的操作，可使前述所指示的对象处于可进行二维GUI的操作、编辑、加工的处理的状态，即，可使迄今为止的二维GUI上的对象处于可使用笔型输入装置进行操作的状态。因此，三维对象的加工可通过与迄今为止的二维GUI中的操作没有改变的操作来实现。因此，操作者没有必要学习用于加工对象的新的三维操作。而且，在二维GUI的操作、编辑、加工等的处理结束后，可再次把对象作为三维对象来处理，因而在前述二维GUI中的操作(处理)结束后，可使前述对象再次容易地移动到操作者期望的三维位置。
根据用于达到第2目的的发明，通过在使指针上的某1点的深度位置保持一定的同时，改变前述指针的进行指示的部分的深度位置，来识别前述指针正在指示的部分的深度方向的变化。此时，操作者可根据前述指针的深度位置保持一定的部分和前述正在指示的部分的状态准确且直观地识别正在被指示的深度位置。
并且，在使前述正在指示的部分向深度方向移动的情况下，根据使前述指针旋转的方法，每当前述指针旋转时，前述指针的深度方向的倾斜就改变，可容易识别正被指示的深度位置。并且此时，使前述指针旋转的前述中心点或中心轴可以固定，也可以根据前述指针旋转时的旋转角度而移动。
并且，在指针具有前述第1部分、第2部分以及第3部分的结构中，仅前述正在指示的部分成为在深度方向折曲的指针。因此，可根据前述第1部分、第2部分以及第3部分的状态容易识别正被指示的深度位置。并且此时，通过在使前述第2部分的前述二维平面内的位置、或形状、或尺寸变化的同时，使前述第2部分向前述深度方向移动，可进行深度位置的准确识别。
根据用于达到第3目的的发明，使比前述指针的深度位置更位于近处的对象透明化来显示。因此，当使前述指针三维移动时，前述指针不会由比前述指针更位于近处的对象隐藏而看不见。因此，即使在前述指针移动到进入某个对象的背面侧的位置的情况下，也能容易识别前述指针的位置。并且，通过使比前述指针更位于近处的对象透明化，可容易识别隐藏在前述被透明化的对象的背面侧的别的对象的位置，可进行指示。并且，由于通过使前述指针移动到近处而使被透明化的对象回到原来的不透明状态的显示，因而前述被透明化的对象的显示内容也能容易识别。并且，由于这种对象的透明化和不透明化可通过前述指针的深度方向的移动来控制，因而前述指针的操作者的便利性提高。
并且，即使比前述指针更位于近处，已选择的状态的对象也不进行透明化，由此已选择的对象的识别变得容易。并且，由于越是距前述指针的深度方向的距离大的对象，越是增大透明度，因而可容易识别位于前述指针的深度位置和前述指针的附近的对象。
并且，由于以与前述指针正在指示的点重合的点为中心，仅使圆形或椭圆形、或多边形等的任意形状的区域内透明化，因而可防止前述对象整体进行透明化，可减少在透明化和不透明化的切换连续进行的情况等下的视觉麻烦。
并且，由于在前述指针静止经过了一定时间的情况下，使前述进行了透明化的对象回到原来的不透明状态来显示，因而即使使前述指针不移动到比进行了透明化的对象更近处，也能识别前述被透明化的对象的显示内容，操作者的便利性进一步提高。
附图说明
图1是用于对第1实施方式的三维指示方法的概要进行说明的示意图，是示出实现第1实施方式的指示方法的系统的结构例的图。
图2是用于对第1和第2实施方式的三维指示方法的概要进行说明的示意图，是用于对第1和第2实施方式的三维指示方法的原理进行说明的图。
图3是用于对第1实施方式的三维指示方法的概要进行说明的示意图，是示出在第1实施方式的三维指示方法中使用的输入笔的结构例的图。
图4A是用于对实施例1-1、2-1的三维指示方法进行说明的示意图，是示出表现在显示装置上的三维空间的一例的正面图和右侧面图以及下面图。
图4B是用于对实施例1-1、2-1的三维指示方法进行说明的示意图，是示出表现在显示装置上的三维空间的一例的鸟瞰图。
图5A是用于对实施例1-1、2-1的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图5B是用于对实施例1-1、2-1的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图5C是用于对实施例1-1、2-1的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图6A是用于对实施例1-1、2-1的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。
图6B是用于对实施例1-1、2-1的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。
图6C是用于对实施例1-1、2-1的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。
图7是用于对实施例1-1的三维指示方法进行说明的示意图，是示出本实施例1-1的三维指示方法的处理过程的流程图。
图8A是用于对实施例1-1、2-1的三维指示方法的变形例进行说明的示意图，是示出进行显示的指针的形状的图。
图8B是用于对实施例1-1、2-1的三维指示方法的变形例进行说明的示意图，是示出进行显示的指针的形状的图。
图8C是用于对实施例1-1、2-1的三维指示方法的变形例进行说明的示意图，是示出进行显示的指针的形状的图。
图8D是用于对实施例1-1、2-1的三维指示方法的变形例进行说明的示意图，是示出进行显示的指针的形状的图。
图9A是用于对实施例1-2、2-2的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图9B是用于对实施例1-2、2-2的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图9C是用于对实施例1-2、2-2的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图10A是用于对实施例1-2、2-2的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。
图10B是用于对实施例1-2、2-2的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。
图10C是用于对实施例1-2、2-2的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。
图11是用于对实施例1-3、2-3的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图12是用于对实施例1-3、2-3的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图13是用于对本发明的实施例1-3的三维指示方法进行说明的示意图，是示出本实施例1-3的三维指示方法的处理过程的流程图。
图14A是用于对实施例1-4、2-4的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图14B是用于对实施例1-4、2-4的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图14C是用于对实施例1-4、2-4的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图15A是用于对实施例1-4、2-4的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。
图15B是用于对实施例1-4、2-4的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。
图15C是用于对实施例1-4、2-4的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。
图16A是用于对实施例1-5、2-5的三维指示方法进行说明的示意图，是对在实施例1-5、2-5中使用的显示装置(DFD)的原理进行说明的图。
图16B是用于对实施例1-5、2-5的三维指示方法进行说明的示意图，是对在实施例1-5、2-5中使用的显示装置(DFD)的原理进行说明的图。
图17A是用于对实施例1-5、2-5的三维指示方法进行说明的示意图，是示出表现在显示装置上的三维空间的一例的正面图和右侧面图以及下面图。
图17B是用于对实施例1-5、2-5的三维指示方法进行说明的示意图，是示出表现在显示装置上的三维空间的一例的鸟瞰图。
图18A是用于对实施例1-5、2-5的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图18B是用于对实施例1-5、2-5的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图18C是用于对实施例1-5、2-5的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图18D是用于对实施例1-5、2-5的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图19A是用于对实施例1-5、2-5的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图19B是用于对实施例1-5、2-5的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图19C是用于对实施例1-5、2-5的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图19D是用于对实施例1-5、2-5的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图20是用于对实施例1-5的三维指示方法进行说明的示意图，是示出本实施例1-5的三维指示方法的处理过程的流程图。
图21A是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出表现在显示装置上的三维空间的一例的正面图和右侧面图以及下面图。
图21B是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出表现在显示装置上的三维空间的一例的鸟瞰图。
图22A是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图22B是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图22C是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图23A是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图23B是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图23C是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图24A是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图24B是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图24C是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图25A是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图25B是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图25C是用于对实施例1-6、2-6的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图26是用于对实施例1-6的三维指示方法进行说明的示意图，是示出本实施例1-6的三维指示方法的处理过程的流程图。
图27是用于对实施例1-6的三维指示方法进行说明的示意图，是示出实施例1-6的三维指示方法的处理过程的变形例的流程图。
图28A是用于对使用实施例1-6、2-6的三维指示方法删除对象的方法进行说明的示意图，是示出表现在显示装置上的三维空间的一例的正面图和右侧面图以及下面图。
图28B是用于对使用实施例1-6、2-6的三维指示方法删除对象的方法进行说明的示意图，是示出表现在显示装置上的三维空间的一例的鸟瞰图。
图29A是用于对使用实施例1-6、2-6的三维指示方法删除对象的方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图29B是用于对使用实施例1-6、2-6的三维指示方法删除对象的方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图30A是用于对使用实施例1-6、2-6的三维指示方法删除对象的方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图30B是用于对使用实施例1-6、2-6的三维指示方法删除对象的方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图30C是用于对使用实施例1-6、2-6的三维指示方法删除对象的方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图31A是用于对使用实施例1-6、2-6的三维指示方法删除对象的方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图31B是用于对使用实施例1-6、2-6的三维指示方法删除对象的方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图32A是用于对使用实施例1-6、2-6的三维指示方法删除对象的方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图32B是用于对使用实施例1-6、2-6的三维指示方法删除对象的方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图32C是用于对使用实施例1-6、2-6的三维指示方法删除对象的方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图33是用于对实施例1-7的三维指示方法进行说明的示意图，是示出在实施例1-7的三维指示方法中使用的输入笔的结构例的图。
图34是用于对实施例1-7的三维指示方法进行说明的示意图，是示出在实施例1-7的三维指示方法中使用的输入笔的结构例的图。
图35A是用于对实施例1-7、2-7的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图35B是用于对实施例1-7、2-7的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图35C是用于对实施例1-7、2-7的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图36A是用于对实施例1-7、2-7的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。
图36B是用于对实施例1-7、2-7的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。
图36C是用于对实施例1-7、2-7的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。
图37A是用于对实施例1-8、2-8的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图37B是用于对实施例1-8、2-8的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图37C是用于对实施例1-8、2-8的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图38A是用于对实施例1-8、2-8的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图38B是用于对实施例1-8、2-8的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图38C是用于对实施例1-8、2-8的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图。
图39A是用于对实施例1-8、2-8的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图39B是用于对实施例1-8、2-8的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图39C是用于对实施例1-8、2-8的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图40A是用于对实施例1-8、2-8的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图40B是用于对实施例1-8、2-8的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图40C是用于对实施例1-8、2-8的三维指示方法进行说明的示意图，是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。
图41是用于对第2实施方式的三维指示方法的概要进行说明的示意图，是示出实现第2实施方式的指示方法的系统的结构例的图。
图42是用于对第2实施方式的三维指示方法的概要进行说明的示意图，是示出在第2实施方式的三维指示方法中使用的输入笔的结构例的图。
图43是用于对实施例2-1的三维指示方法进行说明的示意图，是示出实施例2-1的三维指示方法的处理过程的流程图。
图44是用于对实施例2-2的三维指示方法进行说明的示意图，是示出本实施例2-2的三维指示方法的处理过程的流程图。
图45是用于对实施例2-3的三维指示方法进行说明的示意图，是示出本实施例2-3的三维指示方法的处理过程的流程图。
图46是用于对实施例2-5的三维指示方法进行说明的示意图，是示出本实施例2-5的三维指示方法的处理过程的流程图。
图47是用于对实施例2-6的三维指示方法进行说明的示意图，是示出本实施例2-6的三维指示方法的处理过程的流程图。
图48是用于对实施例2-7的三维指示方法进行说明的示意图，是示出在本实施例2-7的三维指示方法中使用的输入笔的结构例的图。
图49是用于对实施例2-7的三维指示方法进行说明的示意图，是示出在本实施例2-7的三维指示方法中使用的输入笔的结构例的图。
图50是示出用于实现第3实施方式的三维指示方法的系统的结构例的示意图。
图51是用于对实施例3-1的三维指示方法进行说明的示意图，是对指针的操作方法进行说明的图。
图52是用于对实施例3-1的三维指示方法进行说明的示意图，是示出当指示比指针更位于深处的对象时的三维空间内的变化的正面图和右侧面图。
图53是用于对实施例3-1的三维指示方法进行说明的示意图，是图52的三维空间内的变化的立体图。
图54是用于对实施例3-1的三维指示方法进行说明的示意图，是示出当指示比指针更位于近处的对象时的三维空间内的变化的正面图和右侧面图。
图55是用于对实施例3-1的三维指示方法进行说明的示意图，是用于对使用系统控制装置(指示装置)执行本实施例3-1的三维指示方法时的处理过程进行说明的流程图。
图56A是示出指针形状的变形例的示意图，是示出三角形状的指针的图。
图56B是示出指针形状的变形例的示意图，是示出人手形状的指针的图。
图56C是示出指针形状的变形例的示意图，是示出水滴形状的指针的图。
图56D是示出指针形状的变形例的示意图，是示出十字形状的指针的图。
图57是示出在本实施例3-1的三维指示方法中显示基准的例子的图。
图58是用于对本实施例3-1的三维指示方法的变形例进行说明的示意图，是示出当指示比指针更位于深处的对象时的三维空间内的变化的正面图和右侧面图。
图59是用于对本实施例3-1的三维指示方法的第1应用例进行说明的示意图，是示出当指示比指针更位于深处的对象时的三维空间内的变化的正面图和右侧面图。
图60是用于对本实施例3-1的三维指示方法的第2应用例进行说明的示意图，是示出当指示比指针更位于深处的对象时的三维空间内的变化的正面图和右侧面图。
图61是用于对本实施例3-1的三维指示方法的第3应用例进行说明的示意图，是示出系统的结构例的图。
图62A是用于对本实施例3-1的三维指示方法的第3应用例进行说明的示意图，是对DFD的动作原理进行说明的图。
图62B是用于对本实施例3-1的三维指示方法的第3应用例进行说明的示意图，是对DFD的动作原理进行说明的图。
图63A是用于对本实施例3-1的三维指示方法的第4应用例进行说明的示意图，是示出追寻直线状的轨迹时的应用例的图。
图63B是用于对本实施例3-1的三维指示方法的第4应用例进行说明的示意图，是示出追寻直线状的轨迹时的应用例的图。
图64A是用于对本实施例3-1的三维指示方法的第4应用例进行说明的示意图，是示出追寻直线状的轨迹时的应用例的图。
图64B是用于对本实施例3-1的三维指示方法的第4应用例进行说明的示意图，是示出追寻直线状的轨迹时的应用例的图。
图65A是用于对本实施例3-1的三维指示方法的第4应用例进行说明的示意图，是示出追寻圆弧状的轨迹时的应用例的图。
图65B是用于对本实施例3-1的三维指示方法的第4应用例进行说明的示意图，是示出追寻圆弧状的轨迹时的应用例的图。
图66A是用于对本实施例3-1的三维指示方法的第4应用例进行说明的示意图，是示出追寻圆弧状的轨迹时的应用例的图。
图66B是用于对本实施例3-1的三维指示方法的第4应用例进行说明的示意图，是示出追寻圆弧状的轨迹时的应用例的图。
图67是用于对实施例3-2的三维指示方法进行说明的示意图，是示出当指示比指针更位于深处的对象时的三维空间内的变化的正面图和右侧面图。
图68A是用于对实施例3-2的三维指示方法进行说明的示意图，是对在本实施例3-2的三维指示方法中成为问题的点进行说明的图。
图68B是用于对实施例3-2的三维指示方法进行说明的示意图，是对解决图68A所示的问题点的方法的一例进行说明的图。
图69是用于对实施例3-2的三维指示方法进行说明的示意图，是对图68B所示的解决方法的变形例进行说明的图。
图70A是用于对本实施例3-2的三维指示方法的应用例进行说明的示意图，是示出成为旋转中心的点在三维空间内固定时的例子的图。
图70B是用于对本实施例3-2的三维指示方法的应用例进行说明的示意图，是示出成为旋转中心的点在三维空间内移动时的例子的图。
图71是用于对实施例3-3的三维指示方法进行说明的示意图，是示出当指示比指针更位于深处的对象时的三维空间内的变化的正面图和右侧面图。
图72是用于对实施例3-3的三维指示方法进行说明的示意图，是图71的三维空间内的变化的立体图。
图73是用于对实施例3-3的三维指示方法进行说明的示意图，是用于对使用系统控制装置(指示装置)执行实施例3-3的三维指示方法时的处理过程进行说明的流程图。
图74A是用于对本实施例3的三维指示方法中的指针连接方法进行说明的示意图，是示出从XZ平面侧看到的指针连接方法的图。
图74B是用于对本实施例3的三维指示方法中的指针连接方法进行说明的示意图，是示出从XZ平面侧看到的指针连接方法的图。
图74C是用于对本实施例3的三维指示方法中的指针连接方法进行说明的示意图，是示出从XZ平面侧看到的指针连接方法的图。
图74D是用于对本实施例3的三维指示方法中的指针连接方法进行说明的示意图，是示出从XZ平面侧看到的指针连接方法的图。
图75是用于对本实施例3-3的三维指示方法的应用例进行说明的示意图，是示出在保持分别指示的部分的形状的状态下移动时的应用例的图。
图76A是用于对本实施例3-3的三维指示方法的应用例进行说明的示意图，是示出在保持进行指示的部分的形状的状态下移动时的应用例的图。
图76B是用于对本实施例3-3的三维指示方法的应用例进行说明的示意图，是示出在保持进行指示的部分的形状的状态下移动时的应用例的图。
图77A是用于对本实施例3-3的三维指示方法的应用例进行说明的示意图，是示出使进行指示的部分的形状变化时的应用例的图。
图77B是用于对本实施例3-3的三维指示方法的应用例进行说明的示意图，是示出使进行指示的部分的形状变化时的应用例的图。
图78A是用于对本实施例3-3的三维指示方法的应用例进行说明的示意图，是示出使进行指示的部分的形状变化时的应用例的图。
图78B是用于对本实施例3-3的三维指示方法的应用例进行说明的示意图，是示出使进行指示的部分的形状变化时的应用例的图。
图79A是用于对第1、第2实施方式和第3实施方式的组合的一例进行说明的图。
图79B是用于对第1、第2实施方式和第3实施方式的组合的一例进行说明的图。
图79C是用于对第1、第2实施方式和第3实施方式的组合的一例进行说明的图。
图80是用于对第4实施方式的三维显示控制方法的概要进行说明的示意图，是示出应用第4实施方式的三维显示控制方法的计算机系统的概略结构的图。
图81是用于对第4实施方式的三维显示控制方法的概要进行说明的示意图，是对可表现三维空间的显示装置(DFD)的动作原理进行说明的图。
图82是用于对第4实施方式的三维显示控制方法的概要进行说明的示意图，是示出表现在显示装置上的三维空间的一例的正面图和右侧面图。
图83是用于对第4实施方式的三维显示控制方法的概要进行说明的示意图，是示出表现在显示装置上的三维空间的一例的立体图(鸟瞰图)。
图84是用于对第4实施方式的三维显示控制方法的概要进行说明的示意图，是示出指针操作方法的一例的图。
图85是用于对实施例4-1的三维显示控制方法进行说明的示意图，是示出应用了本实施例4-1的显示控制方法时的三维空间的变化状态的图。
图86是用于对实施例4-1的三维显示控制方法进行说明的示意图，是示出应用了本实施例4-1的显示控制方法时的三维空间的变化状态的图。
图87是用于对实施例4-1的三维显示控制方法进行说明的示意图，是示出对用于与本实施例4-1的显示控制方法相比较的以往的显示控制方法进行说明的三维空间的状态的图。
图88是示出用于实现本实施例4-1的三维显示控制方法的装置中的处理过程的流程图。
图89是用于对本实施例4-1的三维显示控制方法的应用例进行说明的示意图，是示出应用了应用例时的三维空间的变化状态的图。
图90是用于对本实施例4-1的三维显示控制方法的应用例进行说明的示意图，是示出用于实现应用例的装置中的处理过程的流程图。
图91是用于对实施例4-2的三维显示方法进行说明的示意图，是示出应用了本实施例4-2的显示控制方法时的三维空间的变化状态的图。
图92是用于对4-2的三维显示方法进行说明的示意图，是示出透明度决定方法的一例的图。
图93是用于对实施例4-2的三维显示方法进行说明的示意图，是示出用于实现本实施例4-2的三维显示方法的装置中的处理过程的流程图。
图94是用于对实施例4-3的三维显示控制方法进行说明的示意图，是示出应用了本实施例4-3的显示控制方法时的三维空间的变化状态的图。
图95A是用于对实施例4-3的三维显示控制方法进行说明的示意图，是示出透明度决定方法的一例的图。
图95B是用于对实施例4-3的三维显示控制方法进行说明的示意图，是示出透明度决定方法的一例的图。
图96是用于对实施例4-4的三维显示控制方法进行说明的示意图，是示出应用了本实施例4-4的显示控制方法时的三维空间的变化状态的图。
图97是用于对实施例4-4的三维显示控制方法进行说明的示意图，是示出用于实现本实施例4-4的三维显示方法的装置中的处理过程的流程图。
图98是用于对实施例4-5的三维显示控制方法进行说明的示意图，是示出对象选择方法的图。
图99是用于对实施例4-5的三维显示控制方法进行说明的示意图，是示出应用了本实施例4-5的显示控制方法时的三维空间的变化状态的图。
图100是用于对实施例4-5的三维显示控制方法进行说明的示意图，是示出用于实现本实施例4-5的三维显示方法的装置中的处理过程的流程图。
符号说明
(第1实施方式)
1：系统控制装置；101：输入信息取得单元；102：指针位置/旋转角度算出单元；103：指针生成单元；104：指示判定单元；105：对象生成单元；106：显示控制单元；2：输入装置；201：输入笔；201D：输入笔的按钮；201P：输入笔的笔尖：201X：输入笔的壳体的轴；3：显示装置；301：表现在显示装置上的三维空间；302：对象；303：指针；304：窗口；305：垃圾箱对象；
(第2实施方式)
1：系统控制装置；101：输入信息取得单元；102：指针位置/旋转角度算出单元；103：指针生成单元；104：指示判定单元；105：对象生成单元；106：显示控制单元；109：输入信息处理单元；2：输入装置；201：输入笔；201D：操作单元(按钮、滚轮、滑动条)；201P：输入笔的笔尖：201X：输入笔的壳体的轴；3：显示装置；301：表现在显示装置上的三维空间；302：对象；303：指针；304：窗口；305：垃圾箱对象；
(第3实施方式)
1：系统控制装置(指示装置)；101：输入信息取得单元；102：指针位置/变形量算出单元；103：指针生成单元；104：显示控制单元；105：指示判定单元；106：对象生成单元；107：处理控制单元；108：存储单元；2：输入装置；201：键盘；202：鼠标；3：显示装置；301、301A、301B：显示面；4：指针；5：对象；
(第4实施方式)
1：系统控制装置；101：输入信息取得单元；102：指针位置算出单元；103：指针生成单元；104：对象变更判定单元；105：对象生成/透明化单元；106：显示控制单元；2：输入装置201：带有滚轮功能的鼠标(鼠标)；201A：鼠标的滚轮；3：显示装置；301A：近处的显示面；301B：深处的显示面；4：对象；4A：显示在近处的显示面上的对象；4B：显示在深处的显示面上的对象；401：指针；402a～402g：文件夹图标；403、403a～403c：窗口。
具体实施方式
以下，对本发明的第1～第4实施方式进行说明。另外，只要没有预先告知，就假定附图中的符号在各实施方式中独立标注。
(第1实施方式)
首先，对本发明的第1实施方式进行说明。第1实施方式与本发明的第1目的对应。
本发明的第1实施方式的三维指示方法是使用笔形输入装置来指示表现在可进行三维显示的显示装置上的三维空间上的对象，或者进行前述所指示的对象的操作的方法。前述笔形输入装置例如包含：像手写数码笔板那样，由进行前述对象的指示和操作的操作者把持来进行操作的笔形操作单元(以下称为输入笔)；以及对前述输入笔的笔尖的位置、笔压、轴的朝向等的信息进行检测的检测单元。然后，在第1实施方式的三维指示方法中，根据由前述检测单元所检测的信息，决定指针的位置、形状、朝向等，并使前述指针显示在表现于前述显示装置上的三维空间上。这样，前述操作者可在使前述输入笔的笔尖与前述检测单元的检测面上接触的状态下，进行表现在前述显示装置上的三维空间上的前述对象的指示和操作，可减轻长时间的指示和对象操作时的前述操作者的疲劳。
并且，在第1实施方式的三维指示方法中，通过使前述输入笔的笔压与前述指针的深度方向的移动或变形对应，可指示表现在前述显示装置上的三维空间内的一点。并且此时，通过将前述输入笔的倾斜和方位的信息反映在前述指针的倾斜和方位上，操作者可感觉到显示在表现于前述显示装置上的三维空间上的指针犹如是自身把持的输入笔的笔尖的一部分，可容易且直观地进行三维对象的指示。
并且，在第1实施方式的三维指示方法中，在指示了前述对象之后，使前述所指示的对象处于可进行二维GUI的编辑、加工等的操作的状态，换句话说，处于可通过前述输入笔的操作来操作前述二维GUI上的对象的状态。并且此时，在前述对象编辑/加工这样的操作结束之后，把前述对象再次作为三维对象来处理，可移动到操作者期望的三维位置。这样，三维对象的操作可通过与使用现有的笔形输入装置的以往的二维GUI中的操作没有变化的操作来实现，前述操作者可以不新学习用于进行对象操作的三维输入笔的操作。
图1至图3是用于对第1实施方式的三维指示方法的概要进行说明的示意图，图1是示出实现第1实施方式的三维指示方法的系统的结构例的图，图2是用于对第1实施方式的三维指示方法的原理进行说明的图，图3是示出在第1实施方式的三维指示方法中使用的输入笔的结构例的图。
在图1中，1是系统控制装置，101是输入信息取得单元，102是指针位置/旋转角度算出单元，103是指针生成单元，104是指示判定单元，105是对象生成单元，106是显示控制单元，107是处理控制单元，108是存储单元，2是输入装置，3是显示装置。并且，在图2中，201P是输入笔的笔尖，201X是输入笔的壳体的轴。并且，在图3中，201是输入笔，201A是线圈，201B是旋转角检测用的线圈，201C是笔压感知部。
第1实施方式的三维指示方法是在使用例如与PC等的系统控制装置连接的前述笔形输入装置，对位于表现在与前述系统控制装置连接的显示装置上的三维空间上的指针、或所指示的对象进行三维操作时优选应用的指示方法。
系统控制装置1如图1所示，具有：输入信息取得单元101，其取得从前述输入装置2所输入的输入信息；指针位置/旋转角度算出单元102，其在由前述输入信息取得单元101所取得的输入信息是指针控制相关信息的情况下，根据前述输入信息算出指针的移动方向和移动量、旋转方向和旋转角度等；指针生成单元103，其生成基于前述指针位置/旋转角度算出单元102的算出结果的指针；指示判定单元104，其判定是否有被前述指针生成单元103所生成的指针指示的对象；对象生成单元105，其在有前述被指示的对象的情况下，例如，改变该对象的颜色，或者生成追随前述指针的移动和旋转的位置和朝向的对象；以及显示控制单元106，其使由前述指针生成单元103所生成的指针、或由前述对象生成单元105所生成的对象显示在前述显示装置3上。
并且，前述系统控制装置1例如，像前述PC那样，是根据来自前述输入装置2的输入信息进行软件的起动和操作，或者进行其他装置的控制的装置，如图1所示，除了前述各单元以外，例如还具有：处理控制单元107，其控制软件的起动等的处理；以及存储单元108，其存储有在前述处理控制单元107的处理中使用的数据等。并且，在由前述输入信息取得单元101所取得的信息与前述指针的控制相关信息不同的情况下，前述输入信息取得单元101把前述所取得的信息传送到前述处理控制单元107中，使前述系统控制装置1执行与所取得的信息对应的处理。因此，前述显示控制单元106是除了前述指针和前述对象以外，还可将在前述系统控制装置1(处理控制单元107)中执行的处理内容和处理结果显示在前述显示单元3上的单元。
并且，前述输入装置2尽管省略图示，但例如包含：由进行前述指针和对象的操作的操作者把持的笔形操作单元(输入笔)；以及具有对前述输入笔的笔尖位置、对笔尖施加的压力(笔压)、前述输入笔的倾斜、方位、旋转角等的信息进行检测的检测面的检测单元。
如图2所示，在前述检测单元的检测面上，取与表现在前述显示装置3上的三维空间对应的笛卡尔坐标系XYZ，假定前述笛卡尔坐标系XYZ的XY平面是检测面，则前述检测单元在前述输入笔的笔尖201P与前述检测面(XY平面)接触时，对笔尖201P的坐标(x，y)、输入笔的壳体的轴201X的方位α(例如0度≤α＜360度)、倾斜β(例如0度≤β≤90度)、绕轴的旋转γ(例如0度≤γ＜360度)的各角度、笔的笔压等的信息进行检测。
可对前述笔尖201P的坐标、前述输入笔的壳体的轴201X的方位α、倾斜β、绕轴的旋转γ、笔压等的信息进行检测的输入装置2的结构，如果是本行业人员，则可以根据例如参照文献1(三谷雄二，“タツチパネルの基礎と応用”，テクノタイムズ社，2001.)和参照文献2(株式会社WACOM製intuos2のカタログ)等所记载的内容容易地推测出来，从而可容易地实现。然而，对于前述输入笔的壳体的轴201X的绕轴的旋转γ的角度，采用前述参照文献1或参照文献2所记载的结构不能取得。然而，为了检测前述绕轴的旋转γ的角度，例如，如图3所示，只要与前述输入笔201的内部的前述参照文献1所记载的坐标指示器的线圈201A平行地再追加一个用于检测前述绕轴的旋转γ的线圈201B，在笔压感知部201C中分别取得两线圈201A、201B的交链磁通的变化，并计算旋转量即可，这对于本行业人员来说可以很容易地想到，从而可容易地实现。然而，在本实施方式的三维指示方法中使用的前述输入笔201可以不是图3所示的具有检测前述绕轴的旋转γ的角度的机构的结构。
并且，前述输入装置2，不限于像手写数码笔板、以及触摸屏和记录笔的组合那样的前述输入笔和前述检测单元分离的装置，例如，可以是像笔形鼠标那样，是一种在前述输入笔的壳体内部装入有前述检测单元的输入装置。
并且，前述显示装置3只要是能表现三维空间的显示装置即可，例如，可以是像CRT显示器和液晶显示器那样，以把三维对象投影在二维平面上的形式进行表现和显示的二维显示装置，也可以是像HMD(HeadMount Display：头盔式显示器)和DEF(Depth Fused 3D：景深融合型立体影像)(DEF的详情在后面描述)那样，能表现和显示三维立体像的显示装置。即，前述显示装置3只要能由前述操作者三维感知所显示的指针和对象，就可以是任何显示装置。
并且，前述输入装置2的检测单元和前述显示装置3还可采取一体型的形式(例如，参照日本特开平5-073208号公报)。在使用电磁感应方式的手写数码笔板作为前述输入装置2的情况下，前述检测单元(数字化装置)可与前述显示装置3的显示面重合，与前述显示装置3形成为一体。并且，作为同样的形式，例如，还可应用使触摸屏和记录笔进行组合的形式。这样，前述操作者可使前述输入笔与液晶显示器等的前述显示装置3的显示面接触来进行指示，与在前述检测单元和前述显示装置3分离的状态下进行操作的情况相比，可进行更直观的操作。然而，本发明不限于这种前述输入装置2的检测单元和前述显示装置3的结构，而可以像一般的手写数码笔板那样，使前述检测单元和前述显示装置3不形成为一体。
[实施例1-1]
图4A至图7是用于对本发明的实施例1-1的三维指示方法进行说明的示意图，图4A是示出表现在显示装置上的三维空间的一例的正面图和右侧面图以及下面图，图4B是示出表现在显示装置上的三维空间的一例的鸟瞰图，图5A、图5B、图5C分别是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图，图6A、图6B、图6C分别是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图，图7是示出本实施例1-1的三维指示方法的处理过程的流程图。另外，图6A、图6B、图6C分别是与图5A、图5B、图5C对应的图。
本实施例1-1的三维指示方法是通过改变前述输入笔201的笔压来指示三维空间内的从操作者来看在深度方向的对象的方法。
在本实施例1-1中，假定前述输入装置2使用电磁感应方式的手写数码笔板，可显示前述三维空间的显示装置3使用液晶显示器。并且，假定前述输入装置2的检测单元(数字化装置)与前述液晶显示器3的显示面重合，在显示画面上直接操作输入笔，可进行指示。并且，假定前述输入装置2和前述显示装置3与图1所示的结构的系统控制装置1连接。
并且，在本实施例1-1中，如图4A和图4B所示，假定在表现于前述液晶显示器3上的三维空间301中，设定与图2所示的坐标系XYZ对应的坐标系XYZ，对象302配置在三维空间301内的z＜0的位置上。并且，假定操作前述输入装置2的输入笔201的操作者从z＞0的方向观察前述三维空间301的XY平面。
并且，在本实施例1-1中，假定前述三维空间301的z＝0的XY平面，即从前述操作者来看最近的面是前述液晶显示器的显示面，同时是前述输入装置2的检测单元的检测面。
此时，当前述操作者如图5A和图6A所示，使前述输入笔201的笔尖201P与前述液晶显示器3的显示面接触时，与前述显示面重合的前述检测单元检测前述笔尖201P的位置(坐标)和笔压等。此时，在前述系统控制装置1中，通过前述输入信息取得单元101取得前述检测单元所检测的前述笔尖201P的位置(坐标)和笔压等的信息，在前述指针位置/旋转角度算出单元102和前述指针生成单元103中，生成显示在与前述笔尖201P所接触的位置对应的前述三维空间301上的位置(例如，输入笔的轴的三维空间内的延长线上的位置)上的指针。并且，当生成了前述指针时，从前述显示控制单元106把指针显示用的信号发送到前述显示装置3中，例如，如图5A和图6A所示，在表现于前述显示装置3上的三维空间301上显示反映了前述笔尖201P的位置和笔压的指针303。
并且，在前述操作者使前述输入笔201的笔尖201P与前述液晶显示器3的显示面接触之后，例如，如图5B和图6B、或者图5C和图6C所示，当使前述输入笔201按压前述液晶显示器3的显示面来增加笔压时，在前述系统控制装置1的前述指针位置/旋转角度算出单元102和前述指针生成单元103中，生成与前述笔压的强度对应的形状的指针。此时，例如，如果箭头形的指针根据前述笔压的强度而延长，则如图5B和图6B所示，表现在前述显示装置3上的三维空间301上的指针303通过增加笔压，比图5A和图6A所示的指针长。并且，如果进一步增加笔压，则如图5C和图6C所示，前述指针303进一步延长。
这种指针303的显示与前述操作者进行对前述输入笔201施加笔压的操作大致同时地连续进行，由此前述操作者可感觉到指针犹如借助于所施加的笔压在三维深度方向(z＜0)延伸。并且，尽管省略图示，但在由前述系统控制装置1的指示判定单元104判定为前述指针303(指针的尖)可指示目标对象302时，通过进行在前述对象生成单元105中改变对象302的颜色，并切换显示在前述三维空间301上的对象302的显示等的处理，可使前述操作者知道能指示在三维深度方向(z＜0)的对象302。
并且，例如如图5B和图6B、或者图5C和图6C所示，在增加一次笔压来使指针303向三维深度方向(z＜0)倾斜进行显示之后，在降低了笔压的情况下，前述指针303可以回到反映了笔压的深度位置，也可以固定在笔压降低前的深度位置。
为了实现这种三维指示方法，只要在前述系统控制装置1中执行图7所示的步骤401至步骤406的处理即可。在前述系统控制装置1中，首先，通过前述显示控制单元106使指针303和对象302显示在表现于前述显示装置(液晶显示器)3上的三维空间301上(步骤401)。并且此时，前述指针303显示在任意位置。并且，前述输入信息取得单元101处于可取得由前述输入装置2的检测单元所检测的信息的状态。
然后，当前述操作者使前述输入笔201的笔尖201P与检测单元的检测面接触时，由于前述检测单元检测前述笔尖201P的位置(坐标)和笔压等，因而前述输入信息取得单元101取得前述所检测的前述笔尖201P的位置(坐标)和笔压等的信息(步骤402)。在本实施例1-1的三维指示方法中，由于只要能取得前述笔尖201P的位置(坐标)和笔压的信息即可，因而在前述步骤402中，可以仅取得前述笔尖201P的位置(坐标)和笔压的信息，然而在前述检测单元中，除了前述笔尖201P的位置(坐标)和笔压以外，还可检测前述输入笔201的方位α、倾斜β、绕轴的旋转γ等。因此，可以连同前述笔尖201P的位置(坐标)和笔压的信息一起，取得前述输入笔201的方位α、倾斜β、绕轴的旋转γ的信息。
当在前述输入信息取得单元101中取得了来自前述检测单元的信息之后，接下来，在前述指针位置/旋转角度算出单元102中，使用前述所取得的信息中的前述笔尖201P的位置(坐标)和笔压的信息，算出反映这些信息的指针的位置、朝向、长度等(步骤403)。在本实施例1-1的三维指示方法的情况下，在前述步骤403中，算出与前述笔尖201P的位置(坐标)对应的表现在前述显示装置3上的三维空间的XY平面上的位置(坐标)、以及与笔压成比例的长度。
在结束了前述步骤403的处理之后，接下来，在前述指针生成单元103中，生成基于前述指针位置/旋转角度算出单元102的算出结果的形状的指针，把所生成的指针相关信息从前述显示控制单元106发送到前述显示装置3，并显示在前述三维空间301上(步骤404)。
并且，与前述步骤404的处理并行地，在前述指示判定单元104中，判定在由前述指针位置/旋转角度算出单元102所算出的与三维空间的XY平面上的位置(坐标)和深度位置对应的位置上是否有正在指示的对象(步骤405)。此时，如果没有正在指示的对象，则仅进行前述指针303的显示控制，回到步骤402，进行等待直到取得下一输入信息。
另一方面，如果有正在指示的对象，则在前述对象生成单元105中，生成例如改变了前述所指示的对象的颜色的对象，把所生成的对象相关信息从前述显示控制单元106发送到前述显示装置3，并显示在前述三维空间301上(步骤406)。之后，回到前述步骤402，进行等待直到取得下一输入信息。
在前述系统控制装置1中，通过进行以上处理，可进行图5A、图5B、图5C所示的指针的显示控制。
如以上说明那样，根据本实施例1-1的三维指示方法，取得前述输入笔201的笔尖201P的位置(坐标)和笔压相关信息，算出与前述笔尖201P的位置(坐标)对应的表现在前述显示装置3上的三维空间的XY平面上的位置(坐标)、以及与笔压对应的深度位置，生成和显示指示所算出的位置和深度位置的指针，从而可指示表现在前述显示装置3上的三维空间301上的任意一点。
并且，使用一般的手写数码笔板作为前述输入装置2，在使前述输入笔201的笔尖201P与前述检测单元接触的状态下，可改变前述指针303的深度方向的指示位置，因而可减轻操作者的疲劳。
并且，如本实施例1-1中所说明的那样，只要使前述输入装置2的检测单元与前述显示装置(液晶显示器)3的显示面重合，前述操作者就能在前述显示面上进行前述输入笔的操作。这样，可取得前述指针303是前述输入笔201的笔尖201P的一部分的视觉效果，前述对象302的准确指示变得容易，而且可进行直观指示。
并且，在本实施例1-1中，显示了长度根据前述输入笔201的笔压强度而改变的前述指针303，然而不限于此，例如，像不是长度而是形状在三维深度方向(z＜0)进行任何变化的指针、或者三维深度方向(z＜0)的倾斜变化的指针那样，只要能指示三维深度方向(z＜0)，就可以是任何变化。并且，在使前述指针的长度变化的情况下，可以与笔压强度成比例，也可以与笔压强度的乘方或乘方根成比例。
另外，在本实施例1-1中，列举了使用电磁感应方式的手写数码笔板作为前述输入装置2，并使前述手写数码笔板的检测单元(数字化装置)与前述显示装置(液晶显示器)3的显示面重合的情况为例，然而不限于此，可以是两者在其它位置的结构。并且，在本实施例1-1中，作为前述输入装置2和显示装置3的组合，列举前述电磁感应方式的手写数码笔板和前述液晶显示器为例作了说明，然而不限于此，例如，可以是在PDA等中使用的触摸屏和记录笔的组合。
图8A～D是用于对本实施例1-1的三维指示方法的变形例进行说明的示意图，图8A、图8B、图8C、图8D分别是示出进行显示的指针的形状的图。
在本实施例1-1中，作为前述指针303，例如如图8A所示，使用了平板状的箭头型指针303a，然而前述指针303的形状不限于此，只要是所指示的位置是视觉明晰的形状，就可以是任何形状。作为这种指针的形状，例如考虑有：图8B所示的圆锥的底面与圆柱连接的立体箭头型指针303b，图8C所示的圆锥型指针303c，图8D所示的使用食指指示对象的人手型指针303d等。并且，尽管省略图示，然而可以是类似于图8C所示的圆锥型指针303c的多角锤型指针。
并且，在本实施例1-1中，前述指针303所指示的点为箭头型指针的尖(箭头的尖端)，然而不限于此，前述指针的哪个部分都能进行指示，也能采用指针的其他一部分而不是尖。
并且，在本实施例1-1中，作为前述对象302的例子，列举了文件夹型的对象，然而不限于此，前述对象302可以是任何形状。
并且，在本实施例1-1中，表现在前述显示装置3上的三维空间的坐标系如图4A所示，将显示面设定成z＝0，然而只要能表现出三维，三维原点在何处取都行，并且也没有必要是笛卡尔坐标系，例如可以是圆柱坐标系和球坐标系等。
并且，在本实施例1-1中，着重于前述输入笔201的笔压，然而还可追加后述的输入笔201的倾斜β和绕轴的旋转γ的要素，来可以操作指针的倾斜和旋转。
[实施例1-2]
图9A～图10C是用于对本发明的实施例1-2的三维指示方法进行说明的示意图，图9A、图9B、图9C分别是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图，图10A、图10B、图10C分别是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。另外，假定图10A、图10B、图10C分别是与图9A、图9B、图9C对应的图。
本实施例1-2的三维指示方法是通过改变前述输入笔201的朝向来从各种方向指示三维空间内的从操作者来看在深度方向的对象的方法。
在本实施例1-2中，假定前述输入装置2和前述显示装置3分别与前述实施例1-1一样，使用电磁感应方式的手写数码笔板和液晶显示器。并且，假定前述手写数码笔板2的检测单元(数字化装置)与前述液晶显示器3的显示面重合。
并且，假定表现在前述液晶显示器3上的三维空间的坐标系的取法、前述手写数码笔板2的输入笔201的操作方法等与在前述实施例1-1中所说明的一样。并且，假定前述手写数码笔板2和显示装置3与图1所示的结构的系统控制装置1连接。
在本实施例1-2的三维指示方法中，当前述操作者把前述输入笔201的笔尖201P放在表现于前述液晶显示器3上的三维空间301的XY平面(z＝0)的任意一点上时，前述系统控制装置1通过前述输入信息取得单元101取得由前述检测单元(数字化装置)所检测的前述输入笔201的笔尖201P的位置(坐标)、前述输入笔201的方位α、倾斜β、绕轴的旋转γ、笔压等的信息，在前述指针位置/旋转角度算出单元102和前述指针生成单元103中，生成显示在与前述笔尖201P所接触的位置对应的前述三维空间301上的位置(例如，输入笔的轴的三维空间内的延长线上的位置)上的指针。然后，当生成了前述指针时，把指针显示用的信号从前述显示控制单元106发送到前述显示装置3中，显示例如图9A和图10B所示的指针303。
并且，当前述操作者例如在使前述笔压大致一定的状态下，使前述输入笔201的朝向改变为图9B和图10B、或者图9C和图10C所示的朝向时，在前述指针位置/旋转角度算出单元102和指针生成单元103中，根据前述输入笔201的新的方位α、倾斜β、绕轴的旋转γ算出新的指针的朝向，生成基于算出结果的指针。然后，当把新生成的指针显示用的信号从前述显示控制单元106发送到前述显示装置3时，显示图9B和图10B、或者图9C和图10C所示的指针303。
这种指针303的显示是与前述操作者进行改变输入笔201的朝向的操作大致同时地连续进行，由此前述操作者可感觉到指针303犹如在使笔倾斜的方向的笔尖201P的延长线上倾斜显示。并且，尽管省略图示，然而当由前述指示判定单元104判定为前述指针303(指针的尖)可指示目标对象时，通过进行在前述对象生成单元105中改变该对象的颜色，或切换显示在前述三维空间301上的对象302的显示等的处理，可使前述操作者知道能指示在三维深度方向(z＜0)的对象。
并且，尽管省略图示，然而当前述操作者改变了前述输入笔201的朝向，并改变了笔压的情况下，在前述指针位置/旋转角度算出单元102和前述指针生成单元103中，例如，除了前述指针的朝向以外，还可算出在前述实施例1-1中所说明的与笔压的强度成比例的长度，可生成反映了该算出结果的指针。
为了实现这种三维指示方法，只要在前述系统控制装置中执行图7所示的步骤401至步骤406的处理即可，因而省略详细说明。
然而，如本实施例1-2那样，在使前述输入笔201的朝向反映在前述指针上的情况下，在前述步骤402中，除了前述笔尖201P的位置(坐标)和笔压以外，还有必要取得前述输入笔201的方位α、倾斜β、绕轴的旋转γ的信息。
并且，在前述步骤403中，除了与前述笔尖201P的位置(坐标)对应的表现在前述显示装置3上的三维空间的XY平面上的位置(坐标)、以及与笔压成比例的长度以外，还有必要算出与前述输入笔201的方位α、倾斜β、绕轴的旋转γ对应的前述三维空间301上的指针的方位、倾斜、绕轴的旋转角度。
在前述系统控制装置1中，通过进行以上处理，可进行图9A、图9B、图9C所示的指针的显示控制。
如以上说明那样，根据本实施例1-2的三维指示方法，除了前述输入笔201的笔尖201P的位置(坐标)和笔压以外，还取得前述输入笔201的方位α、倾斜β、绕轴的旋转γ的相关信息，算出与前述笔尖201P的位置(坐标)对应的表现在前述显示装置3上的三维空间的XY平面上的位置(坐标)和与笔压对应的深度位置，以及与前述输入笔201的方位α、倾斜β、绕轴的旋转γ对应的前述三维空间301上的指针的方位、倾斜、绕轴的旋转角度，通过生成和显示从所算出的方向指示所算出的位置和深度位置的指针，可指示表现在前述显示装置3上的三维空间301上的任意一点。
并且，使用一般的手写数码笔板作为前述输入装置2，可在使前述输入笔201的笔尖201P与前述检测单元接触的状态下，改变前述指针303的深度方向的指示位置，因而可减轻操作者的疲劳。
并且，如在本实施例1-2中所说明的那样，只要使前述输入装置2的检测单元与前述显示装置(液晶显示器)3的显示面重合，前述操作者就能在前述显示面上进行前述输入笔的操作。这样，可取得前述指针303是前述输入笔201的笔尖201P的一部分的视觉效果，前述对象302的准确指示变得容易，而且可进行直观指示。
并且，在本实施例1-2中，示出了指针的倾斜、方位、旋转与前述输入笔201的倾斜、方位、旋转分别成比例地变化的例子，然而不限于此，例如，通过使形状而不是旋转角在三维深度方向(z＜0)上进行任何变化，或者使指针的倾斜在三维深度方向(z＜0)上变化，只要能指示三维深度方向(z＜0)，就可以是任何变化。并且，不限于使指针的倾斜、方位、旋转与前述输入笔201的倾斜、方位、旋转分别成比例地变化的情况，例如，也可以使前述输入笔201的倾斜、方位、旋转的任意一方与乘方或乘方根成比例。
另外，在本实施例1-2中，列举了使用电磁感应方式的手写数码笔板作为前述输入装置2，并使前述手写数码笔板的检测单元(数字化装置)与前述显示装置(液晶显示器)3的显示面重合的情况为例，然而不限于此，也可以是两者在其它位置的结构。并且，在本实施例1-2中，作为前述输入装置2和显示装置3的组合，列举前述电磁感应方式的手写数码笔板和前述液晶显示器为例作了说明，然而不限于此，例如，也可以是在PDA等中使用的触摸屏和记录笔的组合。
并且，前述指针的形状只要是所指示的位置是视觉明晰的形状，就可以是任何形状，不限于图8A所示的平板状的箭头型指针303a，例如，可以是：图8B所示的圆锥的底面与圆柱连接的立体箭头型指针303b，图8C所示的圆锥型指针303c，图8D所示的使用食指指示对象的人手型指针303d等。
并且，在本实施例1-2中，前述指针303所指示的点为箭头型指针的尖(箭头的尖端)，然而不限于此，前述指针的哪个部分都能进行指示，也能采用指针的其他一部分而不是尖。
并且，在本实施例1-2中，作为前述对象302的例子列举了文件夹型的对象，然而不限于此，前述对象302可以是任何形状。
并且，在本实施例1-2中，表现在前述显示装置3上的三维空间的坐标系与前述实施例1-1一样，即如图4A所示，将显示面设定成z＝0，然而只要能表现出三维，三维原点在何处取都行，并且也没有必要是笛卡尔坐标系，例如可以是圆柱坐标系和球坐标系等。
并且，在本实施例1-2中，着重于前述输入笔201的方位α、倾斜β、绕轴的旋转γ，然而由于还可以追加在实施例1-1中所说明的输入笔201的笔压的要素，因而可进行更直观的指示。
[实施例1-3]
图11至图13是用于对本发明的实施例1-3的三维指示方法进行说明的示意图，图11是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图，图12是示出当使用输入笔进行了操作时的三维空间内的状态的正面图，图13是示出本实施例1-3的三维指示方法的处理过程的流程图。
在前述实施例1-1和实施例1-2中，按照前述输入装置2的输入笔201的操作，对表现在前述显示装置3上的三维空间301上的指针的显示控制和所指示的对象的显示控制的相关指示方法作了说明。
然而，在使用前述实施例1-1和实施例1-2的方法指示了前述三维空间301上的对象的情况下，大多在指示后伴随着前述对象的移动、编辑、加工这样的操作。因此，在本实施例1-3中，对在指示了前述三维空间301上的对象之后，操作前述输入笔201来使前述所指示的对象移动的方法进行说明。
在实施例1-3中，假定前述输入装置2和前述显示装置3分别与前述实施例1-1一样，使用电磁感应方式的手写数码笔板和液晶显示器。并且，假定前述手写数码笔板2的检测单元(数字化装置)与前述液晶显示器3的显示面重合。
并且，假定表现在前述液晶显示器3上的三维空间的坐标系的取法、前述手写数码笔板2的输入笔201的操作方法等与在前述实施例1-1中所说明的一样。并且，假定前述手写数码笔板2和显示装置3与图1所示的结构的系统控制装置1连接。
并且，在本实施例1-3中，指示前述三维空间301上的对象的方法由于可以是在前述实施例1-1和实施例1-2中所说明的方法，因而省略说明。
此时，例如，在使用与前述实施例1-1和实施例1-2相同的方法，如图11和图12所示指示了对象302之后，确认了已指示前述对象302的操作者进行按下例如设于前述输入笔201的按钮201D等的抓住前述对象302的操作。并且，在按下前述输入笔201的按钮201D，而且使前述输入笔201的笔尖201P与前述显示装置3的显示面(检测单元的检测面)接触的状态下，使前述输入笔201移动到期望位置之后，当进行了离开前述按钮201D等的离开前述对象302的操作时，如图11和图12所示，追随前述输入笔201的移动，前述对象302在三维空间301内移动。这样，可使对象从原来位置移动到三维空间内的目标位置。此时，前述系统控制装置1的前述输入信息取得单元101从前述显示装置2的检测单元(数字化装置)，连同前述输入笔201的位置(坐标)、笔压、输入笔201的方位α、倾斜β、绕轴的旋转γ的检测信息一起，取得表示按下了按钮201D的信息。并且，由于按下了前述按钮201D，所以前述系统控制装置1可知道前述操作者正在进行使前述对象302移动的操作。因此，只要在前述指示判定单元104和对象生成单元105中生成追随前述输入笔201的移动的对象，并显示在前述显示装置3上，就能进行上述对象302的移动操作。
为了实现这种三维指示方法，只要在前述系统控制装置中执行图13所示的步骤401至步骤410的处理即可。
另外，在图13中，从步骤401到步骤406的处理是指示前述三维空间301上的对象302之前的处理，与图7所示的从处理的步骤401到步骤406的处理相同。该从步骤401到步骤406的处理由于可以与在前述实施例1-1或实施例1-2中所说明的一样，因而省略详细说明。
在本实施例的三维指示方法中，前述系统控制装置1在前述步骤406中改变所指示的对象的颜色来显示之后，不回到前述步骤402，而是如图13所示，判定在指示了对象的状态下是否按下了前述输入笔201的按钮201D(步骤407)。该判定是判定例如在前述输入信息取得单元101中是否取得了表示按下了前述按钮201D的信息。并且，如果未按下前述按钮201D，则回到前述步骤402，进行等待直到取得下一输入信息。
另一方面，如果按下了前述按钮201D，则在前述输入信息取得单元101中取得指针相关信息(步骤408)。此时取得的信息是在前述实施例1-1和实施例1-2中所说明的前述输入笔201的笔尖201P的位置(坐标)、笔压、输入笔201的方位α、倾斜β、绕轴的旋转γ的信息。
当在前述步骤408中取得了前述指针相关信息之后，在前述指针位置/旋转角度算出单元102中，算出基于所取得的信息的指针的位置、朝向、长度等，并算出前述对象的位置和朝向(步骤409)。前述指针的位置、朝向、长度等的算出由于与在前述实施例1-1和实施例1-2中所说明的一样，因而省略详细说明。并且，对于前述对象的位置和朝向，例如，算出在前述进行了指示时的对象的基准位置、和由前述指针所指示的位置的相对位置关系在前述步骤409所算出的指针的位置上也得到保存的位置和朝向。
并且，当在前述步骤409中算出了指针的位置、朝向、长度等和前述对象的位置和朝向之后，在前述指针生成单元103中生成基于所算出的指针的位置、朝向、长度的指针，并在前述对象生成单元105中生成基于所算出的对象的位置和朝向的对象，把它们的显示信号从前述显示控制单元106发送到前述显示装置3，并显示指针和对象(步骤410)。
在前述步骤410中显示了指针和对象之后，回到前述步骤407，如果按下了前述输入笔201的按钮201D的状态持续，则重复从前述步骤408到步骤410的处理。并且，在前述操作者离开了前述按钮201D的时刻，前述指针和对象的移动操作结束。
在前述系统控制装置1中，通过进行以上处理，可进行图11和图12所示的对象的指示操作和移动操作。
如以上说明那样，根据本实施例1-3的三维指示方法，在指示了前述对象之后，可按照前述输入笔的移动，使前述所指示的对象平行移动。
并且，作为前述输入装置2，使用一般的手写数码笔板，在使前述输入笔201的笔尖201P与前述检测单元接触的状态下，可指示对象，并可使对象移动，因而可减轻操作者的疲劳。
并且，如本实施例1-3中所说明的那样，只要使前述输入装置2的检测单元与前述显示装置(液晶显示器)3的显示面重合，前述操作者就能在前述显示面上进行前述输入笔的操作。这样，可取得前述指针303是前述输入笔201的笔尖201P的一部分的视觉效果，前述对象302的准确指示变得容易，而且可进行直观的指示。
另外，在本实施例1-3中，列举了使用电磁感应方式的手写数码笔板作为前述输入装置2，并使前述手写数码笔板的检测单元(数字化装置)与前述显示装置(液晶显示器)3的显示面重合的情况为例，然而不限于此，可以是两者在其它位置的结构。并且，在本实施例中，作为前述输入装置2和显示装置3的组合，列举前述电磁感应方式的手写数码笔板和前述液晶显示器为例作了说明，然而不限于此，例如，可以是在PDA等中使用的触摸屏和记录笔的组合。
并且，前述指针的形状只要是所指示的位置是视觉明晰的形状，就可以是任何形状，不限于图8A所示的平板状的箭头型指针303a，例如，可以是：图8B所示的圆锥的底面与圆柱连接的立体箭头型指针303b，图8C所示的圆锥型指针303c，以及图8D所示的使用食指指示对象的人手型指针303d。
并且，在本实施例1-3中，前述指针303所指示的点为箭头型指针的尖(箭头的尖端)，然而不限于此，前述指针的哪个部分都能进行指示，也能采用指针的其他一部分而不是尖。
并且，在本实施例1-3中，作为前述对象302的例子列举了文件夹型的对象，然而不限于此，前述对象302可以是任何形状。
并且，在本实施例1-3中，表现在前述显示装置3上的三维空间的坐标系与前述实施例1-1一样，即如图4A所示，将显示面设定成z＝0，然而只要能表现出三维，三维原点在何处取都行，并且也没有必要是笛卡尔坐标系，例如可以是圆柱坐标系和球坐标系等。
并且，在本实施例1-3中，在按下前述输入笔201的按钮201D的同时，使前述输入笔201移动来使前述所指示的对象移动，然而不限于此，例如，可以采用在按下键盘的特定键或另一开关的同时，使输入笔201移动等的方法来使前述对象移动。在该情况下，只要在图13所示的步骤407中，判定是否取得了与使前述对象移动的操作对应的输入信息即可。
[实施例1-4]
图14A～图15C是用于对本发明的实施例1-4的三维指示方法进行说明的示意图，图14A、图14B、图14C分别是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图，图15A、图15B、图15C分别是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。另外，假定图15A、图15B、图15C分别是与图14A、图14B、图14C对应的图。
在前述实施例1-3中，对在指示了表现在前述显示装置3上的三维空间301上的对象302之后，可使前述所指示的对象302平行移动的三维指示方法作了说明。
然而，假定在表现于前述显示装置3上的三维空间301上，不仅进行在前述实施例1-3中所说明的单纯的对象的平行移动，而且还有效利用三维空间301，例如，使前述所指示的对象在前述三维空间内向深度方向倾斜。因此，在本实施例1-4中，对在指示了对象之后，继续使前述所指示的对象在前述三维空间内向深度方向倾斜的指示方法进行说明。
在本实施例1-4中，假定前述输入装置2和前述显示装置3分别与前述实施例1-1一样，使用电磁感应方式的手写数码笔板和液晶显示器。并且，假定前述手写数码笔板2的检测单元(数字化装置)与前述液晶显示器3的显示面重合。
并且，假定表现在前述液晶显示器3上的三维空间的坐标系的取法、前述手写数码笔板2的输入笔201的操作方法等与在前述实施例1-1中所说明的一样。并且，假定前述手写数码笔板2和显示装置3与图1所示的结构的系统控制装置1连接。
并且，在本实施例1-4中，指示前述三维空间301上的对象的方法由于可以是在前述实施例1-1和实施例1-2中所说明的方法，因而省略说明。
此时，在使用与前述实施例1-1和实施例1-2相同的方法，例如如图14A和图15A所示那样指示了对象302之后，确认了已指示前述对象302的操作者，例如，进行按下设置在前述输入笔201内的按钮201D等的抓住前述对象302的操作。然后，在按下前述输入笔201的按钮201D，而且使前述输入笔201的笔尖201P与前述显示装置3的显示面(检测单元的检测面)接触的状态下，使前述输入笔201处于期望朝向时，如图14B和图15B、或者图14C和图15C所示，追随前述输入笔201的朝向变化，前述对象302在三维空间301内向深度方向倾斜。这样，可使对象302在前述三维空间301上向任意朝向倾斜。此时，前述系统控制装置1的前述输入信息取得单元101从前述显示装置2的检测单元(数字化装置)中，连同前述输入笔201的位置(坐标)、笔压、输入笔201的方位α、倾斜β、绕轴的旋转γ的检测信息一起，取得表示按下了按钮201D的信息。然后，由于按下了前述按钮201D，所以前述系统控制装置1可知道前述操作者正在进行使前述对象302移动的操作。因此，只要在前述指示判定单元104和对象生成单元105中生成追随前述输入笔201的朝向变化的对象，并显示在前述显示装置3上，就能进行上述对象302的移动操作。
为了实现这种三维指示方法，只要在前述系统控制装置1中执行例如图13所示的步骤401至步骤410的处理即可。
然而，当在前述步骤409中算出前述对象的位置和朝向时，例如，算出使前述所指示时的对象与前述指针的相对位置关系得到完全保存的位置和朝向。
在前述系统控制装置1中，通过进行以上处理，可进行图14A、图14B、图14C所示的对象的指示操作和向深度方向倾斜的操作。
如以上说明那样，根据本实施例1-4的三维指示方法，在指示了前述对象之后，可使前述所指示的对象按照前述输入笔201的朝向变化在同一XY平面内旋转，或者向深度方向倾斜。
并且，作为前述输入装置2，使用一般的手写数码笔板，在使前述输入笔201的笔尖201P与前述检测单元接触的状态下，可指示对象，并可使对象移动，因而可减轻操作者的疲劳。
并且，如本实施例1-4中所说明的那样，只要使前述输入装置2的检测单元与前述显示装置(液晶显示器)3的显示面重合，前述操作者就能在前述显示面上进行前述输入笔的操作。这样，可取得前述指针303是前述输入笔201的笔尖201P的一部分的视觉效果，前述对象302的准确指示变得容易，而且可进行直观的指示。
另外，在本实施例1-4中，列举了使用电磁感应方式的手写数码笔板作为前述输入装置2，并使前述手写数码笔板的检测单元(数字化装置)与前述显示装置(液晶显示器)3的显示面重合的情况为例，然而不限于此，可以是两者在其它位置的结构。并且，在本实施例1-4中，作为前述输入装置2和显示装置3的组合，列举前述电磁感应方式的手写数码笔板和前述液晶显示器为例作了说明，然而不限于此，例如，可以是在PDA等中使用的触摸屏和记录笔的组合。
并且，前述指针的形状只要是所指示的位置是视觉明晰的形状，就可以是任何形状，不限于图8A所示的平板状的箭头型指针303a，例如，可以是：图8B所示的圆锥的底面与圆柱连接的立体箭头型指针303b，图8C所示的圆锥型指针303c，以及图8D所示的使用食指指示对象的人手型指针303d。
并且，在本实施例1-4中，前述指针303所指示的点是箭头型指针的尖(箭头的尖端)，然而不限于此，前述指针的哪个部分都能进行指示，也能采用指针的其他一部分而不是尖。
并且，在本实施例1-4中，作为前述对象302的例列举了文件夹型的对象，然而不限于此，前述对象302可以是任何形状。
并且，在本实施例1-4中，表现在前述显示装置3上的三维空间的坐标系，与前述实施例1-1一样，即如图4A所示，将显示面设定成z＝0，然而只要能表现出三维，三维原点在何处取都行，并且也没有必要是笛卡尔坐标系，例如可以是圆柱坐标系和球坐标系等。
并且，在本实施例1-4中，在按下前述输入笔201的按钮201D的同时，使前述输入笔201移动来使前述所指示的对象移动，然而不限于此，例如，可以采用在按下键盘的特定键或另一开关的同时，使输入笔201移动等的方法来使前述对象移动。在该情况下，在图13所示的步骤407中，只要判定是否取得了与使前述对象移动的操作对应的输入信息即可。
并且，在本实施例1-4中，对使前述所指示的对象302在同一XY平面内旋转，或者向深度方向倾斜的操作方法作了说明，然而通过对该操作方法追加在前述实施例1-3中所说明的平行移动的操作方法，可进行更丰富多彩的对象操作。
[实施例1-5]
图16A至图20是用于对本发明的实施例1-5的三维指示方法进行说明的示意图，图16A、B是对在本实施例1-5中使用的显示装置(DFD)的原理进行说明的图，图17A是示出表现在显示装置上的三维空间的一例的正面图和右侧面图以及下面图，图17B是示出表现在显示装置上的三维空间的一例的鸟瞰图，图18A、图18B、图18C、图18D分别是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图，图19A、图19B、图19C、图19D分别是示出当使用输入笔进行了操作时的三维空间内的状态的正面图，图20是示出本实施例1-5的三维指示方法的处理过程的流程图。另外，假定图19A、图19B、图19C、图19D分别是与图18A、图18B、图18C、图18D对应的图。
在前述实施例1-3和实施例1-4中，对在采用前述实施例1-1和实施例1-2所说明的方法指示了在表现于前述显示装置3上的三维空间301内的对象302之后，可进行使前述所指示的对象302在XY平面内移动或旋转、或者向深度方向倾斜的操作的三维指示方法作了说明。然而，在指示了位于前述三维空间301内的对象302之后，在前述操作者想要继续进行的操作中，不仅有前述对象302的移动和旋转，还有编辑和变形等的以往的二维GUI操作。在进行前述二维GUI操作的情况下，在前述实施例1-3和实施例1-4所说明的方法中，例如，在想要指示和操作从前述操作者来看位于前述三维空间301的深处(远处)的对象的情况下，为了维持指示了前述对象的状态，前述操作者必须在增加了笔压的状态下操作前述输入笔201。因此，在本实施例1-5中，对在指示了前述对象之后，使前述所指示的对象自动移动到可应用二维GUI操作的位置，并在操作者进行了目标编辑、变形等之后，可进行再回到操作者期望的三维位置的操作的三维指示方法进行说明。
并且，在本实施例1-5中，列举前述输入装置2使用与前述各实施例相同的电磁感应方式的手写数码笔板，并且使用DFD作为前述可表现三维空间的显示装置3的情况为例，对指示方法及其接下来的对象操作方法进行说明。
前述DFD例如如图16A、B所示，是把2块或其以上的多块显示面配置成从观察者(操作者)来看重合的显示装置，根据显示方法，通常可分为透过型和亮度调制型两种。关于前述DFD的详细结构和动作原理，由于例如在专利第3022558号说明书和专利第3460671号说明书等中作了记载，因而省略详细说明，这里，仅对DFD的简单动作原理进行说明。
这里，如图16A、B所示，假定2块显示面3A、3B重合。此时，前述指针302和对象303在前述2块显示面3A、3B之间的三维空间内反映深度位置来进行显示。
显示在前述DFD上的前述指针302和对象303例如如图16A所示，显示在从操作者来看位于近处的显示面3A和位于深处的显示面3B的双方上。然后此时，如果前述DFD是亮度调制型，则当前述近处的显示面3A的对象303A以亮度LA显示，前述深处的显示面3B的对象303B以亮度LB显示时，可看到在前述三维空间内的距前述近处的显示面3A的距离与距前述深处的显示面3B的距离之比是LB∶LA的深度位置显示有对象303。
并且，例如如图16B所示，通过在1个对象303的显示区域中使亮度连续变化，还可使1个对象303向深度方向倾斜来显示。在图16B所示的例子中，使前述近处的显示面3A的对象303A的亮度在纸面上从上向下增大，使前述深处的显示面3B的对象303B的亮度在纸面上从下向上增大。因此，前述操作者可观察纸面上方朝向深处、纸面下方朝向近处倾斜的立体对象303。
并且，尽管省略详细说明，然而在前述DFD是透过型的情况下，例如，通过调节近处的显示面3A的正在显示对象303A的区域的各点(像素)的透过度，与前述亮度调制型的DFD一样，可在前述近处的显示面3A和深处的显示面3B之间的任意深度位置显示前述指针302和对象303的立体像。
在一般的CRT显示器和液晶显示器那样的二维显示装置的情况下，需要把进行前述表现的前述三维空间投影在二维平面上进行显示的处理，然而在前述DFD那样的三维显示装置的情况下，由于只需根据前述三维空间的深度方向的位置设定各显示面上的点(像素)的亮度比率即可，因而可减少对前述系统控制装置1施加的负载。并且，在一般的CRT显示器和液晶显示器那样的二维显示装置的情况下，由于把进行前述显示的前述三维空间投影在二维平面上进行显示，因而具有以下情况：操作者难以按照与实际空间相同的感觉进行指示操作，然而通过使用前述DFD那样的三维显示装置，可按照更接近实际空间的感觉进行指示操作。据此，通过使用前述DFD那样的三维显示装置，与使用一般的二维显示器进行指示操作的情况相比，前述操作者能以更高的精度和速度指示三维深度。
并且，在使用了前述DFD作为前述显示装置3的情况下，如在前述各实施例中所说明的那样，可使前述输入单元(手写数码笔板)2的检测单元(数字化装置)与前述DFD的显示面重合。并且，在前述电磁感应方式的手写数码笔板的情况下，由于在前述检测单元的检测面上有Δz的可检测范围，因而即使前述输入笔的笔尖与前述检测面不接触，也能检测前述笔的位置、倾斜、方位等的信息。因此，即使在DFD那样的显示面之间有空间的情况下，只要把前述检测单元配置在DFD显示装置的背面侧，就能取得前述笔的位置、倾斜、方位等的信息，这对于本行业人员是可以很容易地推测出来的，从而是可实现的。而且，目前大多把前述检测单元配置在显示面的背面侧，然而只要前述检测单元是透明电极，就也能配置在显示面的表面侧而不是背面侧。这样，通过使前述检测单元与DFD的显示面重合，可在前述DFD中的近处侧的显示面上操作前述输入笔，可进行直接指示。因此，在本实施例1-5中也假定电磁感应方式的手写数码笔板2的检测单元与DFD的显示面重合。
并且，在本实施例1-5中，假定前述DFD 3的显示面是2块，并且如图17A和图17B所示，假定在表现于前述DFD 3上的三维空间301中，设定与图2所示的坐标系XYZ对应的坐标系XYZ，并把对象302配置在三维空间301内的z＜0的位置上。并且，假定操作前述输入装置2的输入笔201的操作者从z＞0的方向观察前述三维空间301的XY平面。
并且，在本实施例1-5中，假定从前述操作者来看位于近处的显示面为z＝0，并假定前述位于近处的显示面是前述输入装置2的检测单元的检测面。
假定前述操作者例如采用在前述实施例1-1和实施例1-2中所说明的方法，如图18A和图19A所示，指示立体显示在前述三维空间301上的对象302。并且，前述操作者根据前述对象302的颜色变化等对指示着前述对象302进行确认，例如，当按下设置在前述输入笔201内的按钮201D一次时，前述所指示的对象302例如如图18B和图19B所示，作为二维物体显示在前述DFD的近处的显示面上，指针303消失。在图18A中，前述对象302显示为在z方向上没有厚度的对象，然而即使在该对象是在z方向上具有厚度的立体对象的情况下，在该过程中也不进行使用DFD的三维立体显示，而是彻底采用二维在DFD的近处的显示面上显示图像，以作为投影像。
这里，操作者在前述对象302上进行例如书写文字等的目标操作，作为二维GUI操作。然后，在二维GUI操作结束后，当再次按下输入笔201所带的按钮201D时，指针303再次出现，按照在前述实施例1-3和实施例1-4中所说明的过程，例如如图18C和图19C、或者图18D和图19D所示，可使对象302移动到操作者期望的三维位置，或者向深度方向倾斜。
为了实现这种三维指示方法，只要在前述系统控制装置1中执行图20所示的步骤401至步骤415的处理即可。在前述系统控制装置1中，首先，进行在前述实施例1-1和实施例1-2中所说明的从步骤401到步骤406的处理，指示表现在前述显示装置3上的三维空间301上的对象302。然后，在改变前述步骤406中所指示的对象302的颜色来显示之后，接下来，如图20所示，判定前述操作者是否进行了按下前述输入笔201的按钮201D等的、用于对前述所指示的对象302开始二维GUI的操作、编辑、加工的操作(步骤411)。然后，在未进行用于开始前述二维GUI的操作、编辑、加工的操作的情况下，回到步骤402，进行等待直到取得下一输入信息。
另一方面，在进行了用于开始二维GUI的操作、编辑、加工的操作的情况下，接下来，例如，使显示在表现于前述显示装置3上的三维空间301上的指针303为非显示，把前述所指示的对象302的投影显示在从操作者来看最近的显示面上(步骤412、步骤413)。通过执行前述步骤412和步骤413的处理，处于可进行前述对象302的二维GUI的操作、编辑、加工的状态。
在处于可进行二维GUI的操作、编辑、加工的状态之后，接受和执行来自前述输入笔201的二维GUI的操作(步骤414)。并且，在前述步骤414的处理后，判定前述操作者是否进行了再次按下前述输入笔201的按钮201D等的、用于结束二维GUI的操作、编辑、加工的操作(步骤415)。此时，在未进行用于结束二维GUI的操作、编辑、加工的操作的情况下，回到前述步骤414，接受和执行其他的二维GUI的操作、编辑、加工。
另一方面，在进行了用于结束二维GUI的操作、编辑、加工的操作的情况下，从进行二维GUI的操作的模式回到进行在前述实施例1-1至实施例1-4中所说明的三维指示操作的模式。并且，如图20所示，进行与最初进行的从步骤401到步骤406的处理同等的从步骤401’到步骤406’的处理，指示目标对象。
并且，在改变前述步骤406’中所指示的对象的颜色来显示之后，例如，通过进行按下前述输入笔201的按钮201D等的操作，进行前述实施例1-3和实施例1-4所说明的步骤407至步骤410的处理，可进行前述所指示的对象302的三维移动操作、旋转操作、倾斜(变形)操作。
在前述系统控制装置1中，通过进行以上处理，可进行图18A、图18B、图18C、图18D所示的指针的显示控制、对象的三维移动等的操作、以及前述对象的二维GUI的操作。
如以上说明那样，根据本实施例1-5的三维指示方法，仅通过前述输入笔201的操作，除了在前述实施例1-1至实施例1-4中所说明的指针的三维显示控制和对象的三维移动等的操作以外，还可进行前述对象的二维GUI的操作、编辑、加工。因此，操作者没有必要学习用于进行对象的二维GUI的操作、编辑、加工的新的三维操作。
并且，在本实施例1-5的三维指示方法中，通过进行按下前述输入笔201的按钮201D等的特定动作，从进行三维指示操作的模式切换到进行对象的二维GUI的操作、编辑、加工的模式。此时，由前述系统控制装置1的前述输入信息取得单元101所取得的信息作为用于进行前述对象的二维GUI的操作、编辑、加工的信息而被处理。因此，例如，在指示从操作者来看位于深处的对象来进行二维GUI的操作、编辑、加工的情况下，没有必要维持使前述输入笔201的笔压增加的状态。结果，可减轻前述操作者的疲劳。
并且，在本实施例1-5中，列举使作为前述输入装置2的电磁感应方式的手写数码笔板的检测单元(数字化装置)与作为可显示三维空间的显示装置3的DFD的显示面重合的例子作了说明，然而不限于此，可以是两者在其它位置的结构。并且，在本实施例1-5中，作为前述显示装置3使用了DFD，然而不限于此，可以使用在前述实施例1-1至实施例1-4中所说明的液晶显示器等的显示装置。
并且，在本实施例1-5中，作为目标对象302的例子列举了二维的四边形的对象，然而不限于此，前述对象302的形状可以是任何形状。
并且，在本实施例1-5中，表现在前述显示装置3上的三维空间的坐标系与前述实施例1-1一样，即如图4A所示，将显示面设定成z＝0，然而只要能表现出三维，三维原点在何处取都行，并且也没有必要是笛卡尔坐标系，例如可以是圆柱坐标系和球坐标系等。
并且，在本实施例1-5中，在按下前述输入笔201的按钮201D的同时，使前述输入笔201移动来使前述所指示的对象移动，然而不限于此，例如，可以采用在按下键盘的特定键或其他开关的同时，使输入笔201移动等的方法来使前述对象移动。在该情况下，只要在图20所示的步骤407、步骤411、步骤415中判定是否取得了与前述各自的操作对应的输入信息即可。
并且，在本实施例1-5中，作为对前述对象302直接进行编辑的例子，例如，列举了如图18C所示记入“A”字符的情况，然而可以是，前述对象302是表示文件的对象，在指示了该对象后，在进行二维GUI操作时，前述文件打开，其内容由操作者在二维GUI上编辑，在关闭了文件后，可移动到操作者期望的三维位置等。
[实施例1-6]
图21A至图27是用于对本发明的实施例1-6的三维指示方法进行说明的示意图，图21A是示出表现在显示装置上的三维空间的一例的正面图和右侧面图以及下面图，图21B是示出表现在显示装置上的三维空间的一例的鸟瞰图，图22A、图22B、图22C、图23A、图23B、图23C分别是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图，图24A、图24B、图24C、图25A、图25B、图25C分别是示出当使用输入笔进行了操作时的三维空间内的状态的正面图，图26是示出本实施例1-6的三维指示方法的处理过程的流程图，图27是示出本实施例1-6的三维指示方法的处理过程的变形例的流程图。另外，图24A、图24B、图24C分别是与图22A、图22B、图22C对应的图，图25A、图25B、图25C分别是与图23A、图23B、图23C对应的图。
本实施例1-6的三维指示方法是在前述实施例1-5中所说明的三维指示方法的应用例之一，该指示方法是在使用前述实施例1-1和实施例1-2的方法指示了在三维空间301内的对象302之后，使前述所指示的对象302自动移动到操作者容易操作的位置，即，可应用以往的二维GUI操作的位置，由操作者进行目标编辑、加工等。并且，该指示方法是在目标编辑、加工结束之后，当操作者进行操作时，前述对象302从操作者来看向三维深度方向移动直到对在三维深度方向的其他对象产生干扰为止，在对其他对象产生了干扰之后，根据前述其他对象具有的属性使所移动的对象的状态变化。
在本实施例1-6中，与前述实施例1-5一样，列举使用电磁感应方式的手写数码笔板作为前述输入装置2，并且使用DFD作为前述显示装置3的情况为例，对指示方法和对象操作方法进行说明。
并且，假定前述输入装置(手写数码笔板)2的检测单元(数字化装置)与前述显示装置(DFD)3的显示面重合，并设置为一体。
并且，在对本实施例1-6的三维指示方法进行说明时，列举了例如如图21A和图21B所示，在表现于前述DFD 3的2块显示面之间的三维空间301中设定坐标系XYZ，并把对象302和窗口304配置在三维空间301内的z＜0的位置的情况为例。
此时，想要进行前述对象302的操作的操作者，首先，如图22A和图24A所示，使用在前述实施例1-1和实施例1-2中所说明的方法指示前述对象302。然后，根据前述对象302的颜色变化等对进行了指示作出确认，例如，当按下设置在前述输入笔201内的按钮201D一次时，如图22B和图24B所示，前述所指示的对象302在前述DFD的近处的显示面上显示为二维物体，指针303消失。在本实施例1-6中，对象302是在z方向上没有厚度的对象，然而即使在该对象是在z方向上具有厚度的立体对象的情况下，在该过程中也不进行使用DFD的三维立体显示，而是彻底采用二维在DFD的前面的显示装置上显示三维像，作为投影像。
这样，当前述对象302的显示方法改变时，处于可在前述三维空间301上进行二维GUI操作的状态，因而前述操作者可使用前述输入笔201，例如，如图22C和图24C所示，进行在前述对象302上书写文字等的目标操作作为二维GUI的操作。然后，如图23A和图25A所示，前述操作者继续通过二维操作使前述对象302移动到期望位置，之后，例如，当按下前述输入笔201的按钮201D一次时，如图23B和图25B所示，前述对象302从前述操作者来看向三维深度方向(z＜0)移动直到与窗口304发生干扰为止。此时，当对前述对象302的前述三维深度方向的z坐标附上阶段性减少的动画时，移动过程容易传递给前述操作者。然后，当前述对象302与前述窗口304发生干扰时，针对前述对象302，作为前述窗口304具有的属性，执行在窗口上移动的动作。
并且，如图23B和图25B所示，取代使前述对象302向三维深度方向(z＜0)自动移动，例如，如在前述实施例1-5中所说明的那样，通过在按下前述输入笔201的按钮201D的同时，操作前述输入笔201，还可使前述对象302向三维深度方向(z＜0)移动，并移动到与前述窗口304发生干扰的位置上。
为了实现这种三维指示方法，只要在前述系统控制装置1中执行图26所示的步骤401至步骤406、步骤411至步骤419的处理即可。此时，在前述系统控制装置1中，首先，进行在前述实施例1-1和实施例1-2中所说明的从步骤401到步骤406的处理，指示表现在前述显示装置3上的三维空间301上的对象302。然后，在改变在前述步骤406所指示的对象302的颜色来显示之后，接下来，如图26所示，判定前述操作者是否进行了按下前述输入笔201的按钮201D等的、用于对前述所指示的对象302开始二维GUI的操作、编辑、加工的操作(步骤411)。然后，在未进行用于开始前述二维GUI的操作、编辑、加工的操作的情况下，回到步骤402，进行等待直到取得下一输入信息。
另一方面，在进行了用于开始二维GUI的操作、编辑、加工的操作的情况下，接下来，例如，使显示在表现于前述显示装置3上的三维空间301上的指针303为非显示，把前述所指示的对象302的投影显示在从操作者来看最近的显示面上(步骤412、步骤413)。通过执行前述步骤412和步骤413的处理，处于可进行前述对象302的二维GUI的操作、编辑、加工的状态。
在处于可进行二维GUI的操作、编辑、加工的状态之后，接受和执行来自前述输入笔201的二维GUI的操作(步骤414)。并且，在前述步骤414的处理后，判定前述操作者是否进行了再次按下前述输入笔201的按钮201D等的、用于结束二维GUI操作、编辑、加工的操作(步骤415)。此时，在未进行用于结束二维GUI的操作、编辑、加工的操作的情况下，回到前述步骤414，接受和执行其他的二维GUI操作、编辑、加工。
另一方面，在进行了用于结束二维GUI的操作、编辑、加工的操作的情况下，从进行二维GUI的操作的模式回到进行在前述实施例1-1至实施例1-4中所说明的三维指示操作的模式。然后，如图26所示，使前述对象302向三维深度方向(z＜0)移动(步骤416)。
并且，在通过前述步骤416使前述对象302向三维深度方向移动的期间，在前述系统控制装置1中，例如，判定是否有与前述窗口304那样的前述对象302发生干扰的另一对象(步骤417)。并且，在有进行干扰的对象的情况下，在所干扰的时刻停止前述对象302向三维深度方向的移动，针对前述对象302，执行前述干扰的另一对象所具有的属性(步骤418)。
另一方面，在没有与前述对象302发生干扰的另一对象的情况下，使前述对象302移动到预定的深度位置，例如，移动到与进行前述步骤411以后的处理前相同的深度位置来显示(步骤419)。
在前述系统控制装置1中，通过进行图26所示的过程的处理，可进行图22A、图22B、图22C、图23A、图23B所示的一系列的指针的显示控制、对象的三维移动等的操作、以及前述对象的二维GUI的操作。
并且，在图26所示的处理过程中，在前述步骤415之后，即从可进行前述二维GUI操作的状态回到可进行三维指示操作的状态之后，如步骤416所示，使前述对象302向深度方向自动移动，然而不限于此，前述操作者可以采用在前述实施例1-3和实施例1-4中所说明的方法，在操作前述输入笔201的同时，使前述对象302向深度方向移动。在这种指示方法的情况下，只要在前述系统控制装置1中，如图27所示，执行前述步骤401至步骤415、步骤417、步骤418、步骤420、步骤421的处理即可。
在指示表现在前述DFD 3上的三维空间301上的对象302、并进行二维GUI的操作之前的处理(步骤401至步骤406、步骤411至步骤415)，由于只要进行与图26所示的处理过程的处理相同的处理即可，因而省略说明。
并且，在前述步骤415中，例如，在确认了按下前述输入笔201的按钮201D一次等的、从可进行二维GUI操作的状态回到可进行三维指示操作的状态的操作之后，按照在前述实施例1-1和实施例1-2中所说明的过程(步骤402’至步骤406’)指示前述对象302。
在通过前述步骤402’至步骤406’指示了目标对象302之后，接下来，确认是否按下了前述输入笔201的按钮201D(步骤407)。然后，在确认按下了前述输入笔201的按钮201D之后，接下来，按照前述输入笔201的操作，进行在前述实施例1-3和实施例1-4中所说明的步骤408至步骤410的处理，使前述对象302三维移动，或者使其旋转或变形。
并且，在前述系统控制装置1中，在进行前述步骤408至步骤410的处理，使前述对象302三维移动，或者使其旋转或变形期间，调查是否有与前述对象302发生干扰的另一对象(步骤417)。然后，在有干扰的另一对象的情况下，例如，改变前述进行干扰的另一对象的颜色来显示(步骤420)。并且此时，同时改变前述进行干扰的另一对象的颜色来显示，并确认是否是按下了前述输入笔201的按钮201D的状态。然后，如果是按下了前述按钮201D的状态，则继续从前述步骤408起的处理，继续前述对象302的三维移动、旋转或变形。
另一方面，如果在改变前述进行干扰的另一对象的颜色来显示的时刻离开前述按钮201D，则在该时刻停止前述对象302的移动、旋转或变形，针对前述对象302，执行前述进行干扰的另一对象所具有的属性(步骤418)。
在前述系统控制装置1中，通过进行图27所示的过程的处理，可进行图22A、图22B、图22C、图23A、图23C所示的一系列的指针的显示控制、对象的三维移动等的操作、以及前述对象的二维GUI的操作。
如以上说明那样，根据本实施例1-6的三维指示方法，在指示了在三维空间301内的对象302之后，使前述所指示的对象302自动移动到操作者容易操作的位置，通过以往的二维GUI操作进行目标编辑、加工等，并在目标编辑、加工结束之后，使前述对象302从操作者来看向三维深度方向移动，并在存在与所移动的对象302发生干扰的另一对象的情况下，可根据前述另一对象具有的属性使所移动的前述对象302的状态变化。
并且，在本实施例1-6的三维指示方法中，通过进行按下前述输入笔201的按钮201D等的特定动作，从进行三维指示操作的模式切换到进行对象的二维GUI的操作、编辑、加工的模式。此时，由前述系统控制装置1的前述输入信息取得单元101所取得的信息作为用于进行前述对象的二维GUI的操作、编辑、加工的信息而被处理。因此，例如，在指示从操作者来看位于深处的对象来进行二维GUI的操作、编辑、加工的情况下，没有必要维持使前述输入笔201的笔压增加的状态。结果，可减轻前述操作者的疲劳。
并且，在本实施例1-6中，列举使作为前述输入装置2的电磁感应方式的手写数码笔板的检测单元(数字化装置)与作为可显示三维空间的显示装置3的DFD的显示面重合的例子作了说明，然而不限于此，可以是两者在其它位置的结构。并且，在本实施例1-6中，作为前述显示装置3使用了DFD，然而不限于此，可以使用在前述实施例1-1至实施例1-4中所说明的液晶显示器等的显示装置。
并且，在本实施例1-6中，作为目标对象302的例子列举了二维的四边形的对象，然而不限于此，前述对象302的形状可以是任何形状。
并且，在本实施例1-6中，表现在前述显示装置3上的三维空间的坐标系与前述实施例1-1一样，即如图4A所示，将显示面设定成z＝0，然而只要能表现出三维，三维原点在何处取都行，并且也没有必要是笛卡尔坐标系，例如可以是圆柱坐标系和球坐标系等。
并且，在本实施例1-6中，在按下前述输入笔201的按钮201D的同时，使前述输入笔201移动来使前述所指示的对象移动，然而不限于此，例如，可以采用在按下键盘的特定键或另一开关的同时，使输入笔201移动等的方法来使前述对象移动。在该情况下，只要在图20所示的步骤407、步骤411、步骤415中判定是否取得了与前述各自的操作对应的输入信息即可。
并且，在本实施例1-6中，作为对前述对象302直接进行编辑的例子，例如，列举了如图22C所示记入“B”字符的情况，然而可以是，前述对象302是表示文件的对象，在指示了该对象后，在进行二维GUI操作时，前述文件打开，其内容由操作者在二维GUI上编辑，在关闭了文件后，可移动到操作者期望的三维位置等。
并且，在本实施例1-6中，对作为前述另一对象的例子列举了窗口304，执行在与前述窗口304发生干扰时移动文件的属性的情况作了说明，然而不限于此，例如，也能执行在与另一应用程序执行用的图标发生干扰时执行文件的属性。并且此外，例如，还能执行在与垃圾箱对象发生干扰时删除文件的属性。
图28A至图32C是用于对使用本实施例1-6的三维指示方法删除对象的方法进行说明的示意图，图28A是示出表现在显示装置上的三维空间的一例的正面图和右侧面图以及下面图，图28B是示出表现在显示装置上的三维空间的一例的鸟瞰图，图29A、图29B、图30A、图30B、图30C分别是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图，图31A、图31B、图32A、图32B、图32C分别是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。另外，假定图31A、图31B分别是与图29A、图29B对应的图，图32A、图32B、图32C分别是与图30A、图30B、图30C对应的图。
在本实施例1-6的三维指示方法中，如前所述，不仅可使对象302移动到窗口304，而且例如还可使对象302移动到垃圾箱对象中进行删除。因此，如图28A和图28B所示，列举在表现于前述DFD 3的2块显示面之间的三维空间301中设定坐标系XYZ，并把对象302和垃圾箱305配置在三维空间301内的z＜0的位置的情况为例。对前述对象302的删除过程进行说明。
想要删除前述对象302的操作者，首先，如图29A和图31A所示，操作前述输入笔201来指示想要删除的对象302。然后，在指示了前述想要删除的对象302的状态下，例如，当进行按下前述输入笔201的按钮201D一次等的特定操作时，如图29B和图31B所示，前述所指示的对象302移动到前述近处的显示面，改变为可进行二维GUI操作的状态。这里，前述操作者例如如图30A和图32A所示，使前述所指示的对象302移动到垃圾箱305上，当再次进行按下前述输入笔201的按钮201D一次等的特定操作时，从前述可进行二维GUI操作的状态回到可进行三维指示的状态。然后，在由前述系统控制装置1进行的处理是图26所示的过程的情况下，在回到可进行三维指示的状态之后，前述对象302向三维深度方向(z＜0)自动移动，在与前述垃圾箱305发生干扰的时刻，如图30B和图32B所示，前述对象302的显示消失，前述垃圾箱305切换到有垃圾(对象)进入的状态的显示。
另一方面，在由前述系统控制装置1进行的处理是图27所示的过程的情况下，在回到前述可进行三维指示的状态之后，前述操作者操作前述输入笔201来使前述对象302向前述三维深度方向移动。然后，在前述对象302与前述垃圾箱发生干扰的时刻，如图30C和图32C所示，前述对象302的显示消失，前述垃圾箱305切换成有垃圾(对象)进入的状态的显示。
这样，在本实施例1-6的三维指示方法中，与前述对象302发生干扰的对象只要能针对前述对象302执行属性，就可以是具有任何属性的对象。
[实施例1-7]
图33至图36C是用于对本发明的实施例1-7的三维指示方法进行说明的示意图，图33和图34是示出在本实施例1-7的三维指示方法中使用的输入笔的结构例的图，图35A、图35B、图35C分别是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图，图36A、图36B、图36C分别是示出当使用输入笔进行了操作时的三维空间内的状态的正面图和右侧面图。另外，假定图36A、图36B、图36C分别是与图35A、图35B、图35C对应的图。
在本实施例1-7中，对作为当实施在前述实施例1-1至实施例1-6中所说明的三维指示方法时使用的输入笔，使用将笔尖201P根据笔压的强度压入到输入笔201的壳体内的结构的输入笔时的指示方法进行说明。
在本实施例1-7中使用的输入笔201例如如图33所示，在壳体内部装入有弹簧201E，假定在操作者对前述输入笔201施加了笔压的情况下，压力检测单元201F具有根据前述弹簧201E的斥力来感知压力的结构。另外，前述输入笔201的结构不限于图33所示的结构，例如，如图34所示，可以是使用空气压式的活塞201G，并在空气压感知部201H中感知所施加的压力的结构。由图33或图34所示的结构的输入笔201所感知的压力由前述系统控制装置1进行运算处理，例如，与操作者所施加的压力成比例的长度的指针303显示在显示装置3上。
在本实施例1-7中，作为使用图33或图34所示的结构的输入笔201来进行表现在前述显示装置3上的三维空间的指示的情况的例子，列举了实施在前述实施例1-1中所说明的指示方法的情况。此时，假定前述输入装置2和前述显示装置3分别与前述实施例1-1一样，使用电磁感应方式的手写数码笔板和液晶显示器。并且，假定前述输入装置2的检测单元(数字化装置)与前述液晶显示器3的显示面重合。
此时，当前述操作者把前述输入笔201的笔尖201P放在前述液晶显示器3的XY平面(z＝0)的任意一点时，例如，如图35A和图36A所示，在前述液晶显示器3的三维空间301上显示反映了圆锥型等的前述输入笔201的笔尖201P的形状的形状的指针。
然后，当前述操作者逐渐增加前述输入笔201的笔压时，例如，如图35B和图36B、或者图35C和图36D所示，所显示的前述指针303的大小根据前述输入笔201的笔压强度而改变。该前述指针303的大小的控制由于只要按照在前述实施例1-1中所说明的过程进行即可，因而省略详细说明。
此时，例如，如图35B和图36B、或者图35C和图36D所示，通过使圆锥型的前述指针303的大小与前述输入笔201的笔尖201P被压入到壳体内的长度成比例，例如，与在前述实施例1-1中所说明的方法相比，认为前述指针303是前述笔尖201P的一部分的视觉效果进一步增高。
并且，在本实施例1-7中，作为笔尖凹下的结构的输入笔201的例子，如图33和图34所示，列举了使用弹簧和空气压的机构的输入笔，然而只要是能取得相同效果，就可以是其他机构的输入笔。并且，取代在笔的壳体内部设置压力检测部201F和空气压检测部201H，例如，配备测量笔尖201P凹下的移动量的机构等、只要能取得相同效果，就可以是其他机构的输入笔。
并且，在本实施例1-7中，列举了实施在前述实施例1-1中所说明的三维指示方法的情况为例，然而不限于此，在实施前述实施例1-2至实施例1-6所说明的指示方法的情况下，当然也能使用图33和图34所示的结构的输入笔201。
[实施例1-8]
图37A至图40C是用于对本发明的实施例1-8的三维指示方法进行说明的示意图，图37A、图37B、图37C、图38A、图38B、图38C分别是示出当使用输入笔进行了操作时的三维空间内的状态的鸟瞰图，图39A、图39B、图39C、图40A、图40B、图40C分别是示出当使用输入笔进行了操作时的三维空间内的状态的正面图。另外，假定图39A、图39B、图39C分别是与图37A、图37B、图37C对应的图，图40A、图40B、图40C分别是与图38A、图38B、图38C对应的图。
在本实施例1-8中，作为在前述实施例1-1至实施例1-6中所说明的三维指示方法的具体利用情况，列举内置有可进行三维显示的显示画面和手写数码笔板的检测单元的用于操作音乐再现功能的遥控器为例。在本实施例1-8中，操作了前述输入笔201时的遥控器的显示画面上的指针和对象的显示控制过程，由于可以与在前述实施例1-1至实施例1-7中所说明的过程相同，因而省略详细说明。
此时，前述操作者使用在前述实施例1-7中所说明的使笔尖201P压入到壳体内的输入笔201，操作例如如图37A和图39A所示的显示在前述遥控器的三维空间301上的对象。首先，例如如图37B和图39B所示，当前述操作者操作前述输入笔201来指示再现按钮302a时，切换到按下了前述再现按钮302a的状态的显示，开始生成音乐。
并且，例如如图37C和图39C所示，操作前述输入笔201来指示音量的旋钮302b，例如，当在按下前述输入笔201的按钮201D的同时，使前述输入笔移动，从而使前述旋钮302b旋转时，可使再现中的音乐的音量升高或降低。
并且，在使音量升高或降低的情况下，不限于图37C和图39C所示的操作，例如，如图38A和图40A所示，在前述旋钮302b的中心附近指示了前述旋钮302b之后，通过使前述输入笔201绕轴旋转，使前述旋钮302b旋转，也能使音量升高或降低。
并且，例如如图38B和图40B所示，当使用前述输入笔201指示了显示有再现中的音乐相关信息的区域302c时，如图38C和图40C所示，前述区域302c切换为二维显示，只要能处于可进行二维GUI操作的状态，就能例如与手写文字识别功能等组合，在前述区域302c内输入想要再现的音乐的磁道号，跳至目标磁道号。
这样，通过利用前述实施例1-1至实施例1-6的三维指示方法，可容易且直观地操作三维空间301的操作按钮等的对象。
并且，在本实施例1-8中，示出了使用遥控器的音乐设备的操作例，然而不限于此，例如，也能应用于PDA、便携电话、以及电话亭终端和ATM等的采用相同形式的设备的操作，可更直观地操作各个设备。并且，在操作中，在本实施例中，进行了再现音乐、升高音量、改变磁道的操作，然而不限于此，只要是与前述输入笔201的操作相关联的操作，就能是任何操作。
并且，在本实施例中，假定为了输入磁道号而使用手写识别，然而只要在二维GUI上可实现，就可以是任何方法，例如，可以是使用下拉菜单显示磁道号并使用输入笔201进行选择的输入方法。
并且，前述三维指示装置没有必要是为了实现前述三维指示方法而作了特殊化的专用装置，例如，如图1所示，也能使用PC等的计算机(系统控制装置)、和使前述计算机执行在前述各实施例中所说明的三维指示方法的三维指示程序来实现。在该情况下，前述三维指示程序只要在前述计算机可读取的状态下被记录，就可以被记录在磁、电、光的任意一种记录介质内。并且，前述三维指示程序，例如，不仅可记录在前述记录介质内来提供，而且还可通过互联网等的网络来提供。
(第2实施方式)
下面，对本发明的第2实施方式进行说明。第2实施方式与第1实施方式一样，与本发明的第1目的对应。第1实施方式根据输入笔的笔压或倾斜等控制指针，相比之下，第2实施方式根据输入笔的笔尖的接触时间或者安装在输入笔上的操作单元的操作量等控制指针。在第1实施方式和第2实施方式中，用于控制指针的输入笔的操作内容不同，而要实现的目的是相同的，因而适当参照第1实施方式的附图来进行第2实施方式的说明。
第2实施方式的三维指示方法是使用笔形输入装置(单元)来指示表现在可进行三维显示的显示装置上的三维空间上的对象，或者进行所指示的对象的操作的方法。前述笔形输入装置包含：例如像手写数码笔板那样，由进行前述对象的指示和操作的操作者把持来进行操作的输入笔(电子笔)；以及对前述输入笔的笔尖的有无接触、位置、轴的朝向、前述输入笔具有的操作单元的操作信息等的信息进行检测的检测单元。然后，在本实施方式的三维指示方法中，根据由前述检测单元所检测的信息，决定指针的位置、形状、朝向等，并在表现于前述显示装置上的三维空间上显示前述指针。这样，前述操作者可在使前述输入笔的笔尖与前述检测单元的检测面上接触的状态下，进行表现在前述显示装置上的三维空间上的前述对象的指示和操作，可减轻长时间的指示和对象操作时的前述操作者的疲劳。
并且，在本实施方式的三维指示方法中通过使使用前述输入笔的笔尖进行了持续指示的时间、或者前述输入笔的操作单元的操作状况与前述指针的深度方向的移动或变形对应，可指示表现在前述显示装置上的三维空间内的一点。并且，通过使前述输入笔的倾斜和方位的信息反映在前述指针的倾斜和方位上，前述操作者可感觉到显示在表现于前述显示装置上的三维空间上的指针犹如是自身把持的输入笔的笔尖的一部分，可容易且直观地进行三维对象的指示。
并且，在本实施方式的三维指示方法中，在指示了前述对象之后，通过进行选择或抓住前述所指示的对象的操作，使前述对象处于可进行二维GUI的编辑、加工等的操作的状态，换句话说，处于可通过前述输入笔的操作来操作前述二维GUI上的对象的状态。并且，在前述对象的编辑、加工的处理(操作)结束后，把前述对象再次用作三维对象，可移动到操作者期望的三维位置。这样，三维对象的操作可通过与使用现有的笔型输入装置的以往的二维GUI中的操作没有变化的操作来实现。因此，前述操作者例如可以不新学习用于操作前述对象的前述三维输入笔的操作。
图41是示出实现本实施方式的三维指示方法的系统的结构例的图。在图41中，1是系统控制装置，101是输入信息取得单元，102是指针位置/旋转角度算出单元，103是指针生成单元，104是指示判定单元，105是对象生成单元，106是显示控制单元，107是处理控制单元，108是存储单元，2是输入装置，3是显示装置。并且，图42是示出在本实施方式的三维指示方法中使用的输入笔的结构例的图。在图42中，201是输入笔，201A是线圈，201B是旋转角检测用线圈，201D是操作单元(按钮)，201D1、201D2是跷跷板式按钮或者滚动或滑动型的条，201D3是按压式按钮。另外，在以下说明中，只要没有特别描述，就假定201D1、201D2是跷跷板式按钮、201D3是按压式按钮。并且，当然，前述输入笔201只要实现同样功能，就不限于前述机构。
本实施方式的三维指示方法是在使用例如与PC等的系统控制装置连接的前述笔型输入装置，对在表现于与前述系统控制装置连接的显示装置上的三维空间上的指针、和由前述指针所指示的对象进行三维操作时优选应用的指示方法。
前述系统控制装置1例如如图41所示，具有：输入信息取得单元101，其取得从前述输入装置2所输入的输入信息；输入信息处理单元109，其在由前述输入信息取得单元101所取得的输入信息是指针控制相关信息的情况下，根据前述输入信息算出使用输入装置2进行了持续指示的时间、和前述输入装置2具有的操作单元的操作信息(按下按钮的时间和次数)；指针位置/旋转角度算出单元102，其根据前述输入信息算出指针的移动方向和移动量、旋转方向和旋转角度等；指针生成单元103，其生成基于前述指针位置/旋转角度算出单元102的算出结果的指针；指示判定单元104，其判定是否有由在前述指针生成单元103中所生成的指针指示的对象；对象生成单元105，其在有前述所指示的对象的情况下，例如，改变该对象的颜色，或者生成追随前述指针的移动和旋转的位置和朝向的对象；以及显示控制单元106，其使由前述指针生成单元103所生成的指针、和由前述对象生成单元105所生成的对象显示在前述显示装置3上。
并且，前述系统控制装置1例如像前述PC那样，是根据来自前述输入装置2的输入信息进行软件起动和操作，或者进行其他装置控制的装置，如图41所示，除了前述各单元以外，例如还具有：处理控制单元107，其控制软件起动等的处理；以及存储单元108，其存储有在前述处理控制单元107的处理中使用的数据等。然后，在由前述输入信息取得单元101所取得的信息与前述指针控制相关信息不同的情况下，前述输入信息取得单元101把前述所取得的信息传送到前述处理控制单元107中，使前述系统控制装置1执行与所取得的信息对应的处理。因此，前述显示控制单元106是除了前述指针和前述对象以外，还可使在前述系统控制装置1(处理控制单元107)中执行的处理内容和处理结果显示在前述显示装置3上的单元。
并且，前述输入装置2尽管省略图示，但假设例如由以下部分构成：由进行前述指针和对象的操作的操作者把持的输入笔(电子笔)，以及具有对前述输入笔的笔尖的有无接触、位置、前述输入笔具有的按钮等的操作单元的状态、前述输入笔的倾斜、方位、旋转角等的信息进行检测的检测面的检测单元。
与第1实施方式一样，在前述检测单元的检测面上，如图2所示，取与表现在前述显示装置3上的三维空间对应的笛卡尔坐标系XYZ，如果前述笛卡尔坐标系XYZ的XY平面是检测面，则当前述输入笔的笔尖201P与前述检测面(XY平面)接触时，前述检测单元对笔尖201P的有无接触、接触位置的坐标(x，y)、输入笔的壳体的轴201X的方位α(例如0度≤α＜360度)、倾斜β(例如0度≤β≤90度)、绕轴的旋转γ(例如0度≤γ＜360度)的各角度的信息进行检测。
与第1实施方式一样，可对前述输入笔的笔尖201P的有无接触、接触位置的坐标(x，y)、前述输入笔的壳体的轴201的方位α、倾斜β、绕轴的旋转γ等的信息进行检测的输入装置2的结构，如果是本行业人员，则例如可根据参照文献1(三谷雄二，“タツチパネルの基礎と応用”，テクノタイムズ社，2001.)和参照文献2(株式会社WACOM製intuos2のカタログ)等所记载的内容容易地推测出来，从而能容易地实现。然而，对于前述输入笔的壳体的轴201X的绕轴的旋转γ的角度，采用前述参照文献1和参照文献2所记载的结构却不能取得。然而，为了检测前述绕轴的旋转γ的角度，例如，如图42所示，只要与前述输入笔201的内部的前述参照文献1所记载的坐标指示器的线圈201A平行地再追加一个用于检测前述绕轴的旋转γ的线圈201B，分别取得两线圈201A、201B的交链磁通变化，并计算旋转量即可，这对于本行业人员来说可以很容易地想像出来，从而可容易地实现。然而，在本实施方式的三维指示方法中使用的前述输入笔201可以不是图42所示的具有检测前述绕轴的旋转γ的角度的机构的结构。
并且，前述输入装置2例如像手写数码笔板、触摸屏以及记录笔的组合那样，不限于前述输入笔和前述检测单元分离的装置，例如，可以是像笔形鼠标那样，在前述输入笔的壳体内部装入有前述检测单元的输入装置。
并且，前述显示装置3只要是能表现出三维空间的显示装置即可，例如，可以是像CRT显示器和液晶显示器那样以将三维对象投影在二维平面上的形式来表现和显示的二维显示装置，也可以是像HMD(HeadMount Display：头盔式显示器)和DFD那样能表现和显示三维立体像的显示装置。即，前述显示装置3只要能由前述操作者三维感知所显示的指针和对象，就可以是任何显示装置。
并且，前述输入装置2的检测单元和前述显示装置3还可采取一体型的形式(例如，参照特开平5-073208号公报)。在例如使用电磁感应方式的手写数码笔板作为前述输入装置2的情况下，前述检测单元(数字化装置)可与前述显示装置3的显示面重合，与前述显示装置3形成为一体。并且，作为同样的形式，例如，还可应用使触摸屏和记录笔组合的形式。这样，前述操作者可使前述输入笔与液晶显示器等的前述显示装置3的显示面接触来指示，与在前述检测单元和前述显示装置3分离的状态下进行操作的情况相比，可进行更直观的操作。然而，本发明不限于这种前述输入装置2的检测单元和前述显示装置3的结构，而是像一般的手写数码笔板那样，前述检测单元和前述显示装置3可以不形成为一体。
[实施例2-1]
下面，对实施例2-1进行说明。实施例2-1与实施例1-1一样，是选择或抓住对象时的实施例，使用实施例1-1的图4～6进行说明。并且，参照图43对实施例2-1的处理过程进行说明。另外，在图5B、图6B、C中记载了对输入笔施加压力的方向的箭头，然而在本实施例2-1中假定没有该箭头。
本实施例2-1的三维指示方法是使前述输入笔201的笔尖201P与前述检测单元的检测面接触，使用跷跷板式按钮201D1、201D2来指示三维空间内的从操作者来看在深度方向的对象，并使用按压式按钮201D3来选择或抓住对象的方法。
在本实施例2-1中，假定前述输入装置2使用电磁感应方式的手写数码笔板，可显示前述三维空间的显示装置3使用液晶显示器。并且，假定前述输入装置2的检测单元(数字化装置)与前述液晶显示器3的显示面重合，可在显示画面上直接操作输入笔来进行指示、以及选择或抓住的操作。并且，假定前述输入装置2和前述显示装置3与图41所示的结构的系统控制装置1连接。
并且，在本实施例2-1中，与实施例1-1一样，如图4A和图4B所示，假定在表现于前述液晶显示器3上的三维空间301中设定与图2所示的坐标系XYZ对应的坐标系XYZ，对象302配置在三维空间301内的z＜0的位置上。并且此时，假定操作前述输入装置2的输入笔201的操作者从z＞0的方向观察前述三维空间301的XY平面。
并且，在本实施例2-1中，假定前述三维空间301的z＝0的XY平面，即从前述操作者来看最近的面是前述液晶显示器的显示面，同时是前述输入装置2的检测单元的检测面。
当前述操作者例如如图5A和图6A所示，使前述输入笔201的笔尖201P与前述液晶显示器3的显示面接触时，与前述显示面重合的前述检测单元检测前述笔尖201P的位置(坐标)。然后，在前述系统控制装置1中，判定在笔尖201P接触的状态下按下了跷跷板式按钮201D1、201D2的任意一方，并且由前述输入信息取得单元101取得前述检测单元所检测的前述笔尖201P的位置(坐标)等的信息，在前述指针位置/旋转角度算出单元102和前述指针生成单元103中，生成显示在与前述笔尖201P接触的位置对应的前述三维空间301上的位置的指针。然后，当生成了前述指针时，把指针显示用的信号从前述显示控制单元106发送到前述显示装置3，例如，如图5A和图6A所示，在表现于前述显示装置3上的三维空间301上显示反映了在前述笔尖201P接触的状态下按下了前述跷跷板式按钮201D1、201D2的任意一方的时间(或次数)的指针303。
并且，当前述操作者在使前述输入笔201的笔尖201P与前述液晶显示器3的显示面接触的状态下，再次按下了前述跷跷板式按钮201D1、201D2的任意一方时，在前述系统控制装置1的输入信息处理单元109和前述指针位置/旋转角度算出单元102以及前述指针生成单元103中，生成与按下了前述跷跷板式按钮201D1、201D2的任意一方的时间(或次数)对应的形状的指针。此时，例如，如果箭头形的指针与按下了前述跷跷板式按钮201D1的时间(或次数)成比例地延长，则通过使按下前述跷跷板式按钮201D1的时间(或次数)延长(或增多)，如图5B和图6B所示，前述指针303比图5A和图6A所示的指针长。并且，当连续按下前述跷跷板式按钮201D1更长时间(或者按下多次)时，如图5C和图6C所示，前述指针303进一步延长。
另一方面，例如，如果前述箭头形的指针根据按下了前述跷跷板式按钮201D2的时间(或次数)而缩短，则通过使按下前述跷跷板式按钮201D2的时间(或次数)延长(或增多)，如图5C和图6C所示的长指针按图5B和图6B所示缩短。并且，当连续按下前述跷跷板式按钮201D2更长时间(或者按下多次)时，如图5A和图6A所示，前述指针303进一步缩短。
由于这种指针303的显示，与前述操作者使前述输入笔201接触并按下前述跷跷板式按钮201D1、201D2大致同时地连续(或者按规定阶段)进行，因而前述操作者可感觉到前述指针303根据按下了前述跷跷板式按钮201D1、201D2的时间(或次数)而向三维深度方向(z＜0)延伸。另外，前述指针303的长度的最大值和最小值可以由操作者设定，也可以预先在系统中设定。并且，尽管省略图示，然而在前述指针303的尖指示了目标对象302的近处(例如10像素的范围内)之后，由前述对象生成单元105进行改变对象302的颜色等的处理，因而可向操作者传达正在指示对象302。此时，如果操作者按下了例如前述输入笔201的按压式按钮201D3，则前述系统控制装置1的指示判定单元104判定为对对象302进行了选择或抓住的操作，并维持使前述对象的颜色改变的状态。并且，在使前述输入笔201的笔尖201P从前述检测面离开(浮动)的情况下，可以根据使前述笔尖201P离开(浮动)的时间，使前述指针303自即将使笔尖201P从前述检测面离开(浮动)前的状态起以一定速度缩短，也可以固定在即将使笔尖从前述检测面离开(浮动)前的状态。
为了实现这种三维指示方法，只要在前述系统控制装置1中执行图43所示的步骤401至步骤410的处理即可。即，在前述系统控制装置1中，首先，通过前述显示控制单元106在表现于前述显示装置(液晶显示器)3上的三维空间301上显示对象302(步骤401)。并且此时，前述输入信息取得单元101处于可取得由前述输入装置2的检测单元所检测的信息的状态。
然后，当前述操作者使前述输入笔201的笔尖201P与检测单元的检测面接触时，由于前述检测单元检测前述笔尖201P的位置(坐标)等，因而前述输入信息取得单元101取得前述所检测的前述笔尖201P的位置(坐标)等的表示前述输入笔201的状态的信息(步骤402)。在本实施例2-1的三维指示方法中，由于只要能取得前述笔尖201P的位置(坐标)的信息即可，因而在前述步骤402中，可以仅取得前述笔尖201P的位置(坐标)的信息，然而在前述检测单元中，除了前述笔尖201P的位置(坐标)以外，还可检测前述输入笔201的方位α、倾斜β、绕轴的旋转γ等。因此，可以连同前述笔尖201P的位置(坐标)的信息一起，取得前述输入笔201的方位α、倾斜β、绕轴的旋转γ的信息。
然后，通过前述输入信息处理单元109判定是否按下了前述输入笔201的跷跷板式按钮201D1、201D2的任意一方，输出按下了任意一方的信息。该处理例如如图43所示，首先，判定是否按下了前述按钮201D1(步骤403a)，在按下了的情况下，把该信息输出到前述指针位置/旋转角度算出单元102中(步骤404a)。并且，在未按下前述按钮201D1的情况下，判定是否按下了前述按钮201D2(步骤403b)，在按下了的情况下，把该信息输出到前述指针位置/旋转角度算出单元102(步骤404b)。
然后，在前述指针位置/旋转角度算出单元102中，使用前述所取得的信息中的前述笔尖201P的位置(坐标)、和是否按下了前述跷跷板式按钮201D1、201D2的任意一方的信息，算出反映这些信息的指针的位置、朝向、长度等(步骤405)。在本实施例2-1的三维指示方法的情况下，在前述步骤405中，算出与前述笔尖201P的位置(坐标)对应的表现在前述显示装置3上的三维空间301的XY平面上的位置(坐标)、和与按下了前述跷跷板式按钮201D1、201D2的任意一方的时间(或次数)成比例的长度。
另外，如本实施例2-1所示，在仅使用前述输入笔201的笔尖201P的位置(坐标)的信息，而不利用前述输入笔201的方位α、倾斜β、绕轴的旋转γ的信息的情况下，前述指针的朝向总是保持一定来进行指针显示。因此，在前述步骤405中，没有必要算出前述指针的朝向。
在结束了前述步骤405的算出处理之后，接下来，在前述指针生成单元103中，生成基于前述指针位置/旋转角度算出单元102的算出结果的形状的指针，把前述所生成的指针相关信息从前述显示控制单元106发送到前述显示装置3，显示在前述三维空间301上(步骤406)。
并且，在前述系统控制装置1中，与前述步骤406的处理并行地，在前述指示判定单元104中，判定在由前述指针位置/旋转角度算出单元102所算出的与三维空间的XY平面上的位置(坐标)和深度位置对应的位置上是否有正在指示的对象(步骤407)。前述步骤407的判定例如如图43所示，是判定在距前述指针的尖，换句话说，是在距前述指针所指示的位置10像素以内是否有对象。另外，在图43中假定是10像素以内，然而不限于此，也可以根据其他条件来判定。是否有所指示的对象的判定也能在第1实施方式中采用这里所说明的方法进行。然后，如果没有所指示的对象，则仅进行前述指针303的显示控制，回到步骤402，取得下一输入信息。
另一方面，如果有所指示的对象，则在前述对象生成单元105中，生成例如使前述所指示的对象的颜色改变的对象，把前述所生成的对象相关信息从前述显示控制单元106发送到前述显示装置3中，显示在前述三维空间301上(步骤408)。并且，在前述指示判定单元104中，判定是否按下了前述输入笔201的按压式按钮201D3(步骤409)。然后，在按下了前述按压式按钮201D3的情况下，可选择或抓住前述所指示的对象302(步骤410)。并且，在未按下前述按压式按钮201D3的情况下，回到前述步骤402，取得下一输入信息。
在前述系统控制装置1中，通过进行以上的处理，可进行图5A、图5B、图5C所示的指针303的显示控制。
另外，在已进行了前述步骤401至步骤406的处理的状态，即前述指针显示在前述显示装置3上的状态下，通过前述步骤405算出前述指针的长度的情况下，例如，当从前述输入信息处理单元109输入了表示按下了前述按钮201D1的信息时，前述指针位置/旋转角度算出单元102使前述指针的长度延长规定长度。并且，当从前述输入信息处理单元109输入了表示按下了前述按钮201D2的信息时，前述指针位置/旋转角度算出单元102使前述指针的长度缩短规定长度。通过重复执行该处理循环，可显示与按下了前述跷跷板式按钮201D1、201D2的时间(或次数)对应的长度的指针。
如以上说明那样，根据本实施例2-1的三维指示方法，取得前述输入笔201的笔尖201P的位置(坐标)和检测单元的检测面相关信息，算出与前述笔尖201P的位置(坐标)对应的表现在前述显示装置3上的三维空间的XY平面上的位置(坐标)、和与按下了前述输入笔201的跷跷板式按钮201D1、201D2的时间(或次数)对应的深度位置，生成指示所算出的位置和深度位置的指针并显示，从而可指示表现在前述显示装置3上的三维空间301上的任意一点。并且，通过判定是否按下了前述输入笔201的按压式按钮201D3，还能选择或抓住由前述指针所指示的对象。
并且，作为前述输入装置2，使用一般的手写数码笔板，在使前述输入笔201的笔尖201P与前述检测单元接触的状态下，可改变前述指针303的深度方向的指示位置，因而可减轻操作者的疲劳。
并且，如在本实施例2-1中所说明的那样，只要使前述输入装置2的检测单元与前述显示装置(液晶显示器)3的显示面重合，前述操作者就能在前述显示面上进行前述输入笔201的操作。这样，可取得前述指针303是前述输入笔201的笔尖201P的一部分的视觉效果，前述对象302的准确指示变得容易，而且可进行直观的指示。
并且，在本实施例2-1中，显示了长度根据按下了前述输入笔201的跷跷板式按钮201D1、201D2的时间(或次数)而改变的指针303，然而不限于此，例如，像形状而不是长度在三维深度方向(z＜0)进行任何变化的指针、三维深度方向(z＜0)的倾斜变化的指针那样，只要能指示三维深度方向(z＜0)，就可以是任何变化。并且，在使前述指针的长度变化的情况下，可以与按下了跷跷板式按钮201D1、201D2的时间(或次数)成比例，也可以与所按下的时间(或次数)的乘方或乘方根等成比例。
另外，在本实施例2-1中，列举了使用电磁感应方式的手写数码笔板作为前述输入装置2，并使前述手写数码笔板的检测单元(数字化装置)与前述显示装置(液晶显示器)3的显示面重合的情况为例，然而不限于此，可以是两者在其它位置的结构。并且，在本实施例2-1中，作为前述输入装置2和显示装置3的组合，列举前述电磁感应方式的手写数码笔板和前述液晶显示器为例作了说明，然而不限于此，例如，可以是在PDA等中使用的触摸屏和记录笔的组合。
并且，在本实施例2-1中，前述指针303的尖是否在目标对象302的近处的判定，是以是否在距前述指针303的尖10像素的范围内来进行判定的，然而该范围可由系统的管理者和操作者任意设定和变更。
在本实施例2-1中，与实施例1-1一样，指针的形状如图8A、图8B、图8C、图8D所示的那样，可采用各种形状的指针。
在本实施例2-1中，作为前述指针303，例如如图8A所示，生成和显示了平板状的箭头型指针303a，然而前述指针303的形状不限于此，只要是所指示的位置是视觉明晰的形状，就可以是任何形状。作为这种指针的形状，例如考虑有：图8B所示的圆锥底面与圆柱连接的立体箭头型指针303b，图8C所示的圆锥型指针303c，图8D所示的使用食指指示对象的人手型指针303d等。并且，尽管省略图示，然而可以是类似于图8C所示的圆锥型指针303c的多角锤型指针。
并且，在本实施例2-1中，前述指针303所指示的点是箭头型指针的尖(箭头的尖端)，然而不限于此，前述指针的哪个部分都能进行指示，也能采用指针的别的一部分而不是尖。
并且，在本实施例2-1中，作为前述对象302的例子列举了文件夹型的对象，然而不限于此，前述对象302可以是任何形状。
并且，在本实施例2-1中，表现在前述显示装置3上的三维空间的坐标系如图4A所示，将显示面设定成z＝0，然而只要能表现出三维空间，三维原点在何处取都行。并且坐标系也没有必要是笛卡尔坐标系，例如可以是圆柱坐标系和球坐标系等。
并且，在本实施例2-1中，着重于按下了前述输入笔201的跷跷板式按钮201D1、201D2的时间(或次数)，然而此外还可追加前述输入笔201的方位α、倾斜β和绕轴的旋转γ的要素，可构成为也能操作指针的方位、倾斜和旋转。
[实施例2-2]
下面，对实施例2-2的三维指示方法进行说明。在本实施例2-2中，与实施例1-2一样，参照图9A～图10C，对通过改变前述输入笔201的朝向，来从各种方向指示三维空间内的从操作者来看在深度方向的对象的方法进行说明。并且，参照图44对本实施例的处理过程进行说明。
在本实施例2-2中，假定前述输入装置2和前述显示装置3分别与前述实施例2-1一样，使用电磁感应方式的手写数码笔板和液晶显示器。并且，假定前述手写数码笔板2的检测单元(数字化装置)与前述液晶显示器3的显示面重合。并且，假定前述手写数码笔板2和显示装置3与图41所示的结构的系统控制装置1连接。
并且，假定表现在前述液晶显示器3上的三维空间的坐标系的取法、前述手写数码笔板2的输入笔201的操作方法等与在前述实施例2-1中所说明的一样。然而，在本实施例2-2中，作为输入方法的其它方式，使用以下输入方法，即，不利用在前述实施例2-1中使用的前述输入笔201的跷跷板式按钮201D1、201D2和按压式按钮201D3，可根据是否使前述输入笔201的笔尖201P从前述检测面离开的操作来指示前述对象，并可选择或抓住所指示的对象。
在本实施例2-2的三维指示方法中，当前述操作者把前述输入笔201的笔尖201P放在表现于前述液晶显示器3上的三维空间301的XY平面(z＝0)的任意一点时，前述系统控制装置1通过前述输入信息取得单元101取得由前述检测单元(数字化装置)所检测的前述输入笔201的笔尖201P的位置(坐标)、前述输入笔201的方位α、倾斜β、绕轴的旋转γ等的信息。并且此时，前述输入信息处理单元109算出前述输入笔201的笔尖201P与前述检测面接触的时间。并且，前述输入信息处理单元109和前述指针位置/旋转角度算出单元102以及前述指针生成单元103生成显示在与前述笔尖201P接触的位置对应的前述三维空间301上的位置上的指针。然后，当生成了前述指针时，把指针显示用的信号从前述显示控制单元106发送到前述显示装置3，显示例如图9A和图10B所示的指针303。
并且，当前述操作者使前述输入笔201的朝向改变为例如图9B和图10B、或者图9C和图10C所示的朝向时，在前述指针位置/旋转角度算出单元102和指针生成单元103中，根据前述输入笔201的新的方位α、倾斜β、绕轴的旋转γ算出新的指针朝向，生成基于算出结果的指针。然后，当把新生成的指针显示用的信号从前述显示控制单元106发送到前述显示装置3时，显示图9B和图10B、或者图9C和图10C所示的指针303。
这种指针303的显示是与前述操作者进行改变输入笔201的朝向的操作大致同时地连续进行，由此前述操作者可感觉到指针303犹如在使笔倾斜的方向的笔尖201P的延长线上倾斜显示。
并且，在这种指针303的显示方法中，可例如根据前述输入笔201的笔尖201P与前述检测面的有无接触和接触时间，调节前述指针303的长度。例如，前述操作者使前述输入笔201的笔尖201P与前述检测面接触，当操作者在某个时间内(例如，0.5秒以内)进行使笔尖201P从前述检测面离开并再次接触的操作(单击操作)时，前述指针303的长度开始延伸。然后，当在前述指针303的长度延伸期间再次进行单击操作时，前述指针303的延伸停止，该时刻的长度的指针可由操作者使用。并且，当前述指针303的长度没有变化时，如果进行了前述单击操作，则可使前述指针303进一步延伸。并且，当前述操作者实施了连续2次进行前述单击操作的操作(双击操作)时，前述指针303的长度开始收缩。然后，当在前述指针303的长度正在收缩期间进行单击操作时，前述指针303的收缩停止，该时刻的长度的指针可由操作者使用。并且，当前述指针303的长度没有变化时，如果进行了前述双击操作，则可使前述指针303进一步收缩。
在该一系列的前述指针303的伸缩操作中，当前述指针303(指针的尖)到达了对象302的近处(例如，10像素的范围内)时，在前述系统控制装置1的对象生成单元105中进行改变该对象的颜色、并切换显示在前述显示装置3上的对象302的显示等的处理，从而可向前述操作者告知，是前述指针303的长度没有变化的状态，而且是可以选择或抓住对象302的状态。然后，如果前述对象302的颜色变化而可以进行选择或抓住的状态例如持续大于等于0.5秒，则前述操作者可选择或抓住前述对象302。
并且，尽管省略了图示，然而在前述操作者在前述操作中改变了前述输入笔201的朝向的情况下，在前述输入信息处理单元109和前述指针位置/旋转角度算出单元102以及前述指针生成单元103中，例如，可生成除了前述指针的朝向以外，还反映了即将改变前述输入笔201的朝向之前的指针长度的指针。
为了实现这种三维指示方法，只要在前述系统控制装置1中执行图44所示的处理即可。此时，在前述系统控制装置1中，首先，通过前述显示控制单元106在表现于前述显示装置(液晶显示器)3上的三维空间301上显示对象302，并把表示指针状态的变量s设定为s＝0(步骤401)。表示前述指针状态的变量s，例如假定，s＝0表示指针长度没有变化的状态或者没有显示的状态，s＝1表示指针长度正在延伸的状态，s＝-1表示指针长度正在收缩的状态。并且此时，前述输入信息取得单元101处于可取得由前述输入装置2的检测单元所检测的信息的状态。
然后，当前述操作者使前述输入笔201的笔尖201P与检测单元的检测面接触时，由于前述检测单元检测前述笔尖201P的位置(坐标)等，因而前述输入信息取得单元101取得前述所检测的前述笔尖201P的位置(坐标)等的表示前述输入笔201的状态的信息(步骤402)。另外，在本实施例2-2的情况下，在前述步骤2中，连同前述笔尖201P的位置(坐标)的信息一起，取得前述输入笔201的方位α、倾斜β、绕轴的旋转γ的信息等的表示前述输入笔的朝向的信息。
然后，通过前述输入信息处理单元109，从表示前述指针的状态的变量s和前述输入笔201的笔尖201P与前述检测面的接触状况，判定是否使前述指针的长度变化，并输出该信息。该处理例如如图44所示，首先，确认是否是前述变量s为s＝0且进行了前述单击操作(步骤403c)，在s＝0且进行了前述单击操作的情况下，把前述变量s设定为s＝1，并把该信息输出到前述指针位置/旋转角度算出单元中(步骤404c)。并且，在s≠0或者未进行单击操作的情况下，确认是否是前述变量s为s＝0且进行了前述双击操作(步骤403d)，在s＝0且进行了前述双击操作的情况下，把前述变量s设定为s＝-1，并把该信息输出到前述指针位置/旋转角度算出单元(步骤404d)。并且，在s≠0或者未进行双击操作的情况下，确认是否进行了前述单击操作(步骤403e)，在s≠0且进行了前述单击操作的情况下，把前述变量s设定为s＝0，并把该信息输出到前述指针位置/旋转角度算出单元中(步骤404e)。
然后，在前述指针位置/旋转角度算出单元102中，使用前述所取得的信息中的前述笔尖201P的位置(坐标)、和表示前述指针的状态的变量s的值来算出反映这些信息的指针的位置、朝向、长度等(步骤405)，在前述指针生成单元103中，生成基于前述指针位置/旋转角度算出单元102的算出结果的形状的指针，把前述所生成的指针相关信息从前述显示控制单元106发送到前述显示装置3中，并显示在前述三维空间301上(步骤406)。在本实施例2-2的情况下，在前述步骤405中，算出与前述笔尖201P的位置(坐标)对应的表现在前述显示装置3上的三维空间301的XY平面上的位置(坐标)、以及与在进行了前述单击操作或双击操作后的使前述笔尖201P与前述检测面接触的时间成比例的长度。并且此时，例如在前述变量s被设定为s＝1的情况下，算出前述指针的长度以使其按前述笔尖201P与前述检测面接触的时间成比例地延长，在前述变量s被设定为s＝-1的情况下，算出前述指针的长度以使其按前述笔尖201P与前述检测面接触的时间成比例地缩短。并且，在前述变量s为s＝0的情况下，设定为即将进行前述单击操作或双击操作前的长度。
并且此时，在前述系统控制装置1中，与前述步骤406的处理并行地，进行在前述实施例2-1中所说明的步骤407和步骤408的处理。前述步骤407例如如图44所示，判定在距前述指针的尖，换句话说，在距前述指针所指示的位置10像素以内是否有对象。另外，在图44中假定是10像素以内，然而不限于此，可以根据其他条件来判定。并且，如果没有正在指示的对象，则仅进行前述指针303的显示控制，回到步骤402，取得下一输入信息。
另一方面，如果有正在指示的对象，则在前述对象生成单元105中，生成例如使前述所指示的对象的颜色改变的对象，把前述所生成的对象相关信息从前述显示控制单元106发送到前述显示装置3中，并显示在前述三维空间301上(步骤408)。并且，在前述指示判定单元104中，例如，判定是否是前述变量s为s＝0且指示前述对象的状态持续大于等于0.5秒(步骤409’)。并且，在s＝0且指示的状态持续大于等于0.5秒的情况下，可选择或抓住前述所指示的对象302(步骤410)。并且，在s≠0或者指示的时间小于0.5秒的情况下，回到前述步骤402，取得下一输入信息。另外，关于指示前述对象的状态的持续时间，不限于大于等于0.5秒，可以是其他时间。
在前述系统控制装置1中，通过进行以上处理，可进行图9A、图9B、图9C所示的指针的显示控制。
另外，图43、图44所示的处理过程与第1实施方式中的图7所示的处理过程对应。在图43、图44中更详细地记载了处理内容。
如以上说明那样，根据本实施例2-2的三维指示方法，除了前述输入笔201的笔尖201P的位置(坐标)和与前述检测面的有无接触以外，还取得前述输入笔201的方位α、倾斜β、绕轴的旋转γ相关信息，算出与前述笔尖201P的位置(坐标)对应的表现在前述显示装置3上的三维空间的XY平面上的位置(坐标)、与前述输入笔201的笔尖和前述检测面的接触时间对应的深度位置、以及与前述输入笔201的方位α、倾斜β、绕轴的旋转γ对应的前述三维空间301上的指针的方位、倾斜、绕轴的旋转的角度，根据所算出的位置和深度位置以及所算出的方向生成进行指示的指针，并使其进行显示，从而可指示表现在前述显示装置3上的三维空间301上的任意一点，并可选择或抓住所指示的对象。
并且，由于没有必要在前述输入笔201内设置用于进行改变前述指针的深度位置的操作、或者改变指示方向的操作的按钮等的操作单元，因而作为前述输入装置2，可使用以往的一般的手写数码笔板和输入笔。而且，可在使前述输入笔201的笔尖201P与前述检测单元接触的状态下，改变前述指针303的深度方向的指示位置，可减轻操作者的疲劳。
并且，如本实施例2-2中所说明的那样，只要使前述输入装置2的检测单元与前述显示装置(液晶显示器)3的显示面重合，前述操作者就能在前述显示面上进行前述输入笔的操作。这样，可取得前述指针303是前述输入笔201的笔尖201P的一部分的视觉效果，前述对象302的准确指示变得容易，而且可进行直观的指示。
并且，在本实施例2-2中，示出了指针的方位、倾斜、绕轴的旋转与前述输入笔201的方位α、倾斜β、绕轴的旋转γ分别成比例地变化的例子，然而不限于此，例如，只要通过使形状而不是旋转角在三维深度方向(z＜0)进行任何变化，或者使指针的倾斜在三维深度方向(z＜0)变化，能指示三维深度方向(z＜0)，就可以是任何变化。并且，不限于使指针的倾斜、方位、旋转与前述输入笔201的倾斜、方位、旋转分别成比例地变化的情况，例如，也可以使前述输入笔201的倾斜、方位、旋转的任意一方与乘方或乘方根等成比例。
另外，在本实施例2-2中，列举了使用电磁感应方式的手写数码笔板作为前述输入装置2，并使前述手写数码笔板的检测单元(数字化装置)与前述显示装置(液晶显示器)3的显示面重合的情况为例，然而不限于此，也可以是两者在其它位置的结构。并且，在本实施例2-2中，作为前述输入装置2和显示装置3的组合，列举前述电磁感应方式的手写数码笔板和前述液晶显示器为例作了说明，然而不限于此，例如，也可以是在PDA等中使用的触摸屏和记录笔的组合。
并且，在本实施例2-2中，作为前述输入笔201的操作的一例列举了前述笔尖201P与检测面的有无接触，然而只要能取得相同效果，就不限于此。例如，也可以根据按下了前述输入笔201具有的按钮的时间(或次数)、滚轮的旋转量和旋转方向、滑动条的移动量和移动方向来使前述指针303的长度变化。并且，前述指针303的长度的最大值和最小值可以由操作者设定，也可以预先在系统控制装置1中设定。
并且，在本实施例2-2中，前述指针303(指针的尖)是否在目标对象302的近处的判定，是以是否在10像素的范围内来进行判定的，然而该范围可由系统的管理者和操作者任意设定和变更。同样，关于前述步骤409’中的指示时间的长度，也能由系统的管理者和操作者任意设定和变更。
并且，前述指针的形状只要是所指示的位置是视觉明晰的形状，就可以是任何形状，不限于图8A所示的平板状的箭头型指针303a，例如，可以是：图8B所示的圆锥底面与圆柱连接的立体箭头型指针303b，图8C所示的圆锥型指针303c，图8D所示的使用食指指示对象的人手型指针303d等。
并且，在本实施例2-2中，前述指针303所指示的点是箭头型指针的尖(箭头的尖端)，然而不限于此，在前述指针的哪个部分都能进行指示，也能采用指针的别的一部分而不是尖。
并且，在本实施例2-2中，作为前述对象302的例子列举了文件夹型的对象，然而不限于此，前述对象302可以是任何形状。
并且，在本实施例2-2中，表现在前述显示装置3上的三维空间的坐标系与前述实施例2-1一样，即如图4A所示，将显示面设定成z＝0，然而只要能表现出三维，三维原点在何处取都行，并且也没有必要是笛卡尔坐标系，例如可以是圆柱坐标系和球坐标系等。
并且，在本实施例2-2中，着重于前述输入笔201的方位α、倾斜β、绕轴的旋转γ，然而与前述实施例2-1一样，没有必要一定全部使用这些要素，例如，不利用前述输入笔201的方位α、倾斜β、绕轴的旋转γ，可以是仅改变深度位置，也可以是仅利用前述输入笔201的方位α和倾斜β。
[实施例2-3]
下面，对实施例2-3进行说明。
在前述实施例2-1和实施例2-2中，按照前述输入装置2的输入笔201的操作，对表现在前述显示装置3上的三维空间301上的指针的显示控制和所指示的对象的显示控制相关的指示方法作了说明。
然而，在使用前述实施例2-1和实施例2-2的方法指示了前述三维空间301上的对象的情况下，大多在指示后伴随有前述对象的移动、编辑、加工的操作。因此，在本实施例2-3中，对在指示了前述三维空间301上的对象后，选择或抓住前述对象，并操作前述输入笔201来使前述所指示的对象移动的方法进行说明。这里，参照在实施例1-3中使用的图11、12进行说明。并且，参照图45对本实施例的处理过程进行说明。另外，图45所示的处理过程与第1实施方式中的图13所示的处理过程对应。
在实施例2-3中，假定前述输入装置2和前述显示装置3分别与前述实施例2-1一样，使用电磁感应方式的手写数码笔板和液晶显示器。并且，假定前述手写数码笔板2的检测单元(数字化装置)与前述液晶显示器3的显示面重合。
并且，假定表现在前述液晶显示器3上的三维空间的坐标系的取法、前述手写数码笔板2的输入笔201的操作方法等与在前述实施例2-1中所说明的一样。并且，假定前述手写数码笔板2和显示装置3与图41所示的结构的系统控制装置1连接。
并且，在本实施例2-3中，关于在指示了前述三维空间301上的对象之后进行选择或抓住的方法，由于可以是在前述实施例2-1和实施例2-2中所说明的方法，因而省略说明。
在使用与前述实施例2-1和实施例2-2相同的方法，例如如图11和图12所示指示了对象302之后，根据前述对象302的颜色变化等确认指示了前述对象302的操作者，例如，使用前述实施例2-1和实施例2-2的方法进行选择或抓住前述所指示的对象302的操作。然后，在选择或抓住了前述对象302的状态，而且是使前述输入笔201的笔尖201P与前述显示装置3的显示面(检测单元的检测面)接触的状态下，使前述输入笔201移动到期望位置时，如图11和图12所示，追随前述输入笔201的移动，前述对象302在三维空间301内移动。然后，尽管图示省略，然而在使前述输入笔201移动到期望位置之后，例如，当进行了按下前述输入笔201的按压式按钮201D3一次等的规定操作时，前述对象302的位置确定，在使前述输入笔201移动或者使笔尖201P从检测面离开之后，也在该位置显示对象302。这样，可使前述对象302从原来位置移动到三维空间内的目标位置。
此时，前述系统控制装置1的前述输入信息取得单元101从前述显示装置2的检测单元(数字化装置)中，连同在前述实施例2-1和实施例2-2中所说明的选择或抓住前述对象的操作所需要的信息一起，取得按下了例如前述按压式按钮201D3的信息。然后，因为前述系统控制装置1进行了选择或抓住前述对象的操作，因而可知道前述操作者正在进行使前述对象302移动的操作。因此，只要在前述指示判定单元104和对象生成单元105中生成追随前述输入笔201的移动的对象，并显示在前述显示装置3上，就能进行上述对象302的移动操作。
为了实现这种三维指示方法，只要在前述系统控制装置1中执行图45所示的处理即可。另外，图45中的最初处理(步骤420)是到选择或抓住前述三维空间301上的对象302为止的处理，由于可以与在前述实施例2-1和实施例2-2中所说明的一样，因而省略详细说明。
在本实施例2-3的三维指示方法中，在前述系统控制装置1通过在前述实施例2-1和实施例2-2中所说明的过程进行了选择或抓住对象302的处理(步骤420)之后，在前述输入信息取得单元101中取得前述指针相关信息(步骤421)。在前述步骤421中取得的信息是前述输入笔201的笔尖201P的位置(坐标)、前述输入笔201的方位α、倾斜β、绕轴的旋转γ等的信息。
在前述步骤421中取得了表示前述输入笔201的状态的信息之后，接下来，在前述输入信息处理单元109和前述指针位置/旋转角度算出单元102中，算出基于所取得的信息的指针303的位置、朝向、长度等，并算出前述对象302的位置和朝向(步骤422)。前述指针的位置、朝向、长度等的算出由于与在前述实施例2-1和实施例2-2中所说明的一样，因而省略详细说明。并且，对于前述对象的位置和朝向，例如，算出在前述进行了指示时的对象的基准位置、和由前述指针所指示的位置的相对位置关系在前述步骤422所算出的指针的位置上也得到保存的位置和朝向。
另外，如前述实施例2-1所示，在仅使用前述输入笔201的笔尖201P的位置(坐标)的信息，而不利用前述输入笔201的方位α、倾斜β、绕轴的旋转γ的信息的情况下，前述指针的朝向总是保持一定来进行指针显示。因此，在前述步骤422中，没有必要算出前述指针的朝向。并且，如本实施例2-3所示，在前述对象302的移动仅是平行移动的情况下，由于前述对象的朝向总是保持一定来进行对象显示，因而没有必要在前述步骤422中算出前述对象的朝向。
并且，在前述步骤422中算出了前述指针303的位置、朝向、长度等、以及前述对象302的位置和朝向之后，在前述指针生成单元103中生成基于前述所算出的指针的位置、朝向、长度的指针，并在前述对象生成单元105中生成基于前述所算出的对象的位置和朝向的对象，把这些显示信号从前述显示控制单元106发送到前述显示装置3中，并显示前述指针和对象(步骤423)。
在前述步骤423中显示了前述指针和对象之后，例如，在前述输入信息处理单元109中，判定是否按下了前述输入笔201的按压式按钮201D3(步骤424)，在未按下的情况下，再次取得前述输入笔的状态(步骤421)，继续进行前述步骤422和步骤423的处理。另一方面，在按下了前述按压式按钮201D3一次的情况下，解除前述对象的选择或抓住状态，并使前述对象302的显示状态固定为即将按下前述按压式按钮201D3前的位置和朝向(步骤425)。然后，结束前述指针和对象的移动操作。
在前述系统控制装置1中，通过进行以上处理，可进行图11和图12所示的对象的指示操作和移动操作。
如以上说明那样，根据本实施例2-3的三维指示方法，在指示了前述对象之后，选择或抓住前述所指示的对象按照对前述输入笔的移动，可使前述对象平行移动。
并且，作为前述输入装置2，使用一般的手写数码笔板，在使前述输入笔201的笔尖201P与前述检测单元接触的状态下，在指示了对象之后，可选择或抓住对象，并可使对象移动，因而可减轻操作者的疲劳。
并且，如在本实施例2-3中所说明的那样，只要使前述输入装置2的检测单元与前述显示装置(液晶显示器)3的显示面重合，前述操作者就能在前述显示面上进行前述输入笔的操作。这样，可取得前述指针303是前述输入笔201的笔尖201P的一部分的视觉效果，前述对象302的准确指示和移动变得容易，而且可进行直观的指示和移动。
另外，在本实施例2-3中，列举了使用电磁感应方式的手写数码笔板作为前述输入装置2，并使前述手写数码笔板的检测单元(数字化装置)与前述显示装置(液晶显示器)3的显示面重合的情况为例，然而不限于此，可以是两者在其它位置的结构。并且，在本实施例2-3中，作为前述输入装置2和显示装置3的组合，列举前述电磁感应方式的手写数码笔板和前述液晶显示器为例作了说明，然而不限于此，例如，可以是在PDA等中使用的触摸屏和记录笔的组合。
并且，前述指针的形状只要是所指示的位置是视觉明晰的形状，就可以是任何形状，不限于图8A所示的平板状的箭头型指针303a，例如，可以是：图8B所示的圆锥底面与圆柱连接的立体箭头型指针303b，图8C所示的圆锥型指针303c，图8D所示的使用食指指示对象的人手型指针303d等。
并且，在本实施例2-3中，前述指针303所指示的点是箭头型指针的尖(箭头的尖端)，然而不限于此，在前述指针的哪个部分都能进行指示，也能采用指针的别的一部分而不是尖。
并且，在本实施例2-3中，作为前述对象302的例子列举了文件夹型的对象，然而不限于此，前述对象302可以是任何形状。
并且，在本实施例2-3中，表现在前述显示装置3上的三维空间的坐标系与前述实施例2-1一样，即如图4A所示，将显示面设定成z＝0，然而只要能表现出三维，三维原点在何处取都行，并且也没有必要是笛卡尔坐标系，例如可以是圆柱坐标系和球坐标系等。
并且，在本实施例2-3中，在使所选择或抓住的对象302移动到期望位置之后，按下前述输入笔201的按压式按钮201D3一次，从而结束前述对象的移动操作，然而不限于此，例如，取代前述按压式按钮201D3而使用键盘的特定键或其他开关等，只要能取得相同效果，就可以采用任何方法来结束移动操作。
[实施例2-4]
下面，对实施例2-4进行说明。
在前述实施例2-3中，对在指示了表现在前述显示装置3上的三维空间301上的对象302之后，可选择或抓住前述所指示的对象302，并可使前述对象302平行移动的三维指示方法作了说明。
然而，假定在表现于前述显示装置3上的三维空间301上，不仅进行在前述实施例2-3中所说明的单纯的对象的平行移动，而且还有效利用三维空间301，例如，使前述所指示的对象在前述三维空间内向深度方向倾斜。因此，在本实施例2-4中，与实施例1-4一样，对在指示并选择或抓住了对象之后，继续使前述所指示的对象在前述三维空间内向深度方向倾斜的指示方法进行说明。这里，参照在实施例1-4中使用的图14A～15C进行说明。
在本实施例2-4中，假定前述输入装置2和前述显示装置3分别与前述实施例2-1一样，使用电磁感应方式的手写数码笔板和液晶显示器。并且，假定前述手写数码笔板2的检测单元(数字化装置)与前述液晶显示器3的显示面重合。
并且，假定表现在前述液晶显示器3上的三维空间的坐标系的取法、前述手写数码笔板2的输入笔201的操作方法等与在前述实施例2-2中所说明的一样。并且，假定前述手写数码笔板2和显示装置3与图41所示的结构的系统控制装置1连接。
并且，在本实施例2-4中，关于在指示了前述三维空间301上的对象之后进行选择或抓住的方法，由于可以是在前述实施例2-1和实施例2-2中所说明的方法，因而省略说明。
在使用与前述实施例2-1和实施例2-2相同的方法，例如如图14A和图15A所示指示了对象302之后，选择或抓住前述对象302。并且，在选择或抓住了前述对象302的状态下，使前述输入笔201处于期望的朝向时，如图14B和图15B、或者图14C和图15C所示，追随前述输入笔201的朝向的变化，前述对象302在三维空间301内向深度方向倾斜。这样，可使对象302在前述三维空间301上向任意方向倾斜。此时，前述系统控制装置1的前述输入信息取得单元101取得在前述实施例2-1和实施例2-2中的对象的选择或抓住操作所需要的信息。并且，在前述系统控制装置1进行了在前述实施例2-1和实施例2-2中的对象的选择或抓住操作之后，可知道前述操作者正在进行使前述对象302移动的操作。因此，只要在前述指示判定单元104和对象生成单元105中生成追随前述输入笔201的朝向的变化的对象，并显示在前述显示装置3上，就能进行上述的对象302的移动操作。
为了实现这种三维指示方法，只要在前述系统控制装置1中，例如执行图45所示的处理即可。
然而，在本实施例2-4中，在执行图14A～C所示的操作的情况下，当在前述步骤422中算出前述对象的位置和朝向时，例如，算出前述所指示时的对象和前述指针的相对位置关系全部得到保存的位置和朝向。
在前述系统控制装置1中，通过进行以上处理，可进行图14A、图14B、图14C所示的对象的指示操作和在深度方向倾斜的操作。
如以上说明那样，根据本实施例2-4的三维指示方法，在指示并选择或抓住了前述对象之后，可使前述对象按照前述输入笔201的朝向的变化在三维空间内旋转，或者向深度方向倾斜。
并且，作为前述输入装置2，使用一般的手写数码笔板，在使前述输入笔201的笔尖201P与前述检测单元接触的状态下，可指示对象，并可使对象移动，因而可减轻操作者的疲劳。
并且，如在本实施例2-4中所说明的那样，只要使前述输入装置2的检测单元与前述显示装置(液晶显示器)3的显示面重合，前述操作者就能在前述显示面上进行前述输入笔的操作。这样，可取得前述指针303是前述输入笔201的笔尖201P的一部分的视觉效果，前述对象302的准确指示变得容易，而且可进行直观的指示。
另外，在本实施例2-4中，列举了使用电磁感应方式的手写数码笔板作为前述输入装置2，并使前述手写数码笔板的检测单元(数字化装置)与前述显示装置(液晶显示器)3的显示面重合的情况为例，然而不限于此，可以是两者在其它位置的结构。并且，在本实施例2-4中，作为前述输入装置2和显示装置3的组合，列举前述电磁感应方式的手写数码笔板和前述液晶显示器为例作了说明，然而不限于此，例如，可以是在PDA等中使用的触摸屏和记录笔的组合。
并且，前述指针的形状只要是所指示的位置是视觉明晰的形状，就可以是任何形状，不限于图8A所示的平板状的箭头型指针303a，例如，可以是：图8B所示的圆锥底面与圆柱连接的立体箭头型指针303b，图8C所示的圆锥型指针303c，图8D所示的使用食指指示对象的人手型指针303d。
并且，在本实施例2-4中，前述指针303所指示的点是箭头型指针的尖(箭头的尖端)，然而不限于此，在前述指针的哪个部分都能进行指示，也能采用指针的别的一部分而不是尖。
并且，在本实施例2-4中，作为前述对象302的例子列举了文件夹型的对象，然而不限于此，前述对象302可以是任何形状。
并且，在本实施例2-4中，表现在前述显示装置3上的三维空间的坐标系与前述实施例2-1一样，即如图4A所示，将显示面设定成z＝0，然而只要能表现出三维，三维原点在何处取都行，并且也没有必要是笛卡尔坐标系，例如可以是圆柱坐标系和球坐标系等。
并且，在本实施例2-4中，在采用前述实施例2-1或实施例2-2的方法选择或抓住前述对象302并使其移动之后，例如，如在实施例2-3中所说明的那样，通过按下前述输入笔201的按压式按钮201D3来结束前述对象302的移动操作，然而不限于此，例如，取代前述按压式按钮201D3而使用键盘的特定键或其他开关等，只要能取得相同效果，就可以采用任何方法来结束移动操作。
并且，在本实施例2-4中，对使前述所指示的对象302在三维空间内旋转、或者向深度方向倾斜的操作方法作了说明，然而通过对该操作方法追加在前述实施例2-3中所说明的平行移动的操作方法，可进行更加丰富多彩的对象操作。
[实施例2-5]
下面，对实施例2-5进行说明。
在前述实施例2-3和实施例2-4中，对在采用前述实施例2-1和实施例2-2所说明的方法指示并选择或抓住了在表现于前述显示装置3上的三维空间301内的对象302之后，可进行使前述所指示的对象302平行移动或旋转、或者向深度方向倾斜的操作的三维指示方法作了说明。然而，在指示并选择或抓住了在前述三维空间301内的对象302之后，在前述操作者想要继续进行的操作中，不仅有前述对象的移动和旋转，而且还有编辑和变形等的以往的二维GUI的操作。因此，在本实施例2-5中，与实施例1-5一样，对在选择或抓住了前述对象之后，使前述对象自动移动到可应用二维GUI操作的位置，在操作者进行了目标编辑、变形等之后，可进行返回到操作者期望的三维位置的操作的三维指示方法进行说明。这里，参照在实施例1-5中使用的图16A～19D进行说明。并且，参照图46对本实施例2-5的处理过程进行说明。图46所示的处理过程与第1实施方式中的图20所示的处理过程对应。
并且，在本实施例2-5中，列举前述输入装置2使用与前述各实施例相同的电磁感应方式的手写数码笔板，并且作为可表现前述三维空间的显示装置3使用DFD的情况为例，对指示方法和接下来的对象操作方法进行说明。
前述DFD的原理与参照图16A、B在实施例1-5中所说明的一样。在本实施例中，在使用了前述DFD作为前述显示装置3的情况下，也如在前述各实施例中所说明的那样，可使前述输入装置(手写数码笔板)2的检测单元(数字化装置)与前述DFD的显示面重合。并且，在前述电磁感应方式的手写数码笔板的情况下，由于在前述检测单元的检测面上具有Δz的可检测范围，因而即使前述输入笔的笔尖与前述检测面不接触，也能检测前述输入笔的位置、倾斜、方位等的信息。因此，在DFD那样的显示面之间有空间的情况下，只要把前述检测单元配置在DFD显示装置的背面侧，就能取得前述笔的位置、倾斜、方位等的信息，这对于本行业人员来说是可容易推测的，从而是可实现的。而且，目前大多把前述检测单元配置在显示面的背面侧，然而只要前述检测单元是透明电极，就能配置在显示面的表面侧而不是背面侧。这样，通过使前述检测单元与DFD的显示面重合，可在前述DFD的近处侧的显示面上操作前述输入笔，直接进行指示。因此，在本实施例2-5中也假定电磁感应方式的手写数码笔板2的检测单元与DFD的显示面重合。
并且，在本实施例2-5中，假定前述DFD 3的显示面是2块，并且如图17A和图17B所示，假定在表现于前述DFD 3上的三维空间301中设定与图2所示的坐标系XYZ对应的坐标系XYZ，并把对象302配置在三维空间301内的z＜0的位置上。并且此时，假定操作前述输入装置2的输入笔201的操作者从z＞0的方向观察前述三维空间301的XY平面。
并且，在本实施例2-5中，假定把从前述操作者来看位于近处的显示面3A设定为z＝0，并假定前述位于近处的显示面3A是前述输入装置2的检测单元的检测面。
假定前述操作者采用例如在前述实施例2-1和实施例2-2中所说明的方法，如图18A和图19A所示，指示立体显示在前述三维空间301上的对象302。并且，通过前述对象302的颜色等变化来确认正在指示前述对象302的操作者，例如使用前述实施例2-1和实施例2-2的方法进行选择或抓住前述对象302的操作。这样，前述所指示的对象302例如如图18B和图19B所示，作为二维物体显示在前述DFD的近处的显示面3A上，指针303消失。在图18A中，前述对象302显示为在z方向上没有厚度的对象，然而在该对象是在z方向上具有厚度的立体对象的情况下，在该过程中不进行使用DFD的三维立体显示，而是彻底采用二维在DFD的近处的显示面3A上显示图像，来作为投影像。
这里，操作者在前述对象302上进行例如书写文字等的目标操作作为二维GUI的操作。并且，在二维GUI的操作结束后，例如当按下了前述输入笔201的按压式按钮201D3时，指针303再次出现，按照在前述实施例2-3和实施例2-4中所说明的过程，例如如图18C和图19C、或者图18D和图19D所示，可使对象302移动到操作者期望的三维位置，或者向深度方向倾斜。
为了实现这种三维指示方法，只要在前述系统控制装置1中执行图46所示的处理即可。另外，图46中的最初处理(步骤420)是到选择或抓住前述三维空间301上的对象302为止的处理，由于可以与在前述实施例2-1或实施例2-2中所说明的一样，因而省略详细说明。
在本实施例2-5的三维指示方法中，当按照在前述实施例2-1或实施例2-2中所说明的过程进行了选择或抓住对象302的处理(步骤420)时，前述系统控制装置1判定为进行了用于开始二维GUI操作、编辑、加工的操作。因此，接下来，例如使显示在前述显示装置3上的指针303为非显示(步骤426)，把前述所选择或抓住的对象302的投影显示在从前述操作者来看最近的显示面3A上(步骤427)。这样，处于可进行前述对象302的二维GUI的操作、编辑、加工的状态。
在处于可进行前述对象302的二维GUI的操作、编辑、加工的状态之后，接受和执行来自前述输入笔201的二维GUI的操作(步骤428)。并且，判定前述操作者是否进行了按下例如前述输入笔201的按压式按钮201D3一次等的用于结束二维GUI的操作、编辑、加工的操作(步骤429)。此时，如果未进行用于结束前述二维GUI的操作、编辑、加工的操作，则再接受和执行其他的二维GUI的操作、编辑、加工。另一方面，在进行了用于结束二维GUI的操作、编辑、加工的操作的情况下，从进行二维GUI的操作的模式回到进行在前述实施例2-3或实施例2-4中所说明的处理的模式，可按照在前述实施例2-3或实施例2-4中所说明的过程进行使前述对象平行移动、旋转、倾斜的操作(步骤430)。前述步骤430由于只要按照在前述实施例2-3或实施例2-4中所说明的过程进行处理即可，因而省略详细说明。
在前述系统控制装置1中，通过进行以上处理，可进行图18A、图18B、图18C、图18D所示的指针的显示控制、对象的三维移动等的操作、以及前述对象的二维GUI的操作。
如以上说明那样，根据本实施例2-5的三维指示方法，仅通过前述输入笔201的操作，除了在前述实施例2-1至实施例2-4中所说明的指针的三维显示控制和对象的三维移动等的操作以外，还可进行前述对象的二维GUI的操作、编辑、加工。因此，操作者没有必要学习用于进行对象的二维GUI的操作、编辑、加工的新的三维操作。
并且，在本实施例2-5的三维指示方法中，通过采用前述实施例2-1或实施例2-2的方法选择或抓住前述对象，从进行三维指示的模式切换到进行前述对象的二维GUI的操作、编辑、加工的模式，把由前述系统控制装置1的前述输入信息取得单元101所取得的信息作为用于进行前述对象的二维GUI操作、编辑、加工的信息来处理，然而可以在指示前述对象的操作之后，通过操作键盘的特定键或其他开关来切换到进行前述对象的二维GUI的操作、编辑、加工的模式。
并且，在本实施例2-5中，列举使作为前述输入装置2的电磁感应方式的手写数码笔板的检测单元(数字化装置)与作为可显示三维空间的显示装置3的DFD的显示面重合的例作了说明，然而不限于此，可以是两者在其它位置的结构。并且，在本实施例2-5中，作为前述显示装置3使用了DFD，然而不限于此，可以使用在前述实施例2-1至实施例2-4中所说明的液晶显示器等的显示装置。
并且，在本实施例2-5中，作为目标对象302的例子列举了二维的四边形的对象，然而不限于此，前述对象302的形状可以是任何形状。
并且，在本实施例2-5中，表现在前述显示装置3上的三维空间的坐标系与前述实施例2-1一样，即如图4A所示，将显示面设定成z＝0，然而只要能表现出三维，三维原点在何处取都行，并且也没有必要是笛卡尔坐标系，例如可以是圆柱坐标系和球坐标系等。
并且，在本实施例2-5中，通过前述输入笔201的按压式按钮201D3的操作，使进行前述二维GUI的操作、编辑、加工的模式结束，然而不限于此，例如，取代前述按压式按钮201D3而使用键盘的特定键或其他开关等，只要能取得相同效果，就可以采用任何方法结束。
并且，在本实施例2-5中，作为对前述对象302进行二维GUI的编辑的例子，例如，列举了图18C所示记入“A”字符的情况，然而可以是，前述对象302是表示文件的对象，在指示了该对象后，在进行二维GUI的操作时，前述文件打开，其内容由操作者在二维GUI上编辑，在关闭了文件后，可移动到操作者期望的三维位置等。
[实施例2-6]
本实施例2-6的三维指示方法是在前述实施例2-5中所说明的三维指示方法的应用例之一，是在使用前述实施例2-1和实施例2-2的方法指示并选择或抓住了在三维空间301内的对象302之后，使前述对象302自动移动到操作者容易操作的位置，即，可应用以往的二维GUI的操作的位置，由操作者进行目标编辑、加工等。并且，该指示方法是在目标编辑、加工结束之后，当操作者进行了诸操作时，前述对象302进行移动，直到对从操作者来看对在三维深度方向的另一对象产生干扰为止，在对前述另一对象产生干扰之后，根据前述另一对象具有的属性使所移动的对象的状态变化。在本实施例2-6中参照在实施例1-6中使用的图21A～25C进行说明。并且，参照图47对本实施例2-6的处理过程进行说明。图47所示的处理过程与第1实施方式中的图26所示的处理过程对应。
在本实施例2-6中，与前述实施例2-5一样，列举使用电磁感应方式的手写数码笔板作为前述输入装置2，并且使用DFD作为前述显示装置3的情况为例，对指示方法和对象操作方法进行说明。
并且，假定前述输入装置(手写数码笔板)2的检测单元(数字化装置)与前述显示装置(DFD)3的显示面重合，并设置为一体。
并且，在对本实施例2-6的三维指示方法进行说明时，列举例如如图21A和图21B所示，在表现于前述DFD3的2块显示面3A、3B之间的三维空间301中设定坐标系XYZ，并把对象302和窗口304配置在三维空间301内的z＜0的位置上的情况为例。
想要进行前述对象302的操作的操作者，首先，如图22A和图24A所示，使用在前述实施例2-1和实施例2-2中所说明的方法进行指示并选择或抓住前述对象302的操作。这样，前述所选择或抓住的对象302在前述DFD的近处的显示面3A上显示为二维物体，前述指针303消失。在本实施例2-6中，前述对象302是在z方向上没有厚度的对象，然而在该对象是在z方向上具有厚度的立体对象的情况下，在该过程中也不进行使用DFD的三维立体显示，而是彻底采用二维在DFD的前面的显示面3A上显示为投影像。
这样，当前述对象302的显示方法改变时，处于可在前述三维空间301上进行二维GUI的操作的状态，因而前述操作者可使用前述输入笔201，例如，如图22C和图24C所示，进行在前述对象302上书写文字等的目标操作作为二维GUI的操作。并且，如图23A和图25A所示，前述操作者继续通过二维操作使前述对象302移动到期望位置之后，例如，当按下了前述输入笔201的按压式按钮201D3一次时，如图23B和图25B所示，前述对象302从前述操作者来看在三维深度方向(z＜0)移动直到与窗口304发生干扰为止。此时，当附上前述对象302的前述三维深度方向的z坐标阶段性减少的动画时，移动过程容易传递到前述操作者。然后，当前述对象302与前述窗口304发生干扰时，针对前述对象302，作为前述窗口304具有的属性，执行在窗口上移动的动作。
并且此时，如图23B和图25B所示，取代使前述对象302在三维深度方向(z＜0)上自动移动，例如，如在前述实施例2-5中所说明的那样，在按下前述输入笔201的按压式按钮201D3之后切换到三维对象操作模式，之后使前述对象302在三维深度方向(z＜0)上移动，也能移动到与前述窗口304发生干扰的位置。
为了实现这种三维指示方法，只要在前述系统控制装置1中执行图47所示的处理即可。另外，图47中的最初处理(步骤420)是到选择或抓住前述三维空间301上的对象302为止的处理，由于可以与在前述实施例2-1和实施例2-2中所说明的一样，因而省略详细说明。
在本实施例2-6的三维指示方法中，当按照在前述实施例2-1或实施例2-2中所说明的过程进行了选择或抓住对象302的处理(步骤420)时，前述系统控制装置1判定为进行了用于开始二维GUI的操作、编辑、加工的操作。因此，接下来，例如使显示在前述显示装置3上的指针303为非显示(步骤426)，把前述所选择或抓住的对象302的投影显示在从前述操作者来看最近的显示面3A上(步骤427)。这样，处于可进行前述对象302的二维GUI的操作、编辑、加工的状态。
在处于可进行前述对象302的二维GUI操作、编辑、加工的状态之后，接受和执行来自前述输入笔201的二维GUI的操作(步骤428)。并且，判定前述操作者是否进行了按下例如前述输入笔201的按压式按钮201D3一次等的用于结束二维GUI的操作、编辑、加工的操作(步骤429)。此时，如果未进行用于结束前述二维GUI的操作、编辑、加工的操作，则再接受和执行其他的二维GUI的操作、编辑、加工。另一方面，在进行了用于结束二维GUI的操作、编辑、加工的操作的情况下，从进行二维GUI操作的模式回到进行在前述实施例2-1至实施例2-4中所说明的三维指示操作的模式。这样，在前述系统控制装置1中，判定在前述对象302的深度方向上是否有前述窗口304那样的与前述对象302发生干扰的另一对象(步骤431)。然后，在有进行干扰的另一对象的情况下，例如，如图23B和图25B所示，在与前述另一对象(窗口304)发生干扰为止，使前述对象302向三维深度方向(z＜0)移动来显示(步骤432)。然后，在与前述另一对象发生干扰的时刻停止前述对象302向三维深度方向的移动，针对前述对象302，执行前述进行干扰的另一对象具有的属性(步骤433)。
另一方面，在没有与前述对象302发生干扰的另一对象的情况下，使前述对象302移动到预定的深度位置，例如，移动到与即将进行前述步骤426以后的处理之前相同的深度位置来显示(步骤434)。
在前述系统控制装置1中，通过进行图47所示的过程的处理，可进行图22A、图22B、图22C、图23A、图23B、图23C这样的一系列的指针的显示控制、对象的三维移动等的操作、以及前述对象的二维GUI的操作。
如以上说明那样，根据本实施例2-6的三维指示方法，通过指示并选择或抓住位于三维空间301内的对象302，使前述对象302自动移动到操作者容易操作的位置，通过以往的二维GUI操作进行目标操作、编辑、加工等，并在前述目标操作、编辑、加工结束之后，使前述对象302从操作者来看向三维深度方向移动，并在存在与所移动的对象302发生干扰的另一对象的情况下，可根据前述另一对象具有的属性使所移动的前述对象302的状态变化。
并且，在本实施例2-6的三维指示方法中，通过选择或抓住前述对象，从进行三维指示操作的模式切换到进行对象的二维GUI的操作、编辑、加工的模式，把由前述系统控制装置1的前述输入信息取得单元101所取得的信息作为用于进行前述对象的二维GUI的操作、编辑、加工的信息来处理，然而可以在指示前述对象的操作之后，通过操作键盘的特定键或其他开关来切换到进行前述对象的二维GUI的操作、编辑、加工的模式。
并且，在本实施例2-6中，列举使作为前述输入装置2的电磁感应方式的手写数码笔板的检测单元(数字化装置)与作为可显示三维空间的显示装置3的DFD的显示面重合的例子作了说明，然而不限于此，可以是两者在其它位置的结构。并且，在本实施例2-6中，作为前述显示装置3使用了DFD，然而不限于此，可以使用在前述实施例2-1至实施例2-4中所说明的液晶显示器等的显示装置。
并且，在本实施例2-6中，作为目标对象302的例子列举了二维的四边形的对象，然而不限于此，前述对象302的形状可以是任何形状。
并且，在本实施例2-6中，表现在前述显示装置3上的三维空间的坐标系与前述实施例2-1一样，即如图4A所示，将显示面设定成z＝0，然而只要能表现出三维，三维原点在何处取都行，并且也没有必要是笛卡尔坐标系，例如可以是圆柱坐标系和球坐标系等。
并且，在本实施例2-6中，通过前述输入笔201的按压式按钮201D3的操作，使进行前述二维GUI的操作、编辑、加工的模式结束，然而不限于此，例如，取代前述按压式按钮201D3而使用键盘的特定键或其他开关等，只要能取得相同效果，就可以采用任何方法结束。
并且，在本实施例2-6中，作为对前述对象302进行二维GUI的编辑的例子，例如，列举了如图22C所示记入“B”字符的情况，然而也可以是，前述对象302是表示文件的对象，在指示了该对象后，在进行二维GUI操作时，前述文件打开，其内容由操作者在二维GUI上编辑，在关闭了文件后，可移动到操作者期望的三维位置等。
并且，在本实施例2-6中，作为前述另一对象的例子列举了窗口304，并对执行当与前述窗口304发生了干扰时使文件移动的属性的情况作了说明，然而不限于此，例如，也能执行当与另一应用程序执行用的图标发生了干扰时执行文件的属性。并且除此以外，与实施例1-6一样，也能执行当与垃圾箱对象发生了干扰时删除文件的属性。
以下，参照在实施例1-6中使用的图28A～图32C对使用本实施例2-6的三维指示方法删除对象的方法进行说明。
在本实施例2-6的三维指示方法中，如前所述，不仅可使对象302移动到窗口304，而且例如还可使对象302移动到垃圾箱对象中进行删除。因此，如图28A和图28B所示，列举在表现于前述DFD 3的2块显示面之间的三维空间301中设定坐标系XYZ，并把对象302和垃圾箱对象305配置在三维空间301内的z＜0的位置上的情况为例，对前述对象302的删除过程进行说明。
此时，想要删除前述对象302的操作者，首先，如图29A和图31A所示，操作前述输入笔201来指示想要删除的对象302，并进行选择或抓住的操作。这样，如图29B和图31B所示，前述所指示的对象302移动到前述近处的显示面3A，改变为可进行二维GUI操作的状态。这里，前述操作者，例如，如图30A和图32A所示，使前述所指示的对象302移动到垃圾箱对象305上，例如，当进行了按下前述输入笔201的按钮201D3一次等的特定操作时，从可进行前述二维GUI操作的状态回到可进行三维指示的状态。然后，在由前述系统控制装置1进行的处理是图47所示的过程的情况下，在回到可进行三维指示的状态之后，前述对象302向三维深度方向(z＜0)自动移动，在与前述垃圾箱对象305发生干扰的时刻，如图30B和图32B所示，前述对象302的显示消失，前述垃圾箱305切换到有垃圾(对象)进入的状态的显示。
这样，本实施例2-6的三维指示方法中与前述对象302发生干扰的对象只要能针对前述对象302执行属性，就可以是具有任何属性的对象。
[实施例2-7]
下面，对实施例2-7进行说明。图48和图49是示出在本实施例2-7的三维指示方法中使用的输入笔的结构例的图。
在本实施例2-7中，对作为在实施前述实施例2-1至实施例2-6所说明的三维指示方法时使用的输入笔201，使用根据前述输入笔201具有的滚轮的旋转量、或者滑动条的移动量使笔尖201P出入于输入笔201的壳体内的结构的输入笔的情况的指示方法进行说明。
在本实施例2-7中使用的输入笔201，例如，如图48所示，形成为：附属于壳体201E的滚轮201D与设置在笔尖201P的内部的齿轮(或螺钉)部201F直接连接，当使前述滚轮201D旋转时，前述笔尖201P进入壳体201E内。并且，不限于图48所示的结构，例如，如图49所示，前述滑动条201D通过内部齿轮(或螺钉)与设置在笔尖201P的内部的齿轮(或螺钉)部201F连接，当使前述滑动条201D移动时，前述笔尖201P可以进入壳体201E内。另外，图48和图49是前述输入笔201的结构例，像图48和图49所示的输入笔那样，只要是通过使前述滚轮或滑动条201D旋转或移动来使前述笔尖201P进入壳体201E内的结构，就可以是任何结构。
以下，参照在实施例1-7中使用的图35A～图36C对本实施例2-7中的指示方法进行说明。
在本实施例2-7中，作为使用图48或图49所示的结构的输入笔201进行表现在前述显示装置3上的三维空间的指示的情况的例子，列举实施在前述实施例2-1中所说明的指示方法的情况。此时，假定前述输入装置2和前述显示装置3分别与前述实施例2-1一样，使用电磁感应方式的手写数码笔板和液晶显示器。并且，假定前述输入装置2的检测单元(数字化装置)与前述液晶显示器3的显示面重合。
此时，当前述操作者把前述输入笔201的笔尖201P放在前述液晶显示器3的XY平面(z＝0)的任意一点时，例如，如图35A和图36A所示，在前述液晶显示器3的三维空间301上显示反映了圆锥型等的前述输入笔201的笔尖201P的形状的形状的指针303。
然后，当前述操作者使前述输入笔201的滚轮201D旋转(或者使滑动条201D移动)时，例如，如图35B和图36B、或者图35C和图36C所示，根据前述输入笔201的滚轮201D的旋转量(或滑动条201D的移动量)，改变所显示的前述指针303的长度。
此时，例如，如图35B和图36B、或者图35C和图36C所示，通过使圆锥型的前述指针303的大小与前述输入笔201的笔尖201P压入到壳体内的量成比例，例如，与在前述实施例2-1中所说明的方法相比，前述指针303是前述笔尖201P的一部分的视觉效果进一步提高。
并且，在本实施例2-7中，列举了实施在前述实施例2-1中所说明的三维指示方法的情况为例，然而例如，只要使用检测笔尖201P与检测面有无接触、并借助电动机构控制前述笔尖201P在壳体201E内的出入的结构的输入笔，如在前述实施例2-2中所说明的那样，当然也能根据前述笔尖201P与检测面有无接触来进行指示。
[实施例2-8]
下面，对实施例2-8进行说明。在实施例2-8中，对与实施例1-8相同的具体利用情况进行说明。这里，参照在实施例1-8中使用的图37A～图40C进行说明。
在本实施例2-8中，作为在前述实施例2-1至实施例2-7中所说明的三维指示方法的具体利用情况，列举内置有可进行三维显示的显示画面和手写数码笔板的检测单元的、用于操作音乐再现功能的遥控器为例。此时，操作了前述输入笔201时的遥控器的显示画面上的指针和对象的显示控制过程，由于可以与在前述实施例2-1至实施例2-7中所说明的过程相同，因而省略详细说明。
在本实施例2-8中，前述操作者使用在前述实施例2-7中所说明的使笔尖201P压入到壳体内的输入笔201，操作例如如图37A和图39A所示的显示在前述遥控器的三维空间301上的对象。首先，例如，如图37B和图39B所示，当前述操作者操作前述输入笔201来指示再现按钮302a时，切换到按下了前述再现按钮302a的状态的显示，开始音乐再现。
并且，例如，如图37C和图39C所示，操作前述输入笔201来指示音量旋钮302b，例如，当在按下前述输入笔201的按钮201D的同时，使前述输入笔移动，从而使前述旋钮302b旋转时，可使再现中的音乐的音量升高或降低。
并且，在使音量升高或降低的情况下，不限于图37C和图39C所示的操作，例如，如图38A和图40A所示，在前述旋钮302b的中心附近指示了前述旋钮302b之后，通过使前述输入笔201绕轴旋转，使前述旋钮302b旋转，也能使音量升高或降低。
并且，例如，如图38B和图40B所示，当使用前述输入笔201指示了显示有再现中的音乐相关信息的区域302c时，如图38C和图40C所示，前述区域302c切换到二维显示，只要能处于可进行二维GUI操作的状态，就能例如与手写文字的识别功能等组合，在前述区域302c内输入想要再现的音乐的磁道号，跳至目标磁道号。
这样，通过利用前述实施例2-1至实施例2-7的三维指示方法，可容易且直观地操作三维空间301的操作按钮等的对象。
并且，在本实施例2-8中，示出了使用遥控器的音乐设备的操作例，然而不限于此，例如，也能应用于PDA、便携电话、以及电话亭终端和ATM等的采用相同形式的设备的操作，可更直观地操作各个设备。并且，在操作中，在本实施例中，进行了再现音乐、升高音量、改变磁道的操作，然而不限于此，只要是与前述输入笔201的操作可相关联的操作，就能是任何操作。
并且，在本实施例2-8中，假定为了输入磁道号而使用手写识别，然而只要能在二维GUI上实现，就可以是任何方法，例如，可以是使用下拉菜单显示磁道号并使用输入笔201进行选择的输入方法。
并且，实现在前述各实施例中所说明的三维指示的三维指示装置没有必要是为了实现前述三维指示方法而作了特殊化的专用装置，例如，如图41所示，也能使用PC等的计算机(系统控制装置1)、和使前述计算机执行在前述各实施例中所说明的三维指示方法的三维指示程序来实现。在该情况下，前述三维指示程序只要在前述计算机可读取的状态下被记录，就可以记录在磁、电、光的任意一种记录介质内。并且，前述三维指示程序，例如，不仅可记录在前述记录介质内来提供，而且还可通过互联网等的网络来提供。
(第3实施方式)
下面，对本发明的第3实施方式进行说明。第3实施方式与本发明的第2目的对应。
第3实施方式的三维指示方法在表现于显示装置上的三维空间内显示指针和对象，在进行了为使用前述指针指示三维空间内的任意一点而使前述指针向深度方向移动的操作的情况下，在使前述指针的与进行指示的部分不同的部分的深度位置、形状、尺寸保持一定的状态下，使前述进行指示的部分向深度方向移动。然后，在进行指示的部分所指示的三维空间位置上有对象的情况下，使该对象改变为表示正在被指示的状态来显示。这样，前述指针的操作者可容易且准确地识别指针的深度位置和前述指针正在指示的位置。
图50是示出用于实现本发明的三维指示方法的系统的结构例的示意图。
在图50中，1是指示装置(系统控制装置)，101是输入信息取得单元，102是指示位置/变形量算出单元，103是指针生成单元，104是显示控制单元，105是指示判定单元，106是对象生成单元，107是处理控制单元，108是存储单元，2是输入装置，3是显示装置。
第3实施方式的三维指示方法，例如，是当使用与前述系统控制装置连接的输入装置对表现在与前述PC那样的系统控制装置连接的显示装置上的三维空间上的指针进行三维操作、并指示前述三维空间上的任意位置时优选应用的三维指示方法。
前述系统控制装置1例如如图50所示，具有：输入信息取得单元101，其取得从前述输入装置2所输入的输入信息；指示位置/变形量算出单元102，其在由前述输入信息取得单元101所取得的输入信息是指针操作相关信息(指针操作信息)的情况下，根据前述输入信息算出正在指示的点的移动方向和移动量，之后算出指示位置和指针的变形量；指针生成单元103，其根据前述指示位置/变形量算出单元102的算出结果生成指针；以及显示控制单元104，其使由前述指针生成单元103所生成的指针显示在前述显示装置3上。并且，前述系统控制装置1除了前述各单元以外，例如如图50所示，还具有：指示判定单元105，其判定是否有由根据前述指示位置/变形量算出单元102的算出结果所生成的指针正在被指示的对象，即，在指针正在指示的点的xyz坐标上是否有对象；以及对象生成单元106，其在有前述正在被指示的对象的情况下，例如，改变该对象的颜色。
并且，前述系统控制装置1例如像前述PC那样，是根据来自前述输入装置2的输入信息进行软件起动和操作，或者进行其他装置的控制的装置，如图50所示，除了前述各单元以外，例如，还具有处理控制单元107和存储单元108。并且，在由前述输入信息取得单元101所取得的信息与前述指针操作信息不同的情况下，前述处理控制单元107执行与所取得的信息对应的处理。
即，本实施方式的三维指示方法没有必要使用特殊的三维指示装置，可使用图50所示的现有的系统控制装置1来实现。
并且，前述输入装置2例如不限于像键盘和鼠标那样与前述系统控制装置1(PC)一般连接的输入装置，也可以是手写数码笔板和操纵杆(操纵手柄(Joypad))等的输入装置。并且，当使用前述输入装置2进行前述指针的操作时，例如，可以使用鼠标或者键盘等的1种输入装置进行，也可以使用使鼠标操作和键盘上的特定键的按下组合等的2种或2种以上的输入装置来进行。并且，前述输入装置2例如可以像触摸屏和手写数码笔板那样与前述显示装置3的显示面一体化(例如，参照日本特开平5-73208号公报)。在这种输入装置2的情况下，通过使用笔或手指尖等接触前述显示装置3的显示画面，可输入前述指针操作信息。
并且，前述显示装置3只要是能表现三维空间的显示装置即可，例如，可以是CRT显示器和液晶显示器那样的以将三维对象投影在二维平面上的形式来显示的二维显示装置，也可以是DFD(例如，参照专利第3022558号说明书和专利第3460671号说明书)那样的能显示三维立体像的显示装置。即，前述显示装置3只要能由操作者(观察者)三维识别(感知)所显示的指针和对象的位置和形状，就可以是任何显示装置。
[实施例3-1]
图51至图55是用于对本发明的实施例3-1的三维指示方法进行说明的示意图，图51是对指针的操作方法进行说明的图，图52是示出当指示比指针更位于深处的对象时的三维空间内的变化的正面图和右侧面图，图53是图52的三维空间内的变化的立体图，图54是示出当指示比指针更位于近处的对象时的三维空间内的变化的正面图和右侧面图，图55是用于对当使用系统控制装置(指示装置)执行本实施例3-1的三维指示方法时的处理过程进行说明的流程图。另外，图52在上段、中段、下段示出了三维空间的3种状态，是示出通过进行各段之间所示的操作，使三维空间内的状态从上段变化到中段、从中段变化到下段的状态的图。并且，图53也在上段、中段、下段示出3种状态，分别以立体图示出图52的上段、中段、下段的各状态的三维空间内的状态。并且，图54也同样在上段、中段、下段示出三维空间的3种状态，是示出通过进行各段之间所示的操作，使三维空间内的状态从上段变化到中段、从中段变化到下段的状态的图。
在图51中，1是系统控制装置，201是键盘，202是鼠标，3是显示装置(二维显示装置)，301是显示面，4是指针。
在本实施例3-1中，如图51所示，列举作为前述输入装置2使用键盘201和鼠标202、作为前述显示装置3使用液晶显示器等的二维显示装置的情况为例，对三维指示方法进行说明。
并且，在表现于前述显示装置3上的三维空间上，例如，如图51所示，把显示面301设定为Z＝0，并假定取前述显示面301为XY平面、而且把从操作者来看从显示面301朝向深处的方向作为Z轴的正方向的三维坐标系XYZ。此时，显示在前述三维空间内的指针4在XY平面内的移动方向和移动距离是根据使前述鼠标202主体在桌上等的平面上二维移动时的移动方向和移动距离来算出(决定)的。
并且，深度方向(Z方向)的移动方向和移动距离例如如图51所示，根据在按下前述键盘201的控制键(Ctrl键)等的预定的键201A的同时，使前述鼠标202的滚轮202A旋转时的旋转方向和旋转角度来算出(决定)的。此时，例如如图51所示，在使前述鼠标的滚轮202A向+Z方向旋转的情况下，使前述指针的进行指示的部分向三维空间的+Z方向，即从操作者来看向朝向深处的方向移动。并且，在使前述鼠标的滚轮202A向-Z方向旋转的情况下，使前述指针的进行指示的部分向三维空间的-Z方向，即从操作者来看向朝向近处的方向移动。
并且，在本实施例3-1的三维指示方法中，假定前述指针4的形状为箭头形，并假定箭头的尖端部分表示正在指示的点(xp，yp，zp)。并且，当使采用前述箭头形的指针4进行指示的部分向深度方向移动时，在使前述箭头的尖端的相反侧一端的深度位置保持一定的同时，使前述箭头部分向深度方向移动，使前述指针4倾斜。
作为这种三维指示方法的一例，列举如图52的上段和图53的上段所示，在三维空间内的不同深度位置上显示指针4和对象5的情况的指示方法。此时，从自-Z方向观察前述三维空间的操作者的视点，看到前述指针4在前述对象5上重合，然而由于前述指针4正在指示的点(xp，yp，zp)与前述对象5的深度位置不同，因而前述对象5未被指示。
假定前述操作者在从该状态按下例如前述键盘的控制键(Ctrl键)201A的同时，使前述鼠标的滚轮202A向+Z方向旋转。此时，前述指针4例如如图52的中段和图53的中段所示，在前述箭头的尖端的相反侧一端的深度位置保持一定的状态下，前述箭头的尖端部分向+Z方向移动，箭头部分从操作者来看向深度方向倾斜。另外，在图52的中段和图53的中段，示出在使前述指针正在指示的点的XY坐标(xp，yp)保持一定、而且使前述指针4的形状、尺寸也保持一定的状态下倾斜的例子。因此，由于使深度位置保持一定，因而如图52的中段和图53的中段所示，前述箭头的尖端的相反侧一端向+X方向移动。
这样，由于在按下前述键盘的控制键201A的同时，使前述鼠标的滚轮202A向+Z方向旋转，因而前述指针4倾斜成，使正在指示的点(箭头的尖的部分)侧从操作者来看变远。并且此时，如果在保持前述指针4的形状和尺寸的同时进行旋转，则前述指针4的尖的部分的宽度显示得窄。结果，前述操作者可识别出指针4向深度方向(+Z方向)倾斜，同时也能根据前述指针4的形状识别出前述指针4正在指示比操作前的位置更深的位置。
然而，本实施例3-1的三维指示方法不是指定图52的中段和图53的中段所示的指针4的倾斜方式，而是如后所述，只要前述箭头的尖端的相反侧一端的深度位置保持一定，就可以是任何倾斜方式。
并且，假定在从图52的中段和图53的中段所示的状态再一次按下前述键盘的控制键201A的同时，使前述鼠标202的滚轮202A向+Z方向旋转。此时，前述指针4例如如图52的下段和图53的下段所示，在前述箭头的尖端的相反侧一端的深度位置保持一定的状态下，前述箭头的尖端部分向+Z方向移动，箭头部分从操作者来看进一步向深度方向倾斜。并且此时，如果在保持前述指针的形状和尺寸的同时进行旋转，则前述指针的箭头部分的宽度显示得更窄。结果，前述操作者可识别出指针4进一步向深度方向(+Z方向)倾斜，同时，也能根据前述指针4的形状，识别出前述指针4正在指示比操作前的位置更深的位置。
并且此时，在按下前述键盘的控制键201A的同时，继续使前述鼠标的滚轮202A向+Z方向旋转的操作，结果，如图52的下段和图53的下段所示，前述指针4正在指示的点(xp，yp，zp)到达与前述对象5相同深度位置，当前述指针4的尖端的xyz坐标(xp，yp，zp)与前述对象5的表面上或者内部的任意点的xyz坐标一致时，前述对象5处于由前述指针4所指示的状态。因此，例如如图52的下段和图53的下段所示，改变前述对象5的颜色，表示是正在被指示的状态。这样，前述操作者可根据前述指针4的形状直观且准确地识别指针4的深度方向的位置、和指针4正在指示的深度方向的位置。并且，通过在由前述指针4指示时改变对象5的颜色，可直观且准确地识别与前述对象5重合的指针4是否正在指示前述对象5。
并且，在图52和图53中，对从前述操作者来看，在比前述对象5的深度位置更近处有前述指针4，并使前述指针4朝深处(+Z方向)倾斜的情况的操作作了说明，然而在本实施例3-1的三维指示方法中，也能使前述指针4朝近处(-Z方向)倾斜。
作为使前述指针4朝近处(-Z方向)倾斜的情况的一例，如图54的上段所示，列举在比前述对象5的深度位置更深处有前述指针4的情况。此时，从自-Z方向观察前述三维空间的操作者的视点，看到前述指针的箭头的尖端部分与前述对象重合而被隐藏，然而由于前述指针正在指示的点(xp，yp，zp)与前述对象的深度位置不同，因而前述对象不被指示。
假定前述操作者在从该状态按下例如前述键盘的控制键201A的同时，使前述鼠标的滚轮202A向-Z方向旋转。此时，前述指针4例如如图54的中段所示，在前述箭头的尖端的相反侧一端的深度位置保持一定的状态下，前述箭头的尖端部分向-Z方向移动，箭头部分从操作者来看向近处方向倾斜。另外，在图54的中段，示出在使前述指针4正在指示的点的XY坐标(xp，yp)保持一定、而且使前述指针4的形状、尺寸也保持一定的状态下倾斜的例子。因此，由于使深度位置保持一定，因而如图54的中段所示，前述箭头的尖端的相反侧一端向+X方向移动。
这样，由于在按下前述键盘的控制键201A的同时，使前述鼠标的滚轮202A向-Z方向旋转，因而前述指针4倾斜成使正在指示的点(xp，yp，zp)从操作者来看变近。并且此时，如果在保持前述指针的形状和尺寸的同时进行旋转，则前述指针的箭头部分的宽度显示得宽。结果，前述操作者可识别出指针4向深度方向(+Z方向)倾斜，同时也能根据前述指针4的形状识别出前述指针4正在指示比操作前的位置更近的位置。
并且，假定在从图54的中段所示的状态再一次按下前述键盘的控制键201A的同时，使前述鼠标的滚轮202A向-Z方向旋转。此时，前述指针4例如如图54的下段所示，在前述箭头的尖端的相反侧一端的深度位置保持一定的状态下，前述箭头的尖端部分向-Z方向移动，箭头部分从操作者来看进一步向近处方向倾斜。并且此时，如果在保持前述指针的形状和尺寸的同时进行旋转，则前述指针的箭头部分的宽度显示得更宽。结果，前述操作者可识别出指针4进一步向深度方向(-Z方向)倾斜，同时，也能根据前述指针4的形状，识别出前述指针4正在指示比操作前的位置更近的位置。
并且此时，在按下前述键盘的控制键201A的同时，继续使前述鼠标的滚轮202A向-Z方向旋转的操作，结果，如图54的下段所示，前述指针正在指示的点(xp，yp，zp)到达与前述对象相同的深度位置，当前述指针4的尖端的xyz坐标(xp，yp，zp)与前述对象5的表面上或者内部的任意点的xyz坐标一致时，前述对象5处于由前述指针4所指示的状态。因此，例如如图54的下段所示，改变前述对象5的颜色，表示是正在被指示的状态。这样，前述操作者可根据前述指针4的形状直观且准确地识别指针4的深度方向的位置、和指针4正在指示的深度方向的位置。并且，通过在由前述指针4指示时改变对象5的颜色，可直观且准确地识别与前述对象5重合的指针4是否正在指示前述对象5。
另外，当按照前述鼠标的滚轮202A的旋转使前述指针4向深度方向(+Z方向或-Z方向)倾斜来显示时，例如，可以显示成，按照前述滚轮202A的总旋转角度，使前述指针4连续倾斜，也可以显示成，与前述滚轮202A的旋转步骤同步，每当使前述滚轮202A旋转1步时，使前述指针4分阶段倾斜各预定角度。
当使前述系统控制装置1(指示装置)执行这种本实施例3-1的三维指示方法时，只要执行图55所示的步骤601至步骤608的处理即可。此时，在前述系统控制装置1中，如图55所示，首先，使用前述显示控制单元104，使前述显示装置3显示对象5和指针4(步骤601)。此时，前述对象5可以显示多个。并且，假定只要前述对象5和指针4在表现于前述显示装置3上的三维空间内，就可以显示在任何位置上。
然后，前述操作者在前述输入信息取得单元101中取得使用前述键盘201和鼠标202等的输入装置2所输入的信息(步骤602)。此时，由前述输入信息取得单元101所取得的输入信息除了前述指针4的操作相关信息(指针操作信息)以外，还取得应用软件起动等的输入信息，然而这里，假定取得前述指针4的操作相关信息。判定由前述输入信息取得单元101所取得的输入信息是否是前述指针操作信息，在前述输入信息例如是鼠标202的移动信息(操作信息)、滚轮202A的旋转操作信息等的前述指针操作信息的情况下，前述输入信息取得单元101把前述输入信息(指针操作信息)传送到前述指示位置/变形量算出单元102，算出指示位置和指针的变形量。
此时，在前述指示位置/变形量算出单元102中，例如，首先，如图55所示，根据前述指针操作信息算出前述指针的移动方向、移动量等(步骤603)。在前述步骤603中，例如根据鼠标主体的二维移动方向和移动量的信息，算出表现在显示装置上的三维空间的XY平面内的前述指针4的移动方向和移动量、或者旋转角度等。
在前述步骤603中算出前述指针4的移动方向、移动量等之后，接下来，根据算出结果使显示在前述显示装置3上的指针4移动来显示(步骤604)。前述步骤604例如根据前述指针4的XY平面内的移动方向、移动量等在前述指针生成单元103中生成移动目的地的指针4之后，利用前述显示控制单元104把前述所生成的指针4显示在前述显示装置3上。另外，在前述指针操作信息中未包含使前述指针4在XY平面内移动或旋转的信息的情况下，省略前述步骤604的操作，进行下一步骤605的处理。
前述指示位置/变形量算出单元102在前述步骤603的处理结束时，使前述指针生成单元103和前述显示控制单元104进行前述步骤604的处理，另一方面，根据前述指针操作信息算出前述指针4的倾斜方向和倾斜量(步骤605)。在前述步骤605中，前述倾斜方向例如根据前述鼠标202的滚轮202A的旋转方向的信息来决定。并且，倾斜量例如根据前述鼠标202的滚轮202A的旋转量来算出。
在前述步骤605中算出前述指针4的倾斜方向和倾斜量之后，接下来，根据算出结果使显示在前述显示装置3上的指针4倾斜来显示(步骤606)。前述步骤606中，例如，根据前述指针4的倾斜量在前述指针生成单元103中使指针4倾斜之后，利用前述显示控制单元104使例如如图52的中段和图53的中段等所示那样倾斜的指针4显示在前述显示装置3上。并且，在前述指针操作信息中未包含使前述指针4向Z轴方向倾斜的信息的情况下，省略前述步骤606的操作，进行下一步骤607的处理。
并且，前述指示位置/变形量算出单元102在进行了前述步骤603和前述步骤606的处理之后，把算出结果传送到前述指针生成单元103中来生成指针，并把算出结果也传送到前述指示判定单元105中。此时，前述指示判定单元105根据所接收的算出结果，判定是否有操作后的指针4正在指示的对象，即，指针4正在指示的点的xyz坐标是否在根据对象的表面上或内部的任意点的xyz坐标所预定的范围内(步骤607)。此时，如果没有正在指示的对象，则回到步骤602，进行等待直到取得下一输入信息(指针操作信息)。
并且，在有正在指示的对象的情况下，前述指示判定单元105使前述对象生成单元106生成使所指示的对象的颜色改变的对象，利用前述显示控制单元104来显示在前述显示装置3上(步骤608)。并且，在显示改变了颜色的对象之后，回到步骤602，进行等待直到取得下一输入信息(指针操作信息)。
并且，在按照前述过程使前述指针4倾斜来显示之后，从前述输入装置2取得前述指针4的操作相关信息，例如，在XY平面内移动的情况下，可以使前述指针4的倾斜回到原来之后再移动，也可以使前述指针4在倾斜的状态下移动。
并且，尽管在图55中作了省略，然而在前述输入信息取得单元101取得了前述指针操作信息以外的输入信息的情况下，前述处理控制单元107执行与所取得的输入信息对应的处理。此时，作为前述指针操作信息以外的输入信息，例如，列举与由前述指针4所指示的对象5相关联的软件起动、数值或者字符串的输入信息等。在该情况下，前述处理控制单元107根据前述输入信息，进行与前述对象5相关联的软件起动等的处理，例如，使前述对象生成单元105生成处理结果相关对象，使用前述显示控制单元104把前述处理结果的对象显示在前述显示装置3上。
如以上说明那样，根据本实施例3-1的三维指示方法，由于在使前述指针4的正在指示的点(箭头的尖端)的相反侧一端的深度位置保持一定的同时，使前述正在指示的点向深度方向倾斜来显示在前述显示装置3上，因而看到前述指针4的操作者可直观且准确地识别前述指针4的深度位置和前述指针4正在指示的深度位置。
并且，在保持前述指针4的箭头的尖端的相反侧一端的深度位置，并在保持了前述指针4整体长度的状态下使前述指针4向深度方向倾斜来进行对象5的指示的方法中，由于前述指针4的三维长度不变化，因而可向操作者呈现更接近实际物体的自然的对象显示。
并且，在本实施例3-1的三维指示方法中，示出了通过使前述键盘的控制键201A和鼠标的滚轮202A的旋转操作组合，使前述指针4向深度方向倾斜的例子，然而不限于此，可以是键盘201的其他键和滚轮202A的组合，也可以取代滚轮202A而与键盘201的光标键(方向键)组合。并且，除此以外，例如，还可以在使用手写数码笔板、触摸屏、操纵杆等进行了预定操作时倾斜。
并且，在本实施例3-1的三维指示方法中，作为前述指针4，列举了箭头形状的指针为例，然而不限于此，只要是能视觉识别朝深度方向倾斜显示时的倾斜方向和正在指示的点(位置)的形状，就可以是任何形状。
图56A～D是示出指针形状的变形例的示意图，图56A是示出三角形状的指针的图，图56B是示出人手形状的指针的图，图56C是示出水滴形状的指针的图，图56D是示出十字形状的指针的图。
在本实施例3-1的三维指示方法中，根据使前述指针向深度方向倾斜时的视觉形状变化，识别前述指针正在指示的点的深度位置。因此，不限于图52的上段所示的箭头形状的指针4，例如，可以是图56A所示的三角形状的指针4A。在前述三角形状的指针的情况下，把前述指针4A的顶角设定为指示的点(xp，yp，zp)，只要在使底边的深度位置保持一定的状态下向深度方向倾斜即可。
并且，除此以外，例如，还可以是：图56B所示的使用食指指示对象的人手形状的指针4B，图56C所示的水滴形状的指针，以及图56D所示的十字形状的指针4D。在前述人手形状的指针4B的情况下，例如，把食指的尖端设定为指示的点(xp，yp，zp)，只要在使相反侧(手腕)的深度位置保持一定的状态下向深度方向倾斜即可。并且，在前述水滴形状的指针4C的情况下，例如，把顶角设定为指示的点(xp，yp，zp)，只要在使相反侧(圆弧部)的深度位置保持一定的状态下向深度方向倾斜即可。并且，在前述十字形状的指针4D的情况下，例如，把交点设定为指示的点(xp，yp，zp)，只要在使从交点延伸的4根轴的1根轴的一端的深度位置保持一定的状态下向深度方向倾斜即可。
并且，前述对象在本实施例3-1中，也列举了图51等所示的文件夹图标型的对象为例，然而不限于此，只要是数据文件和执行文件的图标(快捷方式)和窗口等、可由前述指针指示的形状，就可以是任何形状的对象。
并且，在本实施例3-1的指示方法中，例如，可根据前述指针4的视觉形状变化来识别前述指针4的深度方向的指示位置，然而，例如，也可以在前述显示装置3上显示成为使操作者识别前述指针4在前述三维空间内倾斜了多少的指标的基准坐标。
图57是示出在本实施例3-1的三维指示方法中显示基准坐标的例子的图。
在本实施例3-1的指示方法中，根据使前述指针4向深度方向倾斜时的视觉形状的变化，使操作者识别前述指针4的深度方向的指示位置。然而，当指示了相同深度位置的状态持续了长时间时，由于没有视觉形状变化，因而有可能使前述指针4的深度方向的指示位置的识别变得含糊。
因此，例如如图57所示，如果在显示于前述显示装置3上的三维空间内显示反映了设定在前述三维空间内的XYZ坐标系的xyz坐标轴(基准坐标)7，则当前述指针4的深度位置没有变化时，通过参照前述xyz坐标轴，也容易识别前述指针4的深度方向的倾斜。此时，前述基准坐标7可以固定在前述三维空间上的特定位置，也可以随着指针4的移动而移动，当指针4倾斜时在该处固定。并且，前述基准坐标7只要是在表现于前述显示装置3上的三维空间内，就可以配置在任何位置上，也能由前述操作者设定配置位置。并且，在图57中，作为基准坐标7使用了表示xyz坐标轴的显示物，然而不限于此，只要是成为使前述操作者识别指针4的倾斜程度的指标的显示物，就可以是任何对象，例如，可以是倾斜为0(与XY平面平行)、与前述指针形状相似的半透明的显示物那样的物体。
并且，在本实施例3-1的三维指示方法中，列举了当使前述指针4向深度方向倾斜时，例如如图52的中段和图53的中段所示，在使前述指针4的箭头尖端的相反侧一端的深度位置保持一定，并使前述指针4的整体长度(形状、尺寸)保持一定的状态下倾斜的例子，然而不限于此，也能在使指针整体长度变化的同时，向深度方向倾斜来进行对象的指示。
图58是用于对本实施例3-1的三维指示方法的变形例进行说明的示意图，是示出当指示比指针更位于深处的对象时的三维空间内的变化的正面图和右侧面图。另外，图58在上段、中段、下段示出三维空间的3种状态，是示出通过进行各段之间所示的操作，使三维空间内的状态从上段变化到中段、从中段变化到下段的状态的图。
在本实施例3-1的三维指示方法中，例如如图52的下段所示，在使前述指针4整体长度、形状等也保持一定的状态下向深度方向倾斜来显示。因此，可使用在某个深度位置的指针4进行指示的情况，限于深度方向的距离比前述指针4的长度近的对象。
本实施例3-1的三维指示方法例如对图52的下段所示的指针的倾斜方法不作限定，通过把前述指针的一端(箭头尖端的相反侧一端)的深度位置与指针的尖(箭头的尖端)的深度位置进行比较，来由操作者识别指针的倾斜，可识别指示位置。即，只要与进行指示的部分不同的部分的深度位置保持一定，就可以是任何倾斜方法。
作为与在本实施例3-1的三维指示方法中可实现的图52的下段所示的指针的倾斜方法不同的倾斜方法的一例，如图58的上段所示，列举从操作者的视点来看，在三维空间内的不同深度位置显示指针和对象的情况。此时，从自-Z方向观察前述三维空间的操作者的视点，看到前述指针在前述对象上重合，然而由于前述指针所指示的点和前述对象的深度位置不同，因而前述对象不被指示。
假定前述操作者在从该状态按下例如前述键盘的控制键(Ctrl键)201A的同时，使前述鼠标的滚轮202A向+Z方向旋转。此时，前述指针4例如如图58的中段和图58的下段所示，在前述箭头的尖端的相反侧一端的深度位置保持一定的状态下，前述箭头的尖端部分向+Z方向移动，箭头部分从操作者来看向深度方向倾斜。并且此时，前述箭头的尖端的相反侧一端如图58的中段和图58的下段所示，固定在与操作前的箭头尖端的相反侧一端相同的三维空间位置。然后，如果例如当使前述指针4的指示点向+Z方向移动时，在使XY坐标(xp，yp)保持一定的状态下移动，则前述指针4在使指针整体长度变化的同时，向深度方向倾斜。
在这种三维指示方法中，也能识别前述指针4的倾斜，可取得与图52的下段所示的指针长度不变化的指示方法的情况相同的效果。并且在该情况下，由于指针整体长度随着在深度方向倾斜而变化，因而即使是与前述指针在深度方向上距离大的对象，也能指示。另外，在图58的中段和图58的下段所示的情况下，前述指针4随着深度方向的倾斜变化，长度(尺寸)发生变化，然而这种长度(尺寸)变更与在使指针4显示在表现于前述显示装置3上的三维空间内的情况下的、作为用于向操作者提示三维立体感的心理描绘方法而使用的尺寸变更，即，使从操作者来看位于深处的指针显示得小，或者使从操作者来看位于接近操作者的位置的指针显示得大的“显示上的尺寸变更”不同。
并且，在本实施例3-1的三维指示方法中，如图52和图53所示，对使前述指针4倾斜来指示深度位置不同的对象的方法作了说明，然而此时，不仅使前述指针4倾斜，而且如图59所示，还可以追加在保持前述指针4的形状的状态下，向深度方向平移移动的操作。
图59是用于对本实施例3-1的三维指示方法的第1应用例进行说明的示意图，是示出当指示比指针更位于深处的对象时的三维空间内的变化的正面图和右侧面图。另外，图59在上段、中段、下段示出三维空间的3种状态，是示出通过进行各段之间所示的操作，使三维空间内的状态从上段变化到中段、从中段变化到下段的状态的图。
在本实施例3-1的三维指示方法的情况下，例如，由于通过采用图58所示的方法，使指针整体长度随着向深度方向倾斜而变化，因而对于与前述指针在深度方向上距离大的对象，也能进行指示。然而，在图52的下段所示的指针的倾斜方法中，例如，只要使前述指针4在保持形状的状态下向Z轴方向平移移动，从而使前述指针4和对象5在深度方向上的距离比指针整体长度近，就能指示表现在前述显示装置3上的三维空间内的所有对象。此时，前述指针4的Z轴方向的平移移动，在按下与前述键盘的控制键(Ctrl键)201A不同的键，例如，移位键(Shift键)的同时，使前述鼠标的滚轮202A向+Z方向旋转的情况下，只要使前述指针4向三维空间的+Z方向平移移动即可，在按下前述移位键(Shift键)的同时，使前述鼠标的滚轮202A向-Z方向旋转的情况下，只要使前述指针4向三维空间的-Z方向平移移动即可。
作为这种指示方法的一例，如图59的上段所示，列举从操作者的视点来看，在三维空间内的不同深度位置显示指针4和对象5的情况。此时，从自-Z方向观察前述三维空间的操作者的视点，看到前述指针4在前述对象5上重合，然而由于前述指针4正在指示的点(xp，yp，zp)和前述对象5的深度位置不同，因而前述对象5未被指示。
假定前述操作者在从该状态按下例如前述键盘201的移位键(Shift键)的同时，使前述鼠标的滚轮202A向+Z方向旋转。此时，前述指针4例如如图59的中段所示，在使前述指针4的形状、尺寸保持一定的状态下，向+Z方向平移移动，前述指针4和对象5在深度方向的距离变近。
并且，在图59的中段所示的状态时，前述操作者在按下例如前述键盘201的控制键(Ctrl键)201A的同时，使前述鼠标的滚轮202A向+Z方向旋转时，前述指针4例如如图59的下段所示，在箭头的尖端的相反侧一端的深度位置保持一定的状态下，前述箭头的尖端朝深处倾斜。
这样，即使在具有例如表现于前述显示装置3上的三维空间的Z轴方向，即深度大(宽)、仅使前述指针4倾斜而不能指示的对象的情况下，如图59的中段所示，通过使前述指针4向深度方向平移移动，可指示前述对象5。另外，在图59中，示出了从操作者来看朝深处(+Z方向)平移移动的例子，然而当然也能朝近处(-Z方向)平移移动。
另外，当按照前述鼠标的滚轮202A的旋转使前述指针4向Z轴方向平移移动时，可以显示成，例如按照前述滚轮202A的总旋转角度，使前述指针4连续移动，也可以显示成，与前述滚轮202A的旋转步骤同步，每当使前述滚轮202A旋转1步时，使前述指针4按预定的各距离阶段性移动。
并且，在本实施例3-1的三维指示方法中，使前述鼠标202主体的二维移动反映在XY平面内的指针4的移动上，使前述键盘201的控制键(Ctrl键)201A和鼠标202的滚轮202A的旋转操作的组合反映在前述指针4的深度方向的倾斜上。并且，在图59所示的指示方法中，使前述键盘201的移位键(Shift键)和鼠标202的滚轮201A的旋转操作的组合反映在前述指针4的深度方向的平移移动上。这样，在本实施例3-1的三维指示方法中，通过前述鼠标202主体和键盘201的键与鼠标的滚轮202A的旋转操作的组合，可指示前述三维空间内的所有点。并且，例如，通过除了前述键盘201的控制键(Ctrl键)201A和移位键(Shift键)以外的键与鼠标的滚轮201A的旋转操作的组合，也能使前述指针4在XY平面内旋转。此时，前述指针4在XY平面内的旋转是在按下与前述键盘201的控制键(Ctrl键)和移位键(Shift键)不同的键，例如，交替键(Alt键)的同时，使前述鼠标的滚轮202A向+Z方向旋转的情况下，只要使前述指针4顺时针旋转即可，并且在按下前述交替键(Alt键)的同时，使前述鼠标的滚轮202A向-Z方向旋转的情况下，只要使前述指针4逆时针旋转即可。
图60是用于对本实施例3-1的三维指示方法的第2应用例进行说明的示意图，是示出在指示比指针位于更深处的对象时的三维空间内的变化的正面图和右侧面图。另外，图60在上段、中段、下段示出三维空间的3种状态，是示出通过进行各段之间所示的操作，使三维空间内的状态从上段变化到中段、从中段变化到下段的状态的图。
作为使前述指针在XY平面内旋转的指示方法的一例，如图60的上段所示，列举从操作者的视点来看，在三维空间内的不同深度位置显示指针4和对象5的情况。
假定前述操作者在从该状态按下例如前述键盘201的交替键(Alt键)的同时，使前述鼠标的滚轮202A向+Z方向旋转。此时，前述指针4例如如图60的中段所示，在保持了前述指针4的形状的状态下，顺时针旋转90度。此时，从自-Z方向观察前述三维空间的操作者的视点，看到前述指针的箭头的尖端在前述对象上重合，然而由于前述指针正在指示的点和前述对象的深度位置不同，因而前述对象未被指示。
并且，在图60的中段所示的状态时，前述操作者在按下例如前述键盘201的控制键(Ctrl键)201A的同时，使前述鼠标的滚轮202A向+Z方向旋转时，前述指针4例如如图60的下段所示，在使箭头的尖端的相反侧一端的深度位置保持一定的状态下，前述箭头的尖端朝深处倾斜。并且，尽管省略图示，然而在从图60的下段所示的状态按下前述键盘的控制键(Ctrl键)201A的同时，使前述鼠标的滚轮202A向+Z方向旋转时，前述指针4的倾斜增大，当前述指针4的箭头的尖端(xp，yp，zp)到达了与前述对象5相同的深度位置时，前述对象5的颜色改变，可识别出正在被指示。
这样，通过还追加前述指针4在XY平面内的旋转操作，可从所有方向指示前述对象，从而能以更接近实际空间的操作感操作前述指针4。
另外，当按照前述鼠标的滚轮202A的旋转使前述指针4在XY平面内旋转来显示时，可以显示成，例如按照前述滚轮202A的总旋转角度，使前述指针4连续旋转，也可以显示成，与前述滚轮202A的旋转步骤同步，每当使前述滚轮202A旋转1步时，使前述指针4按预定的各角度阶段性旋转。
并且，在本实施例3-1中，如图51所示，列举了作为前述显示装置3使用液晶显示器等的二维显示装置的情况为例，然而作为前述显示装置3使用DFD那样的可进行立体显示的三维显示装置，由此可更准确且直观地识别指针的深度位置。
图61和图62A、B是用于对本实施例3-1的三维指示方法的第3应用例进行说明的示意图，图61是示出系统的结构例的图，图62A和图62B是对DFD的动作原理进行说明的图。
在本实施例3-1的三维指示方法中，前述显示装置3只要能表现三维空间，就可以是任何显示装置，而特别是，优选的是使用DFD那样的三维显示装置(显示器)。如第1实施方式中所说明的那样，前述DFD是具有从前述操作者(观察者)的视点来看在深度方向重合的多块显示面的显示装置(例如，参照专利第3022558号说明书和专利第3460671号说明书)。
前述DFD的动作原理与在第1实施方式中所说明的一样，然而这里再次进行说明。为使说明简单，假定如图61所示，2块显示面301A、301B重合。此时，前述指针4和对象5在前述2块显示面301A、301B之间的三维空间内反映深度位置来显示。
显示在前述DFD上的前述指针4和对象5例如如图62A所示，显示在从操作者来看近处的显示面301A和深处的显示面301B的双方上。并且此时，如果前述DFD是亮度调制型，则当前述近处的显示面301A的对象5A以亮度LA显示，并且前述深处的显示面301B的对象5B以亮度LB显示时，看到在前述三维空间内的距前述近处的显示面301A的距离与距前述深处的显示面301B的距离之比是LB∶LA的深度位置上显示对象5。
并且，例如，如图62B所示，通过在1个对象5的显示区域中使亮度连续变化，还能使1个对象5向深度方向倾斜来显示。在图62B所示的例子中，使前述近处的显示面301A的对象5A的亮度在纸面上从上向下增大，并使前述深处的显示面301B的对象5B的亮度在纸面上从下向上增大。因此，前述操作者可观察到纸面上方朝深处、纸面下方朝近处倾斜的立体对象5。
并且，尽管省略详细说明，然而在前述DFD是透过型的情况下，例如，通过调节近处的显示面301A的正在显示对象5A的区域的各点(像素)的透过度，与前述亮度调制型的DFD一样，可在前述近处的显示面301A和深处的显示面301B之间的任意深度位置显示前述指针4和对象5的立体像。
在作为显示装置使用DFD的情况下，通过不仅根据显示在前述显示装置3上的指针4的宽度识别深度，而且把指针4的深度没有改变的一端与指针4的有尖的深度位置进行比较，可直观且准确地识别指针4的深度位置。并且，在使用DFD的情况下，当把DFD的近处的显示面、或者深处的显示面设定为指针4的深度没有改变的一端的某深度位置时，具有操作者可更准确且直观地识别指针4的深度位置的大的效果。
并且，在一般的CRT显示器和液晶显示器那样的二维显示装置的情况下，需要把进行前述表现的前述三维空间投影在二维平面上来显示的处理，然而在前述DFD那样的三维显示装置的情况下，由于只需根据前述三维空间的深度方向的位置设定各显示面上的点(像素)的亮度比率即可，因而可减少对前述指示装置(系统控制装置1)施加的负载。并且，在一般的CRT显示器和液晶显示器那样的二维显示装置的情况下，由于把进行前述显示的前述三维空间投影在二维平面上来显示，因而有时对于操作者来说，以与实际空间相同的感觉进行指示操作是困难的，然而通过使用前述DFD那样的三维显示装置，能以更接近实际空间的感觉进行指示操作。因此，通过使用前述DFD那样的三维显示装置，与使用一般的二维显示器进行指示操作的情况相比，前述操作者能以更高的精度和速度指示三维深度。
并且，在图61中示出作为前述输入装置2使键盘201和手写数码笔板组合来使用的情况，可应用第1实施方式的技术。即，前述手写数码笔板是通过在检测单元(数字化装置)203A上操作输入笔(电子笔)203B，检测前述输入笔203B的笔尖移动、笔压等的输入装置。因此，例如，只要把前述输入笔203B的笔尖移动反映在X1Y1平面内的指针4的移动量上，把按下前述键盘201的控制键(Ctrl键)时的笔压大小反映在+Z方向的移动量上，以及把按下前述键盘201的移位键(Shift键)时的笔压大小反映在-Z方向的移动量上，就能以与使用前述鼠标202时相同的操作感进行前述指针4的指示。
并且，也能应用第2实施方式的技术。在该情况下，取代前述输入笔203B的笔压大小，例如，根据使用前述输入笔203b按下前述检测单元203A的次数来决定前述指针4的倾斜量。
并且，只要使前述手写数码笔板的检测单元(数字化装置)203A与前述显示装置3(DFD)的显示面301A、301B重合，前述操作者就能在前述显示面301A、301B上操作前述输入笔203B并进行指示，因而操作者可更准确且直观地识别指针4的深度位置。
并且，本实施例3-1的三维指示方法也适合于取代前述手写数码笔板，使用例如像触摸屏那样可与前述显示装置3一体化的输入装置进行指示的情况。在前述触摸屏的情况下，例如，通过取代前述输入笔203B而使用操作者的手指接触前述显示装置3的画面，也能操作前述指针4，因而与使用前述输入笔203B的手写数码笔板相比，可更直观地操作前述指针4。
并且，在本实施例3-1的三维指示方法中，列举例如如图52的下段等所示，当使前述指针4倾斜时，使正在指示的点的XY坐标(xp，yp)保持一定，使前述正在指示的点追寻向深度方向延伸的直线状轨迹的例子作了说明，然而不限于此，可以倾斜成使前述所指示的点追寻各种轨迹。
图63A至图66B是用于对本实施例3-1的三维指示方法的第4应用例进行说明的示意图，图63A、图63B、图64A、图64B分别是示出追寻直线状轨迹的情况的应用例，图65A、图65B、图66A、图66B分别是示出追寻圆弧状轨迹的情况的应用例。
另外，为了容易明白轨迹，图63A、图63B、图64A、图64B、图65A、图65B、图66A、图66B的各图示出从XZ平面侧观察三维空间的图(右侧面图)。
当使前述所指示的点(xp，yp，zp)向深度方向移动时，不限于图52的下段所示的使XY坐标(xp，yp)保持一定的移动，例如如图63A所示，可以形成为前述所指示的点追寻与朝+Z方向的移动成比例地向+X方向移动的轨迹。并且反之，如图63B所示，可以形成为前述所指示的点追寻与朝+Z方向的移动成比例地向-X方向移动的轨迹。并且，在图63A和图63B中，示出了在保持前述指针整体长度的状态下倾斜的情况，然而不限于此，如图64A和图64B所示，也能在使前述指针的一端的三维位置固定的状态下，使前述所指示的点向深度方向移动，在使指针整体长度变化的同时，向深度方向倾斜。
并且，使前述所指示的点(xp，yp，zp)向深度方向移动时的轨迹不限于前述直线状轨迹，例如如图65A和图65B所示，可以追寻从三维空间上的某点(xp，yc，zc)开始在y＝yp的XZ平面内以半径r描绘的圆弧状轨迹。并且，在图65A和图65B中，示出了在保持前述指针整体长度的状态下倾斜的情况，然而不限于此，如图66A和图66B所示，也能在使前述指针的一端的三维位置固定的状态下，使前述所指示的点向深度方向移动，在使指针整体长度变化的同时，向深度方向倾斜。
并且，使前述所指示的点(xp，yp，zp)向深度方向移动时的轨迹不限于前述各图所示的轨迹，可以是任何轨迹。
[实施例3-2]
图67至图69是用于对本发明的实施例3-2的三维指示方法进行说明的示意图，图67是示出当指示比指针更位于深处的对象时的三维空间内的变化的正面图和右侧面图，图68A是对在本实施例3-2的三维指示方法中成为问题的点进行说明的图，图68B是对解决图68A所示的问题点的方法的一例进行说明的图，图69是对图68B所示的解决方法的变形例进行说明的图。另外，图67在上段、中段、下段示出三维空间的3种状态，是示出通过进行各段之间所示的操作，使三维空间内的状态从上段变化到中段、从中段变化到下段的状态的图。另外，为了容易明白本实施例3-2的特征，图68A、图68B、图69的各图仅示出从XZ平面侧观察三维空间的图(右侧面图)。
在前述实施例3-1中，对在使前述指针4的与正在指示的点(xp，yp，zp)不同的部分的深度位置保持一定的状态下，使前述指针4向深度方向倾斜成使前述正在指示的点追寻预定轨迹的三维指示方法作了说明。因此，在本实施例3-2中，作为与前述实施例3-1不同的倾斜方法的例子，对通过使前述指针4以三维空间上的某点(xc，yc，zc)为中心、且将前述指针4上的各点与前述中心的距离保持一定的状态下旋转，来识别前述指针4的倾斜，并且识别正在指示的位置的三维指示方法进行说明。
另外，在本实施例3-2的情况下，在实现三维指示方法的系统结构中，前述输入装置2可使用键盘、鼠标、手写数码笔板、触摸屏、操纵杆等现有的各种输入装置，然而假定如图51所示，使用键盘201和鼠标202。并且，与前述显示装置3一样，可使用CRT和液晶显示器等的二维显示装置、DFD等的三维显示装置等的显示装置，然而假定如图51所示，使用液晶显示器(二维显示装置)。
并且，在表现于前述显示装置3上的三维空间301上，例如如图51所示，把显示面301设定为Z＝0，并假定取前述显示面301为XY平面、而且以从操作者来看从显示面朝向深处的方向为Z轴的正方向的三维坐标系XYZ。此时，显示在前述三维空间内的指针4在XY平面内的移动方向和移动距离是根据使前述鼠标202主体在桌上等的平面上二维移动时的移动方向和移动距离来算出(决定)的。
并且，深度方向(Z方向)的移动方向和移动距离例如如图51所示，根据在按下前述键盘201的控制键(Ctrl键)等的预定的键201A的同时，使前述鼠标202的滚轮202A旋转时的旋转方向和旋转角度来算出(决定)的。此时，例如如图51所示，在使前述鼠标的滚轮202A向+Z方向旋转的情况下，使前述指针的进行指示的部分向三维空间的+Z方向，即从操作者来看向朝向深处的方向移动。并且，在使前述鼠标的滚轮202A向-Z方向旋转的情况下，使前述指针的进行指示的部分向三维空间的-Z方向，即从操作者来看向朝向近处的方向移动。
并且，在本实施例3-2的三维指示方法中，假定前述指针的形状为箭头形，并假定箭头的尖端部分表示正在指示的点(xp，yp，zp)。
作为本实施例3-2中的三维指示方法的一例，列举如图67的上段所示，在三维空间内的不同深度位置显示指针4和对象5的情况的指示方法。此时，从自-Z方向观察前述三维空间的操作者的视点，看到前述指针4在前述对象5上重合，然而由于前述指针4正在指示的点(xp，yp，zp)与前述对象5的深度位置不同，因而前述对象5未被指示。
假定前述操作者在从该状态按下例如前述键盘的控制键(Ctrl键)201A的同时，使前述鼠标的滚轮202A向+Z方向旋转。此时，前述指针4例如如图67的中段所示，在以前述三维空间内的某点(xc，yc，zc)为中心的半径r的圆周上，在保持前述指针4的各点与前述点(xc，yc，zc)的距离的状态下，旋转成使正在指示的点(xp，yp，zp)朝深处(+Z方向)移动。
这样，在按下前述键盘的控制键201A的同时，使前述鼠标的滚轮202A向+Z方向旋转，由此前述指针4倾斜成，使正在指示的点(箭头的尖端部分)侧从操作者来看变远。并且此时，如果在保持前述指针4的形状和尺寸的同时进行旋转，则前述指针的箭头部分的宽度显示得窄。结果，前述操作者可识别出指针4向深度方向(+Z方向)倾斜，同时也能根据前述指针4的形状识别出前述指针4正在指示比操作前的位置更深的位置。
并且，假定在从图67的中段所示的状态再一次按下前述键盘的控制键201A的同时，使前述鼠标的滚轮202A向+Z方向旋转。此时，前述指针例如如图67的下段所示，在以前述三维空间内的某点(xc，yc，zc)为中心的半径r的圆周上，在保持前述指针4的各点与前述点(xc，yc，zc)的距离的状态下，旋转成使正在指示的点(xp，yp，zp)朝深处(+Z方向)移动。结果，前述操作者可识别出指针4进一步向深度方向(+Z方向)倾斜，同时也能根据前述指针4的形状识别出前述指针4正在指示比操作前的位置更深的位置。
并且此时，在按下前述键盘的控制键201A的同时，继续使前述鼠标的滚轮202A向+Z方向旋转的操作，结果，如图67的下段所示，前述指针4的正在指示的点(箭头的尖端)到达与前述对象5相同的深度位置，当前述指针4的尖端的xyz坐标和前述对象5的表面上或内部的任意点的xyz坐标一致时，前述对象5处于由前述指针4所指示的状态。因此，例如如图67的下段所示，改变前述对象5的颜色，表示是正在被指示的状态。这样，前述操作者可根据前述指针4的形状，直观且准确地识别指针的深度方向的位置、和指针4正在指示的深度方向的位置。并且，通过当由前述指针4进行了指示时改变对象5的颜色，可直观且准确地识别与前述对象5重合的指针4是否正在指示前述对象5。
然而，在本实施例3-2的三维指示方法的情况下，在以前述三维空间内的某点(xc，yc，zc)为中心的半径r的圆周上，在保持前述指针4的各点与前述点(xc，yc，zc)的距离的状态下，使前述指针4旋转角度θ，以使正在指示的点(xp，yp，zp)朝深处(+Z方向)或近处(-Z方向)移动。因此，如图67的中段所示，当使前述指针4朝深处倾斜时，倾斜后的指针4的一部分(箭头的尖端的相反侧部分)的深度位置比起倾斜前的深度位置成为近处。此时，只要前述指针的深度位置充分大，就能使倾斜后的前述指针的箭头的尖端的相反侧部分存在于表现在前述显示装置3上的三维空间内进行显示。然而，例如如图68A所示，当前述指针4显示在显示面301上，换句话说，显示于在表现于前述显示装置上的三维空间与前述操作者所在的实际空间的边界面上或其附近时，当前述指针4旋转倾斜时，前述指针4的箭头尖端的相反侧部分退出到表现在前述显示装置3上的三维空间的外侧，不能进行显示。因此，具有的问题是，前述指针4的形状成为缺少箭头尖端的相反侧部分的形状。
因此，在本实施例3-2的三维指示方法中，使前述指针4旋转以向深度方向倾斜，结果，在不进行指示的一端超出到不能表现在显示装置上的空间的情况下，如图68B所示，生成和显示使指针4的超过部分投影在前述三维空间的XY平面上的指针。这样，可防止从前述三维空间超出的部分缺欠，可保持指针形状。
并且，取代如图68B所示，把指针4的超出部分投影在前述三维空间的XY平面上，可以如图69所示，生成和显示以前述指针4上的前述三维空间的边界面301上的点为支点，使前述超出部分折曲在前述三维空间的边界面(XY平面)上的指针。
并且，当使前述系统控制装置1(指示装置)执行本实施例3-2的三维指示方法时，只要执行图55所示的步骤601至步骤608的处理即可。然而，在本实施例3-2的三维指示方法的情况下，在使前述指针倾斜来显示的步骤606中，当根据前述605的算出结果使指针倾斜时，判定是否有从前述三维空间超出的部分，在有超出部分的情况下，生成进行了使超出部分投影或折曲在XY平面(边界面)上的操作后的指针，并显示在前述显示装置3上。
并且，在图67中，对从前述操作者来看，在比前述对象5的深度位置更近处有前述指针4，并使前述指针4朝深处(+Z方向)倾斜的情况作了说明，然而在本实施例3-2的三维指示方法中，也能使前述指针4朝近处(-Z方向)倾斜。
如以上说明那样，根据本实施例3-2的三维指示方法，由于在以前述三维空间内的某点(xc，yc，zc)为中心的半径r的圆周上，在保持前述指针4的各点与前述点(xc，yc，zc)的距离的状态下，使前述指针4旋转来显示在前述显示装置3上，以使正在指示的点(xp，yp，zp)朝深处(+Z方向)或近处(-Z方向)移动，因而观察前述指针4的操作者可直观且准确地识别前述指针4的深度位置和前述指针4正在指示的深度位置。
并且，在这种指针倾斜方法的情况下，由于前述指针4的三维长度不变化，因而可向操作者呈现更接近实际物体的自然的对象显示。
并且，在本实施例3-2的三维指示方法中，示出了作为前述输入装置2使用键盘201和鼠标202，并把前述键盘的控制键201A与鼠标的滚轮202A的旋转操作进行组合，从而使前述指针4向深度方向倾斜的例子，然而不限于此，可以是键盘201的其他键与滚轮202A的组合，也可以取代滚轮202A而与键盘201的光标键(方向键)进行组合。并且，除此以外，例如，还可以在使用手写数码笔板、触摸屏、操纵杆等进行了预定操作时倾斜。并且，前述显示装置3也不限于液晶显示器等的二维显示装置，也可以是DFD那样的三维显示装置。
并且，在本实施例3-2的三维指示方法中，作为前述指针4，列举了箭头形状的指针为例，然而不限于此，只要是能视觉识别朝深度方向倾斜显示时的倾斜方向和正在指示的点(位置)的形状，就可以是任何形状。
并且，前述对象5在本实施例3-2中，也列举了图51等所示的文件夹图标型的对象为例，然而不限于此，只要是数据文件和执行文件的图标(快捷方式)和窗口等、可使用前述指针进行指示的形状，就可以是任何形状的对象。
并且，在本实施例3-2的指示方法中，例如，可根据前述指针4的视觉形状的变化来识别前述指针4在深度方向的指示位置，然而，例如，也可以在前述显示装置3上显示成为使操作者识别前述指针4在前述三维空间内倾斜了多少的指标的基准坐标。
另外，在本实施例中，假定旋转中心不限于在本实施例所示的位置，也可以是所表现的三维空间的内外。
并且，在本实施例3-2的三维指示方法的情况下，可以不仅如图67所示那样，使前述指针4旋转倾斜，而且还如图59所示那样，追加在保持前述指针4的形状的状态下向深度方向进行平移移动的操作，也可以追加如图60所示那样，使前述指针4在XY平面内旋转的操作。
并且，在本实施例3-2的三维指示方法中，使前述指针旋转的前述三维空间内的某点(xc，yc，zc)不限于图67所示的位置，可取任意位置。并且此时，前述点(xc，yc，zc)的位置可以是表现在前述显示装置3上的三维空间内或者三维空间外的任意一方。并且，前述点(xc，yc，zc)的位置没有必要固定，也可以按照指针4的旋转在三维空间内移动。
图70A、B是用于对本实施例3-2的三维指示方法的应用例进行说明的示意图，图70A是示出成为旋转中心的点在三维空间内固定的情况的例子的图，图70B是示出成为旋转中心的点在三维空间内移动的情况的例子的图。
本实施例3-2的三维指示方法，在以前述三维空间内的某点(xc，yc，zc)为中心的半径r的圆周上，在保持前述指针4的各点与前述点(xc，yc，zc)的距离的状态下，使前述指针4旋转，以使正在指示的点(xp，yp，zp)朝深处(+Z方向)或近处(-Z方向)移动，从而使前述指针4朝深处或近处倾斜来显示。因此，只要前述指针4朝深处或近处倾斜、或者能识别正在指示的深度位置，就可以是任何旋转方法。
最简单的旋转方法如图70所示，是为了使显示在某深度位置的指针旋转，而在设定了成为中心的点(xc，yc，zc)时，在使该位置固定的状态下使前述指针旋转的方法。
然而，本实施例3-2的三维指示方法不限于这种指针的旋转方法，例如如图70B所示，为了使显示在某深度位置的指针4旋转，而在设定了成为中心的点(xc，yc，zc)时，可以按照前述指针4的旋转，使前述点(xc，yc，zc)向+X方向按各Ax移动。并且，尽管省略图示，然而也可以按照前述指针4的旋转，使前述点(xc，yc，zc)向-X方向移动。
[实施例3-3]
图71至图73是用于对本发明的实施例3-3的三维指示方法进行说明的示意图，图71是示出当指示比指针更位于深处的对象时的三维空间内的变化的正面图和右侧面图，图72是图71的三维空间内的变化的立体图，图73是用于对使用系统控制装置(指示装置)执行本实施例3-3的三维指示方法时的处理过程进行说明的流程图。另外，图71在上段、中段、下段示出三维空间的3种状态，是示出通过进行各段之间所示的操作，使三维空间内的状态从上段变化到中段、从中段变化到下段的状态的图。并且，图72也在上段、中段、下段示出3种状态，分别以立体图示出图71的上段、中段、下段的各状态的三维空间内的状态。
在前述实施例3-1和实施例3-2中，通过使前述指针4向深度方向倾斜，改变前述指针4的具有正在指示的点的部分、和前述正在指示的点的相反侧的端部的深度位置，容易且准确地进行正在指示的深度位置的识别。此时，按照通过改变前述指针4的具有正在指示的点的部分、和前述正在指示的点的相反侧的端部的深度位置，来识别正在指示的深度位置的观点来考虑，如在前述实施例3-1和实施例3-2中所说明的那样，不仅在使前述指针整体长度和形状保持一定的状态下向深度方向倾斜，而且仅使前述正在指示的点的周边向深度方向(+Z方向或-Z方向)移动，也能识别正在指示的深度位置。因此，在本实施例3-3中，对仅使正在指示的点的周边向深度方向(+Z方向或-Z方向)移动的三维指示方法进行说明。
另外，在本实施例3-3的情况下，在实现三维指示方法的系统结构中，前述输入装置2可使用键盘、鼠标、手写数码笔板、触摸屏、操纵杆等现有的各种输入装置，然而假定如图51所示，使用键盘201和鼠标202。并且，与前述显示装置3一样，可使用CRT和液晶显示器等的二维显示装置、DFD等的三维显示装置等的显示装置，然而假定如图51所示，使用液晶显示器(二维显示装置)。
并且此时，在表现于前述显示装置3上的三维空间上，例如，如图51所示，把显示面301设定为Z＝0，并假定取前述显示面301为XY平面、而且以从操作者来看从显示面301朝深处的方向为Z轴的正方向的三维坐标系XYZ。此时，显示在前述三维空间内的指针4在XY平面内的移动方向和移动距离是根据使前述鼠标202主体在桌上等的平面上二维移动时的移动方向和移动距离来算出(决定)的。
并且，深度方向(Z方向)的移动方向和移动距离例如如图51所示，根据在按下前述键盘201的控制键(Ctrl键)等的预定的键201A的同时，使前述鼠标202的滚轮202A旋转时的旋转方向和旋转角度来算出(决定)的。此时，例如如图51所示，在使前述鼠标的滚轮202A向+Z方向旋转的情况下，使前述指针的进行指示的部分向三维空间的+Z方向，即从操作者来看向朝向深处的方向移动。并且，在使前述鼠标的滚轮202A向-Z方向旋转的情况下，使前述指针的进行指示的部分向三维空间的-Z方向，即从操作者来看向朝向近处的方向移动。
并且，在本实施例3-3的三维指示方法中，假定前述指针4的形状为箭头形，并假定箭头的尖端部分表示正在指示的点(xp，yp，zp)。并且，当进行深度方向的指示时，仅前述箭头部分向深度方向(+Z方向或-Z方向)移动，箭头尖端的相反侧部分不改变深度位置。并且，在前述箭头部分向深度方向移动的情况下，通过使前述箭头部分和箭头尖端的相反侧部分连接来进行一体化，从而可作为一个指针来识别。
作为本实施例3-3中的三维指示方法的一例，列举如图71的上段和图72的上段所示，在三维空间内的不同深度位置显示指针4和对象5的情况的指示方法。此时，从自-Z方向观察前述三维空间的操作者的视点，看到前述指针4在前述对象5上重合，然而由于前述指针4正在指示的点(xp，yp，zp)与前述对象5的深度位置不同，因而前述对象5未被指示。
假定前述操作者在从该状态按下例如前述键盘的控制键201A的同时，使前述鼠标的滚轮202A向+Z方向旋转。此时，前述指针4例如如图71的中段和图72的中段、图71的下段和图72的下段所示，仅具有正在指示的点(xp，yp，zp)的箭头部分朝深处(+Z方向)平移移动。并且此时，前述指针4具有以下形状，即：前述箭头部分与深度位置没有改变的箭头尖端的相反侧部分如图71的中段和图72的中段所示连接，并且箭头部分与箭头尖端的相反侧部分之间的轴部分延伸且折曲。
这样，由于在按下前述键盘的控制键201A的同时，使前述鼠标的滚轮202A向+Z方向旋转，因而前述指针4倾斜成，使正在指示的点(箭头部分)侧从操作者来看变远。并且此时，如果在保持前述指针的形状和尺寸的同时进行旋转，则前述指针的箭头部分的宽度显示得窄。结果，前述操作者可识别出指针4向深度方向(+Z方向)倾斜，同时也能根据前述指针4的形状，识别出前述指针4正在指示比操作前的位置更深的位置。
并且，在按下前述键盘的控制键201A的同时，继续使前述鼠标的滚轮202A向+Z方向旋转的操作，结果，如图71的下段和图72的下段所示，前述指针4的正在指示的点(xp，yp，zp)到达与前述对象5相同的深度位置，当前述指针4的尖端的xyz坐标与前述对象5的表面上或者内部的任意点的xyz坐标一致时，前述对象5处于由前述指针4所指示的状态。因此，例如如图71的下段所示，改变前述对象5的颜色，表示是正在被指示的状态。这样，前述操作者可根据前述指针4的形状，直观且准确地识别指针的深度方向的位置、和指针4正在指示的深度方向的位置。并且，通过在由前述指针4进行了指示时改变对象5的颜色，可直观且准确地识别与前述对象5重合的指针4是否正在指示前述对象5。
当使前述系统控制装置1(指示装置)执行这种本实施例3-3的三维指示方法时，只要执行图73所示的步骤601至步骤604、步骤607至步骤608、以及步骤609至步骤610的处理即可。另外，图73所示的步骤601至步骤604、以及步骤607至步骤608由于可以是与图55所示的处理的步骤601至步骤604、以及步骤607至步骤608相同的处理，因而省略详细说明。
并且，图73所示的步骤609是进行与图55所示的处理的步骤605相当的处理的步骤，在本实施例3-3的三维指示方法的情况下，算出前述指针4的进行指示的部分(指示部)的深度方向的移动方向(+Z方向或-Z方向)和移动量。
并且，图73所示的步骤610是进行与图55所示的处理的步骤606相当的处理的步骤，在本实施例3-3的三维指示方法的情况下，在前述指针生成单元103中，把前述指针4分割成不成为正在指示的部分的部分，仅改变前述正在指示的部分的深度方向的位置，生成连接有不成为正在指示的部分的部分的指针4，并显示在前述显示装置3上。
如以上说明那样，根据本实施例3-3的三维指示方法，由于把前述指针分割成不成为正在指示的部分的部分，仅改变前述正在指示的部分的深度方向的位置，显示连接有不成为正在指示的部分的部分的指针，因而可准确且直观地识别前述指针的深度位置。
并且，在使前述系统控制装置1(指示装置)执行本实施例3-3的三维指示方法的情况下，在前述指针生成单元103中，可通过以下比较简单的计算处理生成指针，即：把前述指针分割成不成为正在指示的部分的部分，仅改变前述正在指示的部分的深度方向的位置，将不成为正在指示的部分的部分进行连接来形成1个指针。因此，与如前述实施例3-1和实施例3-2那样三维转换指针上的各点坐标的指针生成方法相比，指针生成处理的负载降低，高速且平滑变化的指针显示变得容易。
并且，在图71中，对从前述操作者来看，在比前述对象5的深度位置更近处有前述指针4，使前述指针4朝深处(+Z方向)倾斜的情况作了说明，然而在本实施例3-3的三维指示方法中，也能使前述指针4朝近处(-Z方向)倾斜。
图74A～D是用于对本实施例3-3的三维指示方法中的指针连接方法进行说明的示意图，图74A、图74B、图74C、图74D分别是示出从YZ平面侧观察的指针连接方法的图。
当如本实施例3-3的三维指示方法那样，将深度位置不同的不成为正在指示的部分的部分进行连接来形成1个指针4时，例如如图71的下段和图74A所示，当在平面进行连接时，前述系统控制装置1中的指针生成处理变得容易。然而，本实施例3-3的三维指示方法不限于这种指针连接方法，也可以如图74B所示，连接部(折曲部)为曲面。
并且，正在指示的部分与连接部的连接方法、以及未正在指示的部分与连接部的连接方法，例如如图74C所示，正在指示的部分与连接部的连接可以采用平滑连接，未正在指示的部分与连接部的连接可以采用折曲连接。或者反之，如图74D所示，正在指示的部分与连接部的连接可以采用折曲连接，未正在指示的部分与连接部的连接可以采用平滑连接。
并且，在本实施例3-3的三维指示方法中，由于只要把前述指针4分割成不成为正在指示的部分的部分，仅改变前述正在指示的部分的深度方向的位置，生成连接有不成为正在指示的部分的部分的指针并进行显示即可，因而不限于前述各图所示的连接方法，可应用各种连接方法。
图75至图78B是用于对本实施例3-3的三维指示方法的应用例进行说明的示意图，图75、图76A、图76B分别是示出在保持进行指示的部分的形状的状态下进行移动的情况的应用例的图，图77A、图77B、图78A、图78B分别是示出使进行指示的部分的形状变化的情况的应用例的图。另外，为了容易明白轨迹，图75、图76A、图76B、图77A、图77B、图78A、图78B的各图示出从XZ平面侧观察三维空间的图(右侧面图)。
当使前述正在指示的部分向深度方向移动时，不限于图71的下段等所示的使前述正在指示的点(xp，yp，zp)移动成追寻与朝+Z方向的移动成比例地向+X方向移动的轨迹的移动，例如如图75所示，可以使前述正在指示的点(xp，yp，zp)移动成追寻与朝+Z方向的移动成比例地向-X方向移动的轨迹。
并且，使前述正在指示的点(xp，yp，zp)向深度方向移动时的轨迹不限于直线状轨迹，例如如图76A和图76B所示，可以使前述正在指示的点(xp，yp，zp)移动成追寻以前述三维空间内的某点(xc，yc，zc)为中心的半径r的圆弧状轨迹。
并且，在图71、图75、图76A和图76B中，当使前述正在指示的部分向深度方向移动时，在使前述正在指示的部分的形状保持一定的状态下移动，根据此时的不成为正在指示的部分的部分的深度位置进行连接，然而不限于此，如图77A、图77B、图78A和图78B所示，可以使不成为前述正在指示的部分的部分在与YZ平面平行的面上连接，根据当使前述正在指示的点(xp，yp，zp)移动时的轨迹，使前述正在指示的部分放大或缩小，或者改变长度。
并且，使前述正在指示的点(xp，yp，zp)向深度方向移动时的轨迹不限于前述各图所示的轨迹，可以是任何轨迹。
并且，在本实施例3-3的三维指示方法中，示出了作为前述输入装置2使用键盘201和鼠标202，并把前述键盘201的控制键201A与鼠标202的滚轮202A的旋转操作进行组合，从而使前述指针4向深度方向倾斜的例子，然而不限于此，可以是键盘201的其他键与滚轮202A的组合，也可以取代滚轮202A而与键盘201的光标键(方向键)进行组合。并且，除此以外，例如，还可以在使用手写数码笔板、触摸屏、操纵杆等进行了预定操作时倾斜。并且，前述显示装置3也不限于液晶显示器等的二维显示装置，也可以是DFD那样的三维显示装置。
并且，在本实施例3-3的三维指示方法中，作为前述指针4，列举了箭头形状的指针为例，然而不限于此，只要是能视觉识别当使指示部分向深度方向移动时的移动方向和正在指示的点(位置)的形状，就可以是任何形状。
并且，前述对象在本实施例3-3中，也列举了图51等所示的文件夹图标型的对象为例，然而不限于此，只要是数据文件和执行文件的图标(快捷方式)和窗口等、可使用前述指针进行指示的形状，就可以是任何形状的对象。
并且，在本实施例3-3的指示方法中，例如，可根据前述指针4的视觉形状的变化来识别前述指针4的深度方向的指示位置，然而，例如也可以在前述显示装置3上显示成为使操作者识别前述指针4的进行指示的部分在前述三维空间内向深度方向移动了多少的指标的基准坐标。
并且，在本实施例3-3的三维指示方法中，除了如图71所示，使前述指针4的仅进行指示的部分向深度方向平移移动的操作以外，还可以追加如图59所示，在保持前述指针4的形状的状态下，向深度方向平移移动的操作，也可以追加如图60所示，使前述指针4在XY平面内旋转的操作。
并且，执行在前述各实施例中所说明的三维指示方法的指示装置如前所述，没有必要是特殊装置，例如，可使用计算机和程序来实现。此时，前述程序只要描述有使计算机执行在前述各实施例中所说明的处理的命令即可，可以记录在磁或电或光的任意一种记录介质内。并且，前述程序也能记录在各种记录介质内来提供，也能通过互联网等的网络来提供。
可使在本第3实施方式中所说明的指示技术与第1、第2实施方式中的使用输入笔的指针控制技术进行组合来实施。图61示出其一例。
并且，在第1、第2实施方式中，在参照图5A～图6C所说明的实施例中，应用了使指针的一部分的深度位置固定来指示在深度方向的对象的在本第3实施方式中所说明的指示技术。
下面对使第1、第2实施方式与第3实施方式组合起来的另一实施例进行说明。该实施例是把在第3实施方式中参照图52～图60所说明的使进行指示的点的x、y坐标保持一定来进行指示的技术、与在第1、第2实施方式中参照图5A～图6C所说明的实施例1-1、2-1的技术进行组合的例子。
在该例子中，表示使用输入笔进行指针操作的情况的三维空间内的指针变化的正面图和右侧面图在图79A～C中示出。图79A～C的坐标取法和符号标注法与第1、第2实施方式相同。并且，使用装置等的基本条件与实施例1-1、2-1相同。并且，输入笔的操作内容与在第1、第2实施方式中所说明的一样，根据输入笔的笔压、笔尖的接触时间、安装在输入笔上的操作单元的操作量、输入笔的倾斜等进行指针控制。
然而，在本例中，第1、第2实施方式中的指针位置/旋转角度算出单元与第3实施方式中的指示位置/变形量算出单元的处理一样，使进行指示的点的x、y坐标保持一定来算出指针位置、旋转角度等。下面，参照图79A～C对本例中的指示动作进行说明。
操作者使输入笔201的笔尖201P与显示面接触，在显示了指针后，操作者从图79A所示的状态进行例如输入笔201的操作(提高笔压、改变倾斜、操作安装在输入笔201上的操作单元等)。通过该操作，如图79B、图79C所示，在指针303的箭头尖端的相反侧一端的深度位置保持一定的状态下，箭头的尖端部分向-Z方向移动，箭头部分从操作者来看向深度方向倾斜。然而，箭头的尖端部分的XY坐标与笔尖201P的XY坐标相同且是一定的。
在实施例1-1、2-1(图5A～6C)中，在笔尖201P的延长上存在指针303，然而在该情况下，在笔尖201P的位置没有变化的情况下，通过使输入笔倾斜，使进行指示的位置(箭头的尖端部分)的x、y坐标变更。另一方面，在应用了第3实施方式的图79A～C的例子中，进行指示的位置的x、y坐标总是与笔尖201P的x、y坐标相同，仅深度变化。此时，指针也根据输入笔的倾斜而旋转，然而进行指示的位置不变化。这样，可根据笔尖的位置决定进行指示的位置的x、y坐标，可通过输入笔的操作控制深度位置。
(第4实施方式)
下面，对本发明的第4实施方式进行说明。第4实施方式与本发明的第3目的对应。
在第4实施方式的三维显示控制方法中，当使显示在表现于显示装置上的三维空间内的指针的位置三维变化时，使前述三维空间的从观察者来看配置在比前述指针的深度位置更近处的对象透明化来显示。这样，在从前述观察者来看，前述指针进行了进入某对象的背面侧的移动的情况下，可识别前述指针的位置。并且，通过使配置在比前述指针的深度位置更近处的对象透明化，从而当指示从前述观察者来看隐藏在某对象的背面侧的别的对象时，不进行使近处的对象移动或者使其处于非显示状态的操作，就能进行指示，前述观察者(前述指针的操作者)的指示操作变得简便，操作者的便利性提高。
并且，在第4实施方式的三维显示控制方法中，当使从前述观察者来看，配置在比前述指针的深度位置更近处的对象透明化来显示时，通过仅使以从前述观察者来看与前述指针的指示位置重合的前述对象上的点为中心的预定区域透明化，可在识别配置在比前述指针的深度位置更近处的对象的种类和状态的同时，识别前述指针的位置。
并且，取代仅使以从前述观察者来看与前述指针的指示位置重合的前述对象上的点为中心的预定区域透明化，在一定时间内没有输入前述指针的操作相关输入信息的情况下，通过使进行了透明化的对象回到进行透明化之前的不透明状态的显示，可在识别配置在比前述指针的深度位置更近处的对象的种类和状态的同时，识别前述指针的位置。
并且，在第4实施方式的三维显示方法中，关于为进行移动等的操作而选择的对象，即使配置在比前述指针的深度位置更近处，由于不进行透明化，因而也能识别是选择了前述对象的状态。
图80至图84是用于对本发明的第4实施方式的三维显示控制方法的概要进行说明的示意图，图80是示出应用第4实施方式的三维显示控制方法的计算机系统的概略结构的图，图81是对可表现三维空间的显示装置(DFD)的动作原理进行说明的图，图82是示出表现在显示装置上的三维空间的一例的正面图和右侧面图，图83是示出表现在显示装置上的三维空间的一例的立体图(鸟瞰图)，图84是示出指针操作方法的一例的图。
在图80中，1是系统控制装置，101是输入信息取得单元，102是指针位置算出单元，103是指针生成单元，104是对象变更判定单元，105是对象生成/透明化单元，106是显示控制单元，107是处理控制单元，108是存储单元，2是输入装置，3是显示装置。并且，在图81中，301A是从观察者来看近处的显示面，301B是从观察者来看深处的显示面，4是观察者识别的对象，4A是显示在近处的显示面上的对象，4B是显示在深处的显示面上的对象，P是观察者的视点。并且，在图82和图83中，401是指针，402a至402g是文件夹图标(对象)，403a至403c是窗口(对象)。并且，在图84中，201是鼠标，201A是鼠标的滚轮。
第4实施方式的三维显示控制方法例如是在使用鼠标等的输入装置对显示在表现于与PC等的系统控制装置连接的显示装置上的三维空间内的指针进行操作，进行显示在前述三维空间内的对象的指示(选择)、移动、加工等的处理的情况下的控制前述指针和对象的显示的方法。另外，前述指针也能认为是前述对象的1种，然而在本说明书中，把用于指示前述三维空间内的任意一点的对象作为指针，与其他例如图标、窗口、下拉菜单等的对象区别开。
此时，前述系统控制装置1例如如图80所示，具有：输入信息处理单元101，其取得来自前述输入装置2的输入信息；指针位置算出单元102，其在由前述输入信息取得单元101所取得的信息是指针操作相关信息(指针操作信息)的情况下，根据前述指针操作信息算出指针的显示位置；指针生成单元103，其生成显示在由前述指针位置算出单元102所算出的位置上的指针；对象变更判定单元104，其根据由前述指针位置算出单元102所算出的位置判定是否变更对象的显示方法；对象生成/透明化单元105，其进行新的对象的生成、或者已生成的对象的透明化或不透明化；以及显示控制单元106，其使由前述指针生成单元103所生成的指针、和由前述对象生成/透明化单元105所生成或者进行了透明化或不透明化的对象显示在前述显示装置3上。
并且，在前述系统控制装置1中，除了前述指针的生成、前述对象的生成、或者透明化或不透明化的处理之外，还能进行应用软件的起动、操作的处理。因此，在前述系统控制装置1中，如图80所示，具有根据来自前述输入装置2的输入信息等控制各处理的处理控制单元107。并且，在前述系统控制装置1中，如图80所示，具有存储保持使用前述系统控制装置1的控制程序(OS)、前述应用软件的执行程序、以及前述应用软件进行处理的数据等的存储单元108。此时，在前述系统控制装置1中，判别由前述输入信息取得单元101所取得的输入信息的内容，在是前述指针操作信息的情况下，把该信息传送到前述指针位置算出单元103，算出指针的显示位置。另一方面，在是前述指针操作信息以外的信息的情况下，把该信息传送到前述处理控制单元107，进行前述应用软件的执行等的处理。
并且，前述显示装置3只要是能表现三维空间的显示装置(显示器)，就可以是任何装置。即，前述显示装置不限于例如像DFD那样能显示立体图像的三维显示装置，可以是一般的CRT和液晶显示器那样的二维显示装置。在前述显示装置是前述DFD的情况下，通过使前述指针和对象显示在与各自的三维位置对应的深度位置，可三维感知前述指针和对象的配置。
前述DFD如以往所说明的那样，是配置成使多块显示面从前述观察者的视点来看在深度方向重合的显示装置。此时，为使说明简单，如图81所示，如果2块显示面301A、301B重合，则前述指针和对象的像在两个显示面301A、301B上显示成从前述观察者的视点P来看重合。并且此时，如果前述DFD例如是亮度调制型，则当把显示在从前述观察者的视点P来看近处的显示面301A上的对象4A的亮度设定为LA，并把显示在深处的显示面301B上的对象4B的亮度设定为LB时，前述观察者看到，在前述各显示面301A、301B之间、而且在距前述近处的显示面301A的距离与距前述深处的显示面301B的距离之比是LB∶LA的深度位置显示有前述对象4。因此，通过改变显示在前述近处的显示面301A上的对象4A的亮度LA与显示在深处的显示面301B上的对象4B的亮度LB之比，可在前述各显示面301A、301B之间的任意深度位置显示对象4。并且，尽管省略图示，然而如果使显示在前述近处的显示面301A上的对象4A的亮度显示成，例如随着从图81的纸面上方朝向纸面下方，亮度增大，并使显示在前述深处的显示面301B上的对象4B的亮度显示成，例如随着从图81的纸面下方朝向纸面上方，亮度增大，则看到前述对象4的上方朝深处倾斜。
并且，尽管省略图示，然而在前述DFD是透过型的情况下，例如，如果使在前述近处的显示面301A上显示前述对象4A的各像素的透过度增大，则看到前述对象4显示在前述深处的显示面301B的附近，如果使在前述近处的显示面301A上显示前述对象4A的各像素的透过度减小，则看到前述对象4显示在前述近处的显示面301A的附近。因此，通过改变在前述近处的显示面301A上显示前述对象4A的各像素的透过度，可在前述各显示面301A、301B之间的任意深度位置显示对象4。
并且，在前述显示装置3是前述液晶显示器等的二维显示装置的情况下，例如，在设定于前述系统控制装置1内的虚拟三维空间上三维配置了前述指针和对象之后，通过生成和显示把该状态投影在二维显示面上的图像，可三维感知前述指针和对象的配置。
在连接有这种可表现三维空间的显示装置3的前述系统控制装置1的情况下，在前述显示装置3上，例如如图82和图83所示，可显示将指针401、文件夹图标402a至402g、窗口403a至403c等的对象进行了三维配置(显示)的三维桌面。此时，前述观察者(操作者)把前述三维桌面作为GUI，可利用在前述系统控制装置1中可执行的应用软件。
此时，把前述近处的显示面301A与深处的显示面301B之间的空间设定为三维桌面空间，例如如图82和图83所示，取前述近处的显示面301A的深度位置为z＝0、显示面301A、301B与XY平面平行、而且取以从近处的显示面301A朝向深处的显示面301B的方向为Z轴的正方向的三维坐标系XYZ，则前述指针401正在指示的位置由坐标(xp，yp，zp)来指定。因此，通过使用前述输入装置2，决定前述指针401正在指示的位置的坐标(xp，yp，zp)，可使前述指针401移动到前述三维桌面空间内的任意一点，可指示配置在前述三维桌面空间内的文件夹图标402a至402g、窗口403a至403c等的对象。
并且，为了使前述指针三维移动，输入装置2例如可使用带有滚轮功能的鼠标(以下称为鼠标)等的现有的输入装置。在使用前述鼠标使前述指针三维移动的情况下，如图84所示，例如，只要把在桌上等的平面上使前述鼠标主体移动时的XI轴方向的移动量(+xI或-xI)反映在前述指针401的X轴方向的移动量上，并把YI轴方向的移动量(+yI或-yI)反映在前述指针401的Y轴方向的移动量上，就能决定前述指针401的XY坐标(xp，yp)。然后，例如，只要把前述鼠标201的滚轮201A的旋转方向(+zI或-zI)和旋转量反映在前述指针401的Z轴方向的移动量上，就能决定前述指针401的深度位置(Z坐标)zp。
并且，前述输入装置2不限于前述鼠标，也能使用例如键盘和手写数码笔板等的输入装置。并且，可以使前述鼠标和键盘进行组合，例如，把在按下前述键盘上的特定键的同时，使前述滚轮201A旋转时的旋转方向和移动量反映在前述指针401的Z轴方向的移动量上。
另外，根据指针的三维位置控制其他对象的显示的本实施方式也能应用于第1～第3实施方式。即，如果是第1、第2实施方式，则当通过输入笔的操作使指针移动时，应用第4实施方式的技术控制其他对象的显示。并且，如果是第3实施方式，则在使用指针进行深度方向的指示时，根据指针的变形和移动控制其他对象的显示。
以下，列举作为前述输入装置使用前述鼠标，作为前述显示装置使用DFD的情况为例，对表现在前述显示装置上的三维空间(三维桌面)内的指针和对象的显示控制方法进行说明。
[实施例4-1]
图85至图87是用于对实施例4-1的三维显示控制方法进行说明的示意图，图85和图86是示出应用了本实施例4-1的显示控制方法的情况的三维空间的变化状态的图，图87是示出对用于与本实施例4-1的显示控制方法相比较的以往的显示控制方法进行说明的三维空间的状态的图。另外，图85和图86分别在上段、中段、下段示出3种状态，各状态通过进行图中所示的操作变化到其他状态。并且，各状态在从前述观察者观察前述三维空间时的正面图和右侧面图中示出。
在本实施例4-1中，对如下的显示控制方法进行说明，该方法为当通过图84所示的操作，使显示在例如图82和图83所示的三维桌面空间内的指针401三维移动，指示前述三维桌面空间内的任意一点时，使从前述观察者(操作者)来看，配置在比前述指针的深度位置更近处的对象透明化。
并且，在本实施例4-1中，为使说明简单，列举例如如图85的上段所示，在前述三维桌面空间内显示指针401、文件夹图标402a、402b和窗口403的三个对象的情况为例进行说明。此时，指针401、文件夹图标402a、402b和窗口403的三个对象的位置关系最初是图85的上段所示的位置关系，假定前述指针401从前述观察者来看显示在比前述窗口403的深度位置更近处。并且此时，前述文件夹图标402b配置在从前述观察者来看进入前述窗口403的背面侧的位置，假定从前述观察者看不见。
此时，当前述操作者使前述鼠标的滚轮旋转成使前述指针401向+z(z＞0)方向移动时，如图85的中段所示，前述指针401接近前述窗口403。然后，当前述指针401到达距前述窗口403的深度位置预定范围的深度位置时，前述窗口403处于已被指示的状态，例如如图85的中段所示，改变前述窗口403的颜色等，改变为表示正在被指示的显示。
然后，当前述操作者从该状态进一步使前述鼠标的滚轮旋转成使前述指针401向+z(z＞0)方向移动时，如图85的下段所示，前述指针401挤过前述窗口403，朝前述深处的显示面301B继续移动。此时，当挤过了前述窗口403的指针401离开比距前述窗口403的深度位置预定范围的深度位置更远时，前述窗口从被指示的状态回到原来的不被指示的状态，例如，窗口的颜色回到原来的颜色。
然而，在前述指针401挤过前述窗口403的同时，前述指针401所挤过的窗口403从前述观察者来看，显示在比前述指针401的深度位置更近处。因此，前述系统控制装置1如图85的下段所示，使显示在比前述指针401的深度位置更近处的窗口403透明化来显示。结果，前述观察者(操作者)在前述指针401移动到进入窗口403的背面侧的位置时，可容易识别前述指针401的位置。并且，只需使前述指针401向+z(z＞0)方向移动，就能识别出在前述窗口403的背面侧是否隐藏别的对象、或者所隐藏的文件夹图标402b的位置。
并且，如图85的下段所示，在使比前述指针401的深度位置更近处的窗口403透明化的状态下，例如，当使前述鼠标的滚轮向反方向旋转时，在前述指针401到达距前述窗口403的深度位置预定范围的深度位置的时刻，如图85的中段所示，前述窗口403的显示改变为表示正在被指示的显示。然后，使前述指针401进一步移动到前述近处的显示面301A侧，当前述指针401离开到比距前述窗口403的深度位置预定范围的深度位置更近处时，如图85的上段所示，前述窗口403的显示回到原来的标准显示。结果，前述观察者(操作者)只需使前述指针401向-z(z＜0)方向移动，就能使正在透明化的前述窗口403回到原来的不透明显示。
并且，在图85所示的例子中，前述指针401与前述窗口403重合，当前述指针401挤过前述窗口403，移动到进入前述窗口403的背面侧的位置时，使前述窗口403透明化，然而不限于此，例如，如图86的上段所示，当在与前述窗口403等的对象不重合的位置上改变了前述指针401的深度位置时，也能使前述窗口403透明化。在该情况下，当在图86的上段所示的状态下使前述指针401移动到深处的显示面301B侧时，如果前述指针的深度位置zp与前述窗口403的深度位置zo的关系为zp＞zo，则如图86的中段所示，只要使前述窗口403透明化来显示即可。结果，前述观察者(操作者)只需使前述指针401向+z(z＞0)方向移动，就能识别隐藏在前述窗口403的背面侧的文件夹图标402b的位置，可使用前述指针401容易地指示前述文件夹图标402b。并且，这样，例如当从图86的中段所示的状态进一步使前述指针401移动到深处的显示面301B侧时，在前述指针401的深度位置zp与前述文件夹图标402a的深度位置zf的关系为zp＞zf的时刻，如图86的下段所示，使前述文件夹图标402a透明化。然后，反之，如果使前述指针401从图86的下段所示的状态移动到近处的显示面301A侧，则经过图86的中段所示的状态，回到图86的上段所示的显示了原来的不透明的文件夹图标402a和窗口403的状态。结果，前述观察者(操作者)在前述指针401移动到进入前述窗口403的背面侧的位置时，也可识别前述指针401的位置。并且，只需使前述指针401向+z(z＞0)方向移动，就能识别出在前述窗口403的背面侧是否隐藏别的对象、或者所隐藏的文件夹图标402b的位置。
在以往的三维桌面空间的显示控制方法中，例如如图87所示，当前述指针401移动到从前述观察者来看进入前述窗口403的背面侧的位置时，前述指针401隐藏于前述窗口403，前述观察者不能识别前述指针401的位置。因此，当使用以往的显示控制方法，例如，进行在前述窗口403的背面侧是否隐藏别的对象、或者所隐藏的对象的位置的识别、选择的操作时，必须进行使前述窗口403移动、或者缩小显示区域或处于非显示状态的操作。然后，在进行了这些操作之后，在确认显示在前述窗口403上的内容的情况下，必须进行使前述窗口403回到原来的位置、或者增大显示区域或回到显示状态的操作。结果，在例如图82和图83所示的显示有文件夹图标402a至402g、窗口403a至403c等的多个对象的三维桌面空间内，选择从前述观察者来看显示在深处的对象的情况等下，操作变得繁杂，前述观察者(操作者)的便利性不良。
另一方面，在本实施例4-1的显示控制方法中，只需使前述指针401从前述观察者来看向朝向深处的方向移动，就能使比前述指针401的深度位置更位于近处的对象透明化。因此，当前述指针401移动到进入进行了透明化的对象的背面侧的位置时，也能容易识别前述指针401的位置。并且，只需使前述指针移动到从前述观察者来看向朝向深处的方向移动，就能使比前述指针401的深度位置更位于近处的对象透明化，可识别对象的背面侧的状态。因此，可容易指示隐藏在前述某对象的背面侧的别的对象。然后，只需使前述指针401从前述观察者来看向朝向近处的方向移动，就使变得位于比前述指针401的深度位置更深处的对象回到不透明状态，可容易识别被透明化的对象的显示内容。
为了使用图80所示的前述系统控制装置1等实现这种本实施例4-1的三维显示控制方法，只要在前述系统控制装置1中执行图88所示的步骤501至步骤510的处理即可。
图88是示出用于实现本实施例4-1的三维显示控制方法的装置中的处理过程的流程图。
在图80所示的结构的前述系统控制装置1中，当进行图85或图86所示的指针401和对象402a、402b、403的显示控制时，首先，如图88所示，使前述显示装置3显示指针401和对象(步骤501)。然后，当前述观察者(操作者)操作前述鼠标等的输入装置2时，前述输入信息取得单元101取得来自前述输入装置2的输入信息(操作信息)(步骤502)。此时，当在前述输入信息取得单元101取得了输入信息时，例如，在前述输入信息取得单元101中，判别前述输入信息是否是指针操作相关信息(指针操作信息)(步骤503)。在不是前述指针操作信息的情况下，在前述处理控制单元107中，执行与前述输入信息对应的别的处理(步骤504)。
另一方面，在前述输入信息是前述指针操作信息的情况下，前述输入信息取得单元101把前述输入信息传送到前述指针位置算出单元102，算出指针的移动量，并算出前述指针的新的显示位置(xp，yp，zp)(步骤505)。
然后，在前述指针位置算出单元102算出了前述指针的新的显示位置(xp，yp，zp)之后，首先，在前述指针生成单元103中生成显示在前述新的显示位置的指针，通过前述显示控制单元106显示在前述显示装置3上(步骤506)。
并且，在前述指针位置算出单元102算出了前述指针的新的显示位置(xp，yp，zp)之后，在前述对象变更判定单元104中，判定是否有正在指示的对象，即，指针正在指示的点的xyz坐标是否在距对象的表面上或内部的任意点的xyz坐标预定范围内，以及比指针的深度位置更近处是否有对象，即，是否有在表面上或内部包含比指针正在指示的点的z坐标小的z坐标的点的对象(步骤507、步骤509)。然后，在有前述正在指示的对象的情况下，在前述对象生成/透明化单元105中使该对象变更为正在被指示的状态，通过前述显示控制单元106显示在前述显示装置3上(步骤508)。并且，在比前述指针的深度位置更近处有对象的情况下，在前述对象生成/透明化单元105中使前述近处的对象变更为预定的透明度α，通过前述显示控制单元106显示在前述显示装置3上(步骤510)。
另外，在图88所示的例中，首先判定是否有正在指示的对象，然而不限于此，也可以首先判定比起指针的深度位置在近处是否有对象。
在前述系统控制装置1中，通过执行这种处理，可进行图85或图87所示的指针401和对象402a、402b、403的显示控制。
如以上说明那样，根据本实施例4-1的三维显示控制方法，通过使配置(显示)在比前述指针的深度位置更近处的对象透明化，当前述指针401移动到进入某对象的背面侧的位置时，不会看不见前述指针401的位置，可容易进行识别。
并且，由于通过使前述指针401从前述观察者来看向朝向深处的方向移动，可使前述对象透明化，因而用于进行在某对象的背面侧是否隐藏别的对象、或者隐藏在某对象的背面侧的别的对象的位置的识别等的操作比以往容易。并且，由于通过使前述指针401从前述观察者来看向朝向近处的方向移动，可使被透明化的对象回到原来的不透明显示，因而用于识别被透明化的对象的显示内容的操作比以往容易。即，通过应用本实施例4-1的三维显示控制方法，前述观察者(操作者)的便利性提高。
并且，在本实施例4-1的三维显示控制方法中，例如如图86所示，不管从前述观察者来看是否与前述指针重合，都使配置(显示)在比前述指针的深度位置更近处的对象透明化，然而不限于此，例如可以仅使从前述观察者来看比前述指针的深度位置更位于近处、且与前述指针重合的对象透明化。
图89和图90是用于对本实施例4-1的三维显示控制方法的应用例进行说明的示意图，图89是示出应用了应用例时的三维空间的变化的状态的图，图90是示出用于实现应用例的装置中的处理过程的流程图。另外，图89在上段、中段、下段示出3种状态，各状态通过进行图中所示的操作变化到其他状态。并且，各状态在从前述观察者观察前述三维空间时的正面图和右侧面图中示出。
在对仅使从前述观察者来看比前述指针的深度位置更位于近处、且与前述指针重合的对象透明化的情况进行说明时，首先，假定前述三维桌面的显示状态是，如图89的上段所示，从前述观察者来看，前述指针401比前述窗口403的深度位置更位于近处，而与前述窗口403不重合的状态。在该状态下，例如，使前述指针401从前述观察者来看向深处方向移动，如图89的中段所示，假定前述窗口403的深度位置比前述指针401的深度位置更位于近处。此时，在本实施例4-1的三维显示控制方法中，如图86的中段所示，不管从前述观察者来看前述指针401与前述窗口403是否重合，都使前述窗口403透明化。
然而，在图89的中段所示的显示状态的情况下，即使不使前述窗口403透明化，前述观察者也能识别前述指针401的位置，因而没有必要使前述窗口403透明化。
然而，当是图89的中段所示的显示状态时，例如，当使前述指针401移动到进入前述窗口403的背面侧的位置时，由于前述窗口403是通常的不透明显示，因而在该状态下，如图87所示，前述指针401处于隐藏在前述窗口403的背面侧的状态，不能识别前述指针401的位置。
因此，如图89的下段所示，当使前述指针401移动时，在有比前述指针401的深度位置更位于近处、且从前述观察者来看与前述指针401重合的窗口403的情况下，使该窗口403透明化。这样，与本实施例4-1的三维显示控制方法一样，可容易识别移动到位于某对象的背面侧的位置的指针。并且，可容易进行在前述某对象的背面侧是否隐藏别的对象、或者隐藏在前述某对象的背面侧的别的对象的位置的识别等。
为了使用图80所示的前述系统控制装置1等实现这种三维显示控制方法，只要在图88所示的处理过程中的步骤510中进行图90所示的步骤510a至步骤510c的处理即可。
即，在通过前述对象变更单元104中的图88所示的步骤509的判定，判定为比前述指针401的深度位置更近处有对象的情况下，在前述对象生成/透明化单元105使对象透明化之前，首先，确认前述位于近处的对象的显示区域(步骤510a)。
然后接下来，判定在前述位于近处的对象中是否有从前述观察者来看与指针401重合的对象(步骤510b)。前述步骤510b例如只要调查在从前述观察者来看与前述指针的显示位置(xp，yp)重合的前述对象的深度位置的XY位置上是否显示有对象的一部分(一点)即可。然后，在判定为有正在重合的对象的情况下，使该对象以透明度α显示在前述显示装置3上(步骤510c)。
这样，比前述指针401的深度位置更位于近处、且与前述指针401不重合的对象可保持通常的不透明的显示状态。
在本实施例4-1的三维显示控制方法中，由于比前述指针401的深度位置更位于近处的对象全部被透明化，因而没有必要进行透明化的对象有时也被透明化。然后，当确认被透明化的对象的显示内容时，必须使前述指针401从观察者来看向近处方向移动，使被透明化的对象回到不透明显示。
另一方面，在图89所示的三维显示控制方法中，当前述指针401移动到进入前述对象的背面侧的位置时，仅使隐藏前述指针401的对象透明化。因此，如果使前述指针401显示在与对象不重合的位置，则所有对象是通常的不透明显示，可仅使有必要进行透明化的对象透明化。这样，当使被透明化的对象回到不透明显示时的操作成为XY平面内的二维操作，与本实施例4-1的三维显示控制方法相比，认为操作便利性提高。
[实施例4-2]
图91至图93是用于对本发明的实施例4-2的三维显示方法进行说明的示意图，图91是示出应用了本实施例4-2的显示控制方法时的三维空间的变化的状态的图，图92是示出透明度的决定方法的一例的图，图93是示出用于实现本实施例4-2的三维显示方法的装置中的处理过程的流程图。另外，图91在上段、中段、下段示出3种状态，各状态通过进行图中所示的操作变化到其他状态。并且，各状态在从前述观察者观察前述三维空间时的正面图和右侧面图中示出。
在本实施例4-2中，对以下显示控制方法进行说明，即：当使比前述指针401的深度位置更位于近处的对象透明化时，根据距前述指针的距离改变透明度，提高前述指针401的深度位置、和比前述指针401的深度位置更位于近处而深度位置相近的对象的识别度。
并且，在本实施例4-2中，为使说明简单，列举例如如图91的上段所示，在前述三维桌面空间内显示指针401、文件夹图标402a、402b和窗口403的三个对象的情况为例进行说明。此时，指针401、文件夹图标402a、402b和窗口403的三个对象的位置关系，最初是图91的上段所示的位置关系，假定前述指针401从前述观察者来看显示在比前述窗口403的深度位置更近处。并且此时，前述文件夹图标402b配置在从前述观察者来看位于前述窗口403的背面侧的位置，假定从前述观察者看不见。
此时，前述操作者使前述鼠标的滚轮旋转，以使前述指针401向+z(z＞0)方向移动，在前述指针401的深度位置，如图91的中段所示，从前述观察者来看比前述窗口403的深度位置更位于深处的情况下，使前述窗口403透明化。然而，在本实施例4-2的显示控制方法中，如图91的中段所示，当前述指针401的深度位置与前述窗口403的深度位置的距离(差)小时，不使前述窗口403完全透明，而以能识别前述窗口403的背面侧状态的程度的透明度显示前述窗口403。
然后，前述操作者从该状态进一步使前述鼠标的滚轮旋转，以使前述指针401向+z(z＞0)方向移动，如图91的下段所示，当前述指针401的深度位置与前述窗口403的深度位置的距离(差)增大时，前述窗口403的透明度逐渐增高，最终使前述窗口完全透明化。此时，按照前述指针401的移动，例如如图91的下段所示，前述文件夹图标402a也被透明化，然而此时，由于前述指针401的深度位置与前述文件夹图标402a的深度位置的距离比前述指针401的深度位置与前述窗口403的深度位置的距离小，因而前述文件夹图标402a以比前述窗口403的透明度小的透明度来显示。
结果，前述观察者(操作者)在前述指针401移动到进入窗口403的背面侧的位置时，也能容易识别前述指针401的位置。并且，只需使前述指针401向+z(z＞0)方向移动，就能识别出在前述窗口403的背面侧是否隐藏别的对象、或者所隐藏的文件夹图标402b的位置。并且，可根据前述被透明化的对象的透明度，容易识别前述指针401的深度位置、和比前述指针401的深度位置更位于近处而深度位置相近的对象。
并且，如图91的下段所示，在比前述指针401的深度位置更位于近处的窗口403和文件夹图标402a被透明化的状态下，例如，当使前述鼠标的滚轮向反方向旋转时，在前述指针401到达前述文件夹图标402a的深度位置的时刻，如图91的中段所示，前述文件夹图标402a的显示改变为原来的不透明显示。此时，由于前述指针401与前述窗口403的深度方向的距离也减小，因而前述窗口403的透明度也减小。然后，使前述指针401进一步移动到前述近处的显示面301A侧，当前述指针401到达前述窗口403的深度位置时，如图91的上段所示，前述窗口403的显示回到原来的不透明显示。结果，前述观察者(操作者)只需使前述指针401向-z(z＜0)方向移动，就能使被透明化的前述窗口403回到原来的不透明显示。
并且，关于前述对象的透明度α，假定当α＝0时为完全透明，当α＝1时为完全不透明，则当使比前述指针401的深度位置更位于近处的对象透明化时，例如，如图92的实线所示，α与前述指针401和前述位于近处的对象的深度方向的距离成比例地在1至0之间连续变化，当距离最大，即，前述对象显示在DFD的近处的显示面301A上、前述指针401显示在深处的显示面301B上的状态时，只要为完全透明(α＝0)即可。并且，如图92的波线所示，可以是，在比前述最大距离小的距离Zc时，α＝0。并且，尽管省略图示，然而前述透明度α可以例如与距离的平方成反比例地减小。
为了使用图80所示的系统控制装置1等实现这种三维显示控制方法，只要在前述系统控制装置1中执行图88所示的步骤501至步骤510的处理即可。然而，在本实施例4-2的三维显示控制方法的情况下，在图88所示的处理过程中的步骤510中，进行图93所示的步骤510d至步骤510h的处理。
即，为了实现本实施例4-2的三维显示控制方法，在通过前述对象变更判定单元104中的图88所示的步骤509的判定，判定为比前述指针401的深度位置更近处有对象的情况下，在前述对象生成/透明化单元105使对象透明化之前，首先，选择1个前述被透明化的对象(步骤510d)。
然后，算出前述所选择的对象与前述指针401的深度方向的距离(步骤510e)。然后，根据前述所算出的深度方向的距离算出前述所选择的对象的透明度α(步骤510f)。
在前述步骤510f中算出前述所选择的对象的透明度α之后，在前述对象生成/透明化单元105中生成所算出的透明度的对象，通过前述显示控制单元106显示在前述显示装置3上(步骤510g)。
这样，在以与距离对应的透明度α显示了所选择的对象之后，判定是否还有要进行透明化的对象或要改变透明度的对象(步骤510h)，在有的情况下，回到步骤510d，重复步骤510d至步骤510g的处理。
在前述系统控制装置1中，通过执行这种处理，可进行图91所示的指针401和对象402a、402b、403的显示控制。
如以上说明那样，根据本实施例4-2的三维显示控制方法，通过使配置(显示)在比前述指针的深度位置更近处的对象透明化，当前述指针401移动到进入某对象的背面侧的位置时，也不会看不见前述指针401的位置，可容易进行识别。
并且，由于通过使前述指针401从前述观察者来看向朝向深处的方向移动，可使前述对象透明化，因而用于进行在某对象的背面侧是否隐藏别的对象、或者隐藏在某对象的背面侧的别的对象的位置的识别等的操作比以往容易。并且，由于通过使前述指针401从前述观察者来看向朝向近处的方向移动，可使被透明化的对象回到原来的不透明显示，因而用于识别被透明化的对象的显示内容的操作比以往容易。即，通过应用本实施例的三维显示控制方法，使前述观察者(操作者)的便利性提高。
并且，如本实施例4-2所示，当使比前述指针401的深度位置位于更近处的对象透明化时，根据前述指针401与前述位于近处的对象的深度方向的距离大小，改变前述位于近处的对象的透明度，因而位于前述指针401的深度位置、或者与前述指针401的深度位置近的深度位置的对象的识别变得容易。
[实施例4-3]
图94和图95A、B是用于对本发明的实施例4-3的三维显示控制方法进行说明的示意图，图94是示出应用了本实施例4-3的显示控制方法时的三维空间的变化的状态的图，图95A和图95B是示出透明度的决定方法的一例的图。另外，图94在上段、中段、下段示出3种状态，各状态通过进行图中所示的操作变化到其他状态。并且，各状态在从前述观察者观察前述三维空间时的正面图和右侧面图中示出。
在本实施例4-3中，对以下显示控制方法进行说明，即：当使比前述指针401的深度位置更位于近处的对象透明化时，仅使从前述观察者来看以前述指针401的指示位置(xp，yp，zp)为中心的某范围的内侧透明化，减少由对象的透明化和不透明化引起的视觉麻烦。
并且，在本实施例4-3中，为使说明简单，列举例如如图94的上段所示，在前述三维桌面空间内显示指针401、文件夹图标402a、402b和窗口403的三个对象的情况为例进行说明。此时，指针401、文件夹图标402a、402b和窗口403的三个对象的位置关系最初是图94的上段所示的位置关系，假定前述指针401从前述观察者来看显示在比前述窗口403的深度位置更近处。并且此时，前述文件夹图标402b配置在从前述观察者来看位于前述窗口403的背面侧的位置，假定从前述观察者看不见。
此时，当前述操作者使前述鼠标的滚轮旋转，以使前述指针401向+z(z＞0)方向移动时，如图94的中段所示，前述指针401接近前述窗口403。然后，当前述指针401到达距前述窗口403的深度位置预定范围的深度位置时，前述窗口403处于所指示的状态，例如如图94的中段所示，改变前述窗口403的颜色等，改变为表示正在被指示的显示。
然后，当前述操作者从该状态进一步使前述鼠标的滚轮旋转，以使前述指针401向+z(z＞0)方向移动时，如图94的下段所示，前述指针401挤过前述窗口403，朝前述深处的显示面301B继续移动。此时，当挤过了前述窗口403的指针401离开比距前述窗口403的深度位置预定范围的深度位置更远时，前述窗口从被指示的状态回到原来的不被指示的状态，例如，窗口的颜色回到原来的颜色。
然而，在前述指针401挤过前述窗口403的同时，前述指针401所挤过的窗口403从前述观察者来看，显示在比前述指针401的深度位置更近处。因此，前述系统控制装置1如图94的下段所示，使显示在比前述指针401的深度位置更近处的窗口403透明化来显示。并且此时，前述窗口403不像在前述实施例4-1中所说明的那样使前述窗口403整体透明化，而是例如如图94的下段所示，仅使以与前述指针401的指示位置(例如箭头的尖端)重合的位置为中心的半径a的圆内透明化。结果，前述观察者(操作者)在前述指针401移动到进入窗口403的背面侧的位置时，也能容易识别前述指针401的位置。并且，只需使前述指针401向+z(z＞0)方向移动，就能识别出在前述窗口403的背面侧是否隐藏别的对象、或者所隐藏的文件夹图标402b的位置。并且，如图94的下段所示，前述窗口403中被透明化和不透明化的仅是与前述指针401重合的区域的附近。因此，例如，当使前述指针401向深度方向剧烈移动时等，前述窗口403的仅一部分被透明化和不透明化，可减少视觉麻烦。
并且，在仅使以从前述观察者来看与前述指针401的指示位置(xp，yp，zp)重合的点为中心的半径a的圆内透明化的情况下，例如，可以使透明度以δ函数形式变化成，使半径a的圆内为透明度α＝0(完全透明)，使半径a的圆的外侧为透明度α＝1(完全不透明)，并可以变化成，例如，如图95A所示，使半径a的圆内为透明度α＝0(完全透明)，使半径a的圆的外侧与距离成比例而逐渐为透明度α＝1(完全不透明)。并且，除此以外，还可以变化成，例如，如图95B所示，使从前述观察者来看与前述指针401的指示位置(xp，yp，zp)重合的点(中心)为透明度α＝0(完全透明)，使透明度与距中心的距离的平方成比例而为透明度α＝1(完全不透明)。并且，尽管省略图示，然而可以根据距前述中心的距离以阶跃函数形式变化成使透明度α为0至1。
并且，前述半径a可以与前述指针401与对象的深度方向的距离大小成比例地增大。这样，可根据在前述对象上正在透明化的区域的大小，容易推测前述指针401与对象的深度方向的距离。
并且，在前述对象上被透明化的区域不限于图94的下段所示的半径a的圆区域，也可以是椭圆(长圆)区域或多边形区域等预定的任意形状。
为了使用图80所示的前述系统控制装置1等实现这种三维显示控制方法，只要在前述系统控制装置1中执行图88所示的步骤501至步骤510的处理即可。然而，在本实施例4-3的三维显示控制方法的情况下，在图88所示的处理过程中的步骤510中，进行图89所示的步骤510a至步骤510c的处理。并且，在图89所示的处理过程中的步骤510c中，取代使比前述指针401的深度位置更位于近处、且与前述指针401重合的对象整体透明化，如前所述，仅使以与前述指针401正在指示的XY位置(xp，yp)重合的点为中心的圆区域、或者椭圆区域、或者多边形区域等的前述预定形状的区域透明化。
如以上说明那样，根据本实施例4-3的三维显示控制方法，通过使配置(显示)在比前述指针的深度位置更近处的对象透明化，当前述指针401移动到进入某对象的背面侧的位置时，不会看不见前述指针401的位置，可容易进行识别。
并且，由于通过使前述指针401从前述观察者来看向朝向深处的方向移动，可使前述对象透明化，因而用于进行在某对象的背面侧是否隐藏别的对象、或者隐藏在某对象的背面侧的别的对象的位置的识别等的操作比以往容易。并且，由于通过使前述指针401从前述观察者来看向朝向近处的方向移动，可使被透明化的对象回到原来的不透明显示，因而用于识别被透明化的对象的显示内容的操作比以往容易。即，通过应用本实施例的三维显示控制方法，使前述观察者(操作者)的便利性提高。
并且，如本实施例4-3所示，当使比前述指针401的深度位置更位于近处的对象透明化时，以与前述指针401正在指示的位置重合的点为中心部分地使对象透明化，因而例如，可减少由对象的透明化和不透明化的连续变化引起的视觉麻烦。
[实施例4-4]
图96和图97是用于对实施例4-4的三维显示控制方法进行说明的示意图，图96是示出应用了本实施例4-4的显示控制方法的情况的三维空间的变化的状态的图，图97是示出用于实现本实施例4-4的三维显示方法的装置中的处理过程的流程图。另外，图96在上段、中段、下段示出3种状态，各状态通过进行图中所示的操作变化到下段的状态。并且，各状态在从前述观察者观察前述三维空间时的正面图和右侧面图中示出。
在本实施例4-4中，对以下显示控制方法进行说明，即：在使比前述指针401的深度位置更位于近处的对象透明化之后，在指针静止一定时间的情况下，使被透明化的对象回到原来的不透明状态，可容易识别被透明化的对象的显示内容。
并且，在本实施例4-4中，为使说明简单，列举例如如图96的上段所示，在前述三维桌面空间内显示指针401、文件夹图标402a、402b和窗口403的三个对象的情况为例进行说明。此时，指针401、文件夹图标402a、402b和窗口403的三个对象的位置关系最初是图96的上段所示的位置关系，假定前述指针401从前述观察者来看显示在比前述窗口403的深度位置更近处。并且此时，前述文件夹图标402b配置在从前述观察者来看进入前述窗口403的背面侧的位置，假定从前述观察者看不见。
此时，前述操作者使前述鼠标的滚轮旋转，以使前述指针401向+z(z＞0)方向移动，在前述指针401的深度位置，如图96的中段所示，从前述观察者来看比前述窗口403的深度位置更位于深处的情况下，使前述窗口403透明化。结果，前述观察者(操作者)在前述指针401移动到进入窗口403的背面侧的位置时，也能容易识别前述指针401的位置。并且，只需使前述指针401向+z(z＞0)方向移动，就能识别出在前述窗口403的背面侧是否隐藏别的对象、或者所隐藏的文件夹图标402b的位置。
然后，前述操作者在该状态下中断鼠标的操作，当前述鼠标主体和滚轮不移动的状态例如持续1秒钟时，如图96的下段所示，被透明化的前述窗口403回到原来的不透明状态显示。结果，前述观察者(操作者)例如如在前述实施例4-1至实施例4-3中所说明的那样，即使不进行使前述指针401移动到比前述窗口403的深度位置更近处的操作，也能识别前述窗口403的显示内容。
并且，如果在图96的下段所示的状态下，重新开始前述鼠标的操作，则比前述指针401的深度位置更位于近处的窗口403再次被透明化，如图96的中段所示，可识别隐藏在前述窗口403的背面侧的指针401和文件夹图标402b。
为了使用图80所示的前述系统控制装置1等实现这种本实施例4-4的三维显示控制方法，只要在前述系统控制装置1中执行图97所示的步骤501至步骤513的处理即可。
另外，图97所示的处理过程中的步骤501至步骤510由于可以是与图88所示的处理过程的步骤501至步骤510的处理相同的处理，因而省略详细说明。并且，当使前述对象透明化时，在使用前述实施例4-2和实施例4-3所说明的方法进行透明化的情况下，只要在前述步骤510中进行例如图93所示的步骤510d至步骤510h的处理、或者图90所示的步骤510a至步骤510c的处理即可，因而也省略该说明。
在图80所示的结构的前述系统控制装置1中，为了实现本实施例4-4的三维显示方法，在进行了图97所示的步骤510的处理，即，使比前述指针401的深度位置更位于近处的对象透明化来显示的处理之后，确认是否继续取得前述指针操作相关信息(指针操作信息)(步骤511)。然后，在继续取得前述指针操作信息的情况下，如图97所示，重复前述步骤505至步骤510的处理，使指针的显示位置的移动、正在指示的对象的显示变更、以及比指针的深度位置更位于近处的对象的透明化继续。
另一方面，在前述步骤511中判定为前述指针操作信息的取得中断的情况下，确认在中断前述指针操作信息的取得之后是否经过一定时间(步骤512)。此时如果没有经过一定时间，则回到步骤511，再次进行确认。
然后，在前述步骤511和步骤512中判定为前述指针操作信息的取得中断、而且在中断之后经过了一定时间的情况下，前述对象生成/透明化单元105使当前正在透明化的对象回到原来的不透明状态，通过前述显示控制单元106显示在前述显示装置3上(步骤513)。
在前述系统控制装置1中，通过执行这种处理，可进行图96所示的指针401和对象402a、402b、403的显示控制。
如以上说明那样，根据本实施例4-4的三维显示控制方法，通过使配置(显示)在比前述指针的深度位置更近处的对象透明化，当前述指针401移动到进入某对象的背面侧的位置时，不会看不见前述指针401的位置，可容易进行识别。
并且，由于通过使前述指针401从前述观察者来看向朝向深处的方向移动，可使前述对象透明化，因而用于进行在某对象的背面侧是否隐藏别的对象、或者隐藏在某对象的背面侧的别的对象的位置的识别等的操作比以往容易。并且，由于通过使前述指针401从前述观察者来看向朝向近处的方向移动，可使被透明化的对象回到原来的不透明显示，因而用于识别被透明化的对象的显示内容的操作比以往容易。即，通过应用本实施例的三维显示控制方法，前述观察者(操作者)的便利性提高。
并且，如本实施例4-4所示，在前述指针操作信息的取得中断之后经过了一定时间的情况下，使被透明化的对象回到原来的不透明状态来显示，因而即使不进行例如在实施例4-1至实施例4-3中所说明的使指针401从观察者来看向近处的方向移动的操作，也能识别显示在比前述指针401更近处的对象的显示内容。
并且，由于在比前述正在透明化的对象的深度位置更深处显示有前述指针401的状态下使被透明化的对象不透明化，而且在前述指针操作信息的取得再次开始的时刻使前述不透明化的对象再次透明化，因而可省去为了确认前述被透明化的对象的显示内容而使指针向深度方向移动的操作，前述观察者(操作者)的便利性进一步提高。
[实施例4-5]
图98～图100是用于对实施例4-5的三维显示控制方法进行说明的示意图，图98是示出对象的选择方法的图，图99是示出应用了本实施例4-5的显示控制方法时的三维空间的变化的状态的图，图100是示出用于实现本实施例4-5的三维显示方法的装置中的处理过程的流程图。另外，图98和图99在上段、中段、下段示出3种状态，各状态通过进行图中所示的操作变化到下段的状态。并且，各状态在从前述观察者观察前述三维空间时的正面图和右侧面图中示出。
在本实施例4-5中，对以下显示控制方法进行说明，即：当在选择显示于前述三维空间内的对象的状态下使前述指针移动时，对比前述指针的深度位置更位于近处的对象中的前述所选择的对象不进行透明化，可识别出正被选择。
当在前述显示装置3上的三维空间内操作指针401时，如在前述实施例4-1至实施例4-4中所说明的那样，除了使前述指针401在三维空间内移动来指示对象的操作以外，还可进行例如选择一个以上的对象，并使前述所选择的对象在前述三维空间内移动的操作。
因此，在本实施例4-5中，首先，列举例如如图98的上段所示，在前述三维桌面空间内显示指针401、文件夹图标402a、402b和窗口403的3个对象的情况为例，对使前述对象在三维空间内移动的动作进行说明。此时，指针401、文件夹图标402a、402b和窗口403的三个对象的位置关系最初是图98的上段所示的位置关系，假定前述指针401从前述观察者来看显示在比前述窗口403的深度位置更深处。即，前述窗口403由于比前述指针401的深度位置更位于近处，因而假定被透明化。
此时，当前述操作者在按下例如前述鼠标的左按钮的同时，操作了前述鼠标主体和滚轮时，如图98的中段所示，可选择文件夹图标402a、402b。并且此时，前述文件夹图标402a、402b从通常的显示切换到表示正被选择的显示。然后，停止按下鼠标的左按钮，例如，在使用前述指针401指示了前述文件夹图标402a之后，当再次按下前述鼠标的左按钮的同时，使滚轮旋转时，如图98的下段所示，可使前述所选择的文件夹图标402a、402b在保持相对位置关系的同时，从前述观察者来看向近处方向移动。
然后，在前述操作者例如如图98的下段或图99的上段所示，使前述文件夹图标402a、402b移动之后，在前述所选择的状态下，如图99的中段所示，假定使前述指针401向前述文件夹图标402b的方向移动。此时，如图99的中段所示，当假定前述指针401的深度位置比前述文件夹图标402b更位于深处时，在前述实施例4-1至实施例4-4的显示控制方法中，前述文件夹图标402b被透明化。然而，当前述文件夹图标402b被透明化时，前述观察者不能识别出是选择了前述文件夹图标402b的状态。并且，如图99的中段所示，当在2个所选择的文件夹图标402a、402b的各深度位置之间有前述指针401时，由于前述文件夹图标402b被透明化，前述文件夹图标402a在不透明状态下显示，因而不能识别是仅选择前述文件夹图标402a，还是与另一对象一起选择。
因此，在本实施例4-5中，如图99的中段所示，即使是比前述指针401的深度位置更位于近处的对象(文件夹图标402b)，如果是已选择的状态，则也不进行透明化，而在不透明状态下进行显示。结果，前述观察者可容易识别出是选择了文件夹图标402a、402b的状态。
然后，前述操作者进行例如在没有指示对象的状态下按下鼠标的左按钮等的操作，当解除了选择时，如图99的下段所示，前述文件夹图标402a、402b从表示正被选择的显示回到通常的显示。然后，比前述指针401的深度位置更位于近处的文件夹图标402b在回到通常的显示的同时，进行透明化。
为了使用图80所示的前述系统控制装置1等实现这种本实施例4-5的三维显示控制方法，只要在前述系统控制装置1中执行图100所示的步骤501至步骤506、以及步骤514至步骤517的处理即可。
另外，图100所示的处理过程中的步骤501至步骤506，由于可以是与图88所示的处理过程的步骤501至步骤506的处理相同的处理，因而省略详细说明。
在图80所示的结构的前述系统控制装置1中，为了实现本实施例4-5的三维显示方法，在进行了图100所示的步骤506的处理，即，使前述指针401显示在新的显示位置的处理之后，前述指针位置算出单元102使前述对象变更判定单元104判定比前述指针401的深度位置更近处是否有透明化候补的对象(步骤514)。此时，如果没有透明化候补的对象，则回到步骤502，进行等待直到取得下一输入信息。
另一方面，在有透明化候补的对象的情况下，前述对象变更判定单元104接下来判定在前述透明化候补的对象中是否有被选择的状态的对象(步骤515)。然后，如果没有被选择的状态的对象，则前述对象生成/透明化单元105使成为前述透明化候补的所有对象透明化，通过前述显示控制单元106显示在前述显示装置3上(步骤516)。此时，在前述步骤516中，选择在前述实施例4-1至实施例4-3中所说明的透明化方法中的任意一种来使前述对象透明化。
并且，在成为前述透明化候补的对象中有被选择的状态的对象的情况下，前述对象生成/透明化单元105除了前述所选择的对象以外，仅使非选择状态的对象透明化，通过前述显示控制单元106显示在前述显示装置3上(步骤517)。此时，在前述步骤517中，选择在前述实施例4-1至实施例4-3中所说明的透明化方法中的任意一种来使前述对象透明化。
在前述系统控制装置1中，通过执行这种处理，可进行图100所示的指针401和对象402a、402b、403的显示控制。
另外，在图100所示的处理过程中，省略了图88所示的处理过程的步骤507和步骤508，然而可以纳入这些处理。并且，当使前述对象透明化时，在使用前述实施例4-2和实施例4-3所说明的方法进行透明化的情况下，只要在前述步骤510中进行例如图93所示的步骤510d至步骤510h的处理、或者图90所示的步骤510a至步骤510c的处理即可。
如以上说明那样，根据本实施例4-5的三维显示控制方法，通过使配置(显示)在比前述指针的深度位置更近处的对象透明化，当前述指针401移动到进入某对象的背面侧的位置时，不会看不见前述指针401的位置，可容易进行识别。
并且，由于通过使前述指针401从前述观察者来看向朝向深处的方向移动，可使前述对象透明化，因而用于进行在某对象的背面侧是否隐藏别的对象、或者隐藏在某对象的背面侧的别的对象的位置的识别等的操作比以往容易。并且，由于通过使前述指针401从前述观察者来看向朝向近处的方向移动，可使被透明化的对象回到原来的不透明显示，因而用于识别被透明化的对象的显示内容的操作比以往容易。即，通过应用本实施例的三维显示控制方法，前述观察者(操作者)的便利性提高。
并且，当使前述对象透明化时，在作为透明化候补的对象，即比起前述指针的深度位置更位于近处的对象中有被选择的状态的对象的情况下，由于前述所选择的对象不被透明化，因而可容易识别出是选择了前述对象的状态。
并且，在前述各实施例中，列举作为前述输入装置2使用带有滚轮功能的鼠标，作为前述显示装置3使用DFD的情况为例，对前述指针和对象的显示控制方法作了说明，然而前述输入装置2和前述显示装置3当然可使用现有的各种装置。此时，作为前述输入装置2，可使用例如键盘、手写数码笔板、或者游戏操纵杆(gamepad)等的装置。并且，前述输入装置2不限于1种，例如，通过使键盘和鼠标进行组合，在按下前述键盘的特定键的同时操作鼠标，还可进行前述指针的三维移动操作和选择操作等。并且，前述显示装置3也不限于前述DFD那样的可进行对象的立体显示的三维显示器，也能使用现有的CRT、液晶显示器、等离子体显示器等的二维显示器。在作为前述显示装置3使用了前述二维显示器的情况下，只要在前述系统控制装置1的显示控制单元106中，在设定三维虚拟空间并在前述三维空间内配置了前述指针和对象之后，生成把前述三维空间投影在前述二维显示器的显示面上的图像，并显示在前述二维显示器上即可。
并且，本发明的三维显示控制方法不使用特殊的输入装置、控制装置以及显示装置，通过使现有的输入装置、控制装置以及显示装置进行组合，可容易实现。并且，应用了本发明的三维显示控制方法的控制装置可使用计算机和程序来实现。此时，前述程序只要描述有使计算机执行例如在前述实施例4-1至实施例4-5中所说明的显示控制方法的命令即可，可记录在磁或电或光的任意一种记录介质内来提供。并且，取代记录在前述记录介质内来提供，还可通过例如互联网等的网络来提供。
以上，根据各实施方式对本发明作了具体说明，然而本发明不限于前述实施例，当然可在不背离本发明要旨的范围内进行各种变更。

Claims (12)

1.一种三维显示控制方法，使指针和1个以上的对象显示在表现于可表现三维空间的显示装置上的三维空间内，根据来自输入装置的输入信息使前述指针三维移动，控制当指示前述三维空间内的任意一点时的前述指针和前述对象的显示状态，该三维显示控制方法具有：
步骤1，根据前述输入信息算出前述指针的显示位置；
步骤2，使前述指针显示在由前述步骤1所算出的显示位置上；以及
步骤3，根据由前述步骤1所算出的前述指针的显示位置，判定从观察者来看比前述指针的深度位置更近处是否有对象，使比前述指针的深度位置位于更近处的对象透明化来显示。
2.根据权利要求1所述的三维显示控制方法，其特征在于，前述步骤3仅使从观察者来看比前述指针的深度位置位于更近处的对象中的、从观察者来看与前述指针重合的对象透明化来显示。
3.根据权利要求1所述的三维显示控制方法，其特征在于，前述步骤3使从观察者来看比前述指针的深度位置位于更近处的对象中的除了根据来自前述输入装置的预定的输入信息所指定的对象以外的其他对象透明化来显示。
4.根据权利要求1或2所述的三维显示控制方法，其特征在于，前述步骤3根据从观察者来看比前述指针的深度位置位于更近处的对象与前述指针的深度方向的距离，使从观察者来看比前述指针的深度位置位于更近处的前述对象的透明度变化，前述对象与前述指针的深度方向的距离越大，就越增大透明度来显示。
5.根据权利要求1所述的三维显示控制方法，其特征在于，前述步骤3仅使以与前述指针正在指示的点重合的对象上的点为中心的规定形状的区域内透明化来显示。
6.根据权利要求5所述的三维显示控制方法，其特征在于，前述进行透明化的规定形状根据前述指针与从观察者来看比前述指针的深度位置位于更近处的前述对象的深度方向的距离的大小而变化，前述深度方向的距离越大，前述规定形状就越大。
7.根据权利要求1或2所述的三维显示控制方法，其特征在于，前述步骤3具有：在前述指针静止规定时间期间的情况下，使前述被透明化的对象回到进行透明化之前的不透明状态来显示的步骤。
8.一种三维显示控制装置，使指针和1个以上的对象显示在表现于可表现三维空间的显示装置上的三维空间内，根据来自输入装置的输入信息使前述指针三维移动，控制指示前述三维空间内的任意一点时的前述指针和前述对象的显示状态，其特征在于，该三维显示控制装置具有：
输入信息取得单元，其取得来自前述输入装置的输入信息；
指针位置算出单元，其根据由前述输入信息取得单元所取得的前述输入信息算出前述指针的显示位置；
指针生成单元，其生成显示在由前述指针位置算出单元所算出的显示位置上的指针；
对象变更判定单元，其根据由前述指针位置算出单元所算出的前述指针的显示位置，判定从观察者来看比前述指针的深度位置更近处是否有对象，并判定为使比前述指针的深度位置位于更近处的对象透明化；
对象生成/透明化单元，其进行显示在前述显示装置上的对象的生成、以及由对象变更判定单元判定为进行透明化的对象的透明化；以及
显示控制单元，其使由前述指针生成单元所生成的指针、以及由前述对象生成/透明化单元所生成的对象或进行了透明化的对象显示在前述显示装置上。
9.根据权利要求8所述的三维显示控制装置，其特征在于，前述对象变更判定单元具有：判定在从观察者来看比前述指针的深度位置位于更近处的对象中是否有根据来自前述输入装置的预定的输入信息所指定的对象的单元；
前述对象生成/透明化单元使除了前述所指定的对象以外的其他对象透明化。
10.根据权利要求8或9所述的三维显示控制装置，其特征在于，前述对象生成/透明化单元具有：算出前述指针与前述进行透明化的对象的深度方向的距离的单元；
使前述进行透明化的对象的透明度根据前述所算出的深度方向的距离的大小而变化。
11.根据权利要求8所述的三维显示控制装置，其特征在于，前述对象生成/透明化单元具有：算出前述进行透明化的对象上的、从观察者来看与前述指针正在指示的点重合的点的单元；
仅使以前述所算出的点为中心的规定形状的区域内透明化。
12.根据权利要求8或9所述的三维显示控制装置，其特征在于，前述对象变更判定单元具有：判定前述指针是否静止规定时间期间的单元；
在前述指针静止前述规定时间的情况下，前述对象生成/透明化单元使前述被透明化的对象回到进行透明化之前的不透明状态。
CN2008101256414A 2004-10-12 2005-10-12 三维显示控制方法和三维显示控制装置 Expired - Fee Related CN101308441B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2004297927 2004-10-12
JP2004-297927 2004-10-12
JP2004-306636 2004-10-21
JP2004306636 2004-10-21
JP2004-309667 2004-10-25
JP2004309667 2004-10-25
JP2005185131 2005-06-24
JP2005-185131 2005-06-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2005800026763A Division CN100407118C (zh) 2004-10-12 2005-10-12 三维指示方法和三维指示装置

Publications (2)

Publication Number Publication Date
CN101308441A CN101308441A (zh) 2008-11-19
CN101308441B true CN101308441B (zh) 2010-09-22

Family

ID=36148384

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2008101256429A Expired - Fee Related CN101308442B (zh) 2004-10-12 2005-10-12 三维指示方法和三维指示装置
CN2008101256414A Expired - Fee Related CN101308441B (zh) 2004-10-12 2005-10-12 三维显示控制方法和三维显示控制装置
CN2005800026763A Expired - Fee Related CN100407118C (zh) 2004-10-12 2005-10-12 三维指示方法和三维指示装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2008101256429A Expired - Fee Related CN101308442B (zh) 2004-10-12 2005-10-12 三维指示方法和三维指示装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2005800026763A Expired - Fee Related CN100407118C (zh) 2004-10-12 2005-10-12 三维指示方法和三维指示装置

Country Status (6)

Country Link
US (1) US7880726B2 (zh)
EP (1) EP1821182B1 (zh)
JP (3) JP4515458B2 (zh)
KR (1) KR100832355B1 (zh)
CN (3) CN101308442B (zh)
WO (1) WO2006041097A1 (zh)

Families Citing this family (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
JP4832826B2 (ja) 2005-07-26 2011-12-07 任天堂株式会社 オブジェクト制御プログラムおよび情報処理装置
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
JP2007272067A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像表示装置
JP2007317050A (ja) * 2006-05-29 2007-12-06 Nippon Telegr & Teleph Corp <Ntt> ３次元表示を用いたユーザインタフェースシステム
KR100811954B1 (ko) * 2006-07-13 2008-03-10 현대자동차주식회사 물체상 표시방법
WO2008024072A1 (en) * 2006-08-25 2008-02-28 Weike (S) Pte Ltd Virtual gaming system and method
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
WO2008029467A1 (fr) * 2006-09-07 2008-03-13 Osaka Electro-Communication University Système, procédé et programme d'entrée de mouvement
US8564543B2 (en) * 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
KR101299682B1 (ko) * 2006-10-16 2013-08-22 삼성전자주식회사 범용 입력장치
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
JP4442683B2 (ja) * 2007-11-27 2010-03-31 セイコーエプソン株式会社 表示システム、表示装置及びプログラム
JP4557058B2 (ja) * 2007-12-07 2010-10-06 ソニー株式会社 情報表示端末、情報表示方法、およびプログラム
US20090167702A1 (en) * 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
KR101499546B1 (ko) * 2008-01-17 2015-03-09 삼성전자주식회사 터치 스크린 장치의 디스플레이 영역 제어 방법, 장치, 및기록매체
JP2009245239A (ja) * 2008-03-31 2009-10-22 Sony Corp ポインタ表示装置、ポインタ表示検出方法、ポインタ表示検出プログラム及び情報機器
US20090309854A1 (en) * 2008-06-13 2009-12-17 Polyvision Corporation Input devices with multiple operating modes
US8169414B2 (en) * 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
US8508475B2 (en) * 2008-10-24 2013-08-13 Microsoft Corporation User interface elements positioned for display
US8984431B2 (en) 2009-03-16 2015-03-17 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
TWI378370B (en) * 2009-05-07 2012-12-01 Wistron Corp Buffered stylus
KR20110004027A (ko) * 2009-07-07 2011-01-13 삼성전자주식회사 펜형 입력 장치 및 이를 이용한 입력 방법
CN101599182B (zh) * 2009-07-29 2012-10-03 威盛电子股份有限公司 三维物件旋转方法和与其对应的计算机系统
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
KR100940744B1 (ko) * 2009-09-24 2010-02-04 (주)디지탈아리아 임베디드 및 모바일 기기에서 3차원 질감을 가진 표면의 접촉 그래픽 효과를 구현하는 방법
US8847889B2 (en) * 2009-10-20 2014-09-30 Shenzhen Yibao Technology Co., Ltd. Mouse pen and photoelectric control switch thereof
US9681112B2 (en) * 2009-11-05 2017-06-13 Lg Electronics Inc. Image display apparatus and method for controlling the image display apparatus
CN101739202B (zh) * 2009-11-06 2011-11-30 谢达 一种局部会自动透视的用户界面显示方法
FI20090434A (fi) * 2009-11-17 2011-05-18 Tampereen Yliopisto Menetelmä, tietokoneohjelma ja laite tietokoneen kanssa tapahtuvaan vuorovaikutukseen
JP5238676B2 (ja) * 2009-11-24 2013-07-17 株式会社コナミデジタルエンタテインメント 入力受付装置、入力判定方法、および、プログラム
JP5898842B2 (ja) * 2010-01-14 2016-04-06 任天堂株式会社 携帯型情報処理装置、携帯型ゲーム装置
EP2355526A3 (en) 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US10007393B2 (en) * 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
JP2011177203A (ja) * 2010-02-26 2011-09-15 Nintendo Co Ltd オブジェクト制御プログラムおよびオブジェクト制御装置
JP5800501B2 (ja) 2010-03-12 2015-10-28 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
WO2011121375A1 (en) * 2010-03-31 2011-10-06 Nokia Corporation Apparatuses, methods and computer programs for a virtual stylus
US8826184B2 (en) 2010-04-05 2014-09-02 Lg Electronics Inc. Mobile terminal and image display controlling method thereof
US9170708B2 (en) 2010-04-07 2015-10-27 Apple Inc. Device, method, and graphical user interface for managing folders
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
JP5229273B2 (ja) * 2010-05-28 2013-07-03 株式会社Ｊｖｃケンウッド タッチパネルを有する電子機器、及び動作制御方法
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
JP5520698B2 (ja) 2010-06-07 2014-06-11 任天堂株式会社 ゲーム装置、ゲームプログラムおよびゲームシステム
US11068149B2 (en) * 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
JP5617375B2 (ja) * 2010-06-22 2014-11-05 ソニー株式会社 画像表示装置、表示制御方法及びプログラム
JP5574849B2 (ja) * 2010-06-28 2014-08-20 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
CN102971692B (zh) * 2010-06-29 2016-06-08 富士胶片株式会社 三维显示设备、三维图像捕获设备、和指示确定方法
JP5589625B2 (ja) 2010-07-08 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20130154929A1 (en) * 2010-08-27 2013-06-20 Sebastian Stopp Multiple-layer pointing position determination on a medical display
JP2012058896A (ja) * 2010-09-07 2012-03-22 Sony Corp 情報処理装置、プログラムおよび情報処理方法
US9207859B2 (en) * 2010-09-14 2015-12-08 Lg Electronics Inc. Method and mobile terminal for displaying fixed objects independent of shifting background images on a touchscreen
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5655478B2 (ja) * 2010-10-01 2015-01-21 ソニー株式会社 情報処理装置、情報処理方法
US9001053B2 (en) * 2010-10-28 2015-04-07 Honeywell International Inc. Display system for controlling a selector symbol within an image
US10146426B2 (en) * 2010-11-09 2018-12-04 Nokia Technologies Oy Apparatus and method for user input for controlling displayed information
JP2012103980A (ja) * 2010-11-11 2012-05-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20120119990A1 (en) * 2010-11-12 2012-05-17 Kye Systmes Corp. Pointer control device, system and method
JP5649169B2 (ja) * 2010-11-22 2015-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ タッチパネルにおけるドラッグ操作でオブジェクトを移動させる方法、装置及びコンピュータプログラム
KR101788049B1 (ko) * 2010-12-15 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6021296B2 (ja) 2010-12-16 2016-11-09 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
KR101763263B1 (ko) * 2010-12-24 2017-07-31 삼성전자주식회사 3ｄ 디스플레이 단말 장치 및 그 조작 방법
US9519357B2 (en) * 2011-01-30 2016-12-13 Lg Electronics Inc. Image display apparatus and method for operating the same in 2D and 3D modes
US9271027B2 (en) * 2011-01-30 2016-02-23 Lg Electronics Inc. Image display apparatus and method for operating the same
US20120206419A1 (en) * 2011-02-11 2012-08-16 Massachusetts Institute Of Technology Collapsible input device
US20120223935A1 (en) * 2011-03-01 2012-09-06 Nokia Corporation Methods and apparatuses for facilitating interaction with a three-dimensional user interface
JP2012190184A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012190183A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
KR101781908B1 (ko) * 2011-03-24 2017-09-26 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US8314790B1 (en) * 2011-03-29 2012-11-20 Google Inc. Layer opacity adjustment for a three-dimensional object
US20120272180A1 (en) * 2011-04-20 2012-10-25 Nokia Corporation Method and apparatus for providing content flipping based on a scrolling operation
JP5136675B2 (ja) * 2011-06-09 2013-02-06 ソニー株式会社 ポインタ表示装置、ポインタ表示検出方法及び情報機器
US8933913B2 (en) 2011-06-28 2015-01-13 Microsoft Corporation Electromagnetic 3D stylus
JP2013016018A (ja) * 2011-07-04 2013-01-24 Canon Inc 表示制御装置、制御方法及びプログラム
US9373168B2 (en) * 2011-07-13 2016-06-21 Koninklijke Philips N.V. Method for automatically adjusting a focal plane of a digital pathology image
KR101941644B1 (ko) * 2011-07-19 2019-01-23 삼성전자 주식회사 휴대 단말기의 피드백 제공 방법 및 장치
US20150002486A1 (en) * 2011-08-29 2015-01-01 Dolphin, S.R.O. Multifunctional pencil input peripheral computer controller
CN102981743B (zh) * 2011-09-05 2016-05-25 联想(北京)有限公司 控制操作对象的方法及电子设备
US9501098B2 (en) 2011-09-19 2016-11-22 Samsung Electronics Co., Ltd. Interface controlling apparatus and method using force
US9519350B2 (en) 2011-09-19 2016-12-13 Samsung Electronics Co., Ltd. Interface controlling apparatus and method using force
CN103842945B (zh) * 2011-10-11 2016-09-28 国际商业机器公司 对象指向方法、设备
CN102508561B (zh) * 2011-11-03 2013-11-06 深圳超多维光电子有限公司 一种操作棒
CN102508563B (zh) * 2011-11-03 2013-08-07 深圳超多维光电子有限公司 一种立体交互方法以及被操作设备
CN102508562B (zh) * 2011-11-03 2013-04-10 深圳超多维光电子有限公司 一种立体交互系统
CN102426486B (zh) * 2011-11-03 2013-08-07 深圳超多维光电子有限公司 一种立体交互方法及被操作设备
US20130117717A1 (en) * 2011-11-03 2013-05-09 Shenzhen Super Perfect Optics Limited 3d user interaction system and method
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
JP2013125247A (ja) * 2011-12-16 2013-06-24 Sony Corp ヘッドマウントディスプレイ及び情報表示装置
JP6123160B2 (ja) * 2012-03-13 2017-05-10 株式会社ニコン 電子機器、及び表示装置
US20150029149A1 (en) * 2012-03-13 2015-01-29 Telefonaktiebolaget L M Ericsson (Publ) Apparatus and Method for Navigating on a Touch Sensitive Screen Thereof
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
DE112013002409T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
JP5808712B2 (ja) * 2012-05-23 2015-11-10 日立マクセル株式会社 映像表示装置
US9098516B2 (en) * 2012-07-18 2015-08-04 DS Zodiac, Inc. Multi-dimensional file system
KR101986218B1 (ko) * 2012-08-02 2019-06-05 삼성전자주식회사 디스플레이 장치 및 방법
WO2014054317A1 (ja) * 2012-10-05 2014-04-10 Ｎｅｃソフト株式会社 ユーザインタフェース装置及びユーザインタフェース方法
JP6096473B2 (ja) * 2012-11-01 2017-03-15 東芝メディカルシステムズ株式会社 医用画像診断装置、および、医用画像処理方法
US10241638B2 (en) 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP2939095B1 (en) * 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
EP2763019A1 (en) * 2013-01-30 2014-08-06 BlackBerry Limited Stylus based object modification on a touch-sensitive display
US9075464B2 (en) 2013-01-30 2015-07-07 Blackberry Limited Stylus based object modification on a touch-sensitive display
CN104077013B (zh) * 2013-03-28 2019-02-05 联想(北京)有限公司 指令识别方法和电子设备
TWI502459B (zh) * 2013-07-08 2015-10-01 Acer Inc 電子裝置及其觸控操作方法
JP5616503B1 (ja) * 2013-08-30 2014-10-29 ヤフー株式会社 配信装置、端末装置、配信方法及び配信プログラム
KR101531169B1 (ko) * 2013-09-23 2015-06-24 삼성전자주식회사 사용자 단말에서 3차원 객체를 그리는 방법 및 이를 수행하는 사용자 단말
CN105849675B (zh) 2013-10-30 2019-09-24 苹果公司 显示相关的用户界面对象
US10430017B2 (en) * 2013-12-04 2019-10-01 City University Of Hong Kong Target pointing system making use of velocity dependent cursor
US10775901B2 (en) * 2014-01-31 2020-09-15 Qualcomm Incorporated Techniques for identifying rolling gestures on a device
JP2015149634A (ja) * 2014-02-07 2015-08-20 ソニー株式会社 画像表示装置および方法
JP5968573B2 (ja) * 2014-02-18 2016-08-10 三菱電機株式会社 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法
JP2015156135A (ja) * 2014-02-20 2015-08-27 株式会社東芝 表示装置、方法及びプログラム
CN103984425B (zh) * 2014-04-25 2017-01-04 深圳超多维光电子有限公司 用于立体显示交互的操作棒和操作棒的控制方法
US9827714B1 (en) 2014-05-16 2017-11-28 Google Llc Method and system for 3-D printing of 3-D object models in interactive content items
JP6112618B2 (ja) * 2014-07-17 2017-04-12 Ｎｅｃプラットフォームズ株式会社 情報処理システム
CN110072131A (zh) 2014-09-02 2019-07-30 苹果公司 音乐用户界面
US9766724B2 (en) * 2014-11-03 2017-09-19 Lenovo (Singapore) Pte. Ltd. Orientation dependent stylus button function
CN105787402B (zh) * 2014-12-16 2019-07-05 阿里巴巴集团控股有限公司 一种信息展示方法及装置
KR101652973B1 (ko) * 2014-12-17 2016-09-05 주식회사 트레이스 스타일러스 펜의 기울기 정보를 이용하는 디지타이저
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
JP6521055B2 (ja) * 2015-03-20 2019-05-29 株式会社リコー 表示装置、表示制御方法、表示制御プログラムおよび表示システム
JP6651297B2 (ja) 2015-03-27 2020-02-19 ユニバーシティ・オブ・タンペレＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｔａｍｐｅｒｅ ハプティック・スタイラス
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
KR102465804B1 (ko) * 2015-05-12 2022-11-10 엘지전자 주식회사 영상표시장치 및 그것의 제어방법
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
US11262897B2 (en) 2015-06-12 2022-03-01 Nureva Inc. Method and apparatus for managing and organizing objects in a virtual repository
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
KR102449838B1 (ko) 2015-09-01 2022-09-30 삼성전자주식회사 사용자의 인터랙션에 기초하여 3차원 오브젝트를 처리하는 방법 및 장치
JP5997824B1 (ja) * 2015-11-10 2016-09-28 株式会社オプティム 遠隔端末、遠隔指示方法及び遠隔端末用プログラム
US9684391B1 (en) * 2015-12-11 2017-06-20 Logomark, Inc. Telescopic mechanism and touch tool for writing instrument or the like
CN105427824B (zh) * 2016-01-05 2016-11-30 京东方科技集团股份有限公司 具有漏电补偿模块的goa电路、阵列基板和显示面板
EP3404524B1 (en) * 2016-02-04 2022-04-06 Huawei Technologies Co., Ltd. Data processing method and electronic device
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
CN107621893B (zh) * 2016-07-15 2020-11-20 苹果公司 在非电子表面上使用电子输入设备的内容创建
US10915185B2 (en) 2016-10-31 2021-02-09 Hewlett-Packard Development Company, L.P. Generating a three-dimensional image using tilt angle of a digital pen
KR20180074070A (ko) * 2016-12-23 2018-07-03 현대자동차주식회사 차량, 및 그 제어방법
JP6382928B2 (ja) * 2016-12-27 2018-08-29 株式会社コロプラ 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
EP3595424B1 (en) * 2017-03-08 2022-04-27 Fuji Corporation Three-dimensional mounting device and three-dimensional mounting method
CN107102750B (zh) * 2017-04-23 2019-07-26 吉林大学 一种基于笔式交互系统的虚拟三维空间中目标的选择方法
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
US20210278954A1 (en) * 2017-07-18 2021-09-09 Hewlett-Packard Development Company, L.P. Projecting inputs to three-dimensional object representations
JP7134656B2 (ja) * 2018-03-15 2022-09-12 ソニー・オリンパスメディカルソリューションズ株式会社 医療用表示制御装置、および表示制御方法
US10592013B2 (en) * 2018-04-25 2020-03-17 Microsoft Technology Licensing, Llc Systems and methods for unifying two-dimensional and three-dimensional interfaces
KR20190140657A (ko) * 2018-06-12 2019-12-20 삼성전자주식회사 오브젝트를 생성하는 전자장치 및 시스템
CN108984262B (zh) * 2018-07-12 2021-04-13 宁波视睿迪光电有限公司 三维指针的创建方法、装置及电子设备
EP3675063A1 (en) * 2018-12-29 2020-07-01 Dassault Systèmes Forming a dataset for inference of solid cad features
EP3675062A1 (en) 2018-12-29 2020-07-01 Dassault Systèmes Learning a neural network for inference of solid cad features
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
EP3948517A1 (en) 2019-05-31 2022-02-09 Apple Inc. User interfaces for audio media control
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US11042220B2 (en) * 2019-08-02 2021-06-22 Gustavo Mantovani Ruggiero Three-dimensional input device
KR102221172B1 (ko) * 2019-10-04 2021-03-02 (주) 아이.에스.브이. 펜마우스의 가상클릭 제어방법
US11946996B2 (en) 2020-06-30 2024-04-02 Apple, Inc. Ultra-accurate object tracking using radar in multi-object environment
US20220004299A1 (en) * 2020-07-01 2022-01-06 Wacom Co., Ltd. Systems and methods for dynamic shape sketching
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11681835B2 (en) * 2020-12-31 2023-06-20 Hexagon Technology Center Gmbh Rapid positioning drawing system and method
US11614806B1 (en) 2021-05-12 2023-03-28 Apple Inc. Input device with self-mixing interferometry sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1369863A (zh) * 2001-02-15 2002-09-18 矽统科技股份有限公司 通过预先排序以增进三维空间电脑绘图效果的方法
CN1501325A (zh) * 2002-09-20 2004-06-02 日本电信电话株式会社 伪三维图像生成设备

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6022359B2 (ja) * 1981-12-10 1985-06-01 松下電器産業株式会社 立体表示装置の表示入力装置
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US4808979A (en) * 1987-04-02 1989-02-28 Tektronix, Inc. Cursor for use in 3-D imaging systems
JPH01134521A (ja) * 1987-11-19 1989-05-26 Toppan Printing Co Ltd 三次元座標入力・修正装置
JPH031217A (ja) * 1989-05-29 1991-01-07 Olympus Optical Co Ltd 立体画像処理装置
JPH0573208A (ja) 1991-09-13 1993-03-26 Wacom Co Ltd 制御装置分離型の表示装置付座標検出装置
JPH0675693A (ja) 1992-08-25 1994-03-18 Toshiba Corp ３次元ポインティング装置
JPH0816137A (ja) 1994-06-29 1996-01-19 Nec Corp ３次元座標入力装置及びカーソル表示制御方式
JPH08248938A (ja) 1995-03-13 1996-09-27 Mitsubishi Electric Corp ポインティング装置
JP3741764B2 (ja) * 1996-02-09 2006-02-01 シャープ株式会社 三次元画像作成装置
JP2976879B2 (ja) * 1996-03-22 1999-11-10 日本電気株式会社 深さ付きウィンドウ表示方式
US5880733A (en) 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
JP3539839B2 (ja) * 1996-06-18 2004-07-07 コナミ株式会社 疑似３次元表示されたフィールド内におけるカーソルの表示方法、ゲームシステム及び記録媒体
JP3476651B2 (ja) * 1997-05-09 2003-12-10 シャープ株式会社 データ表示装置およびデータ表示プログラムを格納したコンピュータ読み取り可能な記録媒体
JPH117372A (ja) * 1997-06-17 1999-01-12 Hitachi Ltd 図形選択装置
JPH11341456A (ja) * 1998-05-29 1999-12-10 Matsushita Graphic Communication Systems Inc 家庭用マルチメディア通信システム
JP2000099232A (ja) * 1998-09-17 2000-04-07 Nippon Telegr & Teleph Corp <Ntt> Ｗｅｂページ多重同時表示閲覧方法および装置とＷｅｂページ多重同時表示閲覧プログラムを記録した記録媒体
JP2000185179A (ja) 1998-12-24 2000-07-04 Copcom Co Ltd 画像処理装置および記録媒体
EP1109091A1 (en) 1999-12-14 2001-06-20 Sun Microsystems, Inc. Display of selectable objects using visual feedback
JP4582863B2 (ja) 2000-05-22 2010-11-17 株式会社バンダイナムコゲームス 立体視映像表示装置、及び情報記憶媒体
JP2002196874A (ja) * 2000-12-27 2002-07-12 Ntt Docomo Inc 手書きデータ入力装置及び方法並びに個人認証装置及び方法
NZ511120A (en) 2001-04-12 2003-05-30 Deep Video Imaging Ltd Multi screen display, each screen being spaced physically apart from the other
JP2003076719A (ja) * 2001-06-22 2003-03-14 Sony Computer Entertainment Inc 情報閲覧プログラム、情報閲覧プログラムを記録した記録媒体、情報閲覧装置及び方法、情報生成プログラム、情報生成プログラムを記録した記録媒体、情報生成装置及び方法、情報生成閲覧システム
JP2003085590A (ja) * 2001-09-13 2003-03-20 Nippon Telegr & Teleph Corp <Ntt> ３次元情報操作方法およびその装置，３次元情報操作プログラムならびにそのプログラムの記録媒体
WO2003083822A1 (en) * 2002-01-25 2003-10-09 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
JP3982288B2 (ja) * 2002-03-12 2007-09-26 日本電気株式会社 三次元ウィンドウ表示装置、三次元ウィンドウ表示方法及び三次元ウィンドウ表示プログラム
JP2004070920A (ja) * 2002-06-11 2004-03-04 Sony Computer Entertainment Inc 情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、情報処理方法、及び情報処理装置
JP2004054777A (ja) * 2002-07-23 2004-02-19 Minolta Co Ltd ファイル管理装置
JP2004362408A (ja) 2003-06-06 2004-12-24 Canon Inc ３次元データ表示操作装置
US7480873B2 (en) 2003-09-15 2009-01-20 Sun Microsystems, Inc. Method and apparatus for manipulating two-dimensional windows within a three-dimensional display model
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1369863A (zh) * 2001-02-15 2002-09-18 矽统科技股份有限公司 通过预先排序以增进三维空间电脑绘图效果的方法
CN1501325A (zh) * 2002-09-20 2004-06-02 日本电信电话株式会社 伪三维图像生成设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2003-85590A 2003.03.20
JP特开2004-70920A 2004.03.04

Also Published As

Publication number Publication date
JPWO2006041097A1 (ja) 2008-05-15
JP5074475B2 (ja) 2012-11-14
CN1910543A (zh) 2007-02-07
CN101308442A (zh) 2008-11-19
CN101308441A (zh) 2008-11-19
KR20070039868A (ko) 2007-04-13
EP1821182A4 (en) 2011-02-23
WO2006041097A1 (ja) 2006-04-20
US7880726B2 (en) 2011-02-01
JP4515458B2 (ja) 2010-07-28
JP2010055627A (ja) 2010-03-11
JP5230787B2 (ja) 2013-07-10
EP1821182B1 (en) 2013-03-27
JP2012079328A (ja) 2012-04-19
EP1821182A1 (en) 2007-08-22
US20080225007A1 (en) 2008-09-18
CN100407118C (zh) 2008-07-30
KR100832355B1 (ko) 2008-05-26
CN101308442B (zh) 2012-04-04

Similar Documents

Publication Publication Date Title
CN101308441B (zh) 三维显示控制方法和三维显示控制装置
US11003304B2 (en) Information display terminal, information display method and program
US11048333B2 (en) System and method for close-range movement tracking
CN105593787B (zh) 用于与数字设备交互的直接指向检测的系统和方法
US7324085B2 (en) Techniques for pointing to locations within a volumetric display
KR101979317B1 (ko) 근접 범위 움직임 추적 시스템 및 방법
KR101493643B1 (ko) 표시 장치, 유저 인터페이스 방법 및 프로그램
Hachet et al. Navidget for easy 3d camera positioning from 2d inputs
US10180714B1 (en) Two-handed multi-stroke marking menus for multi-touch devices
JP2013037675A5 (zh)
US6336052B1 (en) Data acquistion image analysis image manipulation interface
Kim et al. Tangible 3D: Hand Gesture Interaction for Immersive 3D Modeling.
CN110419019A (zh) 具有能实现所显示信息和/或数据的同时多功能操作的显示器的智能设备
CN114529691A (zh) 一种窗口控制方法、电子设备及计算机可读存储介质
JP2013175113A (ja) 情報処理装置、情報処理方法及びプログラム
KR101559424B1 (ko) 손 인식에 기반한 가상 키보드 및 그 구현 방법
JP4907156B2 (ja) ３次元ポインティング方法および３次元ポインティング装置ならびに３次元ポインティングプログラム
WO2015127485A2 (en) Dynamic information transfer from display to control

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100922

Termination date: 20181012