CN1272192A - 图像处理装置和方法及提供媒体 - Google Patents

Abstract

本发明为了可正确跟踪预定部位,由所输入的图像取入低分辨率的全体图像51,由其中抽出以头部为中心的中分辨率的图像52。可抽出以中分辨率的头部为中心的图像52时,再抽出以高分辨率的两眼部为中心的图像53。对应所抽出的图像53,使与所输入的图像不同的所定图像变化并显示。

Description

图像处理装置和方法及提供媒体

技术领域

本发明涉及一种图象处理装置、方法及提供媒体，特别是关于一种可连续抽出、跟踪预定图像变化的图像处理装置、方法及提供媒体。

背景技术

最近计算机娱乐装置普及，在各家庭可进行游戏。在此计算机娱乐装置方面，通常使用者操作按钮或操纵杆等，使游戏的对象(人物)向任意方向以任意速度移动。

这样，在现有装置，由于操作按钮或操纵杆等，输入各种命令，所以只不过是可使按钮或操纵杆等的操作技巧反映到游戏上，有不能享受更富于变化的游戏的课题。

本发明就是鉴于这种情况所完成的，可享受更富于变化的游戏。

发明的公开

本发明的图象处理装置，其特征在于具备：第一抽出装置，从所输入的图象抽出预定部位的图象；第二抽出装置，抽出作为第一抽出装置所抽出的预定部位一部分的更高分辨率的图象；及跟踪装置，为了第二抽出装置可从第一抽出装置所抽出的图象连续抽出预定部位的图象，跟踪预定部位的图像。

本发明的图像处理方法，其特征在于包含：第一抽出步骤，从所输入的图像抽出预定部位的图像；第二抽出步骤，抽出作为在第一抽出步骤所抽出的预定部位一部分的更高分辨率的图像；及跟踪步骤，为了可在第二抽出步骤从在第一抽出步骤所抽出的图像连续抽出预定部位的图像，跟踪预定部位的图像。

本发明的提供媒体，其特征在于：提供使图像处理装置执行的程序，该处理包含第一抽出步骤，从所输入的图像抽出预定部位的图像；第二抽出步骤，抽出作为在第一抽出步骤所抽出的预定部位一部分的更高分辨率的图像；及跟踪步骤，为了可在第二抽出步骤从在第一抽出步骤所抽出的图像连续抽出预定部位的图像，跟踪预定部位的图像。

本发明的图像处理装置、图像处理方法及提供媒体，为了可从所输入的图像连续跟踪预定部位的图像，抽出更高分辨率的图像。

附图的简单说明

图1为显示适用本发明的图像处理系统结构例的方块图。

图2为显示图1的图像处理装置结构例的方块图。

图3为说明图2的图像处理装置的表情数据取得处理的流程图。

图4为说明图3的步骤S1的活动图像取得处理的流程图。

图5为说明图4的活动图像取得处理图。

图6为显示图3的步骤S2的显示例图。

图7为显示图3的步骤S7的显示例图。

图8为显示图3的步骤S11的处理例图。

图9为显示图3的步骤S13的处理例图。

图10为显示图3的步骤S14的处理例图。

图11为显示图3的步骤S14的聚会活动处理的流程图。

图12为说明聚会活动处理的图。

图13为说明聚会活动处理其他例的图。

图14为说明锥形过滤处理图。

图15为说明锥形过滤处理的流程图。

图16为说明图15的步骤S62、S64的处理图。

图17为说明帧间差分处理图。

图18为说明帧间差分处理的流程图。

实施发明的最佳形态

以下说明本发明的实施形态，但为了阐明权利要求所述的发明的各装置和以下实施形态的对应关系，在各装置后的括弧内附加对应的实施形态(只是一例)，而描述本发明的特征则如下。但是，当然此记载并不意味着限定所记载的各装置。

本发明的图像处理装置，其特征在于具备：第一抽出装置(例如图4的步骤S32)，从所输入的图像抽出预定部位的图像；第二抽出装置(例如图4的步骤S35)，抽出作为第一抽出装置所抽出的预定部位一部分的更高分辨率的图像；及跟踪装置(例如图4的步骤S36)：为了第二抽出装置可从第一抽出装置所抽出的图像连续抽出预定部位的图像，跟踪预定部位的图像。

另外，本发明的图像处理装置，其特征在于还具备显示控制装置(例如图3的步骤S2)，使所输入的图像显示作为左右反转的图像。

另外，本发明的图像处理装置，其特征在于还具备显示控制装置(例如图3的步骤S9)，使和所输入的图像不同的预定图像显示，同时使该图像与由第二抽出装置所抽出的图像对应变化。

图1为显示适用本发明的图像处理系统结构例的方块图。如同图所示，在此系统，图像处理装置1-1至1-3通过国际互联网2连接在服务器3。图像处理装置1-1至1-3(以下无需分别区分这些装置时，只称为图像处理装置1，至于其他装置也同样)将和自己假想现实空间上的使用者假脸图像现在位置同时含有使用者假脸图像表情的数据通过国际互联网2送出到服务器3。服务器3对应各图像处理装置1通过国际互联网2供应位于由该处所供应的假想现实空间内的位置附近的使用者假脸图像的图像数据。

图2为显示图像处理装置1-1结构例的方块图。虽然图示省略，但图像处理装置1-2、1-3也和图像处理装置1-1同样地构成。

通过总线34，主存储器32和图像处理芯片33连接主CPU31主CPU31产生描绘命令，控制图像处理芯片33的动作。在主存储器32适当存储主CPU31在执行各种处理时所需的程序或数据等。

图像处理芯片33的描绘引擎41与由主CPU31所供应的描绘命令对应，通过存储器接口42执行在图像存储器43描绘预定图像数据的动作。总线45连接于存储器接口42和描绘引擎41之间，总线46连接于存储器接口42和图像存储器43之间。总线46例如具有128位的位宽度，描绘引擎41对于图像存储器43可高速执行描绘处理。描绘引擎41例如具有以下能力：实时地在(1/30秒至1/60秒)之间描绘十几次至几十次以上NTSC制式、PAL制式等320×240像素的图像数据或者640×480像素的图像数据。

图像处理芯片33还有可编程CRT控制器(PCRTC)44，此PCRTC44具有以下功能：实时地控制由视频摄像机35所输入的图像数据位置、大小、分辨率等。PCRT44将由视频摄像机35所输入的图像数据通过存储器接口42写入图像存储器43的纹理区。此外，PCRTC44通过存储器接口42读取描绘于图像存储器43的描绘区的图像数据，将其输出到CRT36，进行显示。图像存储器43形成可在同一区指定纹理区和描绘区的单一存储器构造。

声音处理芯片37处理由传声器38所输入的声音数据，从通信部40通过国际互联网2输出到其他图像处理装置1。此外，声音处理芯片37通过通信部40处理由其他图像处理装置1所供应的声音数据，输出到扬声器39。通信部40通过国际互联网2和在其他图像处理装置1或服务器3之间授受数据。使用者输入各种命令时，操作输入部30。

描绘引擎41与下述模式对应，该模式为来自主CPU31的混合模式设定函数Set-Mode(MODE)所指定，在图像存储器43的描绘区上的目标像素值DF(X，Y)和纹理区的像素值SP(X，Y)之间进行混合处理。

描绘引擎41执行的混合模式中存在模式0至模式3，在各模式执行如下的混合：

MODE 0：SP(X，Y)

MODE 1：DP(X，Y)+SP(X，Y)

MODE 2：DP(X，Y)-SP(X，Y)

MODE 3：(1-α_SP(X，Y))^*DP(X，Y)+α_SP(X，Y)^*SP(X，Y)

又α_SP(X，Y)表示源像素值的α值。

即，在模式0将源像素值直接描绘于目标上，模式1将源像素值加在目标像素值上描绘，在模式2从目标像素值减去源像素值进行描绘。此外，在描态3进行与源α值对应的加权，合成源像素值和目标像素值。

描绘于图像存储器43的描绘区的图像数据通过存储器接口42读出到PCRTC44，从该处输出到JCRT36显示。

其次，参照图3的流程图，就其动作加以说明。最初，在步骤S1执行活动图像取得处理。此活动图像取得处理一部分的细节显示于图4的流程图。

即，最初在步骤S31，PCRTC44从由视频摄像机35所输入的图像取入全部画面的低分辨率的图像数据，将此数据通过存储器接口42供应给图像存储器43，使之存储。据此，如图5所示，在图像存储器43的图像区50上存储处理图像51。

其次，进入步骤S32，主CPU31控制PCRTC44，执行从在步骤S31所输入的图像抽出被摄物体(使用者)头部部分的处理。即，从处理图像51抽出头部部分的图像52。在步骤S33，主CPU31判断是否可从在步骤S31取入的图像抽出头部部分，不能时，回到步骤S31，反复执行其以后的处理。

在步骤S33，判断可抽出头部部分时，进入步骤S34，主CPU31控制PCRTC44，使以在步骤S32抽出的头部为中心的区域以中分辨率取入。即，如图5所示，从在步骤S31所取入的低分辨率的处理图像51取入以头部为中心的中分辨率的图像52，使其存储于图像存储器43的图像区。

其次，在步骤S35，主CPU31执行从以步骤S34所取入的中分辨率的头部为中心的图像抽出两眼部的图像的处理。即，执行从以图5的头部为中心的中分辨率的图像52抽出两眼部部分的处理。在步骤S36，判断是否可抽出两眼部部分，不能抽出时，回到步骤S31，反复执行其以后的处理。

在步骤S36，判断可抽出两眼部时，主CPU31控制PCRTC44，进入步骤S37，使以高分辨率取入以两眼部为中心的区域的处理执行。即，从以图5所示的头部为中心的中分辨率的图像52使以两眼部为中心的高分辨率的图像53取入，使其存储于图像区50上。

其次，在步骤S38，主CPU31执行从在步骤S37所取入的高分辨率的图像53抽出两眼部，测量其位置的处理。在步骤39，判断是否可抽出两眼部，不能时，回到步骤S34，反复执行其以后的处理。在步骤S39，判断可抽出两眼部时，回到步骤S37，反复执行其以后的处理。

如以上那样，以更高分辨率的图像抽出预定部位，不能抽出预定部位时，回到更低分辨率的处理步骤，反复执行其以后的处理，在使用者对于视频摄像机35相对移动时，也可以自动确实跟踪其两眼部，作为图像取入。

在图3的步骤S1，执行包含如以上的图4所示的处理的处理，自动跟踪被摄物体的两眼部，得到被摄物体的图像(脸面图像)，在步骤S2，主CPU31控制描绘引擎41，使左右反转图像产生，将此图像输出到CRT36，使其显示。即，描绘引擎41与来自主CPU31的命令对应，将在步骤S1所取入的使用者脸面的图像变换成反转其左右的图像(镜象图像)。将反转此左右的图像通过PCRTC44输出到CRT36，如图6所示地显示，使线P1重叠显示于在步骤S35、S37、S38抽出的两眼部抽出区域，可识别使用者。

在步骤S35、S37、S38，对于嘴也抽出时，如图6所示，在嘴的抽出区域周围显示线P2。

这样，若显示线P1、P2，则使用者可认识抽出以此线P1、P2包围的区域，进行跟踪动作。

其次，进入步骤S3，使用者观看CRT36的显示图像，判断是否需要相对地变换位置调整自己的位置或视频摄像机35的位置，判断需要位置调整时，进入步骤S4，适当调整频摄像机35位置或自己位置。其后，回到步骤S1，反复执行其以后的处理。

在步骤S3，判断无需调整视频摄像机35或自己的位置时，进入步骤S5，主CPU31进行为了抽出脸面特征的动作指示。即，主CPU31控制声音处理芯片37，从扬声器39对于使用者，如做摇头、眨眼、嘴开闭动作等预定动作，指示使用者。当然，也可以控制描绘引擎41，在图像存储器43描绘预定消息，将此描绘的消息通过PCRTC44输出到CRT36，使其显示，进行此指示。

其次，进入步骤S6，主CPU31与在步骤S5的动作指示对应，抽出使用者进行的动作变化作为图像变化，抽出脸面的特征区域，即，例如命令眨眼后，识别在所取入的图像产生变化的部分作为眼。此外，命令嘴开闭后，识别变化的图像区域作为嘴部分。

其次，进入步骤S7，主CPU31产生假脸的CG图像，使此图像控制描绘引擎41，重叠描绘于使用者脸面图像的显示位置。将此图像通过PCRTC44输出到CRT36，在CRT36例如图7所示，就显示将使用者图像的脸面部分换成假脸的图像。

其次，进入步骤S8，主CPU31从扬声器39或CRT36输出消息，该消息将变动在步骤S6抽出的脸面的特征区域(例如眼、嘴、眉等)指示使用者。即，例如对于使用要求眨眼、关闭嘴或升降眉。使用者若与此要求对应，眨眼、关闭口或升降眉，就透过视频摄像机35取入其图像。主CPU31与动作指示对应，在步骤S9检测变化的区域作为与其指示对应的区域变化，与其检测结果对应，使在步骤S7显示的假脸对应的部位变化。即，与眨眼的动作指示对应，使用者进行眨眼，检测此眨眼时，主CPU31使假脸的眼眨眼。同样地，使用者关闭口或升降眉时，与此对应，使假脸的嘴关闭，使假脸的眉升降。

其次，在步骤S10，使用者判断是否正确抽出位置。口与眨眼的动作指示对应，虽然眨眼，但假脸的眼不眨眼时，使用者操作输入部30的预定键，将未正确进行位置抽出通知主CPU31。此时，在步骤S11，主CPU31输出修正指示。即，输出以下消息：对于使用者指示静止，同时除去被认为成为错误判断因素的背景移动或变更照明等。使用者与此消息对应，在自己背后有移动的东西时，将此除去或变更照明。而且，主CPU31例如如图8所示，指示在头上缠头巾或指示戴帽子。使用者与此指示对应缠头巾或戴帽子，就可以该处为基准检测出头部。因此，这种情况，回到步骤S1，反复执行其以后的处理。

在步骤S10，判断正确抽出位置时，进入步骤S12，判断是否正确抽出表情。即，使用者例如与在步骤S8的动作指示对应，动面颊，但在步骤S9所显示的假脸的面颊不变化时，操作输入部30，将表情抽出处理未成功通知主CPU31。主CPU31此时在步骤S13输出修正指示。例如主CPU31对于使用者指示在面颊部分化装或施加标记。使用者与此指示对应，在面颊化装或施加标记，则取入如图9所示的图像，所以主CPU31以其化装或标记为基准，可正确抽出面颊。因此，在这种情况也从步骤S13回到步骤S1，反复执行其以后的处理。

在步骤S12，判断可正确抽出表情时，如图10所示，可得到与使用者脸面变化对应而具有表情变化的假脸的使用者图像。于是，这种情况进行步骤S14，执行聚会活动处理。此聚会活动处理的细节显示于图11。

最初，在步骤S51，主CPU31产生将具有在步骤S9产生的假脸的使用者图像作为假想现实空间的使用者假脸图像的图像，控制描绘引擎41，使此图像描绘于图像存储器43。其次，在步骤S52，主CPU31从图像存储器43读出使用者假脸图像的图像数据，使此数据供应给通信部40。然后，主CPU31再控制通信部40，使其图像数据通过国际互联网2传送给服务器3。此外，此时主CPU31与来自输入部30的操作对应，也使服务器3提供的假想现实空间内的与使用者假脸图像位置对应的位置数据同时传送。

再者，在步骤S53，主CPU31控制声音处理芯片37，使从传声器38所输入的使用者声音数据从通信部40通过国际互联网2传送给服务器3。

服务器3通过国际互联网2例如从图像处理装置1-1输入对应的使用者假脸图像的图像数据、在假想现实空间的位置数据及声音数据时，将这些数据供应给位于其位置附近的使用者假脸图像对应的图像处理装置1(例如图像处理装置1-2和图像处理装置1-3)。同样地，从图像处理装置1-2、1-3通过国际互联网2传送来其使用者假脸图像的图像数据、位置数据及声音数据时，服务器3将此数据通过国际互联网2输出到图像处理装置1-1。

图像处理装置1-1的主CPU31这样从其他图像处理装置1-2、1-3传送来使用者假脸图像的图像数据、其位置数据及声音数据时，在步骤S54接收此数据。然后，主CPU31控制描绘引擎41，使图像存储器43在假想现实空间的图像上的对应位置描绘对应的使用者假脸图像的图像。然后，利用PCRTC44读出此所描绘的图像数据，输出到CRT36显示。此外，主CPU31将传送来的声音数据输出到声音处理芯片37，使其声音处理后，从扬声器39输出。

如以上所述，例如如图12所示，在使用者A使用的图像处理装置1-1的CRT36-1显示其他使用者(图12的显示例时，使用者B和使用者D)的使用者假脸图像61-2、61-4。此外，在使用者B的图像处理装置1-2的CRT36-2显示使用者A的使用假脸图像61-1和使用者C的使用者假脸图像61-3。使用者A一说话，此话就为传声器38所输入，例如由使用者B的图像处理装置1-2的扬声器39所播送。此外，此时以视频射像机35-1取入使用者A的图像，所以使用者A的假脸图像61-1的嘴与使用者A的嘴对应变化。同样地，使用者B一改变表情，此表情就为其视频摄像机35-2所取入，使用者B的使用者假脸图像61-2的表情变化。

在步骤S55，到指示结束止反复执行如以上的处理。

另外，在以上是通过服务器3在多数使用者的假脸图像和假想现实空间享有假想聚会，但也可以如图13所示，在使用者A和使用者B之间有一对一的假想聚会。

在图4的步骤S32的处理，抽出头部时，例如可以头发颜色为基准抽出头部。这种情况，可利用锥形过滤处理。一进行锥形过滤处理，就运算各像素值的平均值，所以可抽出其平均值和头发颜色的像素值近似的区域作为头发的区域。

其次，就锥形过滤处理加以说明。在此锥形过滤处理，如图14示，为反复以下处理：求出处理图像互相邻接的4个像素值的平均值，将其像素配置于4个像素中心。即，利用双线性插值法执行运算附近4点的平均像素值的处理，就可从n×n个(n为2的乘方值)处理图像得到(n/2)×(n/2)图像数据，反复执行此处理，最后锥形顶点的1像素数据就成为表示锥形底面全部像素平均值的像素数据。

执行这种锥形过滤处理时，主CPU31对于描绘引擎41输出如下的描绘命令：

int L；/*源区一边的长度*/

    int offset；

    L＝2N＾；/*起始图像一边的长度*/

    offset＝0；

    while(L＞1){

    Set_Texture_Base(0，offset)；/*纹理区的基点设定*/
    offset+＝L
    Set_Drawing_Base(0，offset)；/*描绘区基点设定*/

    Flat_Texture_Rectangle(0，0，L/2，0，L/2，L/2，0，L/2，0.5，0.5，L+
0.5，0.5，L+0.5，L+0.5，0.5，L+0.5，1.0)：

    L＝L/2；

    }

将此描绘命令表示成流程图，则如图15所示。最初，在步骤S61，变量offset起始设定为0。其次，在步骤S62，执行将纹理区51的基点设定成(0，offset)的处理。即，如图16所示，设定基点T(0，0)。其次，进入步骤S63，将变量offset只增加L。然后，在步骤S64，在描绘区52的基点设定(0，offset)。现在的情况，如图16所示，设定基点D(0，L)。

其次，在步骤S65，执行以下处理：源(纹理区)四边形(0.5，0.5，L+0.5，0.5，L+0.5，L+0.5，0.5，L+0.5)的像素值乘以1，加在目标四角形(0，0，L/2，0，L/2，L/2，0，L/2)上描绘。即，藉此从图14所示的最下面(锥形底面)的处理图像可得到1个上面阶层的处理图像。

其次，进入步骤S66，以变量L为现在值的1/2。在步骤S67，判断变量L是否比1大，变量L比1大时，回到步骤S62，反复执行其以后的处理。即，藉此从第二阶层起可再得到第三阶层的图像数据。

以下，反复执行同样的处理，在步骤S67，判断变量L不比1大时(判断变量L等于1时)，结束锥形过滤处理。

此外，与图3的步骤S5的动作指示对应，在步骤S6抽出脸面的特征区域时，可与动作指示对应进行帧(frame)间差分处理抽出变化的区域(动的部分)。

其次，就帧间差分处理加以说明。在此帧间差分处理，如图17所示，运算在时刻t的帧图像和在时刻t+1的帧图像之差。藉此，可抽出有动的图像区域。

即，这种情况，主CPU31对于描绘引擎41，使如图18的流程图所示的处理执行。最初，在步骤S81，描绘引擎41与来自主CPU31的命令对应，设定模式2作为混合模式。其次，在步骤S82，描绘引擎41在由视频摄像机35所输入的图像数据中，以时间上在后的帧图像数据为目标图像，以时间上在前的帧图像数据为源图像数据。然后，在步骤S83，描绘引擎41执行以下处理：从目标四边形的像素值减去源四边形的像素值而描绘。目标区的帧像素数据和源区的帧像素数据在静止画面区域，其值成为实质上相等的值。其结果，一执行步骤S83的处理，其像素数据之值就成为大约0。

相对于此，有动区域的像素数据的值在目标的情况和源的情况成为不同值。因此，在步骤S83的处理结果所得到的图像数据的值成为具有0以外的预定大小之值。于是，从帧间差分的图像数据的各像素数据值大小可区分动态区域和静止画面区域。

在本说明书中，所谓系统，是表示由多个装置所构成的装置全体。

另外，就将进行上述处理的计算机程序提供给使用者的提供媒体而言，除了磁盘、CD-ROM、固态存储器等记录媒体之外，可利用网络、卫星等通信媒体。

如以上所述，根据本发明的图像处理装置、图像处理方法及提供媒体，由于将所暂时抽出的图像作为更高分辨率的图像加以抽出，所以可正确跟踪预定部位。

Claims (13)

1.一种图像处理装置，其特征在于具备：

第一抽出装置，从所输入的图像抽出预定部位的图像；

第二抽出装置，抽出作为前述第一抽出装置所抽出的前述预定部位一部分的更高分辨率的图像；及

跟踪装置，跟踪前述预定部位的图像以使前述第二抽出装置能从前述第一抽出装置所抽出的图像中，连续抽出前述预定部位的图像。

2.如权利要求1所述的图像处理装置，其特征在于还具备显示控制装置，使前述所输入的图像作为左右反转的图像显示。

3.如权利要求1所述的图像处理装置，其特征在于还具备显示控制装置，使与前述所输入的图像不同的预定图像显示，同时使该图像与前述第二抽出装置所抽出的图像对应变化。

4.如权利要求3所述的图像处理装置，其特征在于还具有下述装置：相对于和前述所输入的图像不同的预定图像，修正由第二抽出装置所抽出的图像的位置抽出。

5.如权利要求3所述的图像处理装置，其特征在于还具有下述装置：相对于和前述所输入的图像不同的预定图像，修正由第二抽出装置所抽出的图像的表情抽出。

6.如权利要求3所述的图像处理装置，其特征在于，前述显示控制装置所显示的和前述所输入的图像不同的预定图像为假想现实空间上的图像。

7.如权利要求1所述的图像处理装置，其特征在于，前述所输入的图像是由视频摄像机所输出的图像。

8.如权利要求5所述的图像处理装置，其特征在于，前述第一抽出装置从所输入的图像抽出的前述预定部位为前述视频摄像机拍摄的使用者的眼或嘴。

9.如权利要求1所述的图像处理装置，其特征在于，前述第一抽出装置进行下述处理：以锥形过滤处理从前述所输入的图像抽出预定部位的图像。

10.如权利要求1所述的图像处理装置，其特征在于，前述第一抽出装置进行下述处理：以帧间差分处理从前述所输入的图像抽出预定部位的图像。

11.一种图像处理方法，其特征在于包含：

第一抽出步骤，由所输入的图像抽出预定部位的图像；

第二抽出步骤，抽出作为在前述第一抽出步骤所抽出的前述预定部位一部分的更高分辨率的图像；及

跟踪步骤，跟踪前述预定部位的图像以便可使前述第二抽出步骤能从在前述第一抽出步骤所所出的图像连续抽出前述预定部位的图像。

12.一种提供媒体，其特征在于，提供使图像处理装置执行处理的程序，该处理包含：

第一抽出步骤，由所输入的图像抽出预定部位的图像；

第二抽出步骤，抽出作为在前述第一抽出步骤所抽出的前述预定部位一部分的更高分辨率的图像；及

跟踪步骤，跟踪前述预定部位的图像以使前述第二抽出步骤能从在前述第一抽出步骤所抽出的图像连续抽出前述预定部位的图像。

13.如权利要求12所述的提供媒体，其特征在于前述程序除了磁盘、CD-ROM、固态存储器等记录媒体之外，以网络、卫星等通信媒体提供。

Images