CN101237551A - 图像处理装置、图像处理方法以及程序 - Google Patents

图像处理装置、图像处理方法以及程序 Download PDF

Info

Publication number
CN101237551A
CN101237551A CNA2008100049224A CN200810004922A CN101237551A CN 101237551 A CN101237551 A CN 101237551A CN A2008100049224 A CNA2008100049224 A CN A2008100049224A CN 200810004922 A CN200810004922 A CN 200810004922A CN 101237551 A CN101237551 A CN 101237551A
Authority
CN
China
Prior art keywords
processing
view data
characteristic quantity
features amount
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100049224A
Other languages
English (en)
Other versions
CN101237551B (zh
Inventor
近藤哲二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101237551A publication Critical patent/CN101237551A/zh
Application granted granted Critical
Publication of CN101237551B publication Critical patent/CN101237551B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Abstract

本发明的图像处理装置、图像处理方法以及程序谋求编辑作业的容易化。特征量抽取部(121)对从记录介质(11)重放的各帧的图像数据抽取数据量比1帧的图像数据还少的压缩特征量,即,例如表示1帧的各像素的像素值的位列的上位2位等,显示控制部(125)将压缩特征量显示在显示装置(15)上。另一方面,处理信息决定部(46)根据由看了压缩特征量的用户对遥控指令器(14)进行的编辑操作,决定对图像数据实施的处理,输出表示该处理的处理信息。记录部(123)将处理信息与实施该处理信息表示的处理的图像数据的规定的特征量即处理特征量相对应地记录在记录介质(124)上。本发明例如能够适用到编辑图像的装置等上。

Description

图像处理装置、图像处理方法以及程序
技术领域
本发明涉及图像处理装置、图像处理方法以及程序,特别涉及例如能够谋求图像的编辑作业的容易化的图像处理装置、图像处理方法以及程序。
背景技术
作为编辑图像的方法有线性编辑和非线性编辑。
在线性编辑中,对作为所谓的素材数据的图像数据实施与用户的操作对应的处理,将作为该处理的结果得到的图像数据的处理后图像数据记录在记录介质上。而后,在重放时重放并输出记录在记录介质上的处理后图像数据。
另一方面,在非线性编辑中,在可以随机存取的,例如盘状的记录介质(盘状记录介质)上记录作为素材数据的图像数据,记录直接或者间接地表示应该根据用户的编辑的操作(编辑操作)对图像实施的处理的信息,即,例如记录表示要对图像实施的处理,或者由用户进行的编辑操作等的处理信息(参数)。而且,在重放时,从盘状记录介质重放作为素材数据的图像数据,对作为素材数据的图像数据实施并输出处理信息所表示的处理。
例如,在专利文献1中记载了根据用户进行的摇镜头(pan)操作、倾斜操作、缩放操作等的编辑操作,记录表示从广角的图像中抽取的区域的参数,在重放时,从广角的图像中抽取参数表示的区域并输出的技术。
[专利文献1]特开2006-270187号公报
可是,无论是线性编辑以及非线性编辑的哪种,为了进行编辑用户都需要重放素材数据等作为编辑对象的图像数据,将与该图像数据对应的图像显示在显示装置上,找出实施缩放等的处理的帧。
但是,看着与作为编辑的对象的图像数据对应的图像自身,找出实施缩放等的处理的帧很麻烦。
即,例如当进行运动剧烈的被拍摄体的图像放大(zoom up)的编辑的情况下,用户聚精会神地观察显示在显示装置上的图像,首先,确认是否存在运动着的被拍摄体,在确认运动着的被拍摄体存在后,必须确认该被拍摄体的运动是否剧烈。
在此,如上所述,当进行运动剧烈的被拍摄体的图像放大的编辑的情况下,如果一看到就能够确认是否存在运动着的被拍摄体,则能够谋求由用户进行的编辑的作业(编辑作业)的容易化。
此外,在以往的非线性编辑中,与帧的时间码相对应地记录处理信息,在重放时,对和处理信息相对应的时间码的帧实施该处理信息表示的处理。因而,在以往的非线性编辑中,需要时间码,但如果即使没有时间码,也能够进行非线性编辑的话是方便的。
发明内容
本发明就是鉴于这种状况而提出的,能够谋求编辑作业的容易化,同时即使没有时间码,也能够进行非线性编辑。
本发明的第1个侧面的图像处理装置是处理图像的图像处理装置,具备:从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取单元;显示上述压缩特征量的显示控制单元;决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定单元;以及与实施该处理信息表示的处理的图像数据的规定的特征量即处理特征量相对应地将上述处理信息记录在记录介质中的记录单元。
本发明的第1个侧面的图像处理方法,或者程序是处理图像的图像处理方法,或者使计算机执行图像处理的程序,包含:从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取步骤;显示上述压缩特征量的显示控制步骤;决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定步骤;以及与实施该处理信息表示的处理的图像数据的规定的特征量即处理特征量相对应地将上述处理信息记录在记录介质中的记录步骤。
在以上那样的第1个侧面中,从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量,显示上述压缩特征量。另一方面,决定对图像数据实施的处理,输出表示该处理的处理信息。而后,与实施该处理信息表示的处理的图像数据的规定的特征量即处理特征量相对应地将上述处理信息记录在记录介质上。
本发明的第2个侧面的图像处理装置是处理图像的图像处理装置,具备:从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取单元;显示上述压缩特征量的显示控制单元;按照由用户操作的操作单元的操作,决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定单元;以及与从实施该处理信息表示的处理的图像数据中抽取的压缩特征量相对应地将上述处理信息记录在记录介质中的记录单元。
本发明的第2个侧面的图像处理方法,或者程序是处理图像的图像处理方法,或者使计算机执行图像处理的程序,包含:从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取步骤;显示上述压缩特征量的显示控制步骤;按照由用户操作的操作单元的操作,决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定步骤;以及与从实施该处理信息表示的处理的图像数据中抽取的压缩特征量相对应地将上述处理信息记录在记录介质中的记录步骤。
在以上那样的第2个侧面中,从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量,显示上述压缩特征量。另一方面,根据由用户操作的操作单元的操作,决定对图像数据实施的处理,输出表示该处理的处理信息。而后,与从实施该处理信息表示的处理的图像数据中抽取的压缩特征量相对应地将该处理信息记录在记录介质上。
而且,程序可通过经由传输介质传送,或者记录在记录介质上来散布。
如果采用本发明第1以及第2个侧面则能够进行编辑。特别是例如能够谋求编辑作业的容易化,同时,即使没有时间码,也能够进行非线性编辑。
附图说明
图1是表示适用了本发明的图像处理系统的一种实施方式的结构例子的框图。
图2是表示图像处理装置13的第1结构例子的框图。
图3是表示一致特征量检测部42的结构例子的框图。
图4是说明用一致特征量检测部42进行的一致特征量检测处理的图。
图5是说明特征量记录处理的流程图。
图6是说明编辑/重放处理的流程图。
图7是说明编辑/重放处理的图。
图8是表示图像处理装置13的第2个结构例子的框图。
图9是说明特征量记录处理的流程图。
图10是说明编辑/重放处理的流程图。
图11是说明简易编辑模式的处理的流程图。
图12是表示压缩特征量的显示例子的图。
图13是表示压缩特征量的显示例子的图。
图14是表示压缩特征量的显示例子的图。
图15是说明压缩特征量的显示处理的流程图。
图16是表示图像处理装置13的第3个结构例子的框图。
图17是说明简易编辑模式的处理的流程图。
图18是表示图像处理装置13的第4个结构例子的框图。
图19是表示适用了本发明的计算机的一种实施方式的结构例子的框图。
(符号说明)
11:记录介质
12:图像重放装置
13:图像处理装置
14:遥控指令器
15:显示装置
41:特征量抽取部
42:一致特征量检测部
43:控制部
44:受光部
45:处理信息决定部
47:选择部
48:延迟部
49:处理反映部
61:记录部
62:记录介质
63:读出部
101-1至101-3:特征量缓冲器
102:重放位置特征量生成部
103:比较部
104:检索位置特征量读出部
105:检测部
121:特征量抽取部
122:控制部
123:记录部
124:记录介质
125:显示控制部
132:读出部
133:显示控制部
141:特征量抽取部
201:总线
202:CPU
203:ROM
204:RAM
205:硬盘
206:输出部
207:输入部
208:通信部
209:驱动器
210:输入输出接口
211:可移动记录介质
具体实施方式
以下说明本发明的实施方式,如果示例本发明的结构要件、记载在说明书或者附图上的与实施方式的对应关系则如下。该记载用于确认支持本发明的实施方式记载在说明书或者附图上。因而,即使存在记载在说明书或者附图中,但没有作为与本发明的结构要件对应的实施方式记载于此的实施方式,这也不意味着该实施方式不与该结构要件对应。相反,即使实施方式作为与结构要件对应的实施方式记载于此,这也不意味该实施方式不与该结构要件以外的结构要件对应。
本发明的第1个侧面的图像处理装置,
是处理图像的图像处理装置(例如,图8的图像处理装置13),具备:
从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取单元(例如,图8的特征量抽取部121);
显示上述压缩特征量的显示控制单元(例如,图8的显示控制部125);
决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定单元(例如,图8的处理信息决定部46);
与实施该处理信息表示的处理的图像数据的规定的特征量即处理特征量相对应地将上述处理信息记录在记录介质上的记录单元(例如,图8的记录部123)。
设上述处理特征量和压缩特征量是不同的特征量,
在第1个侧面的图像处理装置中能够进一步设置抽取上述处理特征量的处理特征量抽取单元(例如,图8的特征量抽取部41)。
此外,在第1个侧面的图像处理装置中能够进一步设置:
从图像数据中抽取上述处理特征量的处理特征量抽取单元(例如,图8的特征量抽取部41);
从记录在上述记录介质上的处理特征量中检测具有与用上述处理特征量抽取单元抽取的处理特征量相一致的值的处理特征量即一致特征量的一致特征量检测单元(例如,图8的一致特征量检测部42);
对抽取了具有和上述一致特征量一致的值的处理特征量的图像数据实施在上述记录介质中与上述一致特征量相对应的上述处理信息表示的处理的处理反映单元(例如,图8的处理反映部49)。
本发明的第1个侧面的图像处理方法或者程序,
是处理图像的图像处理方法,或者使计算机执行图像处理的程序,包含:
从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取步骤(例如,图9的步骤S52);
显示上述压缩特征量的显示控制步骤(例如,图11的步骤S91);
决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定步骤(例如,图11的步骤S93);
与实施该处理信息表示的处理的图像数据的规定的特征量即处理特征量相对应地将上述处理信息记录在记录介质上的记录步骤(例如,图11的步骤S94)。
本发明的第2个侧面的图像处理装置,
是处理图像的图像处理装置(例如,图18的图像处理装置13),具备:
从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取单元(例如,图18的特征量抽取部141);
显示上述压缩特征量的显示控制单元(例如,图18的显示控制部125);
根据由用户操作的操作单元(例如,图18的遥控指令器14)的操作,决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定单元(例如,图18的处理信息决定部46);
与从实施该处理信息表示的处理的图像数据中抽取的压缩特征量相对应地将上述处理信息记录在记录介质上的记录单元(例如,图18的记录部123)。
在第2个侧面的图像处理装置中,能够进一步设置:
从记录在上述记录介质上的压缩特征量中检测具有与用上述压缩特征量抽取单元抽取的压缩特征量相一致的值的压缩特征量即一致特征量的一致特征量检测单元(例如,图18的一致特征量检测部42);
对抽取了具有和上述一致特征量一致的值的压缩特征量的图像数据实施在上述记录介质中与上述一致特征量相对应的上述处理信息表示的处理的处理反映单元(例如,图18的处理反映部49)。
本发明的第2个侧面的图像处理方法或者程序,
是处理图像的图像处理方法或者程序,包含:
从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取步骤(例如,图9的步骤S52);
显示上述压缩特征量的显示控制步骤(例如,图11的步骤S91);
根据由用户操作的操作单元的操作,决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定步骤(例如,图11的步骤S93);
与从实施该处理信息表示的处理的图像数据中抽取的压缩特征量相对应地将上述处理信息记录在记录介质上的记录步骤(例如,图11的步骤S94)。
以下,参照附图,说明本发明的实施方式。
图1表示适用了本发明的图像处理系统(所谓系统是指多个装置逻辑上的集合,与各结构的装置是否处于同一框体中无关)的一种实施方式的结构例子。
在图1中,图像处理系统含有记录介质11、图像重放装置12、图像处理装置13、遥控指令器14,以及显示装置15等。
记录介质11例如是记录着运动图像等的内容的DVD(DigitalVersatile Disc)或HD(Hard Disk)等的盘状的记录介质、磁带等的带状的记录介质,或者,闪速存储器等的非易失性的半导体存储器(记录介质),可以对图像重放装置12装拆。
图像重放装置12例如是用于驱动DVD、磁带、闪速存储器等的记录介质11的驱动器,按照图像处理装置13或遥控指令器14的指示,从记录介质11重放记录在其中的图像数据,提供给图像处理装置13。
而且,作为图像重放装置12,能够采用除了从记录介质11重放图像数据的重放功能外,还具有在记录介质11上记录图像数据的记录功能的装置。作为图像重放装置12,当采用具有重放功能和记录功能双方的装置的情况下,记录介质11除了可以作为在图像重放装置12上装拆的记录介质外,还能够内置于图像重放装置12内。
此外,作为图像重放装置12,例如当记录介质11是因特网上的站点的存储器(storage)的情况下,包含具有从作为该存储器的记录介质11中下载图像数据的通信功能的装置。
图像处理装置13按照来自遥控指令器14的指示等,处理从图像重放装置12提供的图像数据。此外,图像处理装置13将与显示在显示装置15上的图像对应的图像数据(以下,适宜地称为显示数据)提供给显示装置15。
遥控指令器14由用户进行操作,用红外线等的无线方式将与该操作对应的操作信号发送到图像重放装置12或图像处理装置13。
显示装置15用液晶面板或CRT(Cathode Ray Tube)等构成,按照从图像处理装置13提供的显示数据,显示与该显示数据对应的图像。
在以上那样构成的图像处理系统中,图像重放装置12例如按照来自遥控指令器14的指示,从记录介质11中重放图像数据,提供给图像处理装置13。
图像处理装置13从来自图像重放装置12的图像数据中抽取特征量,将来自图像重放装置12的图像数据,或者特征量作为显示数据提供给显示装置15进行显示。
另一方面,用户例如如果编辑操作遥控指令器14,以指示缩放、摇镜头、倾斜等,则遥控指令器14将与编辑操作对应的操作信号发送到图像处理装置13。
图像处理装置13如果从遥控指令器14发送来与编辑操作对应的操作信号,则与该操作信号对应地决定应该对来自图像重放装置12的图像数据实施的处理(以下,适宜地称为编辑处理),与实施该处理信息表示的编辑处理的图像数据的特征量相对应地记录作为表示该编辑处理的信息的处理信息。
如上所述,在图像处理装置13中,在与特征量相对应地记录处理信息后,图像重放装置12再次按照来自遥控指令器14的指示等从记录介质11中重放图像数据,提供给图像处理装置13时,在图像处理装置13中,从来自图像重放装置12的图像数据中抽取特征量。
进而,图像处理装置13从与处理信息相对应地记录的特征量中检测其值和从图像数据中抽取的特征量一致的特征量,对来自图像重放装置12的图像数据实施与该特征量对应的处理信息表示的编辑处理。而后,图像处理装置13将实施了编辑处理的图像数据作为显示数据提供给显示装置15进行显示。
如上所述,在图像处理装置13中,在记录了表示对记录在记录介质11上的图像数据实施的编辑处理的处理信息后,不记录实施了该编辑处理后的图像数据(以下,适宜称为编辑后图像数据),能够重复重放该编辑后图像数据。
因而,能够在没有时间码的条件下进行将记录在记录介质11上的图像数据作为对象的非线性编辑。
此外,记录在记录介质11上的图像数据即使是不可再复制(NoMore Copy)等限制复制的内容,也能够重复重放对该图像数据实施了同一编辑处理的编辑后图像数据。
在此,对于与记录在记录介质11上的图像数据自身对应的图像,以及与对该图像数据实施了编辑处理后的编辑后图像数据对应的图像,以下适宜地称为内容图像。
图2是表示图1的图像处理装置13的第1结构例子的框图。
在图2中,图像处理装置13含有:特征量抽取部41、一致特征量检测部42、控制部43、受光部44、处理信息决定部46、选择部47、延迟部48、处理反映部49、记录部61、记录介质62以及读出部63。
向特征量抽取部41提供来自图像重放装置12的图像数据。特征量抽取部41从由图像重放装置12顺序提供来的图像数据的各帧(或者场)中抽取规定的特征量,将该特征量以帧为单位,提供给一致特征量检测部42,以及记录部61
在此,作为在特征量抽取部41中从图像数据中抽取的特征量,能够采用可以以1帧为单位识别记录在记录介质11上的图像数据的信息。作为能够以1帧为单位识别图像数据的信息,例如能够采用图像数据的帧的、所谓的有效图像区域的整体,或者一部分区域的像素的像素值的相加值(总和)、该相加值的下位8位等的一部分的位列等。
一致特征量检测部42从记录在记录介质62中的特征量中检测从特征量抽取部41中提供的、与用图像重放装置12重放的图像数据的特征量一致的特征量(以下,适宜地称为一致特征量)。而后,一致特征量检测部42在能够检测一致特征量时,将该一致特征量提供给记录部61以及读出部63。
控制部43按照从受光部44中提供的操作信号,根据需要控制构成图像重放装置12或图像处理装置13的各块。
受光部44接收从遥控指令器14发送来的作为操作信号的红外线并进行光电变换,将作为其结果得到的电信号的操作信号提供给控制部43和处理信息决定部46。
处理信息决定部46根据从受光部44提供来的操作信号,决定(识别)应该对从图像重放装置12提供的图像数据实施的编辑处理,将表示该编辑处理的处理信息提供给选择部47以及记录部61。
向选择部47除了从处理信息决定部46提供处理信息外,还从读出部63提供处理信息。选择部47当从处理信息决定部46提供来处理信息的情况下,将来自该处理信息决定部46的处理信息提供给处理反映部49。此外,选择部47当未从处理信息决定部46提供处理信息,而从读出部63提供处理信息的情况下,将从读出部63提供的处理信息提供给处理反映部49。而且,当从处理信息决定部46以及读出部63中任何一个都没有提供处理信息的情况下,选择部47不向处理反映部49提供处理信息。
对延迟部48,从图像重放装置12提供与提供给特征量抽取部41一样的图像数据。延迟部48根据特征量抽取部41、一致特征量检测部42、选择部47、记录部61、读出部63进行处理所需要的时间,通过暂时存储从图像重放装置12提供的图像数据,延迟必要的时间量,提供给处理反映部49。
处理反映部49对于从延迟部48提供的图像数据,实施从选择部47提供的处理信息表示的编辑处理,将该编辑处理的结果得到的编辑后图像数据作为显示数据提供给显示装置15。
而且,当从选择部47对处理反映部49没有提供处理信息的情况下,处理反映部49将来自延迟部48的图像数据按原样作为显示数据提供给显示装置15。
记录部61将从特征量抽取部41提供的特征量记录在记录介质62上。此外,记录部61将从处理信息决定部46提供的处理信息与特征量相对应地记录在记录介质62上。
记录介质62例如是盘状的记录介质或半导体存储器等,在那里记录处理信息和特征量。而且,记录介质62还能够内置于图像处理装置13,还可以装拆。
读出部63在记录介质62中,从记录介质62读出与从一致特征量检测部42提供的一致特征量相对应的处理信息并提供给选择部47。
以下,图3表示图2的一致特征量检测部42的结构例子。
在图3中,一致特征量检测部42含有:3个特征量缓冲器101-1至101-3、重放位置特征量生成部102、比较部103、检索位置特征量读出部104,以及检测部105。
对一致特征量检测部42,如图2中说明的那样,在特征量抽取部41中以帧为单位提供从图像数据中抽取的特征量。
特征量缓冲器101-1锁存从特征量抽取部41提供的特征量,提供给后级的特征量缓冲器101-2、重放位置特征量生成部102。特征量缓冲器101-2锁存从特征量缓冲器101-1提供的特征量,提供给后级的特征量缓冲器101-3、重放位置特征量生成部102。特征量缓冲器101-3锁存从特征量缓冲器101-2提供的特征量,提供给重放位置特征量生成部102。
重放位置特征量生成部102如果从特征量抽取部41(图2)提供特征量,则生成按照时间顺序排列了该特征量、和锁存在特征量缓冲器101-1至101-3的各自中的特征量的,4帧量的特征量的序列,提供给比较部103。
在此,特征量缓冲器101-1至101-3在从特征量抽取部41(图2)对一致特征量检测部42提供新的帧的特征量的定时进行锁存。因而,在从特征量抽取部41对一致特征量检测部42例如提供第N帧的特征量时,在特征量缓冲器101-1中锁存第N-1帧的特征量,在特征量缓冲器101-2中锁存第N-2帧的特征量,在特征量缓冲器101-3中锁存第N-3帧的特征量,在重放位置特征量生成部102中生成从第N-3帧到第N帧的连续的4帧的特征量的序列。
而且,以下适宜地将在重放位置特征量生成部102中生成的特征量的序列称为重放位置特征量。
比较部103对从重放位置特征量生成部102提供的作为重放位置特征量的连续的4帧的特征量的序列、和从检索位置特征量读出部104提供的、作为以后说明的检索位置特征量的连续的4帧的特征量的序列进行比较,将该比较结果提供给检测部105。
检索位置特征量读出部104从记录在记录介质62上的特征量中将连续的4帧的特征量一边每次各错开1帧量一边顺序读出。此外,检索位置特征量读出部104生成从记录介质62读出的、按照时间顺序排列了连续的4帧的特征量的、4帧量的特征量的序列,作为检索位置特征量提供给比较部103以及检测部105。
检测部105根据来自比较部103的比较结果,判定(检测)作为重放位置特征量的连续的4帧的特征量的序列、和作为检索位置特征量的连续的4帧的特征量的序列是否一致,当一致的情况下,将来自检索位置特征量读出部104的检索位置特征量提供给记录部61以及读出部63(图2)。
在此,作为检测部105提供给记录部61以及读出部63的检索位置特征量的、连续的4帧的特征量的序列中的,例如,最新的帧(时间上在最后的帧)的特征量是上述一致特征量。
在上述那样构成的一致特征量检测部42中,进行从记录在记录介质62上的特征量中检测出具有和用特征量抽取部41抽取的特征量一致的值的特征量即一致特征量的一致特征量检测处理。
参照图4说明图3的一致特征量检测部42进行的一致特征量检测处理。
对一致特征量检测部42,在特征量抽取部41(图2)中,以帧为单位提供从图像数据中抽取的特征量。在一致特征量检测部42中,在将来自特征量抽取部41的特征量提供给重放位置特征量生成部102的同时,在特征量缓冲器101-1至101-3中顺序锁存。
重放位置特征量生成部102将排列了来自特征量抽取部41的特征量、锁存在特征量缓冲器101-1至101-3的各自中的特征量的、4帧量的特征量的序列作为重放位置特征量G2生成,提供给比较部103。
另一方面,检索位置特征量读出部104读出记录在记录介质62(图2)中的各帧的特征量中的、从最初的帧的特征量开始连续的4帧的特征量,将排列了该4帧的特征量的、4帧量的特征量的序列作为检索位置特征量生成,提供给比较部103以及检测部105。
在比较部103中,对来自重放位置特征量生成部102的作为重放位置特征量的连续的4帧的特征量的序列,和来自检索位置特征量读出部104的作为检索位置特征量G2的连续的4帧的特征量的序列进行比较,将该比较结果提供给检测部105。
在检测部105中根据来自比较部103的比较结果,判定作为重放位置特征量G2的连续的4帧的特征量的序列、作为检索位置特征量的连续的4帧的特征量的序列是否一致。
当重放位置特征量和检索位置特征量不一致的情况下,检索位置特征量读出部104从记录介质62(图2)中读出:以从上次读出的作为检索位置特征量的连续的4帧的特征量向未来的方向(时间上在后的方向)错开1帧量的帧的特征量作为开头而连续的4帧的特征量,将排列了该4帧的特征量的、4帧量的特征量的序列作为新的检索位置特征量生成,提供给比较部103以及检测部105。
在比较部103中对来自重放位置特征量生成部102的重放位置特征量G2、来自检索位置特征量读出部104的新的检索位置特征量进行比较,以下重复同样的处理。
即,例如,如图4所示,在比较部103中,对作为重放位置特征量G2的连续的4帧的特征量的序列,和作为检索位置特征量G0的连续的4帧的特征量的序列进行比较,将该比较结果提供给检测部105。
当重放位置特征量G2和检索位置特征量G0不一致的情况下,在检索位置特征量读出部104中,生成把从作为检索位置特征量G0的连续的4帧的特征量在未来的方向错开1帧量的帧的特征量作为开头的、连续的4帧的特征量的序列作为新的检索位置特征量G0’。进而,在比较部103中,对新的检索位置特征量G0’和重放位置特征量G2进行比较,以下同样重复与重放位置特征量G2的比较。
而后,当在检索位置特征量读出部104中新生成的检索位置特征量G1和重放位置特征量G2一致的情况下,如果将该检索位置特征量G1、重放位置特征量G2的比较结果从比较部103提供给检测部105,则在检测部105中,判定为来自重放位置特征量生成部102的作为重放位置特征量G2的连续的4帧的特征量的序列,和来自检索位置特征量读出部104的作为检索位置特征量G1的连续的4帧的特征量的序列一致,将来自检索位置特征量读出部104的检索位置特征量G1提供给记录部61以及读出部63(图2)。
现在,如果将在图像重放装置12(图2)中从记录介质11重放、提供给图像处理装置13的特征量抽取部41和延迟部48的图像数据的帧作为关注帧,则通过上述的处理,能够从记录在记录介质62中的特征量中检测出其值与从关注帧中用特征量抽取部41抽取的特征量一致的特征量(一致特征量),即,在图像处理装置13中在过去处理关注帧时从关注帧中抽取的特征量。
即,作为和重放位置特征量一致的检索位置特征量的连续的4帧的特征量的序列的最后的特征量是其值与关注帧的特征量一致的一致特征量,即,在图像处理装置13中在过去处理关注帧时从关注帧中抽取的特征量。
而且,在上述的情况下,虽然将重放位置特征量以及检索位置特征量作为连续的4帧的特征量的序列,但作为重放位置特征量以及检索位置特征量,除此以外,例如能够使用以4帧以外的多帧连续的帧的特征量的序列,例如,每隔1帧等的,不连续的多个帧的特征量的序列等。
以下,参照图5以及图6的流程图,说明图2的图像处理装置13的动作。
在图2的图像处理装置13中,进行从记录在记录介质11上的图像数据的各帧中抽取特征量并记录的特征量记录处理;记录在记录介质11上的图像数据的编辑,以及进行该编辑后的图像数据(编辑后图像数据)的重放的编辑/重放处理等。
在此,作为图像处理装置13的动作模式,有通常重放模式和编辑模式。特征量记录处理例如在动作模式是通常重放模式时进行,编辑/重放处理例如在动作模式是编辑模式时进行。
在通常重放模式中,如果操作遥控指令器14使得进行重放,则图像处理装置13将从图像重放装置12提供的图像数据按原样作为显示数据提供给显示装置15。
此外,在编辑模式中,如果进行遥控指令器14的编辑操作,则图像处理装置13对来自图像重放装置12的图像数据实施与编辑操作相应的编辑处理,将实施了该编辑处理后的编辑后图像数据作为显示数据,提供给显示装置15的同时,将表示与编辑操作相应的编辑处理的处理信息记录在记录介质62上。进而,在编辑模式中,对于来自图像重放装置12的图像数据,实施过去记录在记录介质62上的处理信息表示的编辑处理,将实施了该编辑处理后的编辑后图像数据作为显示数据提供给显示装置15。
而且,动作模式能够通过操作遥控指令器14进行切换。
首先,参照图5的流程图,说明图2的图像处理装置13进行的特征量记录处理。
例如,用户在进行记录在记录介质11上的图像数据的编辑前,确认与该图像数据对应的图像,想要构建编辑的粗略的构想的情况下,用户将动作模式设置成通常重放模式,操作遥控指令器14,使得指示重放。
这种情况下,遥控指令器14发送与用户进行的重放的指示操作对应的操作信号,该操作信号用受光部44接收并提供给控制部43。控制部43当动作模式是通常重放模式的情况下,如果从受光部44提供与重放的指示的操作对应的操作信号,则在步骤S11中,对图像重放装置12发送请求重放的重放指令,由此,让图像重放装置12开始已记录在记录介质11上的图像数据的重放。
图像重放装置12如果开始图像数据的重放,则将该图像数据提供给图像处理装置13,在图像处理装置13中,将来自图像重放装置12的图像数据以帧为单位提供给特征量抽取部41和延迟部48。
而后,将提供给延迟部48的图像数据提供给处理反映部49,在处理反映部49中将来自延迟部48的图像数据按原样作为显示数据提供给显示装置15。由此,在显示装置15中,显示记录在记录介质11上的与图像数据自身对应的图像,用户通过看该显示,能够确认与记录在记录介质11上的图像数据对应的图像。
其后,处理从步骤S11进入步骤S12,特征量抽取部41进行从由图像重放装置12提供的图像数据的帧中抽取特征量的特征量抽取处理,处理进入步骤S13。在此,在步骤S12中,将通过特征量抽取部41进行特征量抽取处理而得到的特征量提供给记录部61。
在步骤S13中,记录部61将从特征量抽取部41提供的特征量记录在记录介质62上,处理从步骤S13进入步骤S14。
在此,由记录部61对记录介质62的特征量的记录以维持抽取了其特征量的帧的顺序的方式进行。即,记录在记录介质62上的某一特征量是记录在记录介质11上的图像数据的第N帧的特征量时,关于对记录介质62的、第N+1帧(或者第N-1帧)的特征量的记录,以知道该第N+1帧(或者第N-1帧)的特征量是已经记录的第N帧的特征量的1个之后(或者1个之前)的帧的特征量的方式进行。
在步骤S14中,控制部43判定记录在记录介质11上的图像数据的重放是否全部结束。在步骤S14中,当判定为记录在记录介质11上的图像数据的重放还没有结束的情况下,即,在图像重放装置12中正在进行图像数据的重放的情况下,处理返回步骤S12,将从图像重放装置12提供的图像数据的下一个帧作为对象,以下重复同样的处理。
此外,在步骤S14中,当判定为记录在记录介质11上的图像数据的重放已全部结束的情况下,即,在图像重放装置12中,图像数据的重放结束的情况下,特征量记录处理结束。
而且,对记录介质62的特征量的记录不需要重复进行。即,例如,通过过去进行特征量记录处理,记录在记录介质11上的图像数据的特征量已经记录在记录介质62上时,对于记录在记录介质11上的图像数据不需要再次进行特征量记录处理。
以下,参照图6的流程图,说明图2的图像处理装置13进行的编辑/重放处理。
如上所述,在通常重放模式中,重放记录在记录介质11上的图像数据,由此,用户确认与记录在记录介质11上的图像数据相对应的图像,在建立编辑的粗略的构想后,当进行该图像数据的编辑的情况下,用户操作遥控指令器14,以便将动作模式设置成编辑模式,来指示重放。
这种情况下,遥控指令器14发送与用户进行的重放指示的操作对应的操作信号,该操作信号用受光部44接收并提供给控制部43。控制部43当动作模式是编辑模式的情况下,如果从受光部44提供与重放指示的操作对应的操作信号,则对图像重放装置12发送请求重放的重放指令,由此,让图像重放装置12开始记录在记录介质11上的图像数据的重放。
图像重放装置12如果开始图像数据的重放,则将该图像数据提供给图像处理装置13,在图像处理装置13中将来自图像重放装置12的图像数据以帧为单位提供给特征量抽取部41和延迟部48。
而后,在图像处理装置13中,在步骤S21中,延迟部48判定是否从图像重放装置12提供来1帧的图像数据。在步骤S21中,当判定为没有提供来1帧的图像数据的情况下,处理进入步骤S30。
此外,在步骤S21中,当判定为提供了1帧的图像数据的情况下,即,当将在图像重放装置12中从记录介质11重放的图像数据提供给特征量抽取部41和延迟部48的情况下,处理进入步骤S22,延迟部48将从图像重放装置12提供的1帧的图像数据例如为了延迟1帧的时间量而暂时存储。
其后,处理从步骤S22进入到步骤S23,特征量抽取部41执行从图像数据中抽取特征量的特征量抽取处理,由此,将从图像重放装置12提供的图像数据的帧作为关注帧,从关注帧中抽取特征量。即,延迟部48在为了让来自图像重放装置12的关注帧的图像数据延迟而暂时存储时,将该关注帧的图像数据还提供给特征量抽取部41,所以在同一定时下,对于关注帧的图像数据,在一方面为了延迟而暂时存储,在另一方面抽取特征量。
特征量抽取部41将从关注帧的图像数据中抽取的特征量提供给一致特征量检测部42和记录部61,处理从步骤S23进入步骤S24。
在步骤S24中,一致特征量检测部42进行在图4中说明的一致特征量检测处理。
即,一致特征量检测部42如在图4中说明的那样,生成包含来自特征量抽取部41的关注帧的特征量(从关注帧的图像数据中抽取的特征量)的重放位置特征量。进而,一致特征量检测部42每次错开1帧量的同时生成记录在记录介质62中的特征量中的作为4帧量的特征量的序列的检索位置特征量,与重放位置特征量顺序比较。
而后,一致特征量检测部42当能够检测和重放位置特征量一致的检索位置特征量的情况下,将和该重放位置特征量一致的检索位置特征量提供给记录部61以及读出部63。
在步骤S24中进行了一致特征量检测处理后,处理进入步骤S25,读出部63判定是否能够检测和重放位置特征量一致的检索位置特征量,即,判定是否能够从记录在记录介质62上的特征量中检测其值与包含在重放位置特征量中的关注帧的特征量一致的一致特征量。
在步骤S25中,当判定为不能从记录在记录介质62中的特征量中检测其值与包含在重放位置特征量中的关注帧的特征量一致的一致特征量的情况下,即,当在步骤S24中的一致特征量检测处理中,未检测到和重放位置特征量一致的检索位置特征量,因此,没有将检索位置特征量从一致特征量检测部42提供给记录部61以及读出部63的情况下,处理进入步骤S33,处理反映部49将存储在延迟部48中的关注帧的图像数据按原样作为显示数据提供给显示装置15,处理进入步骤S30。
因而,当未将与包含关注帧的特征量的重放位置特征量一致的检索位置特征量记录在记录介质62中的情况下,在显示装置15中,显示与从记录介质11重放的关注帧的图像数据自身对应的图像。
此外,在步骤S25中,当判定为不能够从记录在记录介质62中的特征量中检测其值与包含在重放位置特征量中的关注帧的特征量一致的一致特征量的情况下,即,当在步骤S24中的一致特征量检测处理中,检测和重放位置特征量一致的检索位置特征量,将该检索位置特征量从一致特征量检测部42提供给记录部61以及读出部63的情况下,处理进入步骤S26,处理信息决定部46判定是否由用户进行了遥控指令器14的编辑操作。
在步骤S26中,当判定为进行了编辑操作的情况下,即,用户一边看着显示在显示装置15上的图像,一边例如进行遥控指令器14的编辑操作以便进行2倍的图像放大等的编辑处理,用接收部44接收与该编辑操作对应的操作信号,并提供给处理信息决定部46的情况下,处理进入步骤S27,处理信息决定部46根据从受光部44提供的操作信号,决定对关注帧的图像数据实施的编辑处理,将表示该编辑处理的处理信息提供给选择部47以及记录部61,处理进入步骤S28。
在步骤S28中,记录部61从记录在记录介质62中的特征量中检测从一致特征量检测部42提供的作为检索位置特征量的4帧的特征量的序列,其值与其中的时间上在最后的特征量、即关注帧的特征量一致的一致特征量相对应地,将来自处理信息决定部46的处理信息记录在记录介质62上,处理进入步骤S29。
即,当在关注帧的图像数据的重放中进行了编辑操作的情况下,与应该实施该编辑处理的关注帧的图像数据的特征量相对应地将表示与该编辑操作对应的编辑处理的处理信息记录在记录介质62上。
在步骤S29中,选择部47从处理信息决定部46中选择在紧接之前的步骤S27中提供的处理信息,提供给处理反映部49。处理反映部49对存储在延迟部48中的关注帧的图像数据实施从选择部47提供的处理信息表示的编辑处理,即,在现在的情况下,与用户进行的编辑操作对应的编辑处理,将作为其结果得到的编辑后图像数据作为显示数据提供给显示装置15,处理进入步骤S30。
因而,当进行了编辑操作的情况下,与应该实施该编辑处理的关注帧的图像数据的特征量相对应地,将表示与该编辑操作对应的编辑处理的处理信息记录于记录介质62中的同时,在显示装置15中,显示对关注帧的图像数据实施了与编辑操作对应的编辑处理的结果得到的编辑后图像数据相对应的图像。
另一方面,在步骤S26中,当判定为没有进行编辑操作的情况下,处理进入步骤S31,读出部63判定在记录介质62中是否记录着其值与关注帧的特征量一致的一致特征量相对应的处理信息。
即,在步骤S31中,读出部63从记录在记录介质62中的特征量中检测出记录在记录介质62中的特征量中的、从一致特征量检测部42提供的作为检索位置特征量的4帧的特征量的序列,判定是否与其值跟其中的时间上在最后的特征量,即关注帧的特征量一致的一致特征量相对应地,将处理信息记录在记录介质62中。
在步骤S31中,当判定为没有记录与其值跟关注帧的特征量相一致的一致特征量相对应的处理信息的情况下,即,在过去进行的关注帧的重放中,没有对该关注帧进行过编辑操作,因此,在记录于记录介质62中的特征量中,没有与其值跟从一致特征量检测部42提供的作为检索位置特征量的4帧的特征量的序列中时间上在最后的特征量,即,关注帧的特征量一致的一致特征量(过去从关注帧中抽取的特征量)相对应地,将处理信息记录在记录介质62中的情况下,处理进入步骤S33,如上所述,处理反映部49将存储在延迟部48中的关注帧的图像数据按原样作为显示数据提供给显示装置15,处理进入步骤S30。
因而,当没有进行编辑操作,并且,未在记录介质62中与其值和关注帧的特征量一致的一致特征量,即关注帧的特征量相对应地记录处理信息的情况下,在显示装置15中,显示与从记录介质11重放的关注帧的图像数据自身对应的图像。
另一方面,在步骤S31中,当判定为记录着与其值跟关注帧的特征量一致的一致特征量相对应的处理信息的情况下,即,在过去进行的关注帧的重放中,对于该关注帧进行过编辑操作,其结果,在记录于记录介质62中的特征量中,当与其值跟从一致特征量检测部42提供的作为检索位置特征量的4帧的特征量的序列中的时间上在最后的特征量,即,关注帧的特征量一致的一致特征量相对应地将处理信息记录在记录介质62上的情况下,处理进入步骤S32,读出部63在记录介质62中读出与一致特征量,即,关注帧的特征量对应的处理信息并提供给选择部47,处理进入步骤S29。
在步骤S29中,选择部47从读出部63中选择在紧接之前的步骤S32中提供的处理信息,提供给处理反映部49。即,在现在的情况下,因为未进行编辑操作,所以在选择部47中没有从处理信息决定部46提供处理信息,只从读出部63提供处理信息,所以选择部47从读出部63选择在紧接之前的步骤S32中提供的处理信息,提供给处理反映部49。
处理反映部49对存储在延迟部48中的关注帧的图像数据,实施从选择部47提供来的处理信息所表示的编辑处理,即,在现在的情况下,在记录介质62中和关注帧的特征量相对应地记录的处理信息所表示的编辑处理,将作为其结果得到的编辑后图像数据作为显示数据提供给显示装置15,处理进入步骤S30。
因而,虽然在此次的编辑/重放处理中没有进行编辑操作,但在过去进行的关注帧的重放中进行编辑操作,其结果,当在记录介质62中,与关注帧的特征量相对应地,记录有表示与过去进行的编辑操作对应的编辑处理的处理信息的情况下,在显示装置15中,显示与对关注帧的图像数据实施了与过去进行的编辑操作对应的编辑处理的结果得到的编辑后图像数据对应的图像。
在步骤S30中,控制部43判定由图像重放装置12进行的在记录介质11中记录的全部图像数据的重放是否结束,或者,是否操作了遥控指令器14以结束重放。
在步骤S30中,当判定为记录在记录介质11中的全部图像数据的重放还未结束的情况下,并且当判定为没有操作遥控指令器14使得结束重放的情况下,处理返回步骤S21,判定是否从图像重放装置12提供了下一帧的图像数据,以下,重复同样的处理。
此外,在步骤S30中,当判定为记录在记录介质11上的全部图像数据的重放已结束的情况下,或者判定为操作了遥控指令器14以结束重放的情况下,编辑/重放处理结束。
而且,关于特征量对记录介质62的记录,除了在特征量记录处理(图5)中进行外,可以在编辑/重放处理(图6)的步骤S23中进行了特征量抽取处理的紧接之后进行等。
以下,参照图7进一步说明图2的图像处理装置13的编辑/重放处理。而且,假设特征量记录处理(图5)已经结束。
在图7中,把将从时刻t0至t1的时间作为重放时间的图像数据记录在记录介质11上,首先,从比时刻t0在后的时刻t11起开始图像数据的重放。
例如,在比时刻t11在后的时刻t101至t102中,如果用户进行遥控指令器14的编辑操作,则将表示与该编辑操作对应的编辑处理的处理信息与时刻t101至t102的图像数据的特征量相对应地记录在记录介质62中。
其后,在图7中,在时刻t12中,开始快进,在时刻t21至t22中,再次进行重放。接着,直到时刻t31之前进行快进,在时刻t31开始重放。
例如,在从时刻t31开始的重放的开始后的时刻t111至t112中,如果用户编辑操作遥控指令器14,则使表示与该编辑操作对应的编辑处理的处理信息与时刻t111至t112的图像数据的特征量相对应,记录在记录介质62中。
在图7中,进一步在直到时刻t32之前进行重放,其后,在直到时刻t121之前进行倒带并开始重放。
例如,在从时刻t121开始的重放中的时刻t131至t132中,如果用户编辑操作遥控指令器14,则将表示与该编辑操作对应的编辑处理的处理信息与时刻t131至t132的图像数据的特征量相对应地,记录在记录介质62上。
在图7中,其后,在直到时刻t132之前进行重放,在直到接近开头的时刻t0的时刻t151之前进行倒带,直到接近最后的时刻t1的时刻t152进行重放。
这种情况下,在重放遥控指令器14被编辑操作的时刻t101至t102、时刻t131至t132、以及时刻t111至t112的图像数据时,从记录介质62中读出和各时刻的图像数据的特征量相对应的处理信息,对将特征量与该处理信息相对应的图像数据实施该处理信息所表示的编辑处理。
如上所述,在图2的图像处理装置13中,根据编辑操作,决定对关注帧的图像数据实施的编辑处理,将表示该编辑处理的处理信息和实施该处理信息所表示的编辑处理的图像数据的特征量,即,关注帧的特征量相对应地记录在记录介质62上,所以在记录于记录介质62上的特征量中,检测其值和关注帧的特征量一致的一致特征量,对关注帧实施与该一致特征量相对应的处理信息所表示的编辑处理,由此能够对关注帧实施与过去进行的编辑操作对应的编辑处理。
即,能够根据与关注帧的特征量相对应的处理信息确定应该对关注帧实施的编辑处理,并对关注帧实施。
因而,即使没有记录对记录在记录介质11上的图像数据实施编辑处理得到的编辑后图像数据,也能够再现其编辑后图像数据。此外,能够在没有时间码下进行图像的编辑。
而且,作为与处理信息相对应的特征量,虽然使用1帧的像素值的相加值,但也可以是此外的特征量,例如也可以是表示运动矢量(全画面运动和局部运动)、特定的波形图案出现怎样程度的值;在缩小图像中的像素值的累计值;图像的特定部分的像素值的累计值;将它们使用多个帧量的值,或者这些多个特征量的组合等。
即,与处理信息相对应的特征量只要是能够确定实施该处理信息所表示的编辑处理的帧的信息即可,除了对于不同的图像必须成为不同的值的信息外,也可以是对于不同的图像以某一程度的高概率成为不同的值的信息。
作为对于不同的图像以某一程度的高概率成为不同的值的特征量,例如,有上述的1帧的像素值的相加值的下位8位,但即使是这种特征量,也如在图4中说明的那样,通过对4帧等的多个帧的特征量的序列之间(重放位置特征量和检索位置特征量)进行比较,可以从记录在记录介质62中的特征量中,正确地检测关注帧的特征量(一致特征量)。
在此,以下适宜地将与处理信息相对应的特征量也称为处理特征量。
以下,图8是表示图1的图像处理装置13的第2结构例子的框图。
而且,在图中,对于和图2的情况对应的部分标注相同的符号,以下适宜地省略其说明。
图8的图像处理装置13在具有特征量抽取部41、一致特征量检测部42、受光部44、处理信息决定部46、选择部47、延迟部48以及处理反映部49这一点上和图2的情况一致。但是,图8的图像处理装置13设置控制部122、记录部123,或者记录介质124分别代替控制部43、记录部61,或者记录介质62,新设置特征抽取部121以及显示控制部125这一点上和图2的情况不同。
从图像重放装置12向特征量抽取部121提供与提供给特征量抽取部41相同的图像数据。特征量抽取部121和特征量抽取部41一样,从由图像重放装置12顺序提供来的图像数据的各帧中抽取特征量,以帧为单位将该特征量提供给记录部61。
但是,在特征量抽取部121中,从1帧的图像数据中抽取数据量比该1帧的图像数据还少的特征量。
在此,以下为了便于和在特征量抽取部41中抽取的处理特征量区别而将在特征量抽取部121中抽取的特征量称为压缩特征量。
而且,在特征量抽取部121中抽取的压缩特征量虽然不需要如和处理信息相对应的处理特征量那样,是能够对实施处理信息所表示的编辑处理的帧进行确定的特征量,但也可以是那种特征量。
控制部122和图2的控制部43一样,按照从受光部44提供的操作信号,控制构成图像重放装置12或图像处理装置13的各块。此外,控制部122根据动作模式控制显示控制部125。
记录部123和图2的记录部61一样,进行将从特征量抽取部41提供的处理特征量记录在记录介质62中的处理,以及,将从处理信息决定部46提供的处理信息与处理特征量相对应地记录在记录介质62中的处理。
进而,记录部123将从特征量抽取部121提供的压缩特征量记录在记录介质62上。
记录介质124和图2的记录介质62一样,例如,是盘状的记录介质或半导体存储器等,在此记录处理信息和处理特征量。进而,在记录介质124上记录压缩特征量。
显示控制部125按照控制部122的控制,将从处理反映部49提供的图像数据,或者记录在记录介质124上的压缩特征量作为显示数据提供给显示装置15,显示与该显示数据对应的图像。
以下,参照图9至图11的流程图,说明图8的图像处理装置13的动作。
在图8的图像处理装置13中,和图2的情况一样,进行特征量记录处理,以及编辑/重放处理。进而,图8的图像处理装置13作为动作模式,除了通常重放模式以及编辑模式外,还具有简易编辑模式,还进行简易编辑模式的处理。
首先,参照图9的流程图,说明图8的图像处理装置13进行的特征量记录处理。
例如,如图5说明的那样,在动作模式是通常重放模式时,用户如果操作遥控指令器14以指示重放,则与该操作对应的操作信号从遥控指令器14发送,经由受光部44提供给控制部122。控制部122在动作模式是通常重放模式的情况下,如果提供与重放指示的操作对应的操作信号,则在步骤S51中对图像重放装置12发送请求重放的重放指令,由此,让图像重放装置12开始记录在记录介质11上的图像数据的重放。
图像重放装置12如果开始图像数据的重放,则将该图像数据提供给图像处理装置13,在图像处理装置13中以帧为单位将来自图像重放装置12的图像数据提供给特征量抽取部41和121,以及延迟部48。
而后,将提供给延迟部48的图像数据提供给处理反映部49,在处理反映部49中,将来自延迟部48的图像数据按原样提供给显示控制部125。显示控制部125在通常重放模式中,将来自处理反映部49的图像数据作为显示数据提供给显示装置15,由此,在显示装置15中,显示与记录在记录介质11中的图像数据自身对应的内容图像。用户通过看该内容图像的显示,能够确认与记录在记录介质11上的图像数据对应的图像。
其后,处理从步骤S51进入到步骤S52,进行特征量抽取部41在从由图像重放装置12提供的图像数据的帧中抽取处理特征量的同时,特征抽取部121从该帧中抽取压缩特征量的特征量抽取处理,处理进入步骤S53。
在此,在步骤S52中,将在特征量抽取部41中抽取的处理特征量,以及在特征量抽取部121中抽取的压缩特征量提供给记录部123。
在步骤S53中,记录部123使来自特征量抽取部41的处理特征量、来自特征量抽取部121的压缩特征量相对应,即,将从同一帧抽取的处理特征量和压缩特征量相对应地记录在记录介质124上,处理从步骤S53进入到步骤S54。
在此,关于由记录部123向记录介质124进行的处理特征量以及压缩特征量的记录,以维持抽取该处理特征量以及压缩特征量的帧的顺序的方式进行。即,在记录于记录介质124上的某个处理特征量以及压缩特征量是记录在记录介质11上的图像数据的第N帧的处理特征量以及压缩特征量时,关于对记录介质124的第N+1帧(或者第N-1帧)的处理特征量以及压缩特征量的记录,以知道该第N+1帧(或者第N-1帧)的处理特征量以及压缩特征量是已经记录的第N帧的特征量的1个之后(或者1个之前)的帧的处理特征量以及压缩特征量的方式进行。
在步骤S54中,控制部122判定记录在记录介质11上的图像数据的重放是否已经全部结束。在步骤S54中,当判定为记录于记录介质11上的图像数据的重放还没有结束的情况下,即,在图像重放装置12中正在进行图像数据的重放的情况下,处理返回步骤S52,将从图像重放装置12提供的图像数据的下一帧作为对象,以下,重复同样的处理。
此外,在步骤S54中,当判定为记录在记录介质11上的图像数据的重放已全部结束的情况下,即,在图像重放装置12中图像数据的重放结束的情况下,特征量记录处理结束。
而且,对记录介质124的处理特征量以及压缩特征量的记录和对记录介质62(图2)的处理特征量的记录一样,不需要重复进行。
以下,参照图10的流程图,说明图8的图像处理装置13进行的编辑/重放处理。
例如,如图6中说明的那样,在动作模式是编辑模式时,用户如果操作遥控指令器14以指示重放,则将与该操作对应的操作信号从遥控指令器14发送,经由受光部44提供给控制部122。控制部122在动作模式是编辑模式时,如果提供与重放指示的操作对应的操作信号,则对图像重放装置12发送请求重放的重放指令,由此,让图像重放装置12开始已记录在记录介质11上的图像数据的重放。
图像重放装置12如果开始图像数据的重放,则将该图像数据提供给图像处理装置13,在图像处理装置13中将来自图像重放装置12的图像数据以帧为单位提供给特征量抽取部41和121以及延迟部48。
而后,在图像处理装置13中,在步骤S61至S73中,进行和图6的步骤S21至S33分别相同的处理。
但是,在与图10的步骤S68对应的图6的步骤S28中,记录部61与记录于记录介质62上的处理特征量中的、关注帧的处理特征量相对应地,将来自处理信息决定部46的处理信息记录在记录介质62上,但在图8的图像处理装置13中,在记录介质124上将处理特征量和压缩特征量相对应地记录,所以在图10的步骤S68中,记录部123将处理信息与关注帧的处理特征量以及压缩特征量相对应地记录在记录介质124中。
此外,在步骤S69以及S73中,显示控制部125将从处理反映部49提供的图像数据作为显示数据提供给显示装置15,由此显示与该显示数据对应的图像。
以下,参照图11的流程图,说明图8的图像处理装置13进行的简易编辑模式的处理。
用户如果操作遥控指令器14以便将动作模式设置为简易编辑模式并指示重放,则从遥控指令器14发送与该操作对应的操作信号。该操作信号用受光部44接收,提供给控制部122。控制部122在动作模式是简易编辑模式的情况下,如果从受光部44提供与重放指示的操作对应的操作信号,则在步骤S91中,控制显示控制部125,开始压缩特征量的显示处理,其中显示记录在记录介质124上的、从记录介质11的图像数据中抽取的压缩特征量。
即,显示控制部125首先从记录介质124中将记录介质11的图像数据的最初的帧的压缩特征量作为关注压缩特征量读出,将该关注压缩特征量作为显示数据提供给显示装置15并显示,接着,从记录介质124中将记录介质11的图像数据的第2个帧的压缩特征量作为关注压缩特征量读出,将该关注压缩特征量作为显示数据提供给显示装置15并显示。以下,同样地,显示控制部125将记录在记录介质124中的压缩特征量作为关注压缩特征量顺序读出,提供给显示装置15并显示。
如上所述,在简易编辑模式中,并不是显示与记录在记录介质11上的图像数据对应的内容图像,而是显示该图像数据的压缩特征量。
其后,处理从步骤S91进入到步骤S92,处理信息决定部46判定是否由用户进行了遥控指令器14的编辑操作。
在步骤S92中,当判定为没有进行编辑操作的情况下,处理跳过步骤S93以及S94进入步骤S95。
此外,在步骤S92中,当判定为进行了编辑操作的情况下,即,当用户一边看着显示在显示装置15上的压缩特征量,一边例如编辑操作遥控指令器14以进行2倍的图像放大等的编辑处理,在受光部44中接收与该编辑操作对应的操作信号,提供给处理信息决定部46的情况下,处理进入步骤S93,处理信息决定部46根据从受光部44提供的操作信号,决定对关注帧的图像数据实施的编辑处理,将表示该编辑处理的处理信息提供给记录部123,处理进入步骤S94。
在步骤S94中,记录部123与显示控制部125从记录介质124中作为关注压缩特征量读出的压缩特征量、以及与该压缩特征量相对应的处理特征量相对应地,将来自处理信息决定部46的处理信息记录在记录介质124中,处理进入步骤S95。
即,在关注压缩特征量的显示中,当进行了编辑操作的情况下,将表示与该编辑操作对应的编辑处理的处理信息与应该实施该编辑处理的帧的压缩特征量以及处理特征量相对应地记录在记录介质124中。
在步骤S95中,显示控制部125判定记录在记录介质124上的全部压缩特征量的显示是否结束,或者,是否操作了遥控指令器14以结束重放。
在步骤S95中,如果判定为记录在记录介质124中的全部压缩特征量的显示还没有结束,并且判定为没有操作遥控指令器14以使重放结束的情况下,处理返回步骤S92,以下重复同样的处理。
此外,在步骤S95中,当判定为记录在记录介质124中的全部压缩特征量的显示结束,或者,判定为操作了遥控指令器14以使重放结束的情况下,简易编辑模式的处理结束。
如上所述,在简易编辑模式中,因为并不是显示与记录在记录介质11上的图像数据对应的内容图像,而是显示该图像数据的压缩特征量,所以,用户看着该压缩特征量进行编辑操作。
以下,参照图12至图14说明压缩特征量。
作为1帧的图像数据的压缩特征量,能够采用数据量比该1帧的图像数据还减少了的、并且用户看了可引起进行编辑操作的行动那样的信息。
具体地说,例如,能够采用表示1帧的图像数据的各像素的像素值(例如,亮度值)的位列的一部分、表示1帧的图像数据的运动的信息、表示1帧的图像数据的空间活动性(activity)的信息等。
图12表示作为压缩特征量采用了表示像素的像素值的位列的一部分时的,压缩特征量的显示例子。
即,图12上侧表示内容图像,图12下侧表示将作为从内容图像的图像数据中抽取的压缩特征量的、表示该内容图像图像数据像素的像素值的位列的上位2位作为像素值的图像。
在图12上侧的内容图像中,从第N帧到第N+4帧,存在从左下移动到右上方向的圆形的物体,进而,逐渐变亮。
作为压缩特征量如果采用表示像素值的位列的上位2位,并显示该压缩特征量,即如果显示将该压缩特征量作为像素值的图像,则如图12下侧所示,容易察觉暗的场景和亮的场景的区别。
因而,在内容图像中,当只将亮的场景作为对象进行编辑的情况下,作为压缩特征量采用表示像素值的位列的上位2位进行显示,由此用户能够容易找出作为编辑对象的明亮的场景的帧,其结果,能够谋求编辑作业的容易化。
此外,对于没有作为编辑对象的暗的场景,例如用户操作遥控指令器14,使根据显示控制部125的压缩特征量的显示快进,由此能够谋求在编辑中需要的时间的缩短化。
而且,作为成为压缩特征量的、表示内容图像的像素值的位列的一部分,除了其位列的上位2位以外,例如可以采用最上位的1位、上位3位等。
以下,图13表示作为压缩特征量,采用了表示运动的信息的情况下的,压缩特征量的显示例子。
即,图13上侧表示内容图像,图13下侧表示将用规定的阈值对作为从内容图像的图像数据中抽取的压缩特征量的、该内容图像的相邻的帧之间的像素值的差分值(的绝对值)进行了2值化的值作为像素值的图像。
在图13的上侧的内容图像中,存在圆形的被拍摄体,该圆形的被拍摄体在第N帧和第N+1帧中静止,在第N+2帧和第N+3帧中从左下移动到右上方向。
作为压缩特征量,采用用规定的阈值对相邻的帧之间的像素值的差分值进行2值化的值,并显示该压缩特征量时,即,显示将该压缩特征量作为像素值的图像时,如图13下侧所示,容易察觉存在运动的被拍摄体的场景,和不存在运动的被拍摄体的场景的区别。
因而,在内容图像中,当只将存在运动的被拍摄体的场景作为对象进行编辑的情况下,通过作为压缩特征量,采用用规定的阈值对相邻的帧之间的像素值的差分值进行了2值化的值并进行显示,用户能够容易找出作为编辑对象的运动的被拍摄体存在的场景的帧,其结果,能够谋求编辑作业的容易化。
此外,对于未作为编辑对象的,不存在运动的被拍摄体的场景,例如用户操作遥控指令器14,使根据显示控制部125的压缩特征量的显示快进,由此能够谋求在编辑中需要的时间的缩短化。
而且,作为成为压缩特征量的、表示内容图像的运动的信息,除了用规定的阈值对相邻的帧之间的像素值的差分值进行2值化的值外,例如可以采用用规定的块单位检测的运动矢量的大小等。
以下,图14表示作为压缩特征量,采用了表示空间活动性的信息的情况下的压缩特征量的显示例子。
即,图14上侧表示内容图像,图14下侧表示作为从内容图像的图像数据中抽取的压缩特征量的、该内容图像的像素值的直方图。
在图14上侧的内容图像中,在第N帧和第N+1帧上映出有云朵的天空,其后,发生场景变换,在第N+2帧和第N+3帧中映出人群。
作为压缩特征量,如果采用像素值的直方图,显示该压缩特征量,则如图14下侧所示,在场景变换前后,作为压缩特征量的直方图的形状变化大,所以能够容易识别场景变化。
因而,在内容图像中,只将场景变换附近的场景作为对象进行编辑的情况下,作为压缩特征量,采用像素值的直方图并显示,由此用户能够容易查找作为编辑的对象的场景变换附近的场景,其结果,能够谋求编辑作业的容易化。
此外,对于未作为编辑对象的、场景变换附近以外的场景,例如,用户操作遥控指令器14,使根据显示控制部125的压缩特征量的显示快进,由此能够谋求在编辑中需要的时间的缩短化。
而且,作为成为压缩特征量的、表示空间活动性的信息,除了像素值的直方图外,例如可以采用相邻的像素之间的像素值的差分值等。
在此,当记录在记录介质11上的图像数据例如是所谓全HD(High Definition)那样的大容量的图像数据,用MPEG(MovingPicture Expert Group)方式等进行编码的情况下,在图7中说明的编辑/重放处理中进行的重放、快进、倒带的处理的负担增大。
另一方面,在简易编辑模式的处理(图11)中,因为代替与记录在记录介质11上的图像数据对应的内容图像,显示数据量少的压缩特征量,所以能够降低处理的负担。
而且,即使是作为压缩特征量,例如,采用了像素值的直方图那样的只看它时不能掌握内容图像的内容的压缩特征量的情况下,也如上所述,当用户在进行记录在记录介质11上的图像数据的编辑之前,进行图9的特征量记录处理,确认与记录在记录介质11上的图像数据对应的图像,构建编辑的粗略的构想时,因为用户掌握着某种程度上的内容图像的内容,所以即使只看压缩特征量,也能够对作为编辑的对象的场景的大致附近进行编辑。
此外,在特征量抽取部121中,关于例如抽取表示上述的像素值的位列的一部分、表示运动的信息、以及表示空间活动性的信息等多个种类的压缩特征量中的哪一个,例如用户能够通过考虑作为编辑的对象的场景,操作遥控指令器14来指定。
进而,在特征量抽取部121中,能够抽取多个种类的压缩特征量,记录在记录介质124上。这种情况下,在简易编辑模式的处理中,显示控制部125读出并显示在显示装置15上的压缩特征量能够从记录在记录介质124中的多个种类的压缩特征量中选择。
在简易编辑模式的处理中,关于表示多个种类的压缩特征量中的哪一个,例如能够通过用户操作遥控指令器14来指定。进而,在显示控制部125中,能够以在左右或者上下排列的形式,显示多个种类的压缩特征量中的2种及以上的压缩特征量。
以下,在图12至图14中,虽然对于未作为编辑对象的场景,与用户对遥控指令器14的操作相应地,以手动使压缩特征量的显示快进,但压缩特征量显示的快进也能够自动地进行。
因而,参照图15的流程图,说明自动地进行压缩特征量显示的快进时的,在图11的步骤S91中开始的压缩特征量的显示处理。
在步骤S101中,显示控制部125对记录于记录介质124上的压缩特征量,将还未作为关注压缩特征量的压缩特征量中的、时间上在最前的帧的压缩特征量作为关注压缩特征量读出,处理进入步骤S102。
在步骤S102中,显示控制部125判定关注压缩特征量是否满足快进的条件。
在此,作为快进的条件,例如,当压缩特征量是在图12中说明的、表示像素值的位列的上位2位的情况下,能够采用该上位2位对于1帧的全部是0的情况等。此外,例如,当压缩特征量是在图13中说明的、用规定的阈值对相邻的帧之间的像素值的差分值进行了2值化的值的情况下,能够采用该经过2值化的值对于1帧的全部是0的情况,或者,相邻的帧之间的像素值的差分值(的绝对值)对1帧的总和小于等于规定的阈值的情况等。
而且,快进的条件例如能够通过用户操作遥控指令器14来设定。
在步骤S102中,当判定为关注压缩特征量满足快进的条件的情况下,即,例如,当压缩特征量是在图12中说明的、表示像素值的位列的上位2位,1帧的关注压缩特征量全部是0的情况下,处理进入步骤S103,显示控制部125进行跳过关注压缩特征量的显示的跳过处理,处理进入步骤S105。
在此,在跳过处理中,既能够将1帧的关注压缩特征量设置成在显示装置15上完全不显示,还可以只以比内容图像的帧周期充分短的时间,将1帧的关注压缩特征量显示在显示装置15上。
另一方面,在步骤S102中,当判定为关注压缩特征量不满足快进的条件的情况下,处理进入步骤S104,显示控制部125以内容图像的帧周期的时间量将1帧的关注压缩特征量显示在显示装置15上,处理进入步骤S105。
在步骤S105中,显示控制部125判定是否从记录介质124中读出了内容图像的全部的帧的压缩特征量。
在步骤S105中,当判定为还未从记录介质124中读出内容图像的全部的帧的压缩特征量的情况下,即,当还有未作为关注特征量的压缩特征量的情况下,处理回到步骤S101,如上所述,显示控制部125对记录于记录介质124上的压缩特征量,将还未作为关注压缩特征量的压缩特征量中的、时间上在最前的帧的压缩特征量作为关注压缩特征量读出,以下重复同样的处理。
此外,在步骤S105中,当判定为从记录介质124中读出了内容图像的全部的帧的压缩特征量的情况下,压缩特征量的显示处理结束。
以下,图16是表示图1的图像处理装置13的第3个结构例子的框图。
而且,在图中,对于和图8的情况对应的部分附加同一符号,以下适宜地省略其说明。
图16的图像处理装置13在具有特征量抽取部41、一致特征量检测部42、受光部44、处理信息决定部46、选择部47、延迟部48、处理反映部49、特征量抽取部121、控制部122、记录部123,以及记录介质124这一点上和图8的情况一样。但是,图16的图像处理装置13在设置读出部132,或者显示控制部133分别代替读出部63,或者显示控制部125这一点上和图8的情况不同。
读出部132在进行和图8(图2)的读出部63一样的处理外,识别与显示控制部133显示在显示装置15上的压缩特征量相对应的处理特征量,从记录介质124中读出与该处理特征量相对应的处理信息提供给选择部47。
显示控制部133和图8的显示控制部125一样,将从处理反映部49提供的图像数据、或者记录在记录介质124上的压缩特征量作为显示数据提供给显示装置15,显示与该显示数据对应的图像。此外,显示控制部133生成将从处理反映部49提供的图像数据、和记录在记录介质124中的压缩特征量在左右或者上下等中排列的形式的显示数据,在显示装置15上显示。
在如上述那样构成的图16的图像处理装置13中,和图8的情况一样,能够进行特征量记录处理(图9)、编辑/重放处理(图10),以及包含压缩特征量的显示处理(图15)的简易编辑模式的处理(图11)。
在此,在图11的简易编辑模式的处理(的步骤S91中开始的压缩特征量的显示处理)中,虽然显示压缩特征量,但没有显示内容图像。而后,因为未显示内容图像,所以,用户在对遥控指令器14进行的编辑操作时,不能确认通过与该编辑操作对应的编辑处理、编辑后的图像变成什么样。
因而,在图16的图像处理装置13中,能够进行和压缩特征量一同显示内容图像的简易编辑模式的处理,以使用户能够确认编辑后的图像。
参照图17的流程图,说明由图16的图像处理装置13进行的、和压缩特征量一同显示内容图像的简易编辑模式的处理。
而且,在图16的图像处理装置13中假设,特征量记录处理(图9)已进行并结束,因而,在记录介质124中记录有已记录在记录介质11中的图像数据的各帧的压缩特征量以及处理特征量。
如果用户操作遥控指令器14以便将动作模式设为简易编辑模式并指示重放,则与该操作对应的操作信号从遥控指令器14发送。该操作信号用受光部44接收并提供给控制部122。控制部122当动作模式是简易编辑模式的情况下,如果从受光部44提供与重放指示的操作对应的操作信号,则在步骤S121中,控制显示控制部133,和图11的步骤S91一样开始压缩特征量的显示处理,其中显示记录在记录介质124上的、从记录介质11的图像数据中抽取的压缩特征量。
即,显示控制部133从记录介质124中顺序读出从记录介质11的图像数据中抽取的各帧的压缩特征量作为关注压缩特征量,通过将该关注压缩特征量提供给显示装置15,显示在显示装置15的显示画面的一部分上。
其后,处理从步骤S121进入步骤S122,控制部122将显示控制部133显示在显示装置15上的关注压缩特征量的帧作为关注帧识别,处理进入步骤S123。
在步骤S123中,控制部122向图像重放装置12请求关注帧的重放,处理进入步骤S124。
在此,图像重放装置12如果有关注帧的重放的请求,则从记录介质11中重放关注帧的图像数据,提供给图像处理装置13。在图像处理装置13中,将来自图像重放装置12的关注帧的图像数据提供给延迟部48。延迟部48暂时存储来自图像重放装置12的关注帧的图像数据。
在步骤S124中,处理信息决定部46判定是否由用户进行了遥控指令器14的编辑操作。
在步骤S124中,当判定为进行了编辑操作的情况下,即,当用户一边看着显示在显示装置15上的关注帧的压缩特征量,一边例如编辑操作遥控指令器14以进行2倍的图像放大等的编辑处理,用受光部44接收与该编辑操作对应的操作信号并提供给处理信息决定部46的情况下,处理进入步骤S125,处理信息决定部46根据从受光部44提供的操作信号,决定对关注帧的图像数据实施的编辑处理,将表示该编辑处理的处理信息提供给选择部47以及记录部123,处理进入步骤S126。
在步骤S126中,记录部123从记录在记录介质124中的处理特征量中识别与用显示控制部133显示的关注压缩特征量相对应的处理特征量,与该处理特征量相对应地,将来自处理信息决定部46的处理信息记录在记录介质124上,处理进入步骤S127。
如上所述,当用户进行了编辑操作的情况下,与在进行了编辑操作时显示压缩特征量的帧(关注帧)的处理特征量相对应地将表示与该编辑操作对应的编辑处理的处理信息记录在记录介质124上。
在步骤S127中,选择部47选择从处理信息决定部46在紧接之前的步骤S125中提供的处理信息,提供给处理反映部49。处理反映部49对存储在延迟部48中的关注帧的图像数据实施由选择部47提供的处理信息所表示的编辑处理,即,在现在的情况下,实施与用户进行的编辑操作对应的编辑处理,将作为其结果得到的编辑后图像数据提供给显示控制部133。
进而,在步骤S127中,显示控制部133将来自处理反映部49的编辑后图像数据提供给显示装置15,由此显示在显示装置15的显示画面的另一部分上,即,例如显示在与显示着关注压缩特征量的部分相邻的部分上,处理进入步骤S128。
因而,当进行了编辑操作的情况下,在显示装置15中,和关注帧的压缩特征量一同,显示与实施了对应于编辑操作的编辑处理的结果得到的编辑后图像数据对应的内容图像。其结果,用户能够确认编辑后的图像。
另一方面,在步骤S124中,当判定为未进行编辑操作的情况下,处理进入步骤S129,读出部132判定是否与记录在记录介质124上的关注压缩特征量相对应地,记录有处理信息。
即,在步骤S129中,读出部132从记录在记录介质124中的处理特征量中,识别与由显示控制部133显示的关注压缩特征量相对应的处理特征量,判定是否与该处理特征量对应地记录有处理信息。
在步骤S129中,当判定为没有与关注压缩特征量对应地记录有处理信息的情况下,即,当过去对关注压缩特征量的帧(关注帧)没有进行过编辑操作,因此,在记录介质124上未与关注压缩特征量相对应地记录处理信息的情况下,处理进入步骤S131,处理反映部49将存储在延迟部48中的关注帧的图像数据按原样提供给显示控制部133。
进而,在步骤S131中,显示控制部133通过将来自处理反映部49的图像数据提供给显示装置15,显示在显示装置15的显示画面的另一部分上,即,例如显示在与显示着关注压缩特征量的部分相邻的部分上,处理进入步骤S128。
因而,当未进行编辑操作,并且在记录介质124中未与关注压缩特征量(相对应的处理特征量)对应地记录处理信息的情况下,在显示装置15中和关注帧的压缩特征量一同显示与从记录介质11重放的关注帧的图像数据对应的内容图像。
另一方面,在步骤S129中,当判定为与关注压缩特征量对应地记录有处理信息的情况下,即,在过去对关注压缩特征量的帧(关注帧)进行过编辑操作,其结果,在记录介质124中与关注压缩特征量对应地记录着处理信息的情况下,处理进入步骤S130,读出部132在记录介质124中读出与关注帧的关注压缩特征量相对应的处理信息,即,在记录介质124中识别与关注压缩特征量相对应的处理特征量,读出与该处理特征量相对应的处理信息并提供给选择部47,处理进入步骤S127。
在步骤S127中,选择部47选择从读出部132在紧接之前的步骤S130中提供的处理信息并提供给处理反映部49。即,在现在的情况下,因为没有进行编辑操作,所以从处理信息决定部46未向选择部47提供处理信息,而只从读出部132中提供处理信息,所以选择部47选择从读出部132在紧接之前的步骤S130中提供的处理信息,提供给处理反映部49。
处理反映部49对存储在延迟部48中的关注帧的图像数据进行从选择部47提供来的处理信息所表示的编辑处理,即,在现在的情况下,在记录介质124中和关注帧的关注压缩特征量对应地记录的处理信息所表示的编辑处理,将作为其结果得到的编辑后图像数据提供给显示控制部133。
显示控制部133通过将来自处理反映部49的编辑后图像数据提供给显示装置15,显示在显示装置15的显示画面的另一部分,即,例如显示在与显示着关注压缩特征量的部分相邻的部分上,处理从步骤S127进入步骤S128。
因而,虽然没有进行编辑操作,但在过去进行的关注帧的重放中进行编辑处理,其结果,在记录介质124中,与关注帧的压缩特征量以及处理特征量对应地记录着表示与过去进行的编辑操作对应的编辑处理的处理信息的情况下,在显示装置15中,和关注帧的压缩特征量一同,显示与对关注帧的图像数据实施了与过去进行的编辑操作对应的编辑处理的结果得到的编辑后图像数据对应的内容图像。
在步骤S128中,显示控制部133判定记录在记录介质124上的压缩特征量的全部的显示是否已结束,或者,是否已操作了遥控指令器14以结束重放。
在步骤S128中,当判定为记录在记录介质124中的压缩特征量的全部的显示还没有结束,并且判定为未操作遥控指令器14以结束重放的情况下,处理返回步骤S122,以下,重复同样的处理。
此外,在步骤S128中,当判定为记录在记录介质124中的压缩特征量的全部的显示已结束,或者判定为操作了遥控指令器14以结束重放的情况下,简易编辑模式的处理结束。
如上所述,在图17的简易编辑模式的处理中,因为在显示记录在记录介质11上的图像数据的压缩特征量的同时,显示该图像数据,或者与该图像数据的编辑处理后的编辑后图像数据对应的内容图像,所以用户能够看着压缩特征量进行编辑操作,并确认实施了与该编辑操作对应的编辑处理后的图像。
以下,图18是表示图1的图像处理装置13的第4结构例子的框图。
而且,在图中,对于和图8的情况对应的部分标注相同的符号,以下适宜地省略其说明。
图18的图像处理装置13在具有一致特征量检测部42、受光部44、处理信息决定部46、选择部47、延迟部48、处理反映部49、读出部63、控制部122、记录部123、记录介质124以及显示控制部125这一点上和图8的情况一致。但是,图18的图像处理装置13在代替2个特征量抽取部41以及121,只设置1个特征量抽取部141这一点上和图8的情况不同。
在特征量抽取部141中从图像重放装置12以1帧为单位提供从记录介质11中重放的图像数据。特征量抽取部141从来自图像重放装置12的1帧的图像数据中抽取特征量,提供给一致特征量检测部42以及记录部123。
即,在图8中,如上所述,特征量抽取部41从1帧的图像数据中将能够确定该帧的信息作为处理特征量抽取,特征量抽取部121从1帧的图像数据中,将数据量比该1帧的图像数据还减少了的、并且用户看了可引起进行编辑操作的行动的信息作为压缩特征量抽取。
以上那样的处理特征量和压缩特征量虽然包含在其范畴中的信息的范围不同,但一部分的信息既可以作为处理特征量采用,也可以作为压缩特征量采用。
即,例如,在图12中说明的作为压缩特征量的、表示1帧的图像数据的像素值的位列的上位2位还能够作为处理特征量使用。
在图18的图像处理装置13中,在特征量抽取部141中,从1帧的图像数据中抽取也能够作为上述那样的处理特征量使用的压缩特征量(或者,也可以作为压缩特征量使用的处理特征量)。
因而,在图18的图像处理装置13中,在记录介质124中,将处理信息与也作为处理特征量的压缩特征量相对应地记录。
在此,在图18的图像处理装置13中,除了使用处理特征量进行的处理中使用压缩特征量进行这一点外,进行和图8的情况一样的特征量记录处理(图9)、编辑/重放处理(图10),以及简易编辑模式的处理(图11),所以省略图18的图像处理装置13的处理的说明。
而且,在图18的图像处理装置13中,作为压缩特征量和处理特征量虽然需要采用同一信息,但在图8以及图16的图像处理装置13中,作为压缩特征量和处理特征量可以采用同一信息,也可以采用不同的信息。
此外,即使在图16的图像处理装置13中也和图18的图像处理装置13一样,作为压缩特征量和处理特征量采用同一信息,能够用1个特征量抽取部141兼作2个特征量抽取部41以及121。
以下,上述的一连串的处理能够用硬件进行,也可以用软件进行。当用软件进行一连串的处理的情况下,将构成该软件的程序安装在通用的计算机等中。
因而,图19表示安装执行上述一连串的处理的程序的计算机的一种实施方式的结构例子。
程序能够预先记录在内置于计算机中的作为记录介质的硬盘205或ROM203中。
或者此外,程序也可以暂时或者永久地存储(记录)在软盘、CD-ROM(Compact Disc Read Only Memory)、MO(MagnetoOptical)盘、DVD(Digital Versatile Disc)、磁盘、半导体存储器等的可移动记录介质211中。这种可移动记录介质211能够作为所谓的程序包软件提供。
而且,程序除了从上述那样的可移动记录介质211安装在计算机外,从下载站点经由数字卫星广播用的人造卫星以无线转送到计算机,或者经由LAN(Local Area Network)、因特网这种网络以有线转送到计算机,在计算机中,用通信部208接收这样转送来的程序,能够安装在内置的硬盘205中。
计算机内置有CPU(Central Processing Unit)202。在CPU202中经由总线201连接有输入输出接口210,CPU202如果经由输入输出接口210由用户通过操作用键盘、鼠标、麦克风等构成的输入部207等来输入指令,则按照该指令,执行存储在ROM(Read OnlyMemory)203中的程序。或者,此外,CPU202将存储在硬盘205中的程序、从卫星或者网络转送,用通信部208接收并安装到硬盘205中的程序,或者从安装在驱动器209中的可移动记录介质211读出并安装到硬盘205中的程序装载到RAM(Random Access Memory)204中执行。由此,CPU202进行按照上述的流程图的处理,或者用上述的框图的结构进行的处理。而后,CPU202将其处理结果根据需要例如经由输入输出接口210从用LCD(Liquid Crystal Display)或扬声器等构成的输出部206输出,或者从通信部208发送,进而记录在硬盘205中等。
在此,在本说明书中,记述用于让计算机执行各种处理的程序的处理步骤不需要必须沿着作为流程图记载的顺序、按照时间序列处理,还包含并行或者独立地执行的处理(例如,并行处理或者根据目标进行的处理)。
此外,程序可以是用1个计算机处理的程序,也可以是用多台计算机分散处理的程序。进而,程序也可以转送到远方的计算机执行。
而且,本发明的实施方式并不限于上述的实施方式,可以在不背离本发明的主旨的范围中进行各种变更。

Claims (17)

1.一种图像处理装置,用于处理图像,该图像处理装置的特征在于,具备:
从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取单元;
显示上述压缩特征量的显示控制单元;
决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定单元;以及
与实施该处理信息表示的处理的图像数据的规定的特征量即处理特征量相对应地将上述处理信息记录在记录介质中的记录单元。
2.根据权利要求1所述的图像处理装置,其特征在于:
上述处理信息决定单元按照由用户操作的操作单元的操作,决定对图像数据实施的处理。
3.根据权利要求1所述的图像处理装置,其特征在于:
上述压缩特征量抽取单元抽取多个种类的压缩特征量,
上述显示控制单元显示在上述多个种类的压缩特征量中的至少1种的压缩特征量。
4.根据权利要求1所述的图像处理装置,其特征在于:
上述压缩特征量记录在记录介质中,
上述显示控制单元显示记录在上述记录介质中的压缩特征量。
5.根据权利要求1所述的图像处理装置,其特征在于:
上述处理特征量是上述图像数据的规定区域的像素的像素值的相加值。
6.根据权利要求1所述的图像处理装置,其特征在于:
上述压缩特征量是表示上述图像数据的运动的信息。
7.根据权利要求1所述的图像处理装置,其特征在于:
上述压缩特征量是表示上述图像数据的空间活动性的信息。
8.根据权利要求1所述的图像处理装置,其特征在于:
上述压缩特征量是表示上述图像数据的像素值的位列的一部分。
9.根据权利要求1所述的图像处理装置,其特征在于:
上述处理特征量和压缩特征量是不同的信息,
进一步具备抽取上述处理特征量的处理特征量抽取单元。
10.根据权利要求1所述的图像处理装置,其特征在于:
上述处理特征量和压缩特征量是同一信息。
11.根据权利要求1所述的图像处理装置,其特征在于,进一步具备:
从图像数据中抽取上述处理特征量的处理特征量抽取单元;
从记录在上述记录介质上的处理特征量中检测具有与用上述处理特征量抽取单元抽取的处理特征量相一致的值的处理特征量即一致特征量的一致特征量检测单元;
对抽取了其值与上述一致特征量一致的处理特征量的图像数据实施在上述记录介质中与上述一致特征量相对应的上述处理信息表示的处理的处理反映单元。
12.一种图像处理方法,用于处理图像,该图像处理方法的特征在于,包含:
从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取步骤;
显示上述压缩特征量的显示控制步骤;
决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定步骤;以及
与实施该处理信息表示的处理的图像数据的规定的特征量即处理特征量相对应地将上述处理信息记录在记录介质中的记录步骤。
13.一种程序,使计算机执行处理图像的图像处理,该程序的特征在于,使计算机执行包括以下步骤的图像处理:
从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取步骤;
显示上述压缩特征量的显示控制步骤;
决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定步骤;以及
与实施该处理信息表示的处理的图像数据的规定的特征量即处理特征量相对应地将上述处理信息记录在记录介质中的记录步骤。
14.一种图像处理装置,用于处理图像,该图像处理装置的特征在于,具备:
从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取单元;
显示上述压缩特征量的显示控制单元;
按照由用户操作的操作单元的操作,决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定单元;以及
与从实施该处理信息表示的处理的图像数据中抽取的压缩特征量相对应地将上述处理信息记录在记录介质中的记录单元。
15.根据权利要求14所述的图像处理装置,其特征在于,进一步具备:
从记录在上述记录介质中的压缩特征量中检测具有与用上述压缩特征量抽取单元抽取的压缩特征量相一致的值的压缩特征量即一致特征量的一致特征量检测单元;
对抽取其值与上述一致特征量一致的压缩特征量的图像数据实施在上述记录介质中与上述一致特征量相对应的上述处理信息表示的处理的处理反映单元。
16.一种图像处理方法,用于处理图像,该图像处理方法的特征在于,包含:
从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取步骤;
显示上述压缩特征量的显示控制步骤;
按照由用户操作的操作单元的操作,决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定步骤;以及
与从实施该处理信息表示的处理的图像数据中抽取的压缩特征量相对应地将上述处理信息记录在记录介质中的记录步骤。
17.一种程序,使计算机执行处理图像的图像处理,该程序的特征在于,使计算机执行包括以下步骤的图像处理:
从图像数据中抽取数据量比该图像数据还少的特征量即压缩特征量的压缩特征量抽取步骤;
显示上述压缩特征量的显示控制步骤;
按照由用户操作的操作单元的操作,决定对图像数据实施的处理,输出表示该处理的处理信息的处理信息决定步骤;以及
与从实施该处理信息表示的处理的图像数据中抽取的压缩特征量相对应地将上述处理信息记录在记录介质中的记录步骤。
CN2008100049224A 2007-01-29 2008-01-29 图像处理装置以及图像处理方法 Expired - Fee Related CN101237551B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-017458 2007-01-29
JP2007017458 2007-01-29
JP2007017458A JP4957960B2 (ja) 2007-01-29 2007-01-29 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN101237551A true CN101237551A (zh) 2008-08-06
CN101237551B CN101237551B (zh) 2012-01-11

Family

ID=39400461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100049224A Expired - Fee Related CN101237551B (zh) 2007-01-29 2008-01-29 图像处理装置以及图像处理方法

Country Status (5)

Country Link
US (1) US8036470B2 (zh)
EP (1) EP1950762A1 (zh)
JP (1) JP4957960B2 (zh)
KR (1) KR20080071084A (zh)
CN (1) CN101237551B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666019B1 (ko) * 2010-08-03 2016-10-14 삼성전자주식회사 외삽 뷰 생성을 위한 장치 및 방법
JP6191160B2 (ja) * 2012-07-12 2017-09-06 ノーリツプレシジョン株式会社 画像処理プログラムおよび画像処理装置
EP3026922B1 (en) 2013-07-26 2021-01-06 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
JP6194484B2 (ja) 2013-07-30 2017-09-13 パナソニックIpマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
WO2015033500A1 (ja) 2013-09-04 2015-03-12 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
JP6240899B2 (ja) 2013-09-04 2017-12-06 パナソニックIpマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
CN105144735A (zh) 2014-03-26 2015-12-09 松下知识产权经营株式会社 影像接收装置、影像识别方法以及附加信息显示系统
US10194216B2 (en) 2014-03-26 2019-01-29 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
WO2016009637A1 (ja) * 2014-07-17 2016-01-21 パナソニックIpマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
JP6432047B2 (ja) 2014-08-21 2018-12-05 パナソニックIpマネジメント株式会社 コンテンツ認識装置およびコンテンツ認識方法
US11001129B2 (en) 2015-12-30 2021-05-11 Nikola Corporation Cargo door for semi-truck
US10981609B2 (en) 2015-12-30 2021-04-20 Nikola Corporation Systems, methods, and devices for an automobile door or window

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2091166C (en) 1990-09-19 2000-10-10 Josef Maria Karel Timmermans Method of recording picture information, record carrier, and picture retrieval and reproduction device for reading the record carrier
US5228098A (en) * 1991-06-14 1993-07-13 Tektronix, Inc. Adaptive spatio-temporal compression/decompression of video image signals
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
JP3432348B2 (ja) * 1996-01-30 2003-08-04 三菱電機株式会社 代表画像表示方法、代表画像表示装置およびこの装置を用いた動画検索装置
JP3877371B2 (ja) * 1997-02-26 2007-02-07 株式会社東芝 映像再生装置
JP2002204450A (ja) * 2000-12-28 2002-07-19 Sony Corp データ処理装置および方法
GB9815638D0 (en) 1998-07-20 1998-09-16 Danmere Limited Identification of video storage media
JP3469122B2 (ja) * 1999-03-10 2003-11-25 日本電信電話株式会社 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体
JP3649043B2 (ja) * 1999-06-07 2005-05-18 セイコーエプソン株式会社 画像表示装置及び方法、並びに、画像処理装置及び方法
US6810131B2 (en) * 2000-01-05 2004-10-26 Canon Kabushiki Kaisha Information processing method and apparatus
US7177470B2 (en) * 2002-11-13 2007-02-13 Koninklijke Philips Electronics N. V. Method of and system for detecting uniform color segments
KR20050105399A (ko) 2004-05-01 2005-11-04 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP2006011159A (ja) * 2004-06-28 2006-01-12 Nippon Telegr & Teleph Corp <Ntt> コンテンツ応答処理装置、処理方法及びそのプログラム
JP2006050483A (ja) * 2004-08-09 2006-02-16 Ricoh Co Ltd 映像解析装置、映像解析方法およびコンテンツ作成装置、並びに、プログラムおよび記録媒体
JP2006109005A (ja) * 2004-10-04 2006-04-20 Canon Inc 画像出力装置および撮像装置
JP2006180407A (ja) * 2004-12-24 2006-07-06 Hitachi Ltd 録画再生装置およびその映像編集方法
JP4640579B2 (ja) 2005-01-27 2011-03-02 ソニー株式会社 情報処理装置および回収基板
JP3968665B2 (ja) 2005-03-22 2007-08-29 ソニー株式会社 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体
JP4816140B2 (ja) 2006-02-28 2011-11-16 ソニー株式会社 画像処理システムおよび方法、画像処理装置および方法、撮像装置および方法、プログラム記録媒体、並びにプログラム
JP4670683B2 (ja) 2006-02-28 2011-04-13 ソニー株式会社 画像処理装置および方法、データ記録媒体、プログラム記録媒体、並びにプログラム
JP4720544B2 (ja) 2006-03-01 2011-07-13 ソニー株式会社 画像処理装置および方法、プログラム記録媒体、並びにプログラム
JP4839952B2 (ja) 2006-05-01 2011-12-21 ソニー株式会社 画像処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US8036470B2 (en) 2011-10-11
KR20080071084A (ko) 2008-08-01
US20080181515A1 (en) 2008-07-31
CN101237551B (zh) 2012-01-11
EP1950762A1 (en) 2008-07-30
JP4957960B2 (ja) 2012-06-20
JP2008187324A (ja) 2008-08-14

Similar Documents

Publication Publication Date Title
CN101237551B (zh) 图像处理装置以及图像处理方法
JP4241709B2 (ja) 画像処理装置
KR100465470B1 (ko) 광 디스크 기록 재생 장치
CN100588233C (zh) 图像再现装置
EP1986193B1 (en) Method of displaying moving image and image playback apparatus to display the same
CN101330573B (zh) 图像处理设备和图像处理方法
US6434320B1 (en) Method of searching recorded digital video for areas of activity
CN101212625B (zh) 信息处理设备、方法和程序
US7177531B2 (en) Record and playback apparatus and record medium
US7224649B2 (en) Information recording and reproduction apparatus, information recording and reproduction method, and broadcast receiving apparatus
JP5217250B2 (ja) 学習装置および学習方法、情報加工装置および情報加工方法、並びにプログラム
CN101106678B (zh) 信息处理设备和信息处理方法
CN100574383C (zh) 提供胶片图像的方法、以及提供胶片图像的图像显示设备
US6507412B1 (en) Image recording/reproducing apparatus having an improved recording signal generating unit
US7493022B2 (en) Video signal processing apparatus and method
CN101527807B (zh) 数据处理设备、数据处理方法和程序
WO2006046321A1 (en) Apparatus, method, and program product for reproducing or recording moving image
EP1785994A1 (en) Information recording device, information recording method, information recording program and recording medium
JP3342717B2 (ja) 画像ファイリング方法および装置
KR100529138B1 (ko) 디브이디 로더를 이용한 타임 랩스 녹화/재생 장치 및 방법
JP2000253390A (ja) 監視記録装置
JP2007251310A (ja) 画像記録装置
JPH0536240A (ja) 画像記録再生システム
JP2009260513A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2006253803A (ja) 情報記録装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120111

Termination date: 20160129

EXPY Termination of patent right or utility model