CN1837952A - 全景图像中死区的最小化 - Google Patents

全景图像中死区的最小化 Download PDF

Info

Publication number
CN1837952A
CN1837952A CNA2005101271393A CN200510127139A CN1837952A CN 1837952 A CN1837952 A CN 1837952A CN A2005101271393 A CNA2005101271393 A CN A2005101271393A CN 200510127139 A CN200510127139 A CN 200510127139A CN 1837952 A CN1837952 A CN 1837952A
Authority
CN
China
Prior art keywords
zero degree
panoramic picture
border
panoramic
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101271393A
Other languages
English (en)
Other versions
CN1837952B (zh
Inventor
R·G·卡特勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1837952A publication Critical patent/CN1837952A/zh
Application granted granted Critical
Publication of CN1837952B publication Critical patent/CN1837952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/12—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Abstract

描述了最小化与全景照相机相关的死区问题的技术。死区是零度边界周围的区域，在此三百六十度全景图像被分割以呈现二维全景。描述了重新导向零度边界至没有物体出现的位置，这样防止了位于死区的物体被分割在全景图的两个边缘之间。另一种技术涉及重新生成出现在邻近对面边的一边的图像的一个或多个部分，这样在死区中通常会被分割的物体可以完整地重新生成。所述技术可实现在全景照相机终端设备或在远离照相机的客户机设备中。该技术可应用于实况视频或先前已记录的视频。

Description

全景图像中死区的最小化
技术领域
下文描述通常涉及图像处理，尤其涉及全景照相机系统。
背景技术
全景图像是横跨达三百六十度(360°)的广角照相机图像。全景摄像机设备在会议室情况下特别有用。单独的全景摄像机可捕捉会议室中广阔范围内的与会者，这样观察者可以同时看到大部分或全部的与会者。能捕捉会议室三百六十度(360°)视图的全景摄像机设备可成像出所有与会者。
但是两维的三百六十度(360°)全景图像含有一个左边缘和一个右边缘，表示全景区域的0°/360°边界。如果一个人正巧坐在这个边界上，那么该人的图像的一部分会出现在全景图像的左边缘，而该人的一部分会出现在全景图像的右边缘。边界的该小型区域被称为“死区”，因为在这个区域内的任何物体在合成全景图像中会被分割。
附图说明
当结合附图，通过参考下文详细描述，会更容易识别并更好地理解前述的方面和本发明许多伴随而来的优点，其中：
图1a是示出放置全景照相机的示例性的会议室桌椅视图。
图1b是环坐在会议室桌旁的与会者的示例性全景图像。
图2是使用反向锥体镜和多个照相机的示例性全景照相设备。
图3是示例性全景照相机配置图。
图4a是使用第一复制区装配单独图像以形成示例性全景图像的示例性图像装配模块视图。
图4b示出了图4a中示例性全景图像和第二复制区。
图5a是示出在桌上放置全景照相机的示例性会议室桌椅视图。
图5b是带有最小化死区的与会者的示例性全景图像。
图6是示出在桌上放置全景照相机的示例性会议室桌椅视图。
图7是描述示例性全景照相机的框图。
图8是描述示例性客户设备和示例性远程照相机设备的框图。
图9是用于通过改变图像区域的零度边界在全景图像中最小化死区的示例性过程的流程图。
图10是用于通过在全景图像的对面边缘重新产生一部分全景图像边缘而在全景图像中最小化死区的示例性过程的流程图。
图11是用于在全景图像中最小化死区的客户设备上的示例性过程的流程图。
具体实施方式
在此描述了用于提供三百六十度(360°)全景图像并在全景图像的左/右边缘边界上不分割物体图像(即，不带有“死区”)的照相机和技术。在此使用的术语“死区”涉及一块由三百六十度(360°)照相机图像化的空间区域，其中合成全景图像被分割以表现为二维形式。通常，位于进行这种分割的边界上的物体会出现为两部分：一部分物体会出现在全景图像的左边缘，而一部分物体会出现在全景图像的右边缘。
虽然本描述涉及成像三百六十度(360°)区域的全景照相机示例，需要注意的是一个或多个所描述的技术可被用于成像小于三百六十度(360°)区域的照相机中。只要位于在此所描述的“死区”中的物体在合成图像上被分割时，就可使用本发明。
图1a和1b示出了一死区以及当成像物体(如，一个人)位于死区时通常遇到的问题。图1a是示出示例性会议室配置100的视图。所示的配置包括一个会议室桌102、一些会议室椅子104和位于桌102顶部中央的全景照相机106。
示出了源自全景照相机106的零度(0°)边界108。零度(0°)边界108表示划分成像区域的点，这样成像区域可被显示为二维形式。示出了零度(0°)边界108周围的死区110。当呈现全景图像时，位于死区110内的物体会被分割为两部分的图像。例如，坐在会议室椅子112的人可能会出现为两部分。人脸的一边会出现在邻近合成全景图像的左边缘，而人脸的另一边会出现在邻近合成全景图像的右边缘。
图1b是有人坐在死区中的示例性全景图像120。示例性全景图像120含有一个左边缘112和一个右边缘124。人(处于坐在会议室椅子112时)的脸部图像示出为位于邻近左边缘122的第一半126和位于邻近右边缘124的第二半128。这是坐在死区110的人如何出现在合成全景图像中的示例。
在此讨论一些用于在三百六十度(360°)全景图像中最小化死区问题的技术。一个技术涉及物理地旋转照相机或照相机的一部分，这样零度(0°)边界(在此划分合成图像以显示为二维形式的位置)被导向至一个不包含物体或包含不重要物体的区域。
另一个最小化死区问题的方式是通过软件、硬件、固件或类似物的计算机指令转化来完成类似调节。在此描述的全景照相机利用多个单独照相机来成像三百六十度(360°)范围(虽然所述技术可被用于跨越直至三百六十度(360°)的单个全景照相机)。使用像素重新映射功能将每个单独图像中的像素重新映射至全景图像。如果将要成像的物体位于死区内，那么可改变重新映射功能(如，旋转全景图像)这样就没有物体出现在死区中。
在一个或多个所述技术中，零度(0°)边界的最佳方向可以被手动或自动测定。在零度(0°)边界的自动测定中，使用脸部追踪机制来测定没有人脸出现的区域。随后设定零度(0°)边界为那个区域。结果是，在环绕该边界的死区中没有人的成像。
在此示出并描述的另一个技术测定了邻近零度(0°)边界的图像部分(如，在合成全景图像边缘上的图像部分)并在邻近于对面边缘重新产生该图像部分。结果是，如果一个在死区中的人被成像了，那么该人的完整图像出现在邻近的一个边缘上，而不是该人图像被分割在两个边缘上。
在下文中参考附图示出并更详细地描述了所有这些技术。需要注意的是在此示出并描述的特定实施例是作为示例而非限制地示出的。其他系统和方法可被实现在在此所述的以及附加权利要求书的精神和范围中。
示例性照相设备
图2是根据本发明的示例性全景照相设备200的视图。虽然示出了用于示例性全景照相设备200的特定配置，需要注意的是该特定配置仅作为示例示出且可使用其他根据本发明的全景照相机设备的配置。
示例性全景照相设备200包括倒棱镜部件202以及多个照相机206。倒棱镜部件202包括多个镜面204，对应于多个照相机206中的每一个都有一个镜面204。倒棱镜202通过一根圆柱208位于多个照相机206上方。
示例性全景照相设备200的配置实现了近中央投影，可在由全景照相设备200形成的全景图像中减少视差错误。这样的配置在一个或多个专利申请中示出并描述了，这些申请结合在此作为参考。
示例性照相机配置
图3是用360°照相机配置的示例性全景照相机300的视图。该视图是图2中所示的全景照相设备200的基础表现。需要注意的是虽然在此示出并讨论了多个照相机360°全景照相设备的示例，本描述可应用到任何倾向于分割位于某个区域内的物体的广角照相设备，在该区域内图像被分割以用于二维表示。在下文描述中，继续参考图2中示出并描述的元件和指示标号。
图3示出了多个照相机302-310，它们排列为五边形配置，对应于图2中的倒棱镜202的五边形外形，以形成全景照相机300。每个照相机302-310成像全景照相机300所在环境的不同部分。
因为成像区域是一个完全三百六十度(360°)的且合成图像必须以二维形式呈现，成像区域就必须在某些点被划分，这样合成全景图像可为“不卷的”。恰恰是这个划分会在合成图像中产生问题，因为位于划分上的物体会被呈现在合成图像两边上。
示例性图像部件模块
图4是装配单个图像10-50以形成全景图像402的示例性图像装配模块400的图。该图像装配模块400从全景照相机的每个照相机中接收一个图像作为输入。为了下面说明的目的，由图3所示照相机302-310得到的图像被相应识别为图像“1”10、图像“2”20、图像“3”30、图像“4”40以及图像“5”50。这些单个的图像被装配以形成单个全景图像402。
图像装配模块400利用将单个图像空间中的像素映射到全景图像空间中的像素的重新映射功能。在单个图像10-50中的像素被根据一个(u，v)坐标格401来标记。在全景图像402中的像素被根据一个(x，y)坐标格403来标记。图像装配模块400从(u，v)坐标到(x，y)坐标位置映射每个像素，直到在单个图像10-50中的所有像素都被重新生成在全景图像402中。
校准重新映射功能，这样单个图像被缝合在一起，其中图像接合处是无缝的。这样全景图像402看起来就是无缝的，即：在单个图像之间没有转移的人造痕迹。
需要注意的是并不是单个图像中的所有像素都必须使用在合成全景图像中，因为要求方法适当地缝合单个图像以使全景图像中图像之间的接缝最小化。此外，可使用一个或多个失真修正算法以归一化全景图像的显示。图像缝合技术被一个或多个专利申请所示出并描述了，这些申请结合在此作为参考。
可使用来修正死区问题的一种技术是重新生成邻近一个边缘的图像部分并将重新生成的部分附加到另一边缘。在图4a中，单个图像的一个变量部分δ从全景图像402的一边重新生成并(变量原始部分δ′)附加到该全景图像的对面边以生成一个360+δ全景图像。
δ′的宽度是可变化的，但在类似于在此所讨论的一个摄像会议场合中，δ′大约为人的脸部的宽度。在一个通常会议室全景图中，人脸的宽度通常大约为四(4)到十四(14)度，取决于人离照相机的距离。
δ的宽度可被默认、自动、或手动测定。当该宽度是手动测定时，用户与用户接口进行交互以设置一个δ的期望宽度。当该宽度是自动测定时(诸如结合脸部追踪器)，需要配置自动设置以在特定时间间隔出现。因为人们在不同时间进入或离开，会议情况可能变化。如果δ的宽度是当人们进入或离开死区时自动调节的，可能产生不希望的结果。此外，自动实现应包括用户选项以在任何时候关闭对δ的宽度的自动测定。
下面参考一个或多个随后的附图，更详细地描述了该技术。如下所述，可结合或不结合最初导向照相机到一个期望的位置来使用该技术。
当变量原始部分δ′被附加到全景图像402时，全景图像的宽度(t)增加为(t+δ′)。可以期望调整全景图像402的大小这样可以维持一个标准的全景图像外观比例。可利用其他方法来重新设定全景图像的大小。例如，为了维持相同的大小和图像外观比例，可通过附加到全景图像402的顶端和/或底端的水平带来增补合成全景图像402(t+δ′)。
图4b示出了类似图4a中所示全景图像402的全景图像410。全景图像410包括两(2)个变量部分(δ)，每个都在全景图像410的各一边。生成该全景图像410的过程类似图4a所述的重新生成超过三百六十度(360°)区域的过程。
由全景照相机成像的邻近零度(0°)边界各边的示例被映射到两个位置：在名义全景空间中的第一位置，以及在全景图像410的对面边的第二位置。
在全景图像中添加两个变量部分(δ)会导致坐在死区中的人物图像在合成全景图像410中出现两次：在每个边缘上各出现一次。然而，如下文要讨论的，向一个图像附加一个重新生成的图像部分可结合一个或多个其他技术以避免在全景图像410中人物图像的复制。
可以在图像装配过程中的任何时期确定重新生成的图像部分(δ)。在一则实施例中，在复制δ并将δ′添加到全景图像402之前创建全景图像402。其他实施例可包括在重新映射过程中照这样重新映射设定用以复制像素的表格。可利用任何这些技术来完成上文所述的相同最终结果。
图5a示出了包括桌子502、椅子504以及全景照相机506的示例性会议室布置500。在图5a所示的示例中，全景照相机506的零度(0°)边界508被手动导向到桌子502的一个没有人坐着的位置。通过一个用户可视的边界表示器509将该边界508的位置表示在照相机506上。为了导向全景照相机506，用户简单地旋转全景照相机506到一个点，此时边界表示器509被导向到的没有物体出现的位置，如图所示。
结果是，在零度(0°)边界508周围发生的死区510中没有出现人。这样，在全景照相机506所捕捉的全景图像上完全成像了在会议室中的每个人。
图5b是当全景照相机506被导向到一个没有人存在的位置时，与会者522的示例性全景图像520的表示图。完整示出了每个人的图像522，即：没有人的图像被分割在全景图像520的两个边缘之间。
在图5a和图5b中所示的情况是经常可用于存在有适合死区的位置的情况下。诸如在使用放映机屏幕的房间内。因为没有人会经常坐在会议桌和放映机屏幕之间，用以导向零度(0°)边界的适合位置是指向放映机荧幕。然而，不是所有情况都是这样理想地出现的。
用以创建零度边界的计算旋转
除了上面所述的物理上重新导向照相机以指示零度边界(0°)的技术外，可由用户手动指示零度(0°)边界并将全景图像计算旋转以导向有关零度(0°)的图像。
为了完成该全景图像的旋转，重新映射功能(先前有关图4中图像装配模块400所描述的)计算名义零度(0°)边界和所选择的零度(0°)边界之间的角度差。该差值被计算到重新映射功能中，用以旋转全景图像到一个全景图像的边缘对应于所选择的零度(0°)边界的位置。
通过在全景图像(403，图4a)的(x，y)坐标系统中x坐标上添加一个相等于名义零度(0°)边界和所选择的零度(0°)边界之间差值的偏移量，完成旋转。
可用多种方式中的一种来完成零度(0°)边界的设置。例如，全景照相机(没有示出)的用户接口单元(没有示出)可包含用于完成边界表示器旋转的装置，诸如一个箭头按钮。用户可通过按下向右或向左箭头按钮来定位边界表示器(如，在一个液晶显示器(LCD)上)。可使用其他技术来达到相同结果。
零度(0°)边界的自动定位
图6示出了类似图5a中所示的示例性会议室布置600。示例性会议室布置600包括一个会议室桌子602、一些会议室椅子604和一个全景照相机606。在当前示例中，在会议室桌子602的每一边和每一端上都存在椅子604。这样，没有用以导向照相机606的空旷位置。
在图6中，示出了全景照相机606，其零度(0°)边界被导向到桌子602的一角，在两把椅子604之间。关联于零度(0°)边界608的死区610落在两个与会者之间，这样避免了分割与会者的图像。
可如前面所描述的来手动导向零度(0°)边界608，或使用脸部追踪机制将它自动导向到一个最佳的位置。脸部追踪机制(或“脸部追踪器”)在本领域是众所周知的并可被用来确定用于零度(0°)边界608的最佳位置。
通常，使用脸部追踪器所确定的最佳位置是两个脸部(或其他物体)之间最大测定角的中央。脸部追踪机制在成像区域中定位每个脸部并确定每两个邻近脸部之间的角度。这些角度中最大的被用来导向零度(0°)边界608。
如上文所描述的一个边界探测机制的表达式是：
j = arg max i = 1 . . . n ( | θ i - θ mod ( i + 1 , n ) | )
θ = θ j + θ mod ( j + 1 , n ) 2
其中{θ1，...，θn}是由脸部追踪器所测得的脸部已分类角，且θ是含有脸部之间最大间隔的角。需要注意的是在上文所示的等式中，所有角度的相减和相加是模360度计算的。
当已经确定了最佳边界时，调节重新映射功能(见上文图4a的讨论)以旋转全景图像，以达到预期的边界。
在下文参考后续附图详细描述了这个和其他先前讨论的用于调节零度(0°)边界的技术。
示例性照相机
图7是根据在此所述的实施例的示例性全景照相机700的框图。在随后的示例中，示例性全景照相机或多或少是一个完整的视频会议终端，包含一个全景照相机以及其他可被分散在一个或多个可选实施例中的一个或多个其他设备中的功能。在下文图8中示出并描述了一个这样的可选实施例。也可实行根据本描述和权利要求书的其他特定配置。
在下文的讨论中，继续参考先前附图中所示并描述的元件和标号。虽然所示的特定元件和特定功能是对应于特定元件的，需要注意的是所述功能可被分配给可选配置的可选元件。此外，虽然所示的元件示出为硬件或软件元件，但任何元件可被配置在硬件、软件或固件中。
示例性全景照相机700包括处理器702、存储器704以及至少一个照相机706。在先前的示例中，在一个全景照相机中包括有五(5)个照相机。全景照相机700还包括一个或多个通常包含在照相机中的用于探测光线并发送电信息的传感器708(如，电荷耦合设备(CCD)、互补金属氧化物半导体(CMOS)、等等)。通常，每个照相机706有一个传感器708。
全景照相机700也可包括麦克风710(或麦克风阵列)和/或一个或多个扬声器712。在视频会议照相机中，例如，麦克风和扬声器是必须的，用以在远程与会者之间进行音频通信。
也包含输入/输出(I/O)模块714，它由一个或多个配置为接收外部数据和/或发送数据的单元所组成。通用I/O模块的一个示例是通用串行总线(USB)或其他端口类型，但是I/O模块714不限于此。I/O模块714也可包括配置为与远程全景照相机/客户机设备通信的单元。这包括，但不限于，网络接口模块、电话接口模块以及类似设备。
也给全景照相机700提供了用户接口716，包括控制器和显示器(没有示出)，由此用户可以与全景照相机700交互。这些控制器可包括按钮、触摸板、触摸屏、指示设备、和/或类似设备。所使用的显示器的一种类型可包括，但不限于，液晶显示器(LCD)屏幕或类似设备。
边界指示器718也可包括在全景照相机700中。可使用各种类型的边界指示器718来识别照相机中的零度(0°)边界的名义方向，即一条轴线，按照这条轴线由照相机700所拍摄的图像被分割以呈现二维图像。如先前所示出并讨论的，边界指示器(509，图5)可为照相机外部部分的一个标记，诸如一个箭头、一个点、一条线，等等。可使用任何其他指示器类型(诸如发光二极管(LED))，只要用户能够通过指示器的位置推断出零度(0°)边界的方向。
电源模块720向全景照相机700提供电源，并且全景照相机700包括其他多种多样的硬件722元件，它们是执行照相机的通常功能所必须的。
存储器704存储操作系统724，它包括处理器可执行指令，用于替全景照相机700和它的组件执行运行功能。由照相机706探测的多个图像726被存储在存储器704中。
一个或多个重新映射表格728也被存储在存储器704中，并被重新映射模块730用来确定单个图像726从成像空间到全景空间的正确映射，以创建全景图像732。一个或多个重新映射技术被描述在提交于2002年6月21日，授予本申请受让人的美国专利申请号10/177,315，题为“用于照相机色彩校准和图像缝合的系统和方法”(A System and Method for CameraColor Calibration and Image Stitching)，所述的申请结合在此作为参考。
脸部追踪器734存储在存储器704中，并被用于在诸如会议场合时自动探测脸部。为了在此所述的目的，可将本领域众所周知的任何脸部追踪机制结合在全景照相机700中。脸部追踪器734，除了定位脸部以外，也被配置为计算两个邻近脸部之间的角度或距离。
一个或多个脸部追踪机制的示例被描述在提交于2001年12月3日，授予微软公司的，美国专利申请号10/006,927，题为“使用多个记号的多个个体的自动探测及追踪”(Automatic Detection and Tracking ofMultiple Individuals Using Multiple Cues)，作者Yong Rui和YunqiangChen，所述申请的所有披露和教导结合在此作为参考。
装配模块736存储在存储器704中，并被配置为结合重新映射模块730和重新映射表格728一起工作，以装配单独图像726成为全景图像732。装配模块736可执行的功能之一是确定邻近零度(0°)边界一边的图像726的部分(δ)。它可被重新映射于邻近零度(0°)边界另一边(如δ′)，以最小化在零度(0°)边界周围的死区问题。
这些功能已经在先前描述过并且可以或不可以被包括在根据本描述的全景照相机700的一个特定配置中。此外在下文中更详细描述关于装配模块736的讨论以及它的功能。
存储器704也存储了旋转模块738。旋转模块738被配置为确定全景照相机700的默认、或名义零度(0°)边界到实际零度(0°)边界之间的距离(自动或由用户手动设置)。旋转模块738确定了可被包括在重新映射功能中的一个合适的偏移量(x轴偏移量)。通过偏移零度(0°)边界，可最小化关联到死区的潜在问题，如前文所述的。
边界模块740也包括在全景照相机700的存储器704中。边界模块740处理关于确定名义边界742、实际边界744以及边界差746的功能。名义边界742通常为通过在存储器或在硬件中存储边界指示而在生产过程中设定的默认边界位置。然后可以在随后的计算中获得或使用名义边界742。
实际边界744是通过用户输入或通过识别用于零度(0°)边界的最佳位置的自动计算来确定的。可从用户接716或通过一个用户设置以指示期望边界方向的离散硬件元件(如，手动拨盘)来获得用户输入。
可选地，脸部追踪器734可用于确定与会者脸部的位置。随后脸部追踪器734(或一些其他模块，诸如边界模块740)可使用脸部位置信息来确定用于零度(0°)边界的最佳位置，如在两个脸部之间存在最大距离的位置。随后按照度数、偏移单位或类似信息确定边界差746，这样可配置重新映射功能实现合适的偏移量。
示例性客户机设备
图8是根据本描述的示例性客户机设备800的框图。示例性客户机设备800可为通用计算设备，诸如个人计算机，或它可为被特别配置用于在此给出的用途的有限功能设备。在下面的讨论中，继续参考先前的附图以及元件和与其关联的标号。
客户机设备800被配置为与诸如图7所示的示例性全景照相机700的全景照相机进行通信。然而需要注意的是，当结合客户机设备800使用时，示例性全景照相机700可能含有较少的组件，其中客户机设备800可以进行一些属于图7中示例性全景相机的处理。
客户机设备800和全景照相机700也可被配置为与另一个客户机设备(未示出)和/或远程位置的全景照相机进行通信。这可以是这样一种情况：两个会议室，每一个都有一个客户机设备和一个远程全景照相机。在诸如电话线路或网络链接的通信链路上互相之间进行通信。
客户机设备800包括处理器820、I/O模块822、显示器824、呈现器825以及用户接口826。显示器824可集成在客户机设备800，如图所示，或者它可与客户机设备800分离，诸如在一个配置中，客户机设备800是个人计算机而显示器824是监视器。呈现器825是被配置为在显示器824上呈现全景图像838中像素表示的模块(诸如显示卡)。
用户接口826包括图像转换器827，它允许客户机设备用户输入用户希望在可视图像上看到的转换的方向和量值。在下文中将更详细地描述该特征。
客户机设备800也包括存储器828，它存储操作系统830和RTP(实时传输协议)源模块832。RTP源模块832被配置为在通信信道(没有示出)上接收来自全景照相机700的全景图像732并将所接收的全景图像存储为全景图像838。在这个特定示例中，全景照相机700从单个图像创建全景图像732并发送该全景图像至客户机设备800。
多种其他元件840-852类似于并各自对应于图7中的元件734-746。除了下文指出的以外，所述元件按照先前的描述工作。存储了全景图像838并可以在全景图像838重放时进行操作以最小化任何有关死区的不利效果。下面所述的处理可以被应用到所存储的全景图像838，不论它是当从全景照相机700接收到时就实时回放，还是当全景图像838被接收并存储后的某个时间回放。
在运行中，用户可处在带有客户机800的第一会议室中，而全景照相机700在第二会议室802中。在这第一示例中，全景照相机700向客户机800传输视频图像。全景照相机700设置了一个初始零度(0°)边界并创建了全景图像，随后全景图像被发送给客户机800。
当客户机设备800接收到全景图像838之后，如果存在死区的问题，即：在全景图像838中人的脸部被分割，则可旋转全景图像838。这可通过使用脸部追踪器830自动完成或通过图像转换器827手动完成。
手动完成旋转的一个方式是通过用户使用指示设备(没有示出)在期望的零度边界上点击并通过从菜单中选择、拖拉出一条曲线等来执行旋转功能。其他用于手动旋转图像的技术是可用的，并且任何用于完成这些操作的本领域众所周知技术是可以实现在本示例的内容中的。
在至少一则实施例中，可通过脸部追踪器来完成旋转但是之后可以由用户手动干预，如果用户是这么期望的。下文参考图11描述了这样一则实施例。
在本示例内容中，图像旋转模块844执行本领域众所周知的图像旋转功能。当设置了一个新的零度边界时，图像在新零度边界所指示的点被垂直分割，在图像中生成两个正方形区域。两个正方形区域随后被交换，这样分割两个正方形的线因此变为新全景图像的边缘。
也需要注意的是旋转功能可在呈现器825执行中，如果呈现器825是可用的并被配置为执行这样的功能。例如，一些视频图像加速器包括足够的处理能力来处理这样的功能，且在这样的单元中执行旋转是更有效率的。
当操作图像转换器827以手动重设零度边界时，图像旋转模块844接收回馈，它指示所指定的旋转的方向和量值。客户机设备800中的边界模块846存储了接收自全景照相机700或由脸部追踪器840设置的名义边界848。实际边界850是由所探测的操作识别出的位置。差(边界差852)是名义边界848和实际边界850之间的差。边界差852被用于计算转换图像像素以达到图像旋转所需的偏移量。
示例性方法实现
图9是示出了用于去除来自全景图像的死区的过程的示例性方法实现的流程图900。流程图900所示的特定过程涉及先前所述的图7。虽然用特定顺序示出了特定示例性方法实现，需要注意的是可执行或多或少的步骤来实现所述功能，并且可用不同于本示例所示的顺序执行这些步骤。
在块904或906中确定了用于零度(0°)边界的最佳位置。使用块904或906取决于判断是自动的(“是”分支，块902)，诸如使用脸部追踪器，或是手动的(“不”分支，块902)。
照相机可包括手动选择器，用户使用它可确定最佳位置并设置手动选择器至该位置以识别名义边界位置和实际边界位置之间的偏移量。相应地在块908设置了零度(0°)边界。
如果自动执行，可使用脸部追踪机制来自动探测环坐在会议桌周围的与会者的脸部位置。可使用本领域众所周知的任何脸部追踪机制来完成该操作。当识别出脸部位置时，做出一个关于两个脸部间最大区域的判断。随后在块908中设置实际零度(0°)边界至该区域的中央。
一旦确定了实际零度(0°)边界，在块910确定一个偏移量。该偏移量是实际零度(0°)边界与名义零度边界之间的差。名义零度边界是为了呈现二维全景图像的目的而分割三百六十度的位置。这是硬件功能或通过软件机制预先定义的。
偏移量是全景图像需要被转动以适应新获得的实际零度边界的距离。这可以在实际距离上用度数确定或者在根据(x，y)坐标系来确定与重新映射功能兼容的其他单元。一旦确定了偏移量，则该偏移量被结合到重新映射功能中。
在块912，接收到各单个图像726。在块914，重新映射功能考虑了偏移量，重新映射各单个图像726成为全景图像732。合成图像在全景图像的两边缘之间不会分割人脸部的图像。
需要注意的是上面指出的过程是通常步骤，它可被改变以适应任何前述的或是根据在此提供的描述而执行的实施例。在任何特定实施例中可省略或改变图9所示的特定步骤。此外，可在图9所示的步骤中加入额外的步骤而不脱离本描述和权利要求书的范围。
示例性方法实现：360°+δ
图10是示出了通过重新生成全景图像部分在全景图像中去除死区的示例性方法实施例的流程图1000。流程图1000所示的过程特别涉及先前所述图7中所示的框图。虽然用特定顺序示出了特定示例性方法实现，需要注意的是可执行或多或少的步骤来实现所述功能，并且可用不同于本示例所示的顺序执行这些步骤。
如前所述，单独图像726中之一或者全景图像732中的一个或多个部分，(邻近零度(0°)边界的区域)可以被重新生成并被附加到全景图像中，这样任何由零度边界分割的物体就会整个出现在全景图像中(见图4a和图4b)。可用除了重设最佳零度边界以外的办法执行该步骤，但也可以不事先完成这个判断而实行该步骤。
因为在死区中的图像会被重新生成，寻找死区的最佳位置就是不必要的。然而，如果有人坐在死区中且应用该技术，人的图像的一部分会出现在邻近合成全景图像的一边，同时人脸部的完整图像会出现在邻近另一边。
在块1002，类似上文所述的方法(图9，904-906)判断了用于零度(0°)边界的最佳位置。在块1004接收单个图像726且在块1006装配模块736将图像726缝合在一起以形成全景图像732。装配模块736随后确定(通过预先设定值或自动参考图像中的物体或通过手动输入)要被重新生成的部分(δ)(块1008)。
部分(δ)重新生成为δ′且重新生成的部分(δ′)在块1008中被附加到全景图像732。如前所述，两个部分(δ)可被重新映射并附加到全景图像732，在全景图像732的每一对应边都有一个重新生成的部分(δ)。
如果需要，可在块1010将合成全景图像732的大小调整(可选项)至如果没有附加δ′时的全景图像的大小。这可以通过水平缩短全景图像732或通过在全景图像732的顶端和/或底端的附加无意义空间(如，黑色或灰色条纹)来实现。
如前所述，上文所述的过程仅仅是使用一个或多个复制图像部分的相加来最小化死区问题的多种实施例中的一种。上面列出的特定引用步骤仅仅通过示例给出而非限制。
示例性方法实施例：客户机设备
图11为示出了通过在生成并存储全景图像之后旋转全景图像来最小化全景图像中死区的过程的流程图。在下面的讨论中，继续参考先前的附图以及元件和与其关联的标号。流程图1100所示的过程特别涉及先前所述图8中所示的框图。虽然用特定顺序示出了特定示例性方法实现，需要注意的是可执行或多或少的步骤来实现所述功能，并且可用不同于本示例所示的顺序执行这些步骤。
在块1102，客户机设备800接收到所存储的全景图像838。可从全景照相机700实时接收或在存储后的某个时候从存储器828提取全景图像838。此时，设置了名义零度边界848以在二维形式下呈现全景图像。然而，因为多种原因的任何一个，名义零度边界848不一定在一个理想的位置。
如果脸部追踪器是可用的(“是”分支，块1104)，则脸部追踪器840扫描全景图像838以定位全景图像838中的脸部(块1106)。如果定位了用于零度边界的更佳位置，则边界模块846识别该位置，设置新的边界，并且旋转模块844相应地在块1108旋转全景图像838。如果用户接受所旋转的图像(“是”分支，块1110)，则过程结束。
如果没有可用的脸部追踪器(“否”分支，块1104)或者用户不喜欢零度边界的新位置(“否”分支，块1110)，则用户在块1112手动重设了零度边界，如上文所述。当用户重设了边界，全景图像838也相应地被旋转(块1114)且过程结束。
这样，用户可以按照所期望的来改变零度边界。例如，如果新的与会者加入会议且正巧坐在死区中，用户希望调节边界以捕捉到新的与会者的完整图像。
结论
虽然示出并描述了一个或多个示例性实施例，可以被理解的是可以进行多种变化而不脱离在此附加的权利要求书的精神和范围。

Claims (20)

1.一种照相机系统，其特征在于，包括：
一个或多个照相机，配置为生成最大为三百六十度(360°)的广域的图像；
用于确定零度边界位置的装置，在所述零度边界上由所述照相机系统生成的二维图像被分割；
重新映射模块，配置为根据所述零度边界将来自照相机图像的像素重新映射至全景空间；以及
其中，由全景空间呈现的全景图像含有对应于所述零度边界的左边缘和右边缘。
2.如权利要求1所述的照相机系统，其特征在于，所述用于确定零度边界位置的装置还包括用于自动确定其中没有物体位于零度边界位置的广域部分的装置。
3.如权利要求2所述的照相机系统，其特征在于，所述用于确定零度边界的装置还包括脸部追踪器。
4.如权利要求1所述的照相机系统，其特征在于，一个或多个非照相机元件被包含在客户机设备中。
5.如权利要求1所述的照相机系统，其特征在于，所述广域还包括至少三百六十度(360°)的跨度。
6.如权利要求1所述的照相机系统，其特征在于，所述重新映射模块进一步被配置为复制所述照相机所摄的图像的一部分，使得所述部分包括在所述全景空间内二次。
7.一种方法，其特征在于，包括：
接收全景图像；
相对于所述全景图像确定零度边界位置；以及
相对于所述零度边界，对所述全景图像进行转换以最小化与零度边界相关的死区。
8.如权利要求7所述的方法，其特征在于，所述接收步骤还包括从全景照相机接收以视频流格式的所述全景图像。
9.如权利要求7所述的方法，其特征在于，所述接收步骤还包括从图像存储器单元接收所述全景图像。
10.如权利要求7所述的方法，其特征在于，所述确定步骤还包括设定零度指示器以指示不包括要成像的物体的位置。
11.如权利要求7所述的方法，其特征在于，所述确定步骤还包括自动探测用于零度边界的最佳位置，所述最佳位置是不包括要成像的物体的位置。
12.如权利要求7所述的方法，其特征在于，所述确定步骤还包括使用脸部追踪机制来标识没有脸部出现的位置，作为零度边界的位置。
13.如权利要求7所述的方法，其特征在于，所述转换步骤还包括在全景图像中复制全景区域的至少一部分，全景区域的所述一部分是邻近零度边界的区域。
14.如权利要求12所述的方法，其特征在于，还包括调整全景图像的大小至归一化的全景空间。
15.一个或多个计算机可读介质，包含可执行指令，其特征在于，当执行时，完成如下步骤：
相对于所述全景区确定零度边界位置；
接收全景区的一个或多个图像；
将所述一个或多个图像映射至全景图像，使得由所述全景图像的至少一边来表示所述零度边界。
16.如权利要求15所述的一个或多个计算机可读介质，其特征在于，所述确定步骤还包括确定没有物体出现的位置，作为所述零度边界。
17.如权利要求15所述的一个或多个计算机可读介质，其特征在于，
所述确定步骤还包括接收一个所述零度边界位置的指示。
18.如权利要求15所述的一个或多个计算机可读介质，其特征在于，还包括复制全景图像中邻近零度边界的全景区域图像的一部分。
19.如权利要求15所述的一个或多个计算机可读介质，其特征在于，
所述接收步骤还包括接收第一全景图像；以及
所述重新映射步骤还包括将所述第一全景图像重新映射为第二全景图像。
20.如权利要求19所述的一个或多个计算机可读介质，其特征在于，
所述接收步骤还包括从存储器检索已存储的全景图像。
CN2005101271393A 2004-12-30 2005-11-22 全景图像中死区的最小化 Active CN1837952B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/026,466 US7782357B2 (en) 2002-06-21 2004-12-30 Minimizing dead zones in panoramic images
US11/026,466 2004-12-30

Publications (2)

Publication Number Publication Date
CN1837952A true CN1837952A (zh) 2006-09-27
CN1837952B CN1837952B (zh) 2010-09-29

Family

ID=36088562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005101271393A Active CN1837952B (zh) 2004-12-30 2005-11-22 全景图像中死区的最小化

Country Status (5)

Country Link
US (1) US7782357B2 (zh)
EP (1) EP1677534B1 (zh)
JP (1) JP4890005B2 (zh)
KR (1) KR101201107B1 (zh)
CN (1) CN1837952B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102893594A (zh) * 2010-05-17 2013-01-23 松下电器产业株式会社 全景展开图像显示装置和显示全景展开图像的方法
CN102893594B (zh) * 2010-05-17 2016-11-30 松下电器产业株式会社 全景展开图像显示装置和显示全景展开图像的方法
CN108055500A (zh) * 2017-11-21 2018-05-18 北京隐身工程技术研究院有限公司 一种红外全景监控中两个全景显示区的连续显示方法
CN108257086A (zh) * 2017-12-22 2018-07-06 微幻科技(北京)有限公司 一种全景照片处理的方法及装置
CN109429008A (zh) * 2017-08-31 2019-03-05 佳能株式会社 图像处理装置、信息处理系统、信息处理方法和存储介质
WO2021043295A1 (zh) * 2019-09-07 2021-03-11 影石创新科技股份有限公司 一种全景视频的目标追踪方法、装置及便携式终端
CN113037994A (zh) * 2019-12-09 2021-06-25 茂杰国际股份有限公司 视频会议全景影像展开方法

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7598975B2 (en) 2002-06-21 2009-10-06 Microsoft Corporation Automatic face extraction for use in recorded meetings timelines
US7602412B2 (en) * 2002-06-21 2009-10-13 Microsoft Corporation Temperature compensation in multi-camera photographic devices
US7259784B2 (en) 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US8024189B2 (en) 2006-06-22 2011-09-20 Microsoft Corporation Identification of people using multiple types of input
GB2440993C (en) * 2006-07-25 2014-03-19 Sony Comp Entertainment Europe Apparatus and method of interaction with a data processor
US7817354B2 (en) * 2006-10-25 2010-10-19 Capsovision Inc. Panoramic imaging system
JP5084696B2 (ja) * 2008-10-27 2012-11-28 三洋電機株式会社 画像処理装置、画像処理方法及び電子機器
JP5247356B2 (ja) * 2008-10-29 2013-07-24 キヤノン株式会社 情報処理装置およびその制御方法
JP5483863B2 (ja) * 2008-11-12 2014-05-07 キヤノン株式会社 情報処理装置およびその制御方法
CN101668160B (zh) * 2009-09-10 2012-08-29 华为终端有限公司 视频图像数据处理方法、装置及视频会议系统及终端
JP5593695B2 (ja) * 2009-12-28 2014-09-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
KR101279576B1 (ko) 2011-06-15 2013-06-27 삼성테크윈 주식회사 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법
EP2736248A4 (en) * 2011-07-22 2015-06-24 Fujifilm Corp PROCESS FOR GENERATING PANORAMIC IMAGES AND IMAGING APPARATUS
WO2014036741A1 (zh) * 2012-09-10 2014-03-13 华为技术有限公司 图像处理方法和图像处理设备
FR2998126B1 (fr) * 2012-11-15 2014-12-26 Giroptic Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
US9124762B2 (en) 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US9662564B1 (en) * 2013-03-11 2017-05-30 Google Inc. Systems and methods for generating three-dimensional image models using game-based image acquisition
US9533618B2 (en) * 2014-03-07 2017-01-03 Texas Instruments Incorporated Method, apparatus and system for processing a display from a surround view camera solution
US9892493B2 (en) 2014-04-21 2018-02-13 Texas Instruments Incorporated Method, apparatus and system for performing geometric calibration for surround view camera solution
WO2015171544A1 (en) 2014-05-06 2015-11-12 Niazi Zakariya Imaging system, method, and applications
JP2016092691A (ja) 2014-11-07 2016-05-23 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、並びに記憶媒体
CN105828022A (zh) * 2015-01-06 2016-08-03 上海酷景信息技术有限公司 一种基于正多面体的360 度无盲区全景视频拍摄设备
KR20160088719A (ko) * 2015-01-16 2016-07-26 삼성전자주식회사 이미지를 촬영하는 전자 장치 및 방법
KR20170001223A (ko) * 2015-06-26 2017-01-04 삼성전자주식회사 정보 추출 시스템, 정보 추출 장치, 그의 정보 추출 방법 및 비일시적 컴퓨터 판독가능 기록매체
USD788725S1 (en) * 2015-09-11 2017-06-06 Polycom, Inc. Videoconferencing unit
GB2548558A (en) * 2016-03-17 2017-09-27 Nokia Technologies Oy Method and apparatus for processing video information
WO2017175888A1 (ko) 2016-04-05 2017-10-12 삼성전자 주식회사 이미지 처리 방법 및 장치
US20180063426A1 (en) * 2016-08-31 2018-03-01 Nokia Technologies Oy Method, apparatus and computer program product for indicating a seam of an image in a corresponding area of a scene
EP3340611B1 (en) 2016-12-20 2020-07-29 Nokia Technologies Oy An apparatus and associated methods for virtual reality scene capture
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
BR112019012886A2 (pt) * 2016-12-28 2019-11-26 Sony Corp dispositivos de geração, de reprodução e de método de geração de imagem, e, método de geração de informações de identificação.
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
JP6485655B2 (ja) * 2017-03-27 2019-03-20 日本電気株式会社 顔認証装置、顔認証方法、および顔認証プログラム
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
WO2018235300A1 (ja) * 2017-06-23 2018-12-27 日本電気株式会社 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
EP3422724A1 (en) 2017-06-26 2019-01-02 Nokia Technologies Oy An apparatus, a method and a computer program for omnidirectional video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
JP6503098B1 (ja) * 2018-01-30 2019-04-17 フォージビジョン株式会社 画像処理装置、画像処理プログラム及び画像処理方法
KR20190096697A (ko) * 2018-02-09 2019-08-20 삼성전자주식회사 전자 장치 및 전자 장치의 전 방향 영상 표시 방법
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
CN112041852A (zh) 2018-07-30 2020-12-04 惠普发展公司，有限责任合伙企业 对360度图像中的对象的神经网络标识
EP3668087A1 (en) * 2018-12-14 2020-06-17 Carrier Corporation Video monitoring system workspace

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3118340A (en) 1964-01-21 Panoramic motion picture camera arrangement
DE2112428A1 (de) * 1970-09-09 1972-06-08 Midori Kai Co Ltd Kamera zur Aufnahme hemisphaerischer Kinobilder
JPS59196679A (ja) 1983-04-22 1984-11-08 Toshiba Corp 複数のカラ−テレビジヨンカメラのホワイトバランス調整方式
US5504524A (en) 1993-10-15 1996-04-02 Vlsi Vision Limited Method and apparatus for controlling color balance of a video signal
US5796426A (en) 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
JP3458486B2 (ja) 1994-10-25 2003-10-20 松下電器産業株式会社 全方位撮影装置及び全方位画像合成装置
US5990934A (en) 1995-04-28 1999-11-23 Lucent Technologies, Inc. Method and system for panoramic viewing
US5745305A (en) 1995-04-28 1998-04-28 Lucent Technologies Inc. Panoramic viewing apparatus
US5793527A (en) 1995-06-30 1998-08-11 Lucent Technologies Inc. High resolution viewing system
US5539483A (en) 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US6115176A (en) 1995-11-30 2000-09-05 Lucent Technologies Inc. Spherical viewing/projection apparatus
US6111702A (en) 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US5790183A (en) * 1996-04-05 1998-08-04 Kerbyson; Gerald M. High-resolution panoramic television surveillance system with synoptic wide-angle field of view
US6373642B1 (en) 1996-06-24 2002-04-16 Be Here Corporation Panoramic imaging arrangement
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6341044B1 (en) 1996-06-24 2002-01-22 Be Here Corporation Panoramic imaging arrangement
US6493032B1 (en) 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
AU6515798A (en) 1997-04-16 1998-11-11 Isight Ltd. Video teleconferencing
US6356296B1 (en) 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system
US6466254B1 (en) 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6101287A (en) 1998-05-27 2000-08-08 Intel Corporation Dark frame subtraction
JP4194133B2 (ja) 1998-06-24 2008-12-10 キヤノン株式会社 画像処理方法及び装置及び記憶媒体
US6977676B1 (en) * 1998-07-08 2005-12-20 Canon Kabushiki Kaisha Camera control system
US6924832B1 (en) 1998-08-07 2005-08-02 Be Here Corporation Method, apparatus & computer program product for tracking objects in a warped video image
US6144501A (en) 1998-08-28 2000-11-07 Lucent Technologies Inc. Split mirrored panoramic image display
US6128143A (en) 1998-08-28 2000-10-03 Lucent Technologies Inc. Panoramic viewing system with support stand
US6195204B1 (en) 1998-08-28 2001-02-27 Lucent Technologies Inc. Compact high resolution panoramic viewing system
US6285365B1 (en) * 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6141145A (en) 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
JP2000152168A (ja) * 1998-11-13 2000-05-30 Olympus Optical Co Ltd 画像再生装置
US6369818B1 (en) 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6175454B1 (en) 1999-01-13 2001-01-16 Behere Corporation Panoramic imaging arrangement
US6597520B2 (en) 1999-01-13 2003-07-22 Be Here Corporation Panoramic imaging arrangement
US6788340B1 (en) 1999-03-15 2004-09-07 Texas Instruments Incorporated Digital imaging control with selective intensity resolution enhancement
TW420937B (en) 1999-05-06 2001-02-01 Umax Data Systems Inc Dynamic calibration method
US6795106B1 (en) 1999-05-18 2004-09-21 Intel Corporation Method and apparatus for controlling a video camera in a video conferencing system
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP4581210B2 (ja) 2000-09-29 2010-11-17 日本電気株式会社 テレビ会議システム
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
US6756990B2 (en) 2001-04-03 2004-06-29 Be Here Corporation Image filtering on 3D objects using 2D manifolds
JP4439763B2 (ja) * 2001-07-04 2010-03-24 株式会社リコー 画像録画再生システムおよび画像録画再生方法
US20040021764A1 (en) * 2002-01-28 2004-02-05 Be Here Corporation Visual teleconferencing apparatus
US20040008423A1 (en) * 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
US20030142402A1 (en) 2002-01-30 2003-07-31 Be Here Corporation Method and apparatus for triggering a remote flash on a camera with a panoramic lens
US20030146982A1 (en) 2002-02-01 2003-08-07 Tindall John R. Special color pigments for calibrating video cameras
JP2003235058A (ja) * 2002-02-12 2003-08-22 Sony Corp 視点自由形画像表示装置及び方法、記憶媒体、コンピュータ・プログラム、放送システム、並びに、付加情報管理装置及び方法
US6995791B2 (en) 2002-04-02 2006-02-07 Freescale Semiconductor, Inc. Automatic white balance for digital imaging
US6917702B2 (en) 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
US7012757B2 (en) 2002-05-08 2006-03-14 Be Here Corporation Method for designing a lens system and resulting apparatus
US20030220971A1 (en) 2002-05-23 2003-11-27 International Business Machines Corporation Method and apparatus for video conferencing with audio redirection within a 360 degree view
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
US20050046703A1 (en) 2002-06-21 2005-03-03 Cutler Ross G. Color calibration in photographic devices
US7598975B2 (en) 2002-06-21 2009-10-06 Microsoft Corporation Automatic face extraction for use in recorded meetings timelines
US7602412B2 (en) 2002-06-21 2009-10-13 Microsoft Corporation Temperature compensation in multi-camera photographic devices
US8599266B2 (en) 2002-07-01 2013-12-03 The Regents Of The University Of California Digital processing of video images
US7019918B2 (en) 2003-06-12 2006-03-28 Be Here Corporation Panoramic imaging system
US20040254982A1 (en) 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102893594A (zh) * 2010-05-17 2013-01-23 松下电器产业株式会社 全景展开图像显示装置和显示全景展开图像的方法
CN102893594B (zh) * 2010-05-17 2016-11-30 松下电器产业株式会社 全景展开图像显示装置和显示全景展开图像的方法
CN109429008A (zh) * 2017-08-31 2019-03-05 佳能株式会社 图像处理装置、信息处理系统、信息处理方法和存储介质
US11023999B2 (en) 2017-08-31 2021-06-01 Canon Kabushiki Kaisha Image processing apparatus, information processing system, information processing method, and storage medium
CN109429008B (zh) * 2017-08-31 2021-07-09 佳能株式会社 图像处理装置、信息处理系统、信息处理方法和存储介质
CN108055500A (zh) * 2017-11-21 2018-05-18 北京隐身工程技术研究院有限公司 一种红外全景监控中两个全景显示区的连续显示方法
CN108055500B (zh) * 2017-11-21 2020-06-05 北京隐身工程技术研究院有限公司 一种红外全景监控中两个全景显示区的连续显示方法
CN108257086A (zh) * 2017-12-22 2018-07-06 微幻科技(北京)有限公司 一种全景照片处理的方法及装置
CN108257086B (zh) * 2017-12-22 2021-04-13 微幻科技(北京)有限公司 一种全景照片处理的方法及装置
WO2021043295A1 (zh) * 2019-09-07 2021-03-11 影石创新科技股份有限公司 一种全景视频的目标追踪方法、装置及便携式终端
CN113037994A (zh) * 2019-12-09 2021-06-25 茂杰国际股份有限公司 视频会议全景影像展开方法

Also Published As

Publication number Publication date
KR20060079079A (ko) 2006-07-05
CN1837952B (zh) 2010-09-29
US7782357B2 (en) 2010-08-24
JP4890005B2 (ja) 2012-03-07
EP1677534B1 (en) 2014-05-14
EP1677534A1 (en) 2006-07-05
KR101201107B1 (ko) 2012-11-13
US20050151837A1 (en) 2005-07-14
JP2006191535A (ja) 2006-07-20

Similar Documents

Publication Publication Date Title
CN1837952A (zh) 全景图像中死区的最小化
US11729342B2 (en) Designated view within a multi-view composited webcam signal
EP2047422B1 (en) Method and system for producing seamless composite images having non-uniform resolution from a multi-imager
JP4860687B2 (ja) ３６０度パノラマイメージ（ｐａｎｏｒａｍｉｃｉｍａｇｅｓ）の頭部のサイズを均等化（ｅｑｕａｌｉｚａｔｉｏｎ）するシステムおよび方法
US7298392B2 (en) Omni-directional camera design for video conferencing
JP4421843B2 (ja) カメラのイメージステッチングのためのシステムおよび方法
CA2605133C (en) A user interface for a system and method for head size equalization in 360 degree panoramic images
US11736801B2 (en) Merging webcam signals from multiple cameras
US20020113946A1 (en) Image input apparatus
JP2004109246A (ja) 投影システム
CN1680867A (zh) 投影仪－摄像机－白板系统中视觉回波消除系统和方法
CN1849623A (zh) 图像组合系统、图像组合方法和程序
JP2013070368A (ja) テレビ対話システム、端末および方法
US20040263646A1 (en) Whiteboard view camera
CN106840034A (zh) 具有散斑投射器的三维扫描系统及其应用
JPWO2013014872A1 (ja) 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体
CN1240323A (zh) 摄像机用户接口、摄像机控制方法及计算机程序产品
JP2013016933A (ja) 端末装置、撮像方法およびプログラム
JP2004265185A (ja) デジタイザ付きカメラ付き画像投影装置
US20130176399A1 (en) System and method for creating a three-dimensional image file
JP2004198817A (ja) プレゼンテーション装置
JP4509155B2 (ja) 撮影画像処理システムおよび撮影画像処理プログラム
JP2018121201A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150513

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150513

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.