CN101771849A - 网络摄像机以及显示方法 - Google Patents

网络摄像机以及显示方法 Download PDF

Info

Publication number
CN101771849A
CN101771849A CN201010119315A CN201010119315A CN101771849A CN 101771849 A CN101771849 A CN 101771849A CN 201010119315 A CN201010119315 A CN 201010119315A CN 201010119315 A CN201010119315 A CN 201010119315A CN 101771849 A CN101771849 A CN 101771849A
Authority
CN
China
Prior art keywords
voice
terminal
speech data
web camera
send
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201010119315A
Other languages
English (en)
Inventor
吉贝规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101771849A publication Critical patent/CN101771849A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明的目的在于,提供以便捷的操作简单地进行语音通信的网络摄像机和程序、以及网络系统。作为以半双工方式对可语音通信的一个以上的终端发送图像,同时可与终端进行语音通信的网络摄像机,主要特征在于,接收到来自终端的请求时,在不禁止语音输出并且其他终端不处于语音输出中的情况下进行表示可语音输出的按钮显示,在进行语音输出的情况下进行表示语音输出中的按钮显示,在其他终端处于语音发送中进行用于表示暂时禁止语音输出的按钮显示,通过按压,随通信状态变化而生成可变更为其他的按钮显示的页面信息,并发送到终端。

Description

网络摄像机以及显示方法
本申请为申请日为2005年6月29日、申请号为200510082125.4、发明名称为“网络摄像机、程序及网络系统”的发明专利申请的分案申请。
技术领域
本发明涉及可进行语音通信的网络摄像机、使对其进行操作的计算机装置动作的程序、以及使用该计算机装置进行图像和语音的通信的网络系统。
背景技术
近来,用网络摄像机摄影图像,经由因特网等的网络发送到计算机装置的网络系统正在普及。可是,在这种网络系统中,对计算机装置进行操作而可以获得图像信息,但不能获得周围的语音信息。因此,开发了装载扬声器和话筒而除了图像以外还可进行语音通信的网络摄像机(以下,称为语音对应网络摄像机)。
图8是以往的进行语音通信的网络系统的说明图。在该网络系统中,关于图像的发送,由语音对应型网络摄像机1的摄像机10摄影的图像被图像处理部12进行压缩处理,该压缩处理后的图像数据通过通信控制部13进行协议处理并被传送到网络3,向计算机装置2传送。在计算机装置2中对接收的图像数据进行解压处理而将其显示在画面上。在图8中没有图示,但多个语音对应型网络摄像机1连接到网络3,计算机装置2对语音对应型网络摄像机1进行切换来获得由各摄像机10摄像的图像信息。
而关于语音通信,从话筒17输入的语音由语音发送处理部15进行AD变换和压缩处理,语音发送数据还经由通信控制部13及网络3而被传送到计算机装置2。计算机装置2中对接收的语音发送数据进行处理,从扬声器28输出语音。同样,从计算机装置2的话筒27输入的语音,在计算机装置2中进行处理并作为语音接收数据而被发送,经由网络3被发送到语音对应型网络摄像机1。语音对应型网络摄像机1中,接收的语音接收数据通过通信控制部13交送给语音接收处理部14,在那里进行解压处理和DA变换并被输出到扬声器18。
在这种网络系统中,语音对应型网络摄像机1的用户传送语音,收听被集音的声音的情况下,从计算机装置2的话筒27输入语音,在语音数据发送后,从语音对应型网络摄像机1的扬声器18输出语音。与此同时,将该语音用话筒17集音,发送到计算机装置2并从扬声器28输出。控制部19对语音对应型网络摄像机1整体的系统进行控制。此外,计算机装置2的语音处理通过从语音对应型网络摄像机1装载的JAVA(注册商标)小应用程序等进行处理。
提出了在从多个语音对应型网络摄像机1取得图像信息时,在显示器上进行语音发送中、语音接收中的显示的方案(例如,参照专利文献1)。专利文献1的网络系统,是电视会议室系统等的系统,是分别将装载了视频摄像机和话筒、扬声器的多个视频语音通信终端连接到网络的系统。在视频语音通信终端的显示器上显示的画面中,视频摄像机的多地点视频显示窗口被一览显示。同时摄像机操作面板也被显示,用于底座(pan)(左右)操作和倾斜(上下)操作的方向按钮、变焦距(zoom)操作的变焦距按钮被显示。而且,表示视频发送中的符号被显示,在该符号被显示的期间显示由视频摄像机产生的摄影视频被输出到网络3的情况。同样,在表示处于语音发送中的情况的符号被显示,在显示的期间,显示由话筒输入和输入语音的对网络的输出有效的情况。表示处于语音接收中的情况的符号被显示的期间,来自网络的语音接收的扬声器产生的语音输出是有效的。
[专利文献1]特开平9-247637号公报
可是,在以半双工通信方式与语音对应型网络摄像机1和计算机装置2进行语音发送接收的情况下,在从计算机装置2的扬声器28输出语音对应型网络摄像机1周围的声音中,不能使用计算机装置2的话筒27。相反,在从计算机装置2的话筒27输入中时,不能从扬声器28输出语音对应型网络摄像机1周围的声音。
而且,在这样的网络系统中,多个用户共同使用多个语音对应型网络摄像机1的情况下,多个用户的仅最早到的一个人可使用话筒27,其他用户不能通信。此时,如果不对各用户传送该信息,则操作的便捷性受到损失。
再有,在上述专利文献1中,在电视会议系统等的视频语音通信终端的显示器上显示用于表示语音发送中的符号,对输入和输入语音的对网络的传送有效的情况进行显示,同时显示用于表示语音接收中的符号,显示来自网络的接收语音的语音输出是有效的情况。可是,这种电视会议系统不是以半双工通信方式进行上述语音发送接收。
发明内容
因此,鉴于上述以往的课题,本发明的目的在于,提供一种以便捷的操作方式简单地进行语音通信的网络摄像机和程序、以及网络系统。
为了解决上述以往的课题,本发明提供一种网络摄像机,连接到可发送第1语音数据的第1终端和可发送第2语音数据的第2终端上使用,包括:语音输出部,输出语音数据;以及控制部,在所述语音输出部输出所述第1语音数据中,在从所述第2终端接收到所述第2终端要向该网络摄像机发送所述第2语音数据的意旨的请求的情况下,禁止从所述第2终端向该网络摄像机发送所述第2语音数据。
根据该结构,可控制多个终端,使得在多个终端中,仅从一个终端发送语音数据,不从其它终端发送语音数据,因此,多个终端可共同地利用网络摄像机。
本发明的网络摄像机,在禁止从所述第2终端向该网络摄像机发送所述第2语音数据时,所述控制部使所述第2终端上显示所述禁止的意旨。
根据该结构,语音输出部可输出从第1终端发送的语音数据,并且,使未输出语音数据的第2终端上进行语音数据发送禁止的意旨的显示,因此,未输出语音数据的第2终端的使用者只观察第2终端上的显示,就明白不能从自己使用的第2终端向通信装置发送语音数据。
本发明的网络摄像机还包括:通信部,该通信部接收所述第1语音数据、所述第2语音数据和向该网络摄像机发送所述第2语音数据的请求,并向所述第2终端发送与所述请求对应的页面信息,在接收到所述请求时,所述控制部对所述第2终端发送所述禁止的意旨的页面信息。
根据该结构,挪用网络摄像机使用的、发送与接收到的请求对应的页面信息的通信协议,使其与请求对应的页面信息的通用协议对应,在第2终端显示语音数据发送禁止的意旨的显示,因此,能够缩小网络摄像机的通信部的规模。
本发明的网络摄像机,在使所述第2终端显示所述禁止的意旨的期间,从所述第2终端接收到输出所述第2语音数据的请求时,如果所述语音输出部不在输出所述第1语音数据中,则所述控制部使所述语音输出部输出所述第2语音数据,并且使所述第2终端显示语音通信中的意旨。
根据该结构,即使进行语音数据发送禁止的意旨的显示,如果可使用语音输出部,则能够输出第2语音数据,并使第2终端进行语音通信中的意旨的显示,因此,能够有效地使用语音输出部。
本发明的网络摄像机,所述网络摄像机还包括拍摄该网络摄像机周边的图像的摄像机,所述页面信息包含由所述摄像机拍摄到的所述图像。
根据该结构,可与由摄像机拍摄到的图像的显示一起进行语音输出的控制,因此终端的使用者可一边观察拍摄到的画面,一边控制是否向正在拍摄的对象输出语音。
为了解决上述以往的课题,本发明提供一种显示方法,用于输出可发送第1语音数据的第1终端的语音数据和可发送第2语音数据的第2终端的语音数据,并且使所述第1终端和所述第2终端显示显示数据,该显示方法包括:语音输出步骤,输出语音数据;以及控制步骤,在输出所述第1语音数据中,在从所述第2终端接收到所述第2终端要发送所述第2语音数据的意旨的请求的情况下,禁止从所述第2终端发送所述第2语音数据。
本发明的显示方法,所述控制步骤,在禁止从所述第2终端发送所述第2语音数据时,使所述第2终端上显示来自所述第2终端的所述禁止的意旨。
本发明的显示方法,所述控制步骤,在接收到所述请求时,对所述第2终端发送所述禁止的意旨的页面信息。
本发明的显示方法,所述控制步骤,在使所述第2终端显示所述禁止的意旨的期间,从所述第2终端接收到输出所述第2语音数据的请求时,如果不在输出所述第1语音数据中,则输出所述第2语音数据,并且使所述第2终端显示语音通信中的意旨。
本发明的显示方法,所述控制步骤发送包含由摄像机拍摄到的图像的页面信息。
为了解决上述以往的课题,本发明提供一种网络摄像机,通过网络以半双工方式向至少一台终端发送由摄像机摄像的图像,同时可与终端进行语音通信,主要特征在于,通信部件在从终端接收了页面信息的请求时,在不禁止语音输出并且其他终端不处于语音输出中的情况下,进行用于表示页面信息生成部件可进行语音输出的第1按钮显示,在进行语音输出的情况下进行用于表示语音输出中的第2按钮显示,在其他终端处于语音发送中的情况下进行用于表示暂时禁止语音输出的第3按钮显示,同时通过按下,随通信状态变化而在其他的按钮显示上生成可变更的页面信息,通信部件将该页面信息发送到终端。
根据本发明的网络摄像机和程序、以及网络系统,只观察画面显示用页面的图标并进行操作,就可以便捷并且简单地进行语音通信。
附图说明
图1(a)是本发明实施例1的网络摄像机的结构图,图1(b)是本发明实施例1的网络摄像机的控制部内的内部方框结构图。
图2(a)是本发明实施例1中的计算机装置的方框结构图,图2(b)是在图2(a)的计算机装置上装载了其他程序的方框结构图。
图3是本发明实施例1的计算机装置的首页面(top page)说明图。
图4是本发明实施例1的语音发送显示和语音接收显示的说明图。
图5(a)是本发明实施例1的网络系统的单独用户情况下的初始通信状态的说明图,图5(b)是按压了图5(a)的初始通信状态的语音显示时的通信状态的说明图。
图6(a)是本发明实施例1的网络系统的多个用户的情况下的初始通信状态的说明图,图6(b)是图6(a)的初始通信状态的按压了第1计算机装置的语音显示时的通信状态的说明图。
图7是本发明实施例1的网络系统中的语音发送显示的流程图。
图8是以往的进行语音通信的网络系统的说明图。
图9是本发明实施例2的摄像机的硬件结构图。
图10是本发明实施例2的摄像机的外观图。
具体实施方式
为了解决上述课题,本发明的方案是提供一种网络摄像机,通过网络向至少一台终端发送由摄像机摄像的图像,同时可与终端进行语音通信,网络摄像机包括:
通信部,向网络发送页面信息,并从终端接收页面信息的请求;
摄像机部,输入网络摄像机周围的图像,
语音输入部,输入网络摄像机周围的声音;
语音输出部,向网络摄像机周围输出声音;以及
控制部,根据来自语音输入部的输入信号和对语音输出部的输出信号以半双工方式控制语音通信,并且向终端生成来自摄像机部的图像和显示第1显示部、第2显示部和第3显示部的页面信息并输出到通信部,由通信部进行对来自终端的请求的处理,
控制部在从终端接收了页面信息的请求时,在不禁止语音输出并且其他终端不处于语音输出中的情况下,进行用于表示页面信息生成部件可进行语音输出的第1显示部的显示,在进行语音输出的情况下进行用于表示语音输出中的第2显示部的显示,在其他终端处于语音发送中的情况下进行用于表示暂时禁止语音输出的第3显示部的显示,同时通过选择,随通信状态变化而在其他的显示部的显示上生成可变更的页面信息,通信部将该页面信息发送到终端,由于在页面信息中显示可语音输出的第1按钮显示、语音输出中的第2按钮显示、表示暂时禁止语音输出的第3按钮显示,所以在终端侧可以直接判断当前处于什么样的语音通信状态,进行按压后,随通信状态变化而变更为其他的按钮显示,所以只观察按钮显示并进行操作,就可以便捷并且简单地进行语音通信。
(实施例1)
以下,说明有关本发明的实施例1的网络摄像机和程序、以及网络系统。图1(a)是本发明实施例1的网络摄像机的结构图,图1(b)是本发明实施例1的网络摄像机的控制部内的内部方框结构图,图2(a)是本发明实施例1的计算机装置的方框结构图,图2(b)是在图2(a)的计算机装置上装载了其他程序的方框结构图,图3是本发明实施例1中的计算机装置的首页面说明图,图4是本发明实施例1的语音发送显示和语音接收显示的说明图。
在图1中,1是对图像进行摄像并发送同时装载了能够进行语音通信的语音对应型网络摄像机(本发明的网络摄像机),2是可进行语音通信的个人计算机等的计算机装置(本发明的终端),3是因特网等的网络。10是语音对应型网络摄像机1的摄像机,11是对发送接收的数据进行压缩或解压的编解码部,12是对摄像机10摄像的图像信号进行压缩处理的图像处理部,13是对图像处理部12压缩的图像数据和语音数据进行协议处理并发送的通信控制部。再有,这种协议处理指TCP/IP协议或以太网(注册商标)等的IEEE802.03协议等的处理。
14是对语音对应型网络摄像机1接收的语音接收数据(PCM数据)进行解码的语音接收处理部,14a是由于从语音接收处理部14的输出为数字信号(PAM信号)而对其进行DA变换并变换为模拟信号的DA变换部,15是将输入到语音对应型网络摄像机1的语音进行编码的语音发送处理部,15a是由于从语音输入调整电路17a(后述)的输出为模拟信号而对其进行AD变换的AD变换部。16是用于控制摄像机10的底盘、倾斜、变焦距的摄像机控制部,17是用于输入语音对应型网络摄像机1的周围的语音的话筒,17a是语音输入调整电路,18是用于输出语音的扬声器,18a是语音输出调整电路。
19是语音对应型网络摄像机1的控制部,20是存储部,20a是存储了设定值的设定值存储部,20b是存储了在计算机装置2的画面上显示了图标等的符号数据的符号数据存储部。20c是存储了发送到计算机装置2的由计算机装置2的CPU执行的Active X,JAVA(注册商标)小应用程序等的程序(以下,称为终端侧通信处理部件)的发送文件部控制部19包括中央运算处理装置(CPU)和存储了其控制程序及数据的存储部20,各控制功能通过从存储部20装载的程序而以软件形式作为功能实现部件来执行。以上说明的标号与以往的语音对应型网络摄像机1和计算机装置2中说明的标号基本相同。
下面,根据图1(b),说明与计算机装置2的终端侧通信处理部件之间进行通信,在用于语音通信的计算机装置2的画面上显示(1)显示语音发送中(本发明的第2按钮显示)、(2)显示可语音发送(本发明的第1按钮显示)、(3)显示暂时禁止语音发送(本发明的第3按钮显示)、(4)语音发送禁止显示、(1*)语音接收中显示(本发明的第5按钮显示)、(2*)显示暂时禁止语音接收(本发明的第4按钮显示)、(3*)显示禁止语音接收的结构,由CPU读取并执行的程序。再有,以下,将向语音对应型网络摄像机1发送语音数据并从扬声器输出的情况称为语音发送(本发明的语音输出),将接收来自语音对应型网络摄像机1的话筒的输入并输出语音的情况称为语音接收。后面论述有关该(1)~(4)的细节。
在图1(b)中,19a是在由计算机装置2选择了语音通信模式时进行语音通话和图像发送的通信执行部件(本发明的通信部件),19b是生成从语音对应型网络摄像机1发送到计算机装置2的页面信息的显示页面生成部件。在上述语音通信模式中,有语音发送接收(半双工)模式、第1单方向(网络摄像机→计算机装置)模式、第2单方向(计算机装置→网络摄像机)模式、语音禁止模式四种。19c是表示对语音对应型网络摄像机1进行接入(access)的多个计算机装置2的通信状态、例如用于表示与谁通话中、谁被设定为禁止语音发送等的标记,19d是对以经过时间方式来变更通信状态模式的情况下的时间进行测量的定时部件。定时部件19d利用计算机装置2的基本时钟而对规定时间进行计数。19e是用于下载被存储在发送文件部20c中存储的Active X,JAVA(注册商标)小应用程序等的程序、例如用于装载后述的终端侧通信处理部件26的文件传送部件。
通信执行部件19a在从上述终端侧通信处理部件26请求语音时,参照标记19c,页面信息生成部件19b根据通信状态而生成页面信息。再有,通信执行部件19a、页面信息生成部件19b、文件传送部件19e都是上述控制部19的功能实现部件,通信执行部件19a将图像、语音的各数据、页面信息生成部件19b生成的页面信息收集在IP分组中并以HTTP方式通过通信控制部13进行通信。
下面根据图2(a)来说明计算机装置2的结构。在图2(a)中,21在作为与网络3之间的接口的通信控制部,22作为硬件包括CPU,是从存储部23读取程序而作为功能实现部件实现的控制运算部,23是存储程序和数据的存储部,24是用于从网络3上的网站取得并浏览画面显示用信息(网页)的浏览部件,25是通过JAVA(注册商标)小应用程序、插入式等的语音处理程序作为功能实现部件而实现的语音处理部件,26是通过语音对应型网络摄像机1的文件传送部件19e下载的Active X,JAVA(注册商标)小应用程序等的程序作为功能实现部件实现的终端侧通信处理部件,27是话筒,27a是语音输入电路,28是扬声器,28a是语音输出电路,29是显示部。浏览部件24也是由通用的浏览程序实现的功能实现部件。终端侧通信处理部件26将浏览部件24和语音处理部件25的功能扩展,对于语音通信,语音处理部件25为了交替地进行发送接收的处理而进行半双工的通信。再有,作为终端侧通信处理部件26,也可以装载专用程序。
下面,说明有关实施例1的语音对应型网络摄像机1和计算机装置2的语音通信时的动作。通过计算机装置2的浏览部件24对语音对应型网络摄像机1的通信执行部件19a进行接入,请求对于语音对应型网络摄像机1的首页面。在首页面(未图示)中设置用于选择是否进行通信、或是否进行系统的设定值的输入的选择按钮,按压进行通信的选择按钮时,从语音对应型网络摄像机1发送HTML等的网口画面显示用信息。在按压了对此进行设定的选择按钮的情况下,从语音对应型网络摄像机1发送设定输入页面,如果输入到该页面,则设定结束。
因此,首先说明网口画面显示用信息。在图3中,51是活动图像和静止图像等的图像区域,52是控制语音对应型网络摄像机1的摄像机10的控制条。53是在显示对语音对应型网络摄像机1的语音发送的当前的通信状态和按压时变更通信状态的语音发送显示按钮,54是表示对由语音对应型网络摄像机1进行的语音输入的当前的输出状态的语音接收显示按钮。55是对从语音对应型网络摄像机1的扬声器18输出的音量进行调节的音量调整棒。语音对应型网络摄像机1的用户接收该网口画面显示用信息并显示在监视器上,一边观察网口画面的图像,一边对控制条52的方向控制按钮、变焦距调节棒进行操作而切换摄像机10的角度等,获得新的图像。在语音通信模式中,对语音发送显示按钮53、语音接收显示按钮54、音量调整棒55进行操作。
可是,在实施例1中,作为语音发送显示按钮53,设置用于表示图4所示的(1)显示语音发送中、(2)显示可语音发送、(3)显示暂时禁止语音发送、(4)显示禁止语音发送(在实施例1中为无显示)的四种(在实施例1中为三种)通信状态的按钮,作为语音接收显示按钮54,设置用于表示(1*)显示语音接收中、(2*)显示暂时禁止语音接收、(3*)显示禁止语音接收(在实施例1中为无显示)的三种(在实施例1中为两种)通信状态的按钮。在它们被显示时,分别表示语音发送和语音接收的当前的状态,通过按压语音发送显示按钮53、语音接收显示按钮54,可进行模式的变更。
在按压了显示可语音发送时,变为显示语音发送中,在按压了显示语音发送中时,语音发送结束而返回到显示可语音发送,在按压了显示暂时禁止语音发送时,如果没有语音发送中的用户,则变更为显示语音发送中。同样,在按压了显示暂时禁止语音接收时改变为显示语音接收中,在按压了显示语音接收中时返回到显示暂时禁止语音接收。这样,在本发明中,在按压各按钮显示时,随着通信状态变化而变更为不同的按钮显示。此外,显示暂时禁止语音接收,根据定时而经过规定时间,可以自动地返回到原来的通信状态模式。后面论述关于它们的细节。
图3的网口画面显示用信息中显示的通信状态是反映了用户的设定的通信状态,语音发送显示按钮53表示可语音发送的显示,语音接收显示按钮54表示语音接收中显示(以下,称为可语音发送/语音接收中),是语音发送接收(半双工)模式。语音发送显示按钮53还可以设定为语音发送中,语音接收显示按钮54也可以设定为暂时禁止语音接收(以下,称为语音发送中/暂时禁止语音接收),由于对其他用户产生影响,所以被设定为通常(可语音发送/语音接收中)。另外,例如,使用设定输入页面,根据初始设定而选择了禁止语音发送、禁止语音接收(以下,称为禁止语音发送/禁止语音接收)的情况下,成为语音禁止模式,不显示语音发送显示按钮53、语音接收显示按钮54。再有,此时为语音禁止,所以也停止音量调整棒55的显示。此外,同样地在语音发送显示按钮53和语音接收显示按钮54分别被设定为(禁止语音发送/语音接收中)、(可语音发送/禁止语音接收)时,分别成为第1单方向模式、第2单方向模式。因而,通过按压语音发送显示按钮53、语音接收显示按钮54来改变通信状态,可进行模式变更,但在实施例1中从初始设定经过模式变更的规定时间,可以自动地返回到原来的设定模式。
可是,在语音对应型网络摄像机1和计算机装置2以一对一(单独用户)方式进行语音发送接收(半双工)的情况,以及按一对多个(多个用户)方式进行语音发送接收(半双工)的情况下,语音对应型网络摄像机1中的处理有所不同,特别是在连接了多个计算机装置2时这种语音通信为半双工通信,所以在获得了语音通路的计算机装置2和其他的计算机装置2中,网口画面显示用信息有所不同。
因此,首先说明语音对应型网络摄像机1和计算机装置2以一对一(单独用户)方式进行语音发送接收(半双工)的情况。图5(a)所示的初始的通信状态,在发送用图3的HTML等记述的网口画面显示用信息,处于(可语音发送/语音接收中)的通信状态,画面上显示可语音发送显示、语音接收中显示。在图5(a)的状态下,要从计算机装置2将语音传送到语音对应型网络摄像机1的情况下,按压可语音发送显示的语音发送显示按钮53。此时,终端侧通信处理部件26向语音对应型网络摄像机1通知该情况,语音对应型网络摄像机1的通信执行部件19a将标记19c从初始的通信状态的(可语音发送/语音接收中)变更为(语音发送中/暂时禁止语音接收)。页面信息生成部件19b生成以HTML等记述的页面信息,以将网口画面显示用信息的语音发送显示按钮53变更为语音发送中显示。由于是半双工通信,所以语音接收显示按钮54也同时从语音接收中显示变更为暂时禁止语音接收显示。其结果,通信执行部件19a将图5(b)所示的(语音发送中/暂时禁止语音接收)显示的网口画面显示用信息发送到计算机装置2,并显示在监视器上。再有,语音发送数据的分组从语音对应型网络摄像机1发送,但计算机装置2接收的语音数据由终端侧通信处理部件26被静音,不从扬声器28输出。
然后,从话筒27结束通话并照样持续无音的状态时,定时部件19d对规定的时间进行计数,如果超出定时,通信执行部件19a将标记19c从(语音发送中/暂时禁止语音接收)的通信状态变更为(可语音发送/语音接收中)的通信状态,并将该情况通知计算机装置2。接受了该通知的计算机装置2请求新的网口画面显示用信息时,通信执行部件19a将表示被更新过的(可语音发送/语音接收中)的显示的网口画面显示用信息发送到计算机装置2,并在显示器上显示。因此,在要进行连续语音发送的情况下,需要再次按压语音发送显示按钮53。
取代用于上述说明的网口画面显示用信息更新的结构,根据图2(b)所示的包含了终端侧通信处理部件26的程序的结构,也可以更新网口画面显示用信息。26a是将用HTML等记述的页面信息的一部分记述进行变更的页面信息变更部件,26b是用于表示通信状态的标记,26c是以经过时间方式来变更模式的情况下测量时间的定时部件。
该程序的结构的情况下,在可语音发送显示的语音发送显示按钮53被按压时,终端侧通信处理部件26将该情况通知语音对应型网络摄像机1,进而将表示通信状态的标记26b变更为(语音发送中/暂时禁止语音接收),并且将网口画面显示用信息的语音发送显示按钮53从可语音发送显示变更为语音发送中,将语音接收显示按钮54从语音接收中显示变更为暂时禁止语音接收显示。再有,它们的各图标的数据与终端侧通信处理部件26的程序一起装载。进行了这样的处理的网口画面显示用信息被直接显示在计算机装置2的监视器上。
无音的状态继续时的网口画面显示用信息的更新也在经过时间后由计算机装置2侧的定时部件26c进行,终端侧通信处理部件26将标记26b从(语音发送中/暂时禁止语音接收)变更为(可语音发送/语音接收中),用监视器显示被变更过的网口画面显示用信息。如果用图2(b)的结构进行网口画面显示用信息的更新,则处理容易且可进行高速处理。
接着,说明语音对应型网络摄像机1和计算机装置2按一对多个(多个用户)方式进行语音发送接收(半双工)的情况。图6(a)是本发明实施例1的网络系统的多个用户的情况下的初始通信状态的说明图,图6(b)是图6(a)的初始通信状态的按压了第1计算机装置的语音显示时的通常状态的说明图。图6(a)所示的计算机装置2A的用户进行语音对应型网络摄像机的接入,接着计算机装置2B的用户进行接入时,通信执行部件19a首先参照标记19c,只在语音发送中的标记不出现时,才开始与可接入的计算机装置2进行语音发送接收(半双工)。即,只最先到者可进行计算机装置2A和语音对应型网络摄像机1的语音通信。因此,计算机装置2A根据设定来开始语音通信。图6(a)的计算机装置2A的设定为(语音发送中/暂时禁止语音接收)的通信状态,语音从语音对应型网络摄像机1输出,由语音对应型网络摄像机1的话筒17集音的语音被停止从计算机装置2A输出。如果在计算机装置2A中没有进行(可语音发送/语音接收中)的设定的情况下,则成为图5(a)所示的状态,不能从语音对应型网络摄像机1的扬声器18输出,但话筒17集音的语音可以从计算机装置2A输出。
在计算机装置2A进行接入的状态下,计算机装置2B第2个进行接入时,语音对应型网络摄像机1的通信执行部件19a参照标记19c,对计算机装置2A的标记处于语音发送中进行检测,将计算机装置2B的标记从设定的(可语音发送/语音接收中)的通信状态变更为图6(a)所示的(暂时禁止语音接收/语音接收中)的通信状态,发送用于显示了暂时禁止语音接收显示/语音接收中显示的网口画面显示用信息,并在计算机装置2B上进行显示。计算机装置2B的用户按压该暂时禁止语音接收显示时,计算机装置2B的终端侧通信处理部件26对语音对应型网络摄像机1的通信执行部件19a查询可否通信,通信执行部件19a参照标记19c,在计算机装置2A的标记为语音发送中的情况下,继续暂时禁止语音接收显示。
然后,在该暂时禁止语音发送的状态持续规定时间时,在实施例1中,通信执行部件19a将计算机装置2B的标记变更为(可语音发送/语音接收中),使显示页面生成部件19b生成新的网口画面显示用信息,使计算机装置2B的监视器上显示图6(b)所示的显示了可语音发送显示/语音接收中显示的网口画面显示用信息。在按压了该网口画面显示用信息的可语音发送显示时,可进行来自语音对应型网络摄像机1的语音发送。再有,计算机装置2A的语音通信结束,暂时禁止语音发送显示仍照样进行时,计算机装置2B的用户通过按压暂时禁止语音发送显示,计算机装置2B的终端侧通信处理部件26对语音对应型网络摄像机1的通信执行部件19a进行查询,参照标记19c,知道计算机装置2A的标记不在语音发送中,变更为图6(b)所示的可语音发送显示/语音接收中显示的网口画面显示用信息。
再有,在按压了暂时禁止语音发送显示后,可以采用计算机装置2B的终端侧通信处理部件26定期地向语音对应型网络摄像机1的通信执行部件19a请求网络摄像机状态通知的方法。此时,通信执行部件19a参照标记19c,在计算机装置2A的标记不是语音发送中的时刻,使显示页面生成部件19b生成新的网口画面显示用信息,将该网口画面显示用信息发送到计算机装置2B,并可以在监视器上显示。这种情况下,如果语音通信结束,则自动地切换到可语音发送显示/语音接收中显示,所以用户非常容易使用。
可是,实施例1的计算机装置2A因终端侧通信处理部件26将从语音对应型网络摄像机1传送的语音数据在计算机装置2A内被静音,所以不影响从语音对应型网络摄像机1传送的语音发送数据,通过使计算机装置2B处于(可语音发送/语音接收中)的通信状态,由话筒17集音的语音可从计算机装置2A输出。此时需要注意保密的原因在于,计算机装置2A的用户从语音对应型网络摄像机1的扬声器18输出语音时,在相同的语音对应型网络摄像机1中接入中的计算机装置2B的用户可使用话筒17听到该语音。再有,在来自计算机装置2B的扬声器28的输出中,没有在形成了语音环路时产生的回声。
以上的说明是通过设定进行语音发送接收(半双工)的情况,在设定为禁止语音发送或禁止语音接收的情况下,成为单方向通信模式。单方向通信有从语音对应型网络摄像机1向计算机装置2发送语音的第1单方向通信模式、以及从计算机装置2向语音对应型网络摄像机1发送语音的第2单方向通信模式两种。
在第1单方向通信模式中,禁止语音发送显示不显示,表示从扬声器28输出的语音接收中显示或暂时禁止语音接收显示的其中一个显示被显示。在为暂时禁止语音接收显示的情况下,如果按压该语音接收显示按钮54,则变更为语音接收中显示。
而在第2单方向通信模式的情况下,禁止语音接收显示不显示,如果按压可语音发送显示,则在单独用户进行接入的情况下变更为可以照样从话筒27输入的语音输入中显示。在通话结束时,如果该用户按压语音接收中显示,则变更为可语音发送显示,在通话结束时,即使不进行任何动作,经过一定时间也自动地变更为可语音发送显示。
在多个用户进行接入的情况下,最早接入的用户按压可语音发送显示的语音发送显示按钮53时进行语音通话,迟缓接入的其他用户即使按压语音发送显示按钮53,也为暂时禁止语音发送显示而不能进行语音通信。在最初的通话结束后,经过一段时间后变更为可语音发送显示时,通过按压该语音发送显示按钮53,可进行通话。
再有,在禁止语音模式的情况下,语音发送显示按钮53、语音接收显示按钮54不显示,音量调整棒55的显示也停止。因此,用户仅进行设定,就可以变更为从语音对应型网络摄像机1只进行图像的发送接收的网口画面显示用信息。
下面,说明在本发明实施例1的网络系统中进行语音发送显示的流程。将可语音发送设为基准的通信状态模式。图7是本发明实施例1的网络系统中的语音发送显示的流程图。在图7中,首先,通过设定而许可语音通信,检查是否不是禁止语音发送(步骤1),在被设定为禁止语音发送的情况下不进行语音发送显示(步骤2)。在步骤1中,在许可语音通信的情况下,通过参照标记,判定是否处于与其他用户(计算机装置)通信中(步骤3)。此时,如果处于与其他用户通信中,则进行暂时禁止语音发送显示(步骤4),返回到步骤3进行待机,直至与其他用户的语音通信结束。如果不处于与其他用户通信中,则进行可语音发送显示(步骤5)。
接着,判断可语音发送显示是否被按压(步骤6),在没有被按压的情况下返回到步骤3而待机至被按压。在步骤6中,在可语音发送显示被按压的情况下,变更为语音发送中显示(步骤7)。与此同时将定时复位(步骤8),如果定时超时(步骤9),则返回到步骤3。
通过以上说明的动作,在许可语音通信的情况下,如果不处于与其他用户通信中,则为可语音发送显示,在要进行语音通信时按压可语音发送显示并变为语音接收中显示后进行通话,通话结束后经过一定时间可自动地复原,网口画面显示用信息的图标显示十分清楚,操作容易,操作性优良。
如以上说明那样,实施例1的语音对应型网络摄像机和程序、以及网络系统,只观察网口画面显示用信息的图标来进行操作,可以便捷并且简单地进行语音通信。
根据该结构,在禁止语音输出的情况下,是页面信息生成部件在页面信息中生成并发送不进行按钮显示的页面信息的网络摄像机,由于不显示语音禁止的显示,所以画面不繁杂。
此外,在终端通信部件是将该页面信息发送到终端的网络摄像机,在页面信息中接收到可语音输出的第1按钮显示被按压的通知时,页面信息生成部件是将该页面信息发送到终端的网络摄像机,是在页面信息中取代可语音输出的第1按钮显示而生成用于变更为表示语音输出中的第2按钮显示的页面信息的网络摄像机,通过按压用于表示可语音输出的第1按钮显示,改变通信状态,同时显示也切换为表示语音输出中的第2按钮显示,所以非常容易理解。
此外,方案所述的网络摄像机的特征在于,在进行可语音输出的第1按钮显示的页面信息中,进行用于表示暂时禁止语音的第4按钮显示,通信部件从终端接收到表示暂时禁止语音的第4按钮显示被按压的通知时,页面信息生成部件生成用于取代可语音输出的第1按钮显示而变更为表示语音输出中的第2按钮显示、以及取代用于表示暂时禁止语音的第4按钮显示而变更为表示语音接收中的第5按钮显示的页面信息,通信部件将该页面信息发送到终端,由于进行作为暂时禁止语音的第4按钮显示、作为语音接收中的第5按钮显示,能够以听到语音为中心来进行按钮操作。同时也可以变更语音输出的按钮显示,所以操作简单。
在终端接收到表示语音输出中的第2按钮显示被按压的通知时,页面信息生成部件是生成用于将表示语音输出中的第2按钮显示变更为可语音输出的第1按钮显示的页面信息的网络摄像机,通过按压用于表示语音输出中的第2按钮显示,改变通信状态,显示也周期性地返回到表示可语音输出的第1按钮显示,所以非常容易理解。
在终端接收到表示暂时禁止语音输出的第3按钮显示被按压的通知时,页面信息生成部件是生成用于将表示暂时禁止语音输出的第3按钮显示取代而变更为表示可语音输出的第1按钮显示的页面信息的网络摄像机,通过按压用于表示暂时禁止语音输出的第3按钮显示,改变通信状态,显示也改变为表示可语音输出的第1按钮显示,所以非常清楚容易。
在语音通信结束后进行用于表示语音输出中的第2按钮显示的情况下,定时部件对规定的时间进行测量后如果超时,则页面信息生成部件是生成用于取代表示语音输出中的第2按钮显示而变更为表示可语音输出的第1按钮显示的页面信息的网络摄像机,一到时间就自动地改变为表示可语音输出的第1按钮显示,所以操作简单。
在其他终端的语音输出结束后接收定期地传送的网络摄像机状态通知请求时,通信部件是将取代表示暂时禁止语音输出的第3按钮显示而变更为表示可语音输出的第1按钮显示的页面信息发送到请求元的终端的网络摄像机,可以取代表示暂时禁止语音输出的第3按钮显示而自动地变更为表示可语音输出的第1按钮显示。
(实施例2)
图9表示本发明的摄像机的硬件结构图。
图10表示本发明的摄像机的外观图。
301是包含CPU和其周边电路的摄像机芯片。302是保持使摄像机芯片301动作的程序和数据的闪存ROM。303是摄像机芯片301动作时的作业用的S-DRAM。304是用于将摄像图像变换为电信号的CCD和CMOS芯片。305是进行语音信号的输入输出的Audio PCM芯片。306是进行与LAN接口物理性连接时的电接口的LANPHY芯片。307是用于使摄像机的摄像范围移动的电机用的驱动器芯片,使倾斜用电机308和底座用电机309动作。此外,这里虽未记载,但具有用于语音输入的话筒和用于语音输出的扬声器。
摄像机芯片301包括:CPU301-1;将已变换为电信号的摄像图像变换为JEPG格式的图像的JPEG变换部301-2;变换为网络通信用的语音数据形式的G.726变换部301-3;MMU(存储器管理部)301-4;GPIO(通用输入输出部)301-5;以及LAN(局域网部)301-6。
该硬件结构图11和摄像机的结构图1的对应关系如下。摄像机10对应于CCD304,语音输入调整电路17a和语音输出调整电路18a对应于AudioPCM305,通信控制部13与LAN连接的部分对应于LANPHY306,通信控制部13进行控制动作的部分对应于LAN部301-6,底座电机10b对应于底座电机309,倾斜电机308对应于倾斜电机308,图像处理部12对应于JPEG变换部301-2,语音接收处理部14和语音发送处理部15对应于G.726变换部301-3,进行它们的控制的摄像机控制部10a和控制部19对应于CPU301-1,存储部20对应于S-DRAM303。
此外,作为闪存ROM302,可以用MX29LV320来实现,作为S-DRAM303,可以用MT48CM16来实现,作为AudioPCM305,可以用AK2308来实现,作为LANPHY芯片306,可用ICS1893来实现,作为CCD芯片304,可用ICX098、MN5400和HV7131的组合来实现,作为电机用驱动器芯片307,可用LB1937来实现。
根据该结构,许可语音通信的情况下,只要不在与其他用户通信中就成为可语音发送显示,在要进行语音通信时按压可语音发送显示而形成语音接收中显示并进行通话,通话结束后经过一定时间可自动地返回到原来状态,网口画面显示用信息的图标显示容易理解,操作容易,可以实现操作性优良的网络摄像机。
本发明的产业可利用性在于,可以应用于使用语音对应型网络摄像机进行图像发送和语音通信的网络系统。

Claims (10)

1.网络摄像机,连接到可发送第1语音数据的第1终端和可发送第2语音数据的第2终端上使用,包括:
语音输出部,输出语音数据;以及
控制部,在所述语音输出部输出所述第1语音数据中,在从所述第2终端接收到所述第2终端要向该网络摄像机发送所述第2语音数据的意旨的请求的情况下,禁止从所述第2终端向该网络摄像机发送所述第2语音数据。
2.如权利要求1所述的网络摄像机,其特征在于,
在禁止从所述第2终端向该网络摄像机发送所述第2语音数据时,所述控制部使所述第2终端上显示所述禁止的意旨。
3.如权利要求2所述的网络摄像机,其特征在于,还包括:
通信部,接收所述第1语音数据、所述第2语音数据和向该网络摄像机发送所述第2语音数据的请求,并向所述第2终端发送与所述请求对应的页面信息,
在接收到所述请求时,所述控制部对所述第2终端发送所述禁止的意旨的页面信息。
4.如权利要求1所述的网络摄像机,其特征在于,
在使所述第2终端显示所述禁止的意旨的期间,从所述第2终端接收到输出所述第2语音数据的请求时,如果所述语音输出部不在输出所述第1语音数据中,则所述控制部使所述语音输出部输出所述第2语音数据,并且使所述第2终端显示语音通信中的意旨。
5.如权利要求2所述的网络摄像机,
所述网络摄像机还包括拍摄该网络摄像机周边的图像的摄像机,
所述页面信息包含由所述摄像机拍摄到的所述图像。
6.显示方法,用于输出可发送第1语音数据的第1终端的语音数据和可发送第2语音数据的第2终端的语音数据,并且使所述第1终端和所述第2终端显示显示数据,该显示方法包括:
语音输出步骤,输出语音数据;以及
控制步骤,在输出所述第1语音数据中,在从所述第2终端接收到所述第2终端要发送所述第2语音数据的意旨的请求的情况下,禁止从所述第2终端发送所述第2语音数据。
7.如权利要求6所述的显示方法,其特征在于,
所述控制步骤,在禁止从所述第2终端发送所述第2语音数据时,使所述第2终端上显示来自所述第2终端的所述禁止的意旨。
8.如权利要求7所述的显示方法,
所述控制步骤,在接收到所述请求时,对所述第2终端发送所述禁止的意旨的页面信息。
9.如权利要求6所述的显示方法,其特征在于,
所述控制步骤,在使所述第2终端显示所述禁止的意旨的期间,从所述第2终端接收到输出所述第2语音数据的请求时,如果不在输出所述第1语音数据中,则输出所述第2语音数据,并且使所述第2终端显示语音通信中的意旨。
10.如权利要求7所述的显示方法,其特征在于,
所述控制步骤发送包含由摄像机拍摄到的图像的页面信息。
CN201010119315A 2004-06-29 2005-06-29 网络摄像机以及显示方法 Pending CN101771849A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP191147/04 2004-06-29
JP2004191147A JP4479376B2 (ja) 2004-06-29 2004-06-29 ネットワークカメラ及びネットワークシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200510082125.4A Division CN1717039B (zh) 2004-06-29 2005-06-29 网络摄像机、语音通信方法及网络系统

Publications (1)

Publication Number Publication Date
CN101771849A true CN101771849A (zh) 2010-07-07

Family

ID=35005659

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201010119315A Pending CN101771849A (zh) 2004-06-29 2005-06-29 网络摄像机以及显示方法
CN200510082125.4A Expired - Fee Related CN1717039B (zh) 2004-06-29 2005-06-29 网络摄像机、语音通信方法及网络系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN200510082125.4A Expired - Fee Related CN1717039B (zh) 2004-06-29 2005-06-29 网络摄像机、语音通信方法及网络系统

Country Status (4)

Country Link
US (1) US7804516B2 (zh)
EP (2) EP2475169B1 (zh)
JP (1) JP4479376B2 (zh)
CN (2) CN101771849A (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007318625A (ja) * 2006-05-29 2007-12-06 Matsushita Electric Ind Co Ltd グループ通話装置
JP4834530B2 (ja) * 2006-12-01 2011-12-14 キヤノン株式会社 カメラクレードル、その制御方法およびプログラム
CN101282450B (zh) * 2007-04-02 2011-09-28 厦门瑞科技术有限公司 一种可快速访问和管理网络摄像机的方法
CN102143359A (zh) * 2010-01-28 2011-08-03 智晟电子股份有限公司 网络摄影机与其数据传输方法
KR102053871B1 (ko) 2019-03-14 2019-12-09 에스케이이노베이션 주식회사 휘발성이 향상된 고 점도 지수의 광유계 윤활기유 및 이의 제조 방법
JP6632019B1 (ja) * 2019-08-06 2020-01-15 株式会社サークル・ワン 監視システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3862315B2 (ja) 1996-03-13 2006-12-27 キヤノン株式会社 画像表示装置及びその制御方法
US6128649A (en) * 1997-06-02 2000-10-03 Nortel Networks Limited Dynamic selection of media streams for display
GB2338150B (en) 1998-06-03 2003-05-28 Orange Personal Comm Serv Ltd Mobile communications
JP2001188740A (ja) 1999-12-28 2001-07-10 Canon Inc 電子会議システム並びにそれに関連する装置、方法及びメモリ媒体
JP4280901B2 (ja) 2002-02-05 2009-06-17 株式会社セガ 音声チャットシステム
US7404001B2 (en) 2002-03-27 2008-07-22 Ericsson Ab Videophone and method for a video call
US7499969B1 (en) * 2004-06-25 2009-03-03 Apple Inc. User interface for multiway audio conferencing

Also Published As

Publication number Publication date
EP2475169A1 (en) 2012-07-11
JP4479376B2 (ja) 2010-06-09
EP1613083A2 (en) 2006-01-04
CN1717039A (zh) 2006-01-04
CN1717039B (zh) 2010-05-05
US20050285932A1 (en) 2005-12-29
EP2475169B1 (en) 2013-11-13
US7804516B2 (en) 2010-09-28
EP1613083A3 (en) 2010-04-28
JP2006014149A (ja) 2006-01-12
EP1613083B1 (en) 2012-05-30

Similar Documents

Publication Publication Date Title
KR100630204B1 (ko) 휴대단말기의 멀티태스킹 수행 장치 및 방법
EP1771002B1 (en) Mobile video communication terminal
WO2002056168A1 (fr) Dispositif de traitement d'informations
CN1717039B (zh) 网络摄像机、语音通信方法及网络系统
JPH02174448A (ja) 電話機
EP1758356A3 (en) Mobile phone, communication terminal, phone call method and phone call program
WO2006048724A1 (en) On-demand activation of bluetooth sap
EP1734730A1 (en) Device and method for displaying files during bluetooth communication in a wireless terminal
CN102045441A (zh) 使用移动终端的数据通信方法和系统
KR101273227B1 (ko) 이동 통신 장치용 콜센터 지원을 향상시키기 위한 장치 및 방법
EP1865718B1 (en) Mobile terminal and method of visual data processing
US20070044021A1 (en) Method for performing presentation in video telephone mode and wireless terminal implementing the same
JP3031123B2 (ja) コードレス電話装置
EP1753238A2 (en) Method of transmitting image data in video telephone mode of a wireless terminal
KR100703333B1 (ko) 휴대단말기에서 멀티미디어메시지 송수신 방법
KR101030418B1 (ko) 미리 준비된 미디어 데이터를 전송하는 화상통화 방법
KR20040097642A (ko) 이동 통신 단말기의 사용자 데이타 원터치 설정 방법
EP1026895A1 (en) Tv cellular phone
KR20050072001A (ko) 휴대 단말기의 데이터 및 배경 색상변경 방법
KR20070012569A (ko) 휴대단말기의 블루투스 통신에서 파일전송 장치 및 방법
JP2002141978A (ja) 携帯端末装置及びその制御方法
KR100479786B1 (ko) 영상전화기를 이용한 동영상메일 송수신방법
KR100871730B1 (ko) 영상통화가 가능한 이동통신 단말기
KR100605956B1 (ko) 휴대 단말기의 메시지 전송방법
JP2749890B2 (ja) ボタン電話装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20100707