CN100456256C - 远程复制网络系统 - Google Patents

远程复制网络系统 Download PDF

Info

Publication number
CN100456256C
CN100456256C CNB2004100961062A CN200410096106A CN100456256C CN 100456256 C CN100456256 C CN 100456256C CN B2004100961062 A CNB2004100961062 A CN B2004100961062A CN 200410096106 A CN200410096106 A CN 200410096106A CN 100456256 C CN100456256 C CN 100456256C
Authority
CN
China
Prior art keywords
edge device
remote copy
information
identifying information
medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004100961062A
Other languages
English (en)
Other versions
CN1637714A (zh
Inventor
岩村卓成
大枝高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN1637714A publication Critical patent/CN1637714A/zh
Application granted granted Critical
Publication of CN100456256C publication Critical patent/CN100456256C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2069Management of state, configuration or failover
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2074Asynchronous techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2082Data synchronisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2066Optimisation of the communication load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/20Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2076Synchronous techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Abstract

本发明实现低成本的多跳远程复制。通过具有与源存储器连接的源边缘装置、与目标存储器连接的目标边缘装置的远程复制网络(RCN),实施远程复制。因为RCN是网络经营者提供的网络,所以拥有存储器装置的用户可以实施不拥有、管理RCN的远程复制。源边缘装置接收来自源存储器的远程复制I/O,制作成在其上加上顺序编号的日志记录,将日志记录发送到目标边缘装置。目标边缘装置从接收的日志记录取得远程复制I/O,将远程复制I/O按顺序编号顺序发送到目标存储器。

Description

远程复制网络系统
技术领域
本发明涉及含有存储器的信息处理系统,更详细地涉及以大于等于2台存储器与网络装置群构成的远程复制网络(以下也称为RCN)实施的远程复制及障碍恢复技术。
背景技术
在具有存储器的信息处理系统中,由于电源故障或天灾等的灾害、存储器中发生碍障时,使用该信息处理系统的业务暂时性停止,在最坏的情况,有时会丢失储存在存储器中的数据。为了避免出现这样的情况,存在有将该信息处理系统的存储器中储存的数据,转移复制到与该信息处理系统不同的、在远处准备的存储器中转移的技术(以下称“远程复制”)。
远程复制中,存在同步远程复制与非同步远程复制的两个种类,各有优点与缺点。具体地,同步远程复制中,信息处理系统的存储器,对在有从信息处理系统的计算机来的写入请求时,在向远处存在的存储器的写入请求附送的数据的转移结束后,由计算机进行对于该写入请求的应答。因此,同步远程复制中,因故障而丢失数据的少,但存储器之间的线路延迟一增加,在计算机与存储器之间的I/O性能就变差。
另一方面,专利文献1公开的非同步远程复制中,信息处理系统的存储器,独立地定时地实施向对写入请求的计算机的应答和随写入请求附送的数据向远处的转移。因此,非同步远程复制中,即使存储器之间的距离再远,因为复制远处数据前可以向计算机应答,所以难以导致向计算机的应答性能的下降。但是,非同步远程复制中,丢失数据的可能性高于同步远程复制。
近年来,发明了组合同步远程复制与非同步远程复制的多跳方式(参阅专利文献2、专利文献3)。其中,
专利文献1是日本国专利第3149325号公报。
专利文献2是特开2003-122509号公报。
专利文献3是特开2000-305856号公报。
专利文献2或专利文献3的方式中,中间存在的装置,都以存储器的所有人的管理为前提,所以装置的购置成本、管理成本增加成为问题。因此,公开可以抑制装置的购置成本、管理成本增加的多跳远程复制技术。
发明内容
通过具有连接于源存储器的源边缘装置和连接于目标存储器的目标边缘装置的远程复制网络(RCN),实施远程复制。
源边缘装置,从源存储器接收远程复制I/O请求,制作成在其中加上了顺序编号的日志记录,发送到目标边缘装置。目标边缘装置,从接收的日志记录取得远程复制I/O请求,将远程复制I/O请求按顺序编号顺序发送到目标存储器。
本发明提供一种远程复制网络系统,该远程复制网络系统与第一存储器系统和第二存储器系统互联,其特征在于包含:第一边缘装置,该第一边缘装置与所述第一存储器系统互联;第二边缘装置,该第二边缘装置与所述第二存储器系统互联;和网络,该网络与所述第一边缘装置和第二边缘装置互联;其中,所述第一边缘装置接收远程复制I/O请求,该接收的远程复制I/O请求用于将数据从所述第一存储器系统复制到所述第二存储器系统;所述第一边缘装置将对于所接收的远程复制I/O请求的应答发送到所述第一存储器系统中;发送对于远程复制I/O请求的应答后,所述第一边缘装置生成具有该远程复制I/O请求和表示该远程复制I/O请求的接收顺序的顺序编号的日志信息,向所述第二边缘装置发送;所述第二边缘装置从接收的日志信息中取出远程复制I/O请求,将取出的远程复制I/O请求按照日志信息中的顺序编号表示的顺序发送到所述第二存储器系统中。
通过本发明可以减少在存储器之间实施多跳远程复制时的装置购置成本、管理成本。
附图说明
图1是表示实施远程复制的信息处理系统的1个实例的图。
图2是表示实施远程复制的信息处理系统的变化例的图。
图3是表示边缘装置、核心装置及管理服务器的硬件构成的1个实例的图。
图4是表示由边缘装置或核心装置实施的程序的1个实例的图。
图5是表示管理服务器具有的信息、程序的1个实例的图。
图6是表示在管理服务器、边缘装置或核心装置中使用的信息的1个实例的图。
图7是表示在管理服务器、边缘装置或核心装置中使用的信息的1个实例的图。
图8是表示日志记录的1个实例的图。
图9是表示利用远程复制网络的远程复制处理的1个实例的图。
图10是表示信息处理系统中的配对生成处理、初期复制处理的1个实例的图。
图11是表示信息处理系统中的初期复制处理、向Duplex状态转换处理的1个实例的图。
图12是表示从Suspend状态或障碍Suspend状态起的再同步处理的1个实例的图。
图13是表示故障恢复(failover)时的处理的1个实例的图。
图14是表示FC帧与GbE帧的1个实例的图。
图15是表示日志存储区域的1个实例的图。
图16是表示从主机将数据写入源外部存储器系统时的处理的1个实例的图。
图17是表示配对生成中的源侧边缘装置的处理的1个实例的图。
图18是表示配对生成中的源侧边缘装置的处理的1个实例的图。
图19是表示通常运用中的源侧边缘装置的处理的1个实例的图。
图20是表示通常运用中的目标侧边缘装置的处理的1个实例的图。
图21是表示配对生成中的目标侧边缘装置的处理的1个实例的图。
图22是表示配对生成中的目标侧边缘装置的处理的1个实例的图。
具体实施方式
以下,说明本发明的实施方式。另外,本发明不是被以下说明的实施方式所限定。
图1是表示本发明的1个实施方式中的信息处理系统的概要例子的图。
信息处理系统,由远程复制网络101、广域网络102、管理服务器103、管理网络150、主计算机(以下称主机)111与主机121、和外部存储器112与外部存储器122构成。另外,为了使以后的说明容易,有时把外部存储器112作为具有远程复制的复制源存储媒体113的存储器称为源外部存储器112,把外部存储器122作为具有复制目标存储媒体123的存储器称为目标外部存储器122。称为源与目标的名称,也是为了表现主机111与主机121、存储媒体113与存储媒体123、虚拟存储器106与虚拟存储器107、虚拟存储媒体108与虚拟存储媒体109的关系而使用的。另外,这个关系并不是固定的,某一个外部存储器也可以具有源与目标两个方面的作用。
远程复制网络101、广域网络102、管理网络150和管理服务器103,由网络经营人提供。因此,本实施方式中,具有源侧主机与源外部存储器,以及目标侧主机与目标外部存储器的客户,将主机与外部存储器连接到远程复制网络,通过远程复制网络,可以实施远程复制。为此,客户不用管理、维护远程复制网络,就可以实施多跳远程复制,可以减少多跳远程复制中的装置购置成本、管理成本。
主机111与主机121是实施事务处理等业务的应用程序动作的计算机,存储媒体113是主机111使用的存储媒体、存储媒体123是主机121使用的存储媒体。
远程复制网络101是包含含有边缘装置104、与边缘装置105、核心装置202的多个装置的网络。另外,边缘装置、核心装置也可以是路由器或网关装置的一种。外部存储器112与外部存储器122,通过边缘装置104或边缘装置105连接于远程复制网络101。边缘装置104或边缘装置105与核心装置202之间,以包含时间顺序信息的日志记录211的形式转移远程复制请求及伴随远程复制请求的被远程复制的数据(以下,将这些也称为远程复制I/O请求或RIO)。将RIO变换成日志记录的处理由边缘装置实施。
边缘装置是与远程复制网络101的外部存在的外部存储器连接的装置。
核心装置202是将由边缘装置104制成·转移的日志记录211向别的边缘装置105或核心装置202转移的装置。
虚拟存储器106或虚拟存储器107,是边缘装置104或边缘装置105对于外部存储器112或外部存储器122提供的虚拟的存储器。边缘装置对于与其本身连接的外部存储器,提供:应作为该外部存储器组合远程复制的配对的对方的外部存储器而展现自身的、、如同远程复制的配对对方的外部存储器那样动作的虚拟存储器(例如边缘装置104将像外部存储器122那样动作的虚拟存储器106提供给外部存储器112、边缘装置105将像外部存储器112那样动作的虚拟存储器107提供给外部存储器122)。
边缘装置与核心装置202由网络连接(未作图示)。作为其连接形式,考虑了在Gigabit Ethernet(注册商标)(以下也称为GbE)上,采用IP协议的连接形式,但是也可以采用这些以外的网络媒体和协议。另外,从边缘装置104或边缘装置105,向外部存储器112或外部存储器122的连接,在FibreChannel(以下也称为FC)与ESCON、FICON、GbE等上,作为协议,可以考虑采用SCSI、iSCSI、iFCP、mFCP、FCIP等连接,但也可以使用这些以外的网络媒体和协议。另外,在以后的说明中,在从边缘装置向外部存储器的连接中采用FC与SCSI、在边缘装置核心装置202之间的连接中采用GbE与IP协议与UDP协议,但不能由此将本发明的权利范围限定在这些协议。
FC帧220是用于通过FC在外部存储器与边缘装置之间通信的帧,GbE帧210是用于通过GbE在边缘装置与核心装置之间或多个核心装置之间通信的帧,日志记录211由GbE帧210转移。
管理服务器103,是外部存储器112及外部存储器122的所有人(客户)在远程复制网络101中设定必要的信息、或参照远程复制网络的设定信息或状态信息用的计算机,连接于广域网络102和管理网络150。主机111及主机121与管理服务器103通信,使用广域网络102。另外,广域网络102和主机111与主机121及管理服务器103之间的通信只要能够进行,采用哪种方式都可以,包含在远程复制网络101中也可以。另外,多个外部存储器向一个边缘装置连接也可以。
管理网络150是连接远程复制网络101内存在的装置(例如边缘装置104与边缘装置105、核心装置202等)和管理服务器103的网络。管理服务器,通过管理网络150进行远程复制网络101内的边缘装置或核心装置的设定、另外,收集从边缘装置或核心装置来的信息、经由广域网络102将收集的信息提供给主机。另外,管理网络150既可以是远程复制网络101的一部分、也可以是广域网络103的一部分。
另外,图中虽未记载,但外部存储器112与外部存储器122具有存储同步远程复制程序或非同步远程复制程序的存储器,和执行这些程序的处理器。
一执行同步远程复制程序,外部存储器为了显示复制状态,就定义配对状态(有Simplex(X)、Initial-Copying(IC)、Duplex(D)、Suspend(S)及Duplex-Pending(DP)5种状态),在内部管理其信息。
Simplex状态,是在源存储媒体与目标存储媒体之间的同步远程复制没有开始的状态。Duplex状态,是同步远程复制开始、下述的初始化复制结束、源存储媒体与目标存储媒体的内容成为相同时的状态。同步远程复制时,源存储媒体中写入的数据,被复制到目标存储媒体中(以下也将有关复制称为更新复制)以后,对于进行了写入的主机,返回写入结束的应答。
另外,例如由于每个存储媒体存在保存单一识别符的区域,对存储媒体的特定部分,即使有源存储媒体与目标存储媒体的内容不同的情况也可以。
Initial-Copying状态,是从Simplex状态向Duplex状态转换的中间状态。在此期间中,进行从源存储媒体向目标存储媒体的初始化复制(在源存储媒体中已经存储了的数据的复制)。在初始化复制结束、在向Duplex状态转换所需的必要的内部处理结束的阶段,配对状态成为Duplex。
Suspend状态,是更新复制停止的状态。在这个状态中,源存储媒体与目标存储媒体的数据,不能保障宏观的同一。以操作员、主机、管理外部存储器的计算机等的指示为契机,配对状态,从其它状态向Suspend状态转换。
此外,作为配对状态向Suspend状态转换的情况,有从源存储媒体向目标存储媒体不能进行同步远程复制的情况。在这种情况中,存储器自动地将配对状态转换到Suspend状态。以后的说明中,将后者的情况称为障碍Suspend状态。作为成为障碍Suspend状态的代表性原因,可以考虑有源存储媒体或目标的存储媒体的障碍、源外部存储器或目标的外部存储器的障碍、源外部存储器与目标外部存储器之间的通信线路障碍(本实施方式的情况下包含外部存储器112或外部存储器122与边缘装置104或边缘装置105之间的线路障碍,或包含边缘装置104与边缘装置105的远程复制网络的障碍)。但是,这些以外的障碍也可能成为Suspend障碍的原因。
Suspend状态或障碍Suspend状态的外部存储器,以在配对状态转换为Duplex-Pending状态时源存储媒体与目标存储媒体之间可以实施差分复制那样地,在Suspend状态或障碍Suspend状态中被更新的数据在被存储的存储媒体内的存储区域记录。另外,关于记录中使用的数据结构可以认为是位图,但这以外的也可以。
Duplex-Pending状态,是从Suspend状态转换到Duplex状态前的中间状态。在这个状态中,为了使源存储媒体与目标存储媒体的数据内容一致,实施从源存储媒体向目标存储媒体的数据的复制。一旦确保源存储媒体与目标存储媒体的数据的同一性,配对状态就成为Duplex。另外,Duplex-Pending状态中的数据的复制,利用记录了所述Suspend状态中的数据更新区域的信息,也可以利用复制只有必要更新部分的差分复制。另外,Initial-Copying状态与Duplex-Pending状态,也可以将它们汇合、作为一个状态在管理装置的画面中表示,使状态转换。
另一方面,在菲同步远程复制的情况,作为从源存储媒体向目标存储媒体的数据复制的方法,有以下的方法。
例如,有以下方法:源外部存储器在每次数据写入时制作包含数据写入的存储媒体的地址的控制信息与写入的数据组(以下称为日志记录),数据写入的规则,将其转移到目标外部存储器,目标外部存储器将存储在日志记录的更新数据向目标存储媒体写入(以下,将在日志记录中存储的数据写入存储媒体使之在存储媒体反映、表现)。进而作为该发展形式,还有在日志记录的控制信息中,包含表示更新数据写入源存储媒体中的时间和顺序的信息,将日志记录反映到目标存储媒体时,利用表示该时间与顺序的信息,如同更新数据被写入源存储媒体中的顺序那样,在目标存储媒体中反映日志记录的方法。
在实施非同步远程复制时,源·目标外部存储器,都管理配对状态(Simplex、Initial-Copying、Duplex、Suspend、Duplex-Pending及Suspending(SI))。关于Simplex、Initial-Copying、Suspend和Duplex-Pending状态,与同步远程复制相同。
Duplex状态,也基本上与同步远程复制的情况相同,但因为更新复制与从主机来的写入非同步实行,所以数据的同一性和同步远程复制不同,即使是从源外部存储器接收了对主机写入的请求的完成应答后,在直到将更新数据写入到目标存储媒体前之间,源存储媒体内的数据与目标存储媒体内的数据不一致。
所谓Suspending状态,是从Duplex状态转换到Suspend状态前的中间状态,在非同步远程复制时,经由Suspending状态向Suspend状态转换。另外,在此状态下,源外部存储器和目标外部存储器,也可以进行将各自具有的存储器中保持的日志记录向目标外部存储器反映的处理。另外,采用与同步远程复制的Suspend状态的说明中所述的和对源存储媒体的写入位置的记录同样的方法,源外部存储器与目标外部存储器,记录不能在目标存储媒体中反映的日志记录内的更新数据的写入位置。
图9是表示利用远程复制网络进行远程复制处理的1个实例的流程框图。
(1)首先,客户与RCN提供者订立合同(步骤901)。
(2)RCN提供者,将客户ID分配给客户,将分配的客户ID与合同条件中确定的客户特有的设定,输入、设定到管理服务器103中(步骤902)。
(3)客户将连接于RCN的源外部存储器112及目标外部存储器122的WWN(World Wider Name),和成为这些外部存储器的连接目标的边缘装置104及边缘装置105的识别信息,输入、设定到管理服务器103中(步骤903)。管理服务器103以这个设定信息为基础,对边缘装置104与边缘装置106指示生成虚拟存储器106和虚拟存储器107,或是进行远程复制网络101的路径设定。
(4)客户通过将配对生成指示输入主机111或其它计算机对源外部存储器112指示配对生成(步骤904)。对源外部存储器112的指示经过边缘装置104、远程复制网络101、边缘装置105,到达目标外部存储器122。以配对生成为契机,从源存储媒体113向目标存储媒体123进行初始化复制。
(5)源存储媒体113与目标存储媒体123的配对成为Duplex状态,在源外部存储器与目标外部存储器之间实施远程复制处理(步骤905)。
(6)远程复制网络101的内部有障碍时,外部存储器112或外部存储器122检知自身障碍,通过将远程复制网络101发生障碍通知外部存储器112或外部存储器122,使这些外部存储器将配对状态转换成障碍Suspend状态。此后,在RCN提供者维护作业结束后,客户从管理服务器或其它的计算机向源外部存储器112指示再同步并执行再同步(步骤908、909)。
(7)出于计划维护或将目标外部存储器122暂时用在其它应用程序等理由,想停止远程复制时,客户通过主机111或主机121、管理服务器或其它计算机,将向Suspend状态的转换指示给源外部存储器112(步骤910)。此后,在消除了远程复制停止的理由的阶段,客户通过主机111或主机121管理服务器或其它计算机向源外部存储器112指示再同步并进行再同步(步骤909)。
(8)源外部存储器112中发生障碍(现场障碍)时,客户以连接在目标外部存储器122的主机121,再启动应用(步骤911)。另外,现场障碍的检知与再启动处理也可以由管理者手工操作,也可以由称之为集群软件的承担主机监视·应用再启动的软件进行。
图3是表示边缘装置、核心装置及管理服务器的硬件体系结构的1个实例的图。
任意1个装置中都有存储器311、CPU312、盘装置313,它们以内部网络或总线相互结合。各装置中存在的程序存在于存储器311内,由存储器311、CPU312、盘装置313共同动作而执行程序。但是,盘装置313不是必需的构成元件。
此外,边缘装置和核心装置,具有用于以GbE通信的硬件的GbE接口315。边缘装置具有用于以FC与外部装置与通信的FC接口314。另外,边缘装置、核心装置与管理服务器,具有用管理网络150通信所使用的网络接口316。另外,网络接口316可以认为是和FC接口314或GbE接口315相同的,只要是可以通信,也可以是100Base-T的Ethernet接口那样的其它网络媒体·协议所对应的接口。
图4是表示边缘装置或核心装置在存储器311或盘装置313内具有的、在边缘装置或核心装置中动作的程序的1个实例的图。
FC协议堆栈401是在边缘装置中执行、通过FC进行数据转移的程序。IP协议堆栈410是在边缘装置或核心装置202中执行、通过GbE、按照IP进行数据转移的程序。另外,用于GbE接口315或FC接口314操作的接口驱动程序,FC协议堆栈401具有的Port ID与WWN的变换信息、IP协议堆栈410具有的IP地址与MAC(MediaAccessControl)地址的变换信息,在边缘装置的存储器311内存在,但在图中省略。另外,图中虽没有记载,但在边缘装置及核心装置的存储器中也可以存在OS。
RIO协议堆栈402,是用于边缘装置解释从外部存储器接收的RIO的程序,边缘装置拥有。
虚拟存储器提供程序403,是为了对外部存储器提供如外部存储器那样地动作的虚拟存储器的程序,边缘装置拥有。对于外部存储器,要提供如同该外部存储器的远程复制配对的对方目的地外部存储器那样地动作的虚拟存储器时,将配对的对方目的地的构成信息(即WWN、制品编号、存储媒体数、识别存储媒体用的LUN、容量、仿真型号等)与相同的构成信息,作为虚拟存储器的构成信息,提供给外部存储器。用于执行相关处理用的程序是虚拟存储器提供程序403。然后,虚拟存储器提供程序,一旦从外部存储器接收包含自身连接的外部存储器的配对对方的外部存储器的构成信息,该RIO就当作是发给自己的边缘装置那样地认识、处理。
但是,在虚拟存储器必须有独自持有的信息时(例如,关于WWN,配对的对方目的地不能使用外部存储器的WWN,必需使用虚拟存储器固有的值),虚拟存储器提供程序403,不是配对对方目的地的构成信息,对于外部存储器提供虚拟存储器固有的构成信息。
日志记录生成·反映程序406,以从外部存储器提供程序403、RIO协议堆栈402、FC协议堆栈401取得的虚拟存储器106的RIO为基础,为作成日志记录211用的程序的边缘装置所具有。另外,日志记录生成·反映程序406,也是从由日志记录转移程序407取得的日志记录211作成RIO后,执行对于外部存储器转移该RIO的处理的程序。
RIO协议堆栈402、虚拟存储器提供程序403、日志记录生成·反映程序406,在边缘装置106·107中动作。
日志记录转移程序407,是利用日志通信协议堆栈409或IP协议堆栈410、进行日志记录211的转移用的程序,边缘装置及核心装置拥有。
日志转移协议堆栈409,是为在其它的边缘装置或核心装置之间转移日志记录211进行必需的通信处理的程序。
日志记录转移程序407和日志转移协议堆栈409,在边缘装置106·107和核心装置202中动作。
汇总转移程序420,是为了有效进行日志记录211的转移,控制在核心装置中动作的日志记录转移程序407的程序。汇总转移程序由核心装置拥有。汇总转移程序420,从接收日志记录211起到进行转移等待一定时间,转移日志记录时,将积蓄在核心装置202中的多个日志记录211汇总转移。但是,也可以不用汇总转移程序420。
图5是表示管理服务器103的存储器中存储的、在管理服务器103中动作的程序,以及管理服务器的存储器中存储的信息的1个实例的图。
RCN设定接口程序501,是为了使用远程复制网络101执行在多个外部存储器之间的远程复制处理而进行设定的程序。RCN设定接口程序501而且也是输出远程复制网络的设定信息、存储器连接信息503、虚拟存储器信息404、存取控制信息405、路径信息408、配对信息411,供用户参考用的程序。连接于广域网络102中的主机或其它计算机,通过使用存储于管理服务器中的该程序,参照远程复制网络101的状态,可以进行对应于图9的步骤903的设定(即构成RCN的边缘装置和核心装置的设定)。
作为使用RCN设定接口程序501设定的信息的例子,可以考虑以下2个例子,但客户与管理者对于在管理服务器中动作的RCN设定接口程序输入设定信息,也可以进行这些以外的设定。
(A)连接于远程复制网络101的外部存储器的WWN,和外部存储器的连接目的地边缘装置的ID
(B)在远程复制网络101中,保证数据写入顺序的源存储媒体及目标存储媒体(或者源外部存储器与目标外部存储器,或者源边缘装置和目标边缘装置)的配对的列表。
另外,作为RCN设定接口程序501提供的信息,除上述的2个设定值以外,可以考虑以下的项目,但RCN设定接口程序也可以输出这以外的项目。
(A)对虚拟存储器分配的WWN
(B)向源外部存储器写入的数据,到反映到目标外部存储器前的延迟时间
(C)有无残留在远程复制网络101内部的日志记录
另外,RCN设定接口程序501,实行图9的步骤903中根据各客户的合同形式实施向RCN的设定时,也可以根据各客户的合同方式,实施限制边缘装置的选择范围、连接于RCN的外部存储器的数、进行顺序保证的存储媒体的配对数等的输入值的处理。
RCN设定程序502,是包含以下2个功能的程序。
(A)以根据RCN设定接口501设定的信息为基础,更新存储器连接信息503、虚拟存储器信息404、存取控制信息405、路径信息408、配对信息411,在边缘装置与核心装置中进行配布的设定·配布功能。
(B)收集由边缘装置作出的配对信息411和顺序保证信息413的更新的更新收集功能。
另外,RCN设定程序502,从远程复制网络101或边缘装置、核心装置202,收集这以外的信息,或是也可以包含设定的功能。在管理服务器的存储器中,除了上述的RCN设定接口程序501与RCN设定程序以外,存储着后述的存储器连接信息503、虚拟存储器信息404、存取控制信息405、路径信息408、配对信息411。
图6和图7是表示管理服务器103、边缘装置或核心装置中使用的信息的1个实例的图。
存储器连接信息503是管理对外部存储器的边缘装置的连接状况的信息。该信息,包含边缘装置的ID631、客户ID632和连接于边缘装置的外部存储器的WWN633。本信息,可以考虑客户使用RCN设定接口程序501在管理服务器中设定,但也可以用这以外的方法作成。
虚拟存储器信息404,是关于边缘装置提供的虚拟存储器的信息。虚拟存储器WWN612,是将边缘装置对外部存储器注册提供的虚拟存储器的WWN的区域。对应边缘ID613和对应存储器WWN614,是将虚拟存储器对于外部存储器动作的该外部存储器的作为远程复制的配对对方的外部存储器进行连接的边缘装置的ID,和将配对对方的外部存储器的WWN注册的区域。在本实施例中,将外部存储器122的WWN分配作为虚拟存储器106的WWN,将外部存储器112的WWN分配作为虚拟存储器107的WWN。以图1为例时,在虚拟存储器信息404中,注册以下的值。
<用于虚拟存储器106的设定>
(A)作为边缘ID611,边缘装置104的ID
(B)作为虚拟存储器WWN612,目标外部存储器122的WWN
(C)作为对应边缘ID,边缘装置105的ID
(D)作为对应存储器WWN,目标外部存储器122的WWN
<用于虚拟存储器107的设定>
(A)作为边缘ID611,边缘装置105的ID
(B)作为虚拟存储器WWN612,源外部存储器112的WW
(C)作为对应边缘ID,边缘装置104的ID
(D)作为对应存储器WWN,源外部存储器112的WWN
另外,目标存储媒体、源存储媒体、虚拟目标存储媒体及虚拟源存储媒体的识别编号(LUN),在本实施方式中取为相同值。
存取控制信息405,是管理边缘装置提供的虚拟存储器的存取控制的信息。在该信息中,包含边缘装置的ID621、虚拟存储器的WWN622、许可对虚拟存储器存取的外部存储器的WWN623。考虑边缘装置要由多个客户共用,因此从其他客户的外部存储器不能对某客户的虚拟存储器存取,可以认为这是控制信息405的一般性设定。但是,也可以采用这以外的设定方针。另外,边缘装置也可以由这以外的信息进行存取控制。
如果是对每个客户区分可存取范围时,存取控制信息405,可以以存储器连接信息503和虚拟存储器信息404为基础,由管理服务器作成。在图1的例子中,按以下那样设定,即使假设未图示的其他客户的外部存储器连接于边缘装置104或边缘装置105,也不能从该其他客户的外部存储器利用虚拟存储器106及虚拟存储器107。
<虚拟存储器106的存取控制信息的设定>
(A)作为边缘ID621,边缘装置104的ID
(B)作为虚拟存储器WWN622,虚拟存储器106的WWN
(C)作为存取许可存储器WWN623,源外部存储器112的WWN
<虚拟存储器107的存取控制信息的设定>
(A)作为边缘ID621,边缘装置105的ID
(B)作为虚拟存储器WWN622,虚拟存储器107的WWN
(C)作为存取许可存储器WWN623,目标外部存储器122的WWN
路径信息408是对用于将源侧的边缘装置104作成的日志记录211转移到目标侧的边缘装置105的路径进行管理的信息。该信息中,包含源外部存储器112的WWN711和目标外部存储器122的WWN712,和用于在源外部存储器及目标外部存储器之间发送接收日志记录211的通过路径714。RCN设定程序502,一旦对管理终端输入来自客户的源外部存储器及目标外部存储器的识别信息、和连接这些存储器的源侧边缘装置和目标侧边缘装置的识别信息,就考虑各核心装置202的处理界限和汇总转移的效果,按照将源外部存储器104和目标外部存储器105之间的核心装置202的数变少那样地计算路径、作成路径信息。另外,路径决定的方式,或是考虑数据转移的QoS,或是考虑边缘装置或核心装置202的遇破坏的可能性的计算方法,但也可以是这以外的方法。另外,本实施例的路径信息408,是假定对每对源外部存储器和目标外部存储器的配对设定路径的情况,但也可以在顺序保证组单位、源存储媒体与目标存储媒体的配对单位中设定路径信息。
配对信息411主要是在远程复制网络101中保证RIO的顺序、管理源存储媒体与目标存储媒体组用的信息。该信息由源外部存储器112的实际的WWN721与源存储媒体的LUN722、目标外部存储器122的实际的WWN723与目标存储媒体的LUN724、现在的配对状态725、顺序保证用的ID726、远程复制网络101内部发生障碍时使用的差分位图727构成。
配对信息411的制作方法中,有以下3种方法。
(A)边缘装置接收来自外部存储器的配对生成请求(在这个生成请求中,包含源外部存储器112的WWN与源存储媒体113的LUN、目标外部存储器122的WWN与目标存储媒体123的LUN),以边缘装置作成配对信息的方法。在此情况中,关于顺序保证ID725的注册方法,可以考虑以下的2个方法。
(A-1)对在源存储媒体在等同源外部存储器中存在、并且目标存储媒体也在等同目标外部存储器中存在的配对,分配同一ID的方法。在这个方法中,对在等同的外部存储器之间实行远程复制的存储媒体配对分配同样的ID。
(A-2)对使用等同的源边缘装置及目标边缘装置实行远程复制处理的存储媒体配对,分配同样ID的方法。
(B)配对作成前,管理者使用RCN设定接口程序501,与更新顺序信息同时输入的方法。
另外,也可以使用将这些组合的方法。
顺序保证信息413,主要是用于作成日志记录211的顺序编号804用的信息。该信息包含顺序保证ID731、日志生成计数器值732、日志反映计数器值733、日志删除计数器值734、反映延迟时间735。日志生成计数器值732,每当在边缘装置中日志记录211被作成,就被加一、日志删除计数器值734,每当在边缘装置104中日志记录211被删除,就被加一。日志反映计数器值733,每当边缘装置将日志记录211反映到外部存储器122,就被加一。
反映迟延时间735中,注册每次边缘装置在外部存储器中反映日志记录时从现在时刻减去日志记录211的I/O的时间的值。该信息定期地从边缘装置发送到管理服务器的RCN设定接口程序501,由管理服务器输出提供给客户。
另外,图6与图7中虽未图示,但在边缘装置中也存储日志记录。日志记录在图15所示的日志记录存储区域413中被存储,日志存储区域413,包含存储1个或1个以上的日志记录211的区域1702和管理存储单元的管理信息1701。日志记录生成·反映程序406,根据RCN设定接口程序501来的请求,取得日志存储区域413的信息,将其提供给RCN设定接口程序。
虚拟存储器信息404、存取控制信息405、配对信息411复制存在于边缘装置中。另外,路径信息408复制存在于边缘装置和核心装置202中。另外,复制也可以是部分复制。
图8是表示关于日志记录211的数据结构例的模式图。
“目标存储器的WWN和存储媒体LUN信息”801,是表示被变换成日志记录211的RIO的转移目的地的外部存储器的WWN和LUN的信息。“源存储器的WWN和存储媒体LUN信息”802,是表示被变换成日志记录211的RIO的转移源的外部存储器的WWN与LUN的信息。
顺序保证ID803、“I/O时间和顺序编号信息”804,是用于传递日志记录211之间的反映顺序的信息。即,I/O时间是对于源外部存储器,从主机写入日志记录中所包含的写入数据的时间,顺序编号是从主机向源存储器装置的写入数据的写入顺序的编号。
RIO区域805,是存储成为向日志记录的变换对象的RIO的区域。
另外,日志记录211也可以包含这些以外的信息。
图14是表示FC帧220和GbE帧210的1个例子的图。
在FC帧220中,包含转移源PortID1411、转移目的地PortID1412、RIO区域1414、其它的头信息1413。在RIO区域中,包含转移对象的RIO。
在GbE帧中,包含转移源IP地址1421、转移目的地IP地址1422、日志记录区域1424、其它的头信息1423。在日志记录区域中,包含转移对象的日志记录。
另外,出于要转移超过帧的最大尺寸的RIO或日志记录等的理由,也可以将RIO或日志记录分割成多数帧发送。
图10和图11,是表示在图9的步骤904中发出配对生成指令以后实施初始化复制、配对状态转换到Duplex前的系统动作的1个例子的流程图。
另外,在图9的步骤903中,一旦由RCN设定接口程序501作出设定,就结束由RCN设定程序502作出的存储器连接信息503、虚拟存储器信息404、存取控制信息405、路径信息408、配对信息411的更新。另外,边缘装置和核心装置202,以上述信息为基础,开始虚拟存储器的提供、存取控制,结束顺序保证信息413的初始化。
<从Simplex状态向Initial-Copying状态的转换>
(1)主机111,将存储媒体113和存储媒体123成为配对那样的指令的配对生成指令的SCSI命令,发送给源外部存储器112(步骤1001)。
(2)源外部存储器112,向提供源侧的虚拟存储器106的边缘装置104,发送具有根据从主机接收的SCSI指令(配对生成指令)的RIO(配对生成)的FC帧(步骤1002)。另外,在本实施方式中,存储媒体123和虚拟存储媒体108由等同的识别信息(WWN和LUN)被识别。因此,源外部存储器112,将上述的RIO(配对生成)向源侧边缘装置104发送,由此,在源侧边缘装置104中,形成与将存储媒体113和虚拟存储媒体108作为配对那样的指令的结果同样的结果。
(3)源侧边缘装置104作成含有从源外部存储器接收的RIO(配对生成)的日志记录(配对生成),将其存储于GbE帧,向目标侧边缘装置105发送(步骤1003)。
(4)提供目标侧虚拟存储器107的边缘装置105,一旦接收日志记录(配对生成),就将具有在日志记录中所含有的RIO(配对生成)的FC帧向目标外部存储器122发送。另外,在本实施方式中,存储媒体113和虚拟存储媒体109分别以相同的识别信息(WWN与LUN)被识别。因此,对于目标侧边缘装置105,接收了的日志记录(配对生成),与将虚拟存储媒体109与存储媒体123作为配对那样的指示的日志记录具有同样的意义(步骤1004)。
(5)接收了RIO(配对生成)的目标外部存储器122,将存储媒体113与存储媒体123之间的配对状态变更为Initial-Copying状态(步骤1005)。
(6)目标外部存储器122,向提供目标侧虚拟存储器107的边缘存储装置105,发送含有表示向Initial-Copying状态的转换完成了的意思的RIO(Initial-Copying转换完成(以下称ICOK))的FC帧(步骤1006)。
(7)接收了RIO(ICOK)的目标侧边缘装置105,将虚拟存储媒体109与存储媒体123之间的配对状态变更为Initial-Copying(步骤1007)。
(8)目标侧边缘装置105,作成具有RIO(ICOK)的日志记录(ICOK),将具有日志记录(ICOK)的GbE帧,向源侧边缘装置104发送(步骤1008)。
(9)源侧边缘装置104将存储媒体113与虚拟存储媒体108之间的配对状态变更为Initial-Copying状态(步骤1009)。
(10)提供源侧虚拟存储器106的边缘装置104,将在接收的日志记录中所含的RIO(ICOK),发送到FC帧中的源外部存储器112(步骤1010)。
(11)源外部存储器112,将存储媒体113与存储媒体123之间的配对状态变更为Initial-Copying(步骤1011)。
(12)源外部存储器112,向主机111转移SCSI(ICOK)指令(步骤1012)。
<初始化复制>
(13)进行从源外部存储器112向目标外部存储器122的初始化复制(步骤1013)。初始化复制的方法是与后述的通常运用中的写入相同的动作。
<配对状态的Duplex转换>
(14)源外部存储器112,以FC帧的形式,,向提供源侧的虚拟存储器106的边缘装置104,发送将源存储媒体113与目标存储媒体123之间的配对状态向Duplex状态转换那样的指示的RIO(Duplex转换)(步骤1101)。另外,如上述的那样,因为目标存储媒体123和源侧边缘装置104提供的虚拟存储媒体108,以同样的识别信息被识别,所以,对于源侧边缘装置104,源外部存储器112发送的RIO(Duplex转换),结果成为将源存储媒体113与虚拟存储媒体108之间的配对状态转换到Duplex状态那样的指示的RIO。
(15)源侧边缘装置104,作成具有接收了RIO(Duplex转换)的日志记录(Duplex转换),以GbE帧的形式将日志记录(Duplex转换)向目标侧边缘装置105发送(步骤1102)。
(16)接收了日志记录(Duplex转换)的、提供目标侧虚拟存储器107的边缘装置105,将日志记录(Duplex转换)内含有的RIO(Duplex转换)向目标外部存储器122(步骤1103)转移。另外,如上述那样,因为源存储媒体113和目标侧边缘装置105提供的虚拟存储媒体109,以同样的识别信息被识别,所以,对于目标侧边缘装置105,接收的日志记录(Duplex转换),成为将虚拟装置109与目标存储媒体123之间的配对状态转换到Duplex状态那样的指示的日志记录。
(17)接收了RIO(Duplex转换)的目标外部存储器122,将存储媒体113与存储媒体123之间的配对状态,变更为Duplex(步骤1104)。
(18)目标外部存储器122,将向Duplex状态的转换完成进行报告的RIO(Duplex转换完成(以下称为DOK)),向提供目标侧虚拟存储器107的边缘装置105发送(步骤1105)。
(19)目标侧边缘装置105,一旦接收RIO(DOK),就将虚拟存储媒体109与存储媒体123之间的配对状态变更为Duplex(步骤1106)。
(20)目标侧边缘装置105,还将具有接收的RIO(DOK)的日志记录(DOK),向源侧边缘装置104发送(步骤1107)。
(21)接收了日志记录(DOK)的源侧边缘装置104,将存储媒体113与虚拟存储媒体108之间的配对状态变更为Duplex(步骤1108)。
(22)另外,具有源侧虚拟存储器106的边缘装置104,将接收的日志记录(DOK)中含有的RIO(DOK),向源外部存储器104发送(步骤1109)。
(23)源外部存储器103,将存储媒体113与存储媒体132之间的配对状态变更为Duplex(步骤1110)。
图16是表示信息处理系统中,从主机对源外部存储器系统有数据写入时的指令转移处理(即通常运用中的写入处理)的1个例子的时间线。另外,本时间线中省略FC或IP(UDP、TCP)水平的Ackowledge Message。
(1)源侧主机将指示数据写入的SCSI指令(写入(以下称WR))发送到源外部存储器112(箭头1601)。该SCSI指令(WR)中,包含着用于指定数据写入目的地的存储媒体113的信息((WWN),更正确地是含PortID及LUN)。
(2)源外部存储器112,根据SCSI指令(WR)中所含的WWN及LUN、参照内部具有的配对信息,取得目标存储器的WWN和目标LUN。然后,源外部存储器112,发送具有在转移源Port ID1411中从源外部存储器112的WWN计算的Port ID、在转移目的地Port ID1412中从取得的WWN计算的Port ID的FC帧。另外,该FC帧中,含有指示数据写入的RIO(WR),在RIO(WR)中,含有源存储媒体113和目标存储媒体123的识别信息(WWN和LUN)(箭头1602)。本实施方式中,如上述那样,目标外部存储器112的WWN与虚拟存储器106的WWN等同,目标存储媒体123的LUN与虚拟存储媒体108的LUN等同,所以,源外部存储器112发送的RIO(WR),接收于提供虚拟存储器106的源侧边缘装置104。
(3)源侧边缘装置104,从RIO(WR)作成日志记录211(WR),同时,将报告写入完成的RIO(写入完成(以下称WROK))向源外部存储器112发送(箭头1603)。
(4)接收了RIO(WROK)的源外部存储器112,将SCSI指令(WROK)向源侧主机111发送(箭头1604)。
(5)源侧边缘装置104,将根据路径信息408作成的日志记录(WR)向核心装置202发送(箭头1605)。此时,源侧边缘装置104进行发送完成了的日志记录(WR)的复制。
(6)核心装置202,根据路径信息408,将日志记录211(WR)向目标侧边缘装置105转移(箭头1606)。
(7)目标侧边缘装置105,将日志记录211(WR)变换为RIO(WR)、将变换后的RIO向目标外部存储器122发送(箭头1607)。
(8)目标外部存储器122,将接收的RIO(WR)反映到存储媒体123,将RIO(WROK)向提供目标侧虚拟存储器107的边缘装置105发送(箭头1608)。
(9)目标侧边缘装置105,作成具有接收的RIO(WROK)的日志记录211(WROK),根据路径信息408,将该日志记录211向核心装置202发送(箭头1609)。此后目标侧边缘装置105,删除该日志记录211(WROK)。
(10)核心装置202,根据路径信息408,将接收的日志记录211(WROK),向源侧边缘装置104转移(箭头1610)。
(11)源侧边缘装置104一旦接收日志记录(WROK),就删除对应于该日志记录(WROK)的日志记录(WR)。
另外,上述的例子,是中间一次经由核心装置202的情况,但没有核心装置202时,可以省略由核心装置的转移处理,有多个核心装置202时,可以加上在核心装置之间的转移处理。
目标侧边缘装置105或核心装置202,因为故障等的原因而失去日志记录(WR)时,重发源侧边缘装置104保持的日志记录(WR)。例如,源侧边缘装置104,在规定时间内未接收日志记录(WROK)的场合等实行重发。即使这样的重发,远程复制也不能继续时(对应图9的步骤908),边缘装置104与边缘装置105,指示对于外部存储器112与外部存储器122向障碍Suspend状态转换。此时,源侧边缘装置104,将保持在记录存储区域的日志记录(RW)变换为配对信息411的差分位图727而保持。
图12是表示从Suspend状态或障碍Suspend状态的再同步处理的1个例子的图。
(0)外部存储器112成为Suspend状态或障碍Suspend状态后,向差分位图1211记录对于存储媒体113写入的更新位置。同样地,在外部存储器122成为Suspend状态或障碍Suspend状态后有对于存储媒体123的写入的场合,向差分位图1213记录更新的位置。
(1)主机111将指示再同步的SCSI指令(再同步)向源外部存储器112发送(步骤1201)。该SCSI指令中,包含再同步的存储媒体配对,即源存储媒体113与目标存储媒体的识别信息(LUN与WWN)。
(2)源外部存储器112根据接收的SCSI指令(再同步),将RIO(再同步)向提供源侧虚拟存储器106的源侧边缘装置104发送(步骤1202)。在该RIO(再同步)中,也包含应该再同步的存储媒体的配对的LUN与WWN。另外,本实施方式中,存储媒体123与虚拟存储媒体108以同样的识别信息(WWN与LUN)识别。因此,源外部存储器112,将上述的RIO(再同步)发送到源侧边缘装置104,由此,和在源侧边缘装置中指示将源侧存储媒体113与虚拟存储媒体108的配对再同步成为同样的结果。
(3)源侧边缘装置104,将RIO(再同步)变换为具有该RIO(再同步)的日志记录211,向核心装置202转移(步骤1203)。
(4)核心装置202将日志记录211(再同步)向目标侧边缘装置105转移(步骤1204)。
(5)提供目标侧虚拟存储器107的目标侧边缘装置105,将接收的日志记录(再同步)向RIO(再同步)变换,向目标侧外部存储器122发送(步骤1205)。另外,本实施方式中,存储媒体113与虚拟存储媒体109以同样的识别信息(WWN与LUN)识别。因此,对于目标侧边缘装置,日志记录(再同步),成为虚拟存储媒体109与目标存储媒体123之间的再同步指示。
(6)目标外部存储器122一接收RIO(再同步),就将自身具有的存储媒体113与存储媒体123之间的配对状态向Duplex-pending变更。然后,目标外部存储器122,将含有目标外部存储器122具有的差分位图1213的RIO(Duplex-pending转换完成(以下称DPOK)),向提供目标侧虚拟存储器107的边缘装置105发送。(步骤1206)。
(7)目标侧边缘装置107,将自身具有的目标存储媒体123与虚拟存储媒体109之间的配对状态,向Duplex-pending变更。目标侧边缘装置107再将含有接收了的RIO(DPOK)的日志记录211(DPOK)向核心装置发送(步骤1207)。
(8)核心装置202,将接收的日志记录(DPOK)向源侧边缘装置104转移(步骤1208)。
(9)源侧边缘装置104将接收的日志记录(DPOK)中所含的差分位图1213与差分位图727结合,作成差分位图1209(步骤1209)。
(10)具有源侧虚拟存储器106的源侧边缘装置104,将自身具有的存储媒体113与虚拟存储媒体108之间的配对状态变更为Duplex-pending。提供源侧虚拟存储器106的源侧边缘装置104,再将含有差分位图1209的RIO(DPOK)向源外部存储器112发送(步骤1210)。
(11)源外部存储器112,将差分位图1209与自身保持的差分位图1211结合,作成新的差分位图1211(步骤1211)。
(12)源外部存储器112,将自身具有的存储媒体113与存储媒体123之间的配对状态变更为Duplex-pending。进一步,源外部存储器112,向主机转移SCSI指令(DPOK)(步骤1212)。
(13)然后,源外部存储器112,根据差分位图1211开始差分复制。
图13是表示通常运用中,源侧的场地遇灾、目标侧主机中故障恢复时(ヮェイルォ-バ-)时目标侧主机121、目标外部存储器122、目标侧边缘装置105的动作例的流程图。另外,图13中所示的处理对应于图9的步骤911。
(1)目标侧主机121,检出源侧场地障碍(步骤1301)。另外,检出的时机,可以认为是从组合软件或目标侧边缘装置105或管理服务器103的通知时开始,但这以外也可以。
(2)目标侧主机121,将SCSI指令(Suspend指令)向目标外部存储器122发送(步骤1302)。在该SCSI指令中,含有将配对状态向Suspend状态或障碍Suspend状态转换的存储媒体配对、即源存储媒体113与目标存储媒体123的识别信息(WWN与LUN)。
(3)目标外部存储器122,将RIO(Suspend指令),向提供目标侧虚拟存储器107的目标侧边缘装置105发送(步骤1303)。该RIO(Suspend指令)中,也含有上述的存储媒体113和存储媒体123的识别信息。
(4)目标侧边缘装置105作成具有接收了的RIO(Suspend指令)的日志记录(Suspend指令),将日志记录211(Suspend指令)向源侧边缘装置104发送(步骤1304)。源侧边缘装置104接受该日志记录时,执行以下的处理。
(A)首先,源侧边缘装置104,将全部有关存储媒体113及存储媒体123(对源侧边缘装置,是虚拟存储媒体108)的配对的日志记录211,向其它的核心装置202或边缘装置转移。
(B)其次,源侧边缘装置104,将关于存储媒体113与虚拟存储媒体108之间的配对状态向故障Suspend变更。另外,如上述那样,在本实施方式中,虚拟存储媒体108与目标存储媒体123以同样的识别信息(WWN与LUN)被识别,所以,接收了上述日志记录(Suspend指令)的源侧边缘装置104,解释该日志记录(Suspend指令)为将源存储媒体113和虚拟存储媒体108之间的配对状态向故障Suspend变更那样的指令。
(C)然后,源侧边缘装置104,作成作为配对状态转换为故障Suspend的意思的报告的日志记录(Suspend转换完成(以下称SOK)),向目标侧边缘装置105发送。
(5)目标侧边缘装置105将定时器值复位(步骤1305)。
(6)目标侧边缘装置105,在现在的定时器值超过超时设定值时,进入步骤1310,如果不是那样就进入步骤1307(步骤1306)。
(7)目标侧边缘装置105,接收从其它边缘装置或核心装置202转移的日志记录211,确认接收的日志记录211是否是从源侧边缘装置104来的日志记录(SOK)(步骤1307、1308)。如果是那样,就进入步骤1310,如果不是那样就进入步骤1309。另外,作为在步骤1308向步骤1310转换的条件,也可以加上“日志记录(SOK)不缺少”。
(8)目标侧边缘装置105,参照接收的日志记录内的I/O时间和顺序编号,遵守写数据的写顺序的关系,将接收的日志记录211向RIO变换,将RIO向目标外部存储器发送(步骤1309)。此后,返回步骤1306。另外,转移的RIO在目标外部存储器122的存储媒体123中反映。
(9)目标侧边缘装置105,将目标存储媒体123和虚拟存储媒体109之间的配对状态变更为故障Suspend后,将RIO(SOK)向目标外部存储器122发送(步骤1310)。接收RIO(SOK)的目标外部存储器122,将目标存储媒体123与源存储媒体113之间的配对状态变更为故障Suspend后,将对于步骤1302的SCSI指令(SOK)向目标侧主机121转移(步骤1311)。
(10)目标侧主机121,利用目标外部存储器122内的存储媒体123重新开始由应用程序执行的处理(步骤1312)。
另外,作为本步骤的变形,有在步骤1303之后立即执行步骤1310、1311、1312,迅速地进行向故障Suspend的转换的方法。此时,在目标外部存储器105将RIO(SOK)发送之后在远程复制网络101中也有日志记录211残留。此时,使用RCN设定接口程序501,通过从RCN取得残存日志记录的有无来解决问题。另外,如果目标外部存储器122,在向故障Suspend的转换完成后,不接受为在目标存储媒体123中反映RCN作为日志记录保持的写数据的RIO(WR)时,也可以用SCSI指令反映这些写数据。
图19是表示通常运用中,实施对源存储媒体113的写入(WR)时的、源侧边缘装置104的处理的1个例子的流程图。
虚拟存储器提供程序403,将包含具有从主机写入源外部存储器的写数据的RIO(WR)的FC帧220,从源外部存储器接收,向日志记录生成·反映程序406移交(步骤1901)。FC帧的接收,通过RIO协议堆栈402与FC协议堆栈401实施。向日志记录生成·反映协议406移交的数据,有从转移元Port ID1411变换的转移元WWN、从转移目的地PortID1412变换的转移目的地WWN和在RIO区域1414中包含的RIO。
(2)记录生成·反映程序406,以在步骤1901移交的数据为基础,作成向记日志存储区域413的日志记录(WR)(步骤1902)。在日志记录(WR)中注册以下的(A)~(E)中表示的值。
(A)作为“目标存储器WWN与LUN”801,在步骤1901移交的转移目的地WWN与RIO(WR)中所含的远程复制的目标LUN。
(B)作为“源存储器WWN与LUN”802,在步骤1901移交的转移元WWN与参照配对信息411得到的源LUN722。另外,通过在配对信息411中,以在转移元WWN中包含源存储器WWN721,,,在转移目的地WWN中包含目标存储器WWN723,在RIO(WR)中包含目标LUN724的远程复制的目标LUN这样的条件为键字检索源LUN722,可以得到源LUN。
(C)作为顺序保证IDS01,对应于(A)与(B)的信息的配对信息411中的顺序保证ID726。
(D)作为“I/O时间与顺序编号”804,源侧边缘装置104的现在时刻与对应于(C)求得的顺序保证ID的值的顺序保证信息412的日志生成计数器值731。
(E)作为在RIO区域805存储的数据,在步骤1901中移交的RIO(WR)。
(3)其次,源侧边缘装置104,将在步骤1902使用的顺序保证信息412的日志生成计数器值731用1增量(步骤1903)。
(4)虚拟存储器提供程序403,向源外部存储器112发送用于通知写处理完成的RIO(WROK)(步骤1904)。
(5)然后,源侧边缘装置,决定变为日志记录(WR)的转移目的地的边缘装置或核心装置202(步骤1905)。然后一决定转移目的地,就取得转移目的地的IP地址。另外,转移目的地的决定与IP地址的取得以以下的(A)(B)所示的次序实行。
(A)首先,源侧边缘装置,取得在步骤1902求出的转移源WWN和对应于转移目的地WWN的路径信息408的通过路径713(是IP地址的列表)。
(B)其次,从(A)取得的列表,选择源侧边缘装置104具有的IP地址的下一个IP地址,将其作为转移目的地的IP地址。
(6)日志记录转移程序407,将在步骤1902生成的日志记录211(WR),对在步骤1905求得的IP地址发送(步骤1906)。转移由日志转移协议堆栈409和IP协议堆栈410共同实行。
(7)日志记录转移程序407,接收从核心装置202和目标侧边缘装置105来的日志记录(WROK),向日志存储区域413保存(步骤1907)。另外,在日志记录(WROK)的顺序编号804中,以与在步骤1906发送的日志记录(WR)相同的顺序编号804进入。
(8)日志记录转移程序407,删除日志存储区域413内保存的日志记录(WR)和与之对应的日志记录211(WROK)(步骤1908)。另外,日志记录(WR)与日志记录(WROK)的对应关系,如果参照日志记录内的顺序保证ID与顺序编号的对应关系(即研究顺序保证ID与顺序编号是否一致)就清楚了。
(9)在步骤1907中源侧边缘装置,从删除了的日志记录(WR),预先取出顺序保证ID803与顺序编号804,将与之对应的顺序保证信息412的日志删除计数器值733增量(步骤1909)。
图20是表示通常运用中,从主机,对于源存储媒体113进行写入(WR)时的目标侧边缘装置105的处理的1个例子的流程图。
(1)目标侧边缘装置105的日志记录转移程序407,通过日志转移协议堆栈407和IP协议堆栈410,接收日志记录(WR),向日志存储区域413保存(步骤2001、2002)。
(2)日志记录生成·反映程序406,遵守从日志存储区域413遵守顺序关系,检索可能反映的日志记录(WR)(步骤2003)。检索是在每个含有日志记录的顺序保证ID中,搜索具有与将顺序保证信息413的日志反映计数器733的值增量后的值相同值的顺序编号的日志记录(WR)。
(3)日志记录生成·反映程序406,将在步骤2003检索到的日志记录(WR)向RIO(WR)变换(步骤2004)。变换,可以由从日志记录的RIO区域805取出RIO来进行。
(4)虚拟存储器提供程序403,将在步骤2004变换的RIO(WR)向目标外部存储器122发送(步骤2005)。
(5)虚拟存储器提供程序403,接收从目标外部存储器122来的RIO(WROK)(步骤2006)。
(6)日志记录生成·反映程序406,从在步骤2003检索到的日志记录(WR)取出顺序保证ID803与顺序编号804,将对应的顺序保证信息412的日志反映计数器值733增量(步骤2007)。另外,将现在时刻与反映的日志记录(WR)的I/O时间804的差分,注册在顺序保证信息413的反映延迟时刻735中。
(7)日志记录生成·反映程序406,向日志存储区域413作成具有接收的RIO(WROK)的日志记录(WROK)(步骤2008)。在日志记录中注册在以下的(A)~(E)表示的值。
(A)作为“目标存储器WWN与LUN”801,在步骤2003检索的结果选择的日志记录(WR)的“源存储器WWN与LUN”802。
(B)作为“源存储器WWN与LUN”802,在步骤2003取得的日志记录(WR)的“目标存储器WWN与LUN”801。
(C)作为顺序保证ID801,在步骤2003取得的日志记录211(WR)的顺序保证ID801。
(D)作为“I/O时间与顺序编号”804,在步骤2003取得的日志记录(WR)的“I/O时间与顺序编号”804。
(E)作为RIO区域805,在步骤2006接收的RIO(WROK)。
(8)日志记录转移程序407,参照路径信息,决定成为日志记录(WROK)的转移目的地的核心装置202或源侧边缘装置104(步骤2009)。另外,转移目的地的决定与上述的步骤1905相同。
(9)日志记录转移程序407,通过日志转移协议堆栈409与IP协议堆栈410,将在步骤2008中作成的日志记录(WROK)对在步骤2009决定的IP地址发送(步骤2010)。
(10)日志记录生成·反映程序406,从日志存储区域413删除在步骤2003中选择的日志记录(WR)与在步骤2008中作成的日志记录(WROK)(步骤2011)。
图17与图18是表示配对生成中的源侧边缘装置104的处理的1个例子的图。
(1)虚拟存储器提供程序403,接收RIO(配对生成)(步骤1701)。另外,在RIO(配对生成)中,包含源外部存储器112的WWN、源侧存储媒体113的LUN、目标外部存储器122的WWN、目标侧存储媒体123的LUN。
(2)虚拟存储器提供程序403,以接收的RIO(配对生成)为基础,,将关于生成的配对的源与目标的信息等,记录在配对信息411中(步骤1702)。此时,配对状态725更新为Simplex。
(3)日志记录生成·反映程序406,在日志存储区域413中作成具有RIO(配对生成)的日志记录(配对生成)(步骤1703)。日志记录的作成方法与图19的步骤1902相同。
(4)日志记录生成·反映程序406,将顺序保证信息412的日志生成计数器值732增量(步骤1704)。
(5)日志记录转移程序407,决定成为日志记录(配对生成)的发送目的地的核心装置202或边缘装置(步骤1705)。发送目的地的决定方法,与图19的步骤1905相同。
(6)日志记录转移程序407,将步骤1703中作成的日志记录(配对生成),对在步骤1705决定的IP地址发送(步骤1706)。
(7)日志记录转移程序407接收来自核心装置202或边缘装置105的日志记录(Initial-Copying转换完成(以下称ICOK))(步骤1707)。在该日志记录(ICOK)中,包含源外部存储器112的WWN、源侧存储媒体113的LUN、目标外部存储器122的WWN、目标侧存储媒体123的LUN。
(8)源侧边缘装置,根据有关接收的日志记录(ICOK)内的存储媒体配对的信息,将配对信息411内的对应的配对的配对状态725更新为Initial-Copying(步骤1711)。
(9)虚拟存储器提供程序403,从接收的日志记录(ICOK)抽出RIO(ICOK),向源外部存储器112发送(步骤1708)。
(10)日志记录生成·反映程序403,从日志存储区域413删除在步骤1707接收的日志记录(ICOK)和与该日志记录(ICOK)相同的配对相关的日志记录(配对生成)(步骤1709)。
(11)日志记录生成·反映程序406,将顺序保证信息413的日志删除计数器值734增量(步骤1710)。
(12)然后,源侧边缘装置104,开始初始化复制处理(步骤1801)。本步骤的处理与通常运用的数据复制相同。
(13)虚拟存储器提供程序403,接收RIO(Duplex转换)(步骤1802)。在RIO(Duplex转换)中,包含源外部存储器112的WWN、源侧存储媒体113的LUN、目标外部存储器122的WWN、目标侧存储媒体123的LUN。
(14)日志记录生成·反映程序406,在日志存储区域413,从接收的RIO(Duplex转换)作成日志记录(Duplex转换)(步骤1803)。日志记录211的作成方法与图19的步骤1902相同。
(15)日志记录生成·反映程序406,将顺序保证信息412的日志生成计数器值732增量(步骤1804)。
(16)日志记录转移程序407,决定成为日志记录(Duplex转换)的转移目的地的核心装置202或边缘装置(步骤1805)。决定方法与图19的步骤1905相同。
(17)日志记录转移程序407,将步骤1803中作成的日志记录(Duplex转换),对在步骤1805决定的IP地址发送(步骤1806)。
(18)日志记录转移程序407,接收来自核心装置202或边缘装置105的日志记录(Duplex转换完成(以下称DOK))(步骤1807)。在该日志记录(DOK)中,包含源外部存储器112的WWN、源侧存储媒体113的LUN、目标外部存储器122的WWN、目标侧存储媒体123的LUN。
(19)源侧边缘装置,根据有关接收的日志记录(DOK)内的存储媒体配对的信息,将对应于该存储媒体配对的配对信息411的配对状态725更新为Duplex(步骤1811)。
(20)虚拟存储器提供程序403,从接收的日志记录(DOK)抽出RIO(DOK),将该RIO(DOK)向源外部存储器112发送(步骤1808)。
(21)日志记录生成·反映程序406,将有关在步骤1807接收的日志记录(DOK)和与该日志记录(DOK)相同的配对的日志记录(Duplex转换),从日志存储区域413删除(步骤1809)。
(22)日志记录生成·反映程序406,将顺序保证信息413的日志删除计数器值734增量(步骤1810)。
图21与图22是表示配对生成中的目标侧边缘装置105的处理的1个例子的图
(1)日志记录转移程序407,接收日志记录(配对生成)(步骤2101)。在这个日志记录(配对生成)中,包含识别应该生成的配对用的信息(即目标侧的WWN与LUN,源侧的WWN与LUN)。
(2)日志记录生成·反映程序406,在日志存储区域413存储接收的日志记录(配对生成)(步骤2102)。
(3)虚拟存储器提供程序403,以在步骤2102中接收的日志记录(配对生成)为基础,将生成的配对向配对信息411注册(步骤2103)。此时,配对状态725更新为Simplex。
(4)日志记录生成·反映程序406,将日志记录(配对生成)向RIO(配对生成)变换(步骤2104)。
(5)虚拟存储器提供程序403,将在步骤2104变换的RIO(配对生成),向目标外部存储器122发送(步骤2105)。
(6)虚拟存储器提供程序403,接收来自目标外部存储器122的RIO(Initial-Copying转换完成(以下称ICOK))(步骤2106)。在这个RIO(ICOK)中包含用于识别配对的信息。
(7)日志记录生成·反映程序406,增量对应于接收的RIO(ICOK)表示的配对的顺序保证信息412的日志反映计数器值。另外,将现在时刻和与接收的RIO(ICOK)相同的配对有关的日志记录(配对生成)的I/O时间804的差分,注册在顺序保证信息413的反映延迟时刻735中(步骤2107)。
(8)进而目标侧边缘装置,关于接收的RIO(ICOK)表示的配对,将配对信息411的配对状态725更新为Initial-Copying(步骤2108)。
(9)日志记录生成·反映程序406,向日志存储区域413作成含有接收的RIO(ICOK)的日志记录(ICOK)(步骤2109)。日志记录的作成方法与图20的步骤2008相同。
(10)日志记录转移程序407,决定成为日志记录(ICOK)的转移目的地的核心装置或边缘装置的IP地址(步骤2110)。
(11)日志记录转移程序407,将在步骤2109中作成的日志记录,对在步骤2110决定的IP地址发送(步骤2111)。
(12)日志记录生成·反映程序406,将关于在步骤2109作成的日志记录(ICOK)和与该日志记录(ICOK)相同的配对的日志记录(配对生成)从日志存储区域删除(步骤2112)。
(13)目标侧边缘装置进行初始化复制(步骤2201)。本步骤的动作与通常运用的数据复制相同。
(14)日志记录转移程序407,接收日志记录(Duplex转换)(步骤2202)。
(15)日志记录生成·反映程序406,在日志存储区域413存储日志记录(Duplex转换)(步骤2203)。
(16)日志记录生成·反映程序406,将日志记录(Duplex转换)变换为RIO(Duplex转换)(步骤2204)。
(17)虚拟存储器提供程序403,将在步骤2204中变换的RIO(Duplex转换),向目标外部存储器122发送(步骤2205)。
(18)虚拟存储器提供程序403,从目标外部存储器122接收RIO(Duplex转换完成(以下称DOK))(步骤2206)。
(19)日志记录生成·反映程序406,将关于接收的RIO(DOK)表示的存储媒体配对的顺序保证信息412的日志反映计数器值增量。另外,将现在时刻和关于与接收的RIO(DOK)相同的配对的日志记录(Duplex转换)的I/O时间的差分,注册在顺序保证信息413的反映延迟时刻735中(步骤2207)。
(20)目标侧边缘装置,对于表示接收的RIO(DOK)的存储媒体配对,将配对信息411的配对状态725更新为Duplex(步骤2208)。
(21)日志记录生成·反映程序406,向日志存储区域413作成具有接收的RIO(DOK)的日志记录(DOK)(步骤2209)。
(22)日志记录转移程序407,决定成为日志记录211(DOK)的转移目的地的核心装置或边缘装置的IP地址(步骤2210)。
(23)日志记录转移程序407,对于在步骤2210决定的IP地址,将在步骤2209中作成的日志记录211发送(步骤2211)。
(12)日志记录生成·反映程序406从日志存储区域413删除关于在步骤2209中生成的日志记录(DOK)、与关于该日志记录(DOK)相同的配对的日志记录(Duplex转换)(步骤2112)。
如果根据以上的实施方式,在源外部存储器与目标外部存储器中,意识不到边缘装置与核心装置的存在,认识到象是在两个存储器之间直接实行远程复制那样,同时由RCN内的边缘装置与核心装置,从源外部存储器向目标外部存储器中继数据,由此可以实行远程复制。
下面,就上述的实施方式的变形例子进行说明。
图2是表示有关这个变形例子的信息处理系统的一个例子的图。
与第一实施例不同,虚拟存储器106的WWN与外部存储器122的WWN不同,虚拟存储器107的WWN与外部存储器112的WWN不同。
管理服务器103的RCN设定程序502,在上述的实施方式之上,增加决定虚拟存储器106与虚拟存储器107的WWN。决定,可以在该程序内部进行,也可以从边缘装置104或边缘装置105接收信息来进行决定。
RCN设定接口程序501,在上述的实施方式之上,增加将RCN设定程序502决定的虚拟存储器106的WWN发送到主机111,将RCN设定程序502决定的虚拟存储器107的WWN发送到主机121。因此,在主机111向源存储媒体113和目标存储媒体123的存储媒体配对发送SCSI指令的场合,在本变形例中,作为识别源存储媒体113与虚拟存储媒体108用的信息,使用源外部存储器的WWN与源存储媒体的LUN、虚拟存储器106的WWN与虚拟存储媒体108的LUN(虚拟存储媒体108的LUN,与目标存储媒体123的LUN是相同的值。另外,本发明不限于这个例子)。
边缘装置的虚拟存储器提供程序403,在上述的实施方式之上,增加在进行RIO的发送、接收时,用虚拟存储器信息404进行以下的变换。
(A)在源侧边缘装置104接收FC帧时,将从FC帧220的转移目的地Port ID1412得到的WWN,从源侧虚拟存储器106的WWN,变更为目标侧外部存储器122的WW。
(B)在目标侧边缘装置105接收FC帧时,将从FC帧220的转移目的地Port ID1412得到的WWN,从目标侧虚拟存储器107的WWN,变更为源侧外部存储器112的WWN。
(C)在源侧边缘装置104发送FC帧时,将日志记录211的目标存储器WWN变换为源虚拟存储器的WWN,将从变换后的源虚拟存储器的WWN计算的Port ID作为FC帧的转移源Port ID。
(D)在目标侧边缘装置105发送FC帧时,将日志记录211的源存储器WWN变换为目标虚拟存储器的WWN,将从变换后的目标虚拟存储器的WWN计算的Port ID作为FC帧的转移源Port ID。
进一步,作为其它的变形例,可以考虑将外部存储器与边缘装置的连接以IP网络进行。此时,FC接口314成为可以连接于IP网络的接口,FC协议堆栈401与IP协议堆栈410成为相同。此时,关于下述信息中的WWN,取代WWN,使用MAC地址或IP地址。
(A)存储器连接信息503
(B)虚拟存储器信息404
(C)存取控制信息405
(D)路径信息408
(E)配对信息411
(F)日志记录211
另外,各程序也使用WWN处理的过程,取代WWN,使用IP地址或MAC地址处理。

Claims (20)

1.一种远程复制网络系统,该远程复制网络系统与第一存储器系统和第二存储器系统互联,其特征在于,
包含:
第一边缘装置,该第一边缘装置与所述第一存储器系统互联;
第二边缘装置,该第二边缘装置与所述第二存储器系统互联;和
网络,该网络与所述第一边缘装置和第二边缘装置互联;
其中,
所述第一边缘装置接收远程复制I/O请求,该接收的远程复制I/O请求用于将数据从所述第一存储器系统复制到所述第二存储器系统;
所述第一边缘装置将对于所接收的远程复制I/O请求的应答发送到所述第一存储器系统中;
发送对于远程复制I/O请求的应答后,所述第一边缘装置生成具有该远程复制I/O请求和表示该远程复制I/O请求的接收顺序的顺序编号的日志信息,并向所述第二边缘装置发送;
所述第二边缘装置从接收的日志信息中取出远程复制I/O请求,将取出的远程复制I/O请求按照日志信息中的顺序编号表示的顺序发送到所述第二存储器系统中。
2.根据权利要求1所述的远程复制网络系统,其特征在于,
所述第一存储器系统包含第一存储媒体;
所述第一存储器系统由第一存储器识别信息进行识别,所述第一存储媒体由第一存储媒体识别信息进行识别;
所述第二存储器系统包含第二存储媒体;
所述第二存储器系统由第二存储器识别信息进行识别,所述第二存储媒体由第二存储媒体识别信息进行识别;
对于所述第一边缘装置,分配具有与所述第二存储器识别信息等同值的第一虚拟存储器识别信息及具有与所述第二存储媒体识别信息等同值的第一虚拟存储媒体识别信息;
对于所述第二边缘装置,分配具有与所述第一存储器识别信息等同值的第二虚拟存储器识别信息及具有与所述第一存储媒体识别信息等同值的第二虚拟存储媒体识别信息;
所述第一边缘装置,从所述第一存储器系统中接收远程复制I/O请求,并将具有该远程复制I/O请求的日志信息向第二边缘装置发送;该远程复制I/O请求以所述第一存储器识别信息及所述第一存储媒体识别信息作为发送源的识别信息、以所述第二存储器识别信息及所述第二存储媒体识别信息作为发送目的地的识别信息。
3.根据权利要求1所述的远程复制网络系统,其特征在于,
所述第一存储器系统包含第一存储媒体;
所述第一存储器系统由第一存储器识别信息进行识别,所述第一存储媒体由第一存储媒体识别信息进行识别;
所述第二存储器系统包含第二存储媒体,
所述第二存储器系统由第二存储器识别信息进行识别,所述第二存储媒体由第二存储媒体识别信息进行识别;
对于所述第一边缘装置,分配第一虚拟存储器识别信息和第一虚拟存储媒体识别信息;
所述第一边缘装置,从所述第一存储器系统中接收远程复制I/O请求,该远程复制I/O请求以所述第一存储器识别信息及所述第一存储媒体识别信息作为发送源的识别信息,以所述第一虚拟存储器识别信息及所述第一虚拟存储媒体识别信息作为发送目的地的识别信息;并将远程复制I/O请求的发送目的地变换为所述第二存储器识别信息和所述第二存储媒体识别信息,将具有变换后的I/O请求的日志信息发送到所述第二边缘装置中。
4.根据权利要求1所述的远程复制网络系统,其特征在于,还包含:对从所述第一边缘装置向所述第二边缘装置的日志信息的发送进行中继的至少一个核心装置。
5.根据权利要求4所述的远程复制网络系统,其特征在于,所述第一边缘装置、所述第二边缘装置及所述核心装置是路由器装置。
6.根据权利要求1所述的远程复制网络系统,其特征在于,所述第一边缘装置,存储了向所述第二边缘装置发送的日志信息,在从所述第二边缘装置接收到对所述日志信息的应答时,删除已存储的所述日志信息。
7.根据权利要求6所述的远程复制网络系统,其特征在于,
所述第一边缘装置,在向所述第二边缘装置发送的日志信息未被所述第二边缘装置接收时,将已存储的日志信息向所述第二边缘装置重发。
8.根据权利要求6所述的远程复制网络系统,其特征在于,
还包含:
管理网络,该管理网络与所述第一边缘装置和所述第二边缘装置互联;和
管理服务器,该管理服务器与所述管理网络互联;
其中,
在日志信息中还包含所述第一边缘装置接收远程复制I/O请求时的时刻信息;
所述第一边缘装置在从所述第二边缘装置接收对所述日志信息的应答时,将从现时刻扣除与该应答对应的日志信息中所包含的时刻信息的值而求出的延迟时间记录在存储器中;
所述第一边缘装置,通过所述管理网络将所述存储器中记录的延迟时间发送到所述管理服务器中;
所述管理服务器输出所述迟延时间。
9.根据权利要求1所述的远程复制网络系统,其特征在于,
还包含:
第三边缘装置,该第三边缘装置与第四存储器系统互联;
其中,
所述第一边缘装置进而与第三存储器系统连接;
所述第一边缘装置,接收用于从所述第三存储器系统向所述第四存储器系统远程复制数据的远程复制I/O请求;
所述第一边缘装置区别处理从所述第一存储器系统接收的远程复制I/O请求和从所述第三存储器系统接收的远程复制I/O请求。
10.根据权利要求1所述的远程复制网络系统,其特征在于,
还包含:
管理网络,该管理网络与所述第一边缘装置和所述第二边缘装置互联;和
管理服务器,该管理服务器与所述管理网络互联;
其中,
所述管理服务器接收表示所述第一存储器系统是远程复制源的存储器系统以及所述第二存储器系统是对应所述第一存储器系统的远程复制目的地的存储器系统的意旨的配对信息,通过所述管理网络,将接收的配对信息分配给所述第一边缘装置及所述第二边缘装置。
11.根据权利要求1所述的远程复制网络系统,其特征在于,所述的第一边缘装置对从第一存储器系统向第二存储器系统的数据的远程复制进行中继,所述第一边缘装置包含:
第一接口部,该第一接口部与所述第一存储器系统互联;
第二接口部,该第二接口部通过网络与第二边缘装置互联,所述第二边缘装置被互联到所述第二存储器系统;
处理器;和
存储器;
其中,
所述第一接口部,接收用于从所述第一存储器系统到所述第二存储器系统远程复制数据的远程复制I/O请求,将对该远程复制I/O请求的应答返送到所述第一存储器系统中;
所述处理器,作成具有远程复制I/O请求和表示该远程复制I/O请求的接收顺序的顺序编号的日志信息、存储于所述存储器中;
所述第二接口部,在返送对应于远程复制I/O请求的应答后,对所述第二边缘装置发送所作成的日志信息;
所述第二接口部接收对日志信息的应答;
所述处理器从所述存储器中删除对应于接收的应答的日志信息。
12.根据权利要求11的所述的远程复制网络系统,其特征在于,
在所述第二接口部未接收对日志信息的应答时,
所述第二接口部,重发存储在所述存储器中的日志信息。
13.根据权利要求11所述的远程复制网络系统,其特征在于,
所述第一边缘装置还包含:
第三接口,该第三接口通过网络与管理服务器互联;
其中,
在所述日志信息中还含有所述第一接口部接收远程复制I/O请求时的时刻信息;
所述第二接口部,在接收对日志信息的应答时,
所述处理器,从接收所述应答时的时刻,扣除对应于所述应答的日志信息中所包含的时刻信息的值,计算延迟时间;
所述第三接口部将迟延时间发送到所述管理服务器中。
14.根据权利要求11所述的远程复制网络系统,其特征在于,
所述第一边缘装置还包含,
第三接口,该第三接口与管理服务器互联;
其中,
对所述的第一边缘装置分配第一虚拟存储器识别信息和第一虚拟存储媒体信息;
所述第三接口部从所述管理服务器接收配对信息,该配对信息以所述第一虚拟存储器识别信息及所述第一虚拟存储媒体信息作为发送源信息、以所述第一存储器系统的识别信息即第一存储器识别信息和所述第一存储器系统具有的第一存储媒体的识别信息即第一存储媒体识别信息作为远程复制的发送源信息。
15.根据权利要求14所述的远程复制网络系统,其特征在于,
所述第一虚拟存储器识别信息具有与所述第二存储器系统的识别信息即第二存储器识别信息等同的值;
所述第一虚拟存储媒体信息具有与所述第二存储器系统具有的第二存储媒体的识别信息即第二存储媒体识别信息等同的值。
16.根据权利要求14所述的远程复制网络系统,其特征在于,
在所述第一接口部接收的远程复制I/O请求中,包含所述第一存储器识别信息和所述第一存储媒体识别信息作为发送源的信息,包含所述第一虚拟存储器识别信息和所述第一虚拟存储媒体识别信息作为发送目的地的信息;
所述处理器,将发送目的地的信息变换成所述第二存储器系统的识别信息即第二存储器识别信息、和所述第二存储器系统具有的第二存储媒体的识别信息即第二存储媒体识别信息,作成具有变换后的远程复制I/O请求的日志信息。
17.根据权利要求1所述的远程复制网络系统,其特征在于,所述的第二边缘装置对从第一存储器系统向第二存储器系统的数据的远程复制进行中继,所述第二边缘装置包含:
第一接口部,该第一接口部通过网络与第一边缘装置互联,所述第一边缘装置与所述第一存储器系统互联;
第二接口部,该第二接口部与所述第二存储器系统互联;和
处理器;
其中,
所述第一接口部从所述第一边缘装置接收日志信息;该日志信息具有用于从所述第一存储器系统向所述第二存储器系统远程复制数据的远程复制I/O请求和表示远程复制I/O请求的所述第一边缘装置中的接收顺序的顺序编号;
所述处理器从接收的日志信息中取得远程复制I/O请求;
所述第二接口部将取得的远程复制I/O请求按照日志信息所包含的顺序编号的顺序发送到所述第二存储器系统。
18.根据权利要求17所述的远程复制网络系统,其特征在于,
所述第二边缘装置还含有:
第三接口部,该第三接口部与管理服务器互联;
其中,
对所述第二边缘装置分配第二虚拟存储器识别信息和第二虚拟存储媒体信息;
所述第三接口部,从所述管理服务器接收配对信息;该配对信息以所述第二虚拟存储器识别信息及所述第二虚拟存储媒体信息作为远程复制的发送源信息、以所述第二存储器系统的识别信息即第二存储器识别信息和所述第二存储器系统具有的第二存储媒体的识别信息即第二存储媒体识别信息作为远程复制的发送目的地信息。
19.根据权利要求18所述的远程复制网络系统,其特征在于,
所述第二虚拟存储器识别信息具有与所述第一存储器系统的识别信息即第一存储器识别信息等同的值,
所述第二虚拟存储媒体信息具有与所述第一存储器系统具有的第一存储媒体的识别信息即第一存储媒体识别信息等同的值。
20.根据权利要求18所述的远程复制网络系统,其特征在于,
在所述第一接口部接收的日志信息中的远程复制I/O请求中,包含第一存储器识别信息和第一存储媒体识别信息作为发送源信息,包含所述第二存储器识别信息和所述第二存储媒体识别信息作为发送目的地信息;
所述处理器,取得接收的日志信息中的远程复制I/O请求,将发送源的信息变换为所述第二虚拟存储器识别信息和所述第二虚拟存储媒体信息;
所述第二接口部,将变换后的远程复制I/O请求发送到所述第二存储器系统中。
CNB2004100961062A 2003-11-26 2004-11-26 远程复制网络系统 Expired - Fee Related CN100456256C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003394921A JP2005157712A (ja) 2003-11-26 2003-11-26 リモートコピーネットワーク
JP2003394921 2003-11-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2008101869288A Division CN101426025B (zh) 2003-11-26 2004-11-26 远程复制网络

Publications (2)

Publication Number Publication Date
CN1637714A CN1637714A (zh) 2005-07-13
CN100456256C true CN100456256C (zh) 2009-01-28

Family

ID=34463789

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2004100961062A Expired - Fee Related CN100456256C (zh) 2003-11-26 2004-11-26 远程复制网络系统
CN2008101869288A Active CN101426025B (zh) 2003-11-26 2004-11-26 远程复制网络

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2008101869288A Active CN101426025B (zh) 2003-11-26 2004-11-26 远程复制网络

Country Status (5)

Country Link
US (3) US7055011B2 (zh)
EP (1) EP1536337B1 (zh)
JP (1) JP2005157712A (zh)
CN (2) CN100456256C (zh)
DE (1) DE602004012220T2 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101241A2 (en) * 2004-04-13 2005-10-27 Alon Tavori Method for depositing and retrieving digital records
JP2006293850A (ja) * 2005-04-13 2006-10-26 Hitachi Ltd リモートコピーシステムおよびリモートコピー方法
JP4920391B2 (ja) * 2006-01-06 2012-04-18 株式会社日立製作所 計算機システムの管理方法、管理サーバ、計算機システム及びプログラム
US7890611B2 (en) * 2006-01-12 2011-02-15 Comcast Cable Holdings, Llc Edge QAM device configuration using a configuration file having a dynamic file format
US20070300026A1 (en) * 2006-06-23 2007-12-27 Kwok-Yan Leung Synchronous backup device and method used for storage device
KR100843136B1 (ko) * 2006-11-14 2008-07-02 삼성전자주식회사 비휘발성 메모리에서 연산 처리를 제어하는 장치 및 그방법
JP2008299481A (ja) * 2007-05-30 2008-12-11 Hitachi Ltd ストレージシステム及び複数拠点間でのデータコピー方法
US8271706B2 (en) * 2008-05-22 2012-09-18 International Business Machines Corporation Stabilization of host to storage subsystem ownership
US20100050021A1 (en) * 2008-08-25 2010-02-25 International Business Machines Corporation Error code handling in a storage subsystem
JP2010097533A (ja) * 2008-10-20 2010-04-30 Hitachi Ltd パーティションで区切られた計算機システムにおけるアプリケーション移動及び消費電力の最適化
JP5617304B2 (ja) * 2010-03-26 2014-11-05 富士通株式会社 スイッチング装置、情報処理装置および障害通知制御プログラム
US9183560B2 (en) 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
CN103546514B (zh) * 2012-07-13 2016-12-21 阿里巴巴集团控股有限公司 一种处理延迟发送的日志数据的方法和系统
CN104838367A (zh) * 2013-03-14 2015-08-12 株式会社日立制作所 灾难恢复虚拟化的方法和装置
JP6489144B2 (ja) * 2017-03-23 2019-03-27 日本電気株式会社 情報処理装置
CN108063685B (zh) * 2017-12-06 2021-06-18 迈普通信技术股份有限公司 日志分析方法及装置
US10691568B2 (en) * 2018-07-26 2020-06-23 International Business Machines Corporation Container replication and failover orchestration in distributed computing environments
JP7175731B2 (ja) * 2018-12-06 2022-11-21 エヌ・ティ・ティ・コミュニケーションズ株式会社 ストレージ管理装置、方法およびプログラム
JP7150585B2 (ja) 2018-12-06 2022-10-11 エヌ・ティ・ティ・コミュニケーションズ株式会社 データ検索装置とそのデータ検索方法およびプログラム、エッジサーバとそのプログラム
JP7150584B2 (ja) 2018-12-06 2022-10-11 エヌ・ティ・ティ・コミュニケーションズ株式会社 エッジサーバとそのプログラム
CN110418218B (zh) * 2019-07-26 2021-06-29 新华三技术有限公司成都分公司 报文处理方法、装置及fcf交换设备
CN111158612B (zh) * 2020-04-02 2020-07-24 中国人民解放军国防科技大学 一种协同移动设备的边缘存储加速方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994000816A1 (en) * 1992-06-18 1994-01-06 Andor Systems, Inc. Remote dual copy of data in computer systems
EP1357476A2 (en) * 2002-04-26 2003-10-29 Hitachi, Ltd. Method for controlling storage system, and storage control apparatus

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544347A (en) 1990-09-24 1996-08-06 Emc Corporation Data storage system controlled remote data mirroring with respectively maintained data indices
US5327144A (en) 1993-05-07 1994-07-05 Associated Rt, Inc. Cellular telephone location system
KR0128271B1 (ko) 1994-02-22 1998-04-15 윌리암 티. 엘리스 재해회복을 위한 일관성 그룹 형성방법 및 레코드갱싱의 섀도잉 방법, 주시스템, 원격데이타 섀도잉 시스템과 비동기 원격데이타 복제 시스템
US5537533A (en) 1994-08-11 1996-07-16 Miralink Corporation System and method for remote mirroring of digital data from a primary network server to a remote network server
US5889935A (en) 1996-05-28 1999-03-30 Emc Corporation Disaster control features for remote data mirroring
JP3835569B2 (ja) * 1996-12-20 2006-10-18 ヤマハマリン株式会社 船外機
US5949970A (en) 1997-01-07 1999-09-07 Unisys Corporation Dual XPCS for disaster recovery
US5937414A (en) 1997-02-28 1999-08-10 Oracle Corporation Method and apparatus for providing database system replication in a mixed propagation environment
US6073209A (en) 1997-03-31 2000-06-06 Ark Research Corporation Data storage controller providing multiple hosts with access to multiple storage subsystems
US6324654B1 (en) 1998-03-30 2001-11-27 Legato Systems, Inc. Computer network remote data mirroring system
JP2968790B1 (ja) 1998-08-25 1999-11-02 茨城日本電気株式会社 磁気ディスク装置のアドレス変換方法、磁気ディスク装置、アドレス変換プログラムを記録した記録媒体
JP4689137B2 (ja) 2001-08-08 2011-05-25 株式会社日立製作所 リモートコピー制御方法、及びストレージシステム
US6477543B1 (en) * 1998-10-23 2002-11-05 International Business Machines Corporation Method, apparatus and program storage device for a client and adaptive synchronization and transformation server
US6209002B1 (en) 1999-02-17 2001-03-27 Emc Corporation Method and apparatus for cascading data through redundant data storage units
JP2000305856A (ja) 1999-04-26 2000-11-02 Hitachi Ltd ディスクサブシステム及びこれらの統合システム
US6539462B1 (en) 1999-07-12 2003-03-25 Hitachi Data Systems Corporation Remote data copy using a prospective suspend command
US7203732B2 (en) 1999-11-11 2007-04-10 Miralink Corporation Flexible remote data mirroring
TW536672B (en) * 2000-01-12 2003-06-11 Hitachi Ltd IC card and microcomputer
US6658540B1 (en) 2000-03-31 2003-12-02 Hewlett-Packard Development Company, L.P. Method for transaction command ordering in a remote data replication system
US6601187B1 (en) 2000-03-31 2003-07-29 Hewlett-Packard Development Company, L. P. System for data replication using redundant pairs of storage controllers, fibre channel fabrics and links therebetween
JP2001306414A (ja) 2000-04-25 2001-11-02 Hitachi Ltd 記憶装置のリモートコピーシステム
US6383482B1 (en) * 2000-08-24 2002-05-07 Vitacost.Com, Inc. Weight loss composition containing green tea, hydroxycitric acid, 5-hydroxytryptophan, glucomannan, picolinate and lactobacillus
US6665812B1 (en) 2000-12-22 2003-12-16 Emc Corporation Storage array network backup configuration
US6701392B1 (en) * 2001-11-14 2004-03-02 Emc Corporation Hierarchical approach to indentifying changing device characteristics
US6976139B2 (en) * 2001-11-14 2005-12-13 Emc Corporation Reversing a communication path between storage devices
US6728898B2 (en) * 2002-03-06 2004-04-27 Marathon Technologies Corporation Producing a mirrored copy using incremental-divergence
JP2003316616A (ja) * 2002-04-24 2003-11-07 Hitachi Ltd 計算機システム
US7134044B2 (en) 2002-08-16 2006-11-07 International Business Machines Corporation Method, system, and program for providing a mirror copy of data
US7024528B2 (en) 2002-08-21 2006-04-04 Emc Corporation Storage automated replication processing
JP4393762B2 (ja) 2002-12-19 2010-01-06 株式会社日立製作所 データベース処理方法及び装置並びにその処理プログラム
US7065589B2 (en) 2003-06-23 2006-06-20 Hitachi, Ltd. Three data center remote copy system with journaling
US7188222B2 (en) 2003-09-29 2007-03-06 International Business Machines Corporation Method, system, and program for mirroring data among storage sites
US7412576B2 (en) 2004-12-08 2008-08-12 Hitachi, Ltd. Remote copy system having multiple data centers

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994000816A1 (en) * 1992-06-18 1994-01-06 Andor Systems, Inc. Remote dual copy of data in computer systems
EP1357476A2 (en) * 2002-04-26 2003-10-29 Hitachi, Ltd. Method for controlling storage system, and storage control apparatus

Also Published As

Publication number Publication date
CN1637714A (zh) 2005-07-13
US7305531B2 (en) 2007-12-04
EP1536337A3 (en) 2006-05-03
US20060168146A1 (en) 2006-07-27
US7055011B2 (en) 2006-05-30
DE602004012220D1 (de) 2008-04-17
EP1536337A2 (en) 2005-06-01
US20080065848A1 (en) 2008-03-13
CN101426025A (zh) 2009-05-06
US7809909B2 (en) 2010-10-05
EP1536337B1 (en) 2008-03-05
CN101426025B (zh) 2013-02-13
US20050114730A1 (en) 2005-05-26
DE602004012220T2 (de) 2009-03-19
JP2005157712A (ja) 2005-06-16

Similar Documents

Publication Publication Date Title
CN100456256C (zh) 远程复制网络系统
US11422908B2 (en) Non-disruptive controller replacement in a cross-cluster redundancy configuration
US7769722B1 (en) Replication and restoration of multiple data storage object types in a data network
US8706833B1 (en) Data storage server having common replication architecture for multiple storage object types
US6708232B2 (en) Data migration method, protocol converter and switching apparatus using it
US7313636B2 (en) Methods and structure for supporting persistent reservations in a multiple-path storage environment
US7987154B2 (en) System, a method and a device for updating a data set through a communication network
US7818408B1 (en) Automated virtual interface failover in a mass storage cluster
US20050193245A1 (en) Internet protocol based disaster recovery of a server
US8285824B2 (en) Storage system and data replication method that refuses one or more requests for changing the first logical configuration information until the first storage apparatus and second storage apparatus are synchronized
US20060242297A1 (en) Database cluster systems and methods for maintaining client connections
CN103516755B (zh) 虚拟存储方法及设备
JP2002024069A (ja) 実行状態の回復が可能なファイルサーバ、トランザクションロギング機構、システムリソース及び実行状態の回復方法
CN103155497A (zh) 通信系统、控制设备、节点、处理规则设置方法以及程序
CN102986171A (zh) 分布式虚拟桥接器环境中的寄存器访问
CN1985492B (zh) 支持iSCSI读操作和iSCSI烟囱的方法和系统
CN102752404A (zh) 一种新型的灾难备份恢复方法与系统
CN104811476A (zh) 一种面向应用服务的高可用部署实现方法
JPH08212095A (ja) クライアントサーバ制御システム
JP3870701B2 (ja) コンピュータの階層情報管理方法および装置ならびにその処理プログラムを記録した記録媒体
CN105763599B (zh) 一种ipsan下的t-cdp实现方法及装置
US20040024887A1 (en) Method, system, and program for generating information on components within a network
JP2006344090A (ja) Sanディザスタリカバリシステム
CN101170544A (zh) 一种高可用群集系统采用单一实ip地址的通讯方法
JP2000082040A (ja) 営業店バックアップ・システム、センタ側サーバ、営業店サーバ、営業店バックアップ方法および記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090128

Termination date: 20151126

CF01 Termination of patent right due to non-payment of annual fee