CN100461121C - 把存储单元和相关元数据复制到存储器的方法和系统 - Google Patents

把存储单元和相关元数据复制到存储器的方法和系统 Download PDF

Info

Publication number
CN100461121C
CN100461121C CNB2006101020008A CN200610102000A CN100461121C CN 100461121 C CN100461121 C CN 100461121C CN B2006101020008 A CNB2006101020008 A CN B2006101020008A CN 200610102000 A CN200610102000 A CN 200610102000A CN 100461121 C CN100461121 C CN 100461121C
Authority
CN
China
Prior art keywords
metadata
copy
storage
data
replicate run
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006101020008A
Other languages
English (en)
Other versions
CN1916862A (zh
Inventor
斯蒂芬·F·考瑞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1916862A publication Critical patent/CN1916862A/zh
Application granted granted Critical
Publication of CN100461121C publication Critical patent/CN100461121C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1466—Management of the backup or restore process to make the backup process non-disruptive

Abstract

提供一种把存储单元和相关元数据复制到存储器的方法、系统和程序。用户数据存储位置包括用户数据，元数据存储位置包括用户数据的元数据。执行第一种复制操作，以便把具有用户数据的至少一个指定存储单元复制成所述至少一个指定存储单元的至少一个副本。执行第二种复制操作，以便把被复制的至少一个指定存储单元的元数据复制成复制的至少一个文件集的元数据的副本。

Description

把存储单元和相关元数据复制到存储器的方法和系统
技术领域
本发明涉及把文件集和相关元数据复制到存储器的方法、系统和程序。
背景技术
在分布式文件系统中，客户机共享对分布式存储装置上的存储位置寻址的全局名称空间。中央服务器为客户机管理分布式文件名称空间。例如，由多个服务器设备构成的元数据服务器集群可为客户机保持保存在不同的存储池中的分布式文件系统的全局名称空间。全局名称空间被组织成文件集，所述文件集包括对于文件操作来说，客户机可访问的文件系统目录和文件夹。在客户机上，全局名称空间表现为由在客户机上运行的操作系统提供的分级文件目录。当访问用户数据时，客户机会访问由元数据服务器保持的文件元数据。在国际商用机器公司(“IBM”)出版物“IBM Total Storage：Introducing the SAN FileSystem”(文件编号SG24-7057-02(2004年12月))中描述了使用元数据服务器的分布式文件系统的其它细节。
为了在存储系统中备份和复制数据，通过首先暂停对待复制数据的所有操作，以确保从时点(point-in-time)起，数据是一致的，随后在完成所有数据的复制之后，恢复对操作被暂停的数据的处理，包括待复制的用户数据的文件集和文件集的元数据的存储位置可被复制。文件集可作为卷级复制或者文件级时点复制的一部分被复制，以致只有指定的文件或数据块受到时点复制操作。
这种技术的缺陷在于在复制操作期间，经历复制处理的数据不可用，复制操作可能要相当长的时间来完成，对于要求用户数据的连续可用性的企业系统来说，该缺陷尤其严重。
复制用户数据的另一种复制选择是进行
Figure C200610102000D00071
操作。是IBM的注册商标。FlashCopy操作涉及创建指示待复制的源数据和目标数据之间的关系的数据结构，随后在通过创建所述数据结构确定了所述关系之后，在实际复制数据之前，允许对基础数据的访问。FlashCopy操作可指定对卷进行时点复制操作。
发明内容
提供一种把存储单元和相关元数据复制到存储器(storage)的方法、系统和程序。用户数据存储位置包括用户数据，元数据存储位置包括用户数据的元数据。执行第一种复制操作，以便把具有用户数据的至少一个指定存储单元复制成所述至少一个指定存储单元的至少一个副本。执行第二种复制操作，以便把被复制的至少一个指定存储单元的元数据复制成复制的至少一个文件集的元数据的副本。
在另一实施例中，通过产生指示至少一个存储单元中的数据块以提供所述至少一个存储单元的时点副本的复制数据结构，并把数据块复制到在第一复制数据结构中指示的至少一个存储单元的副本，执行第一种复制操作，以便把用户数据存储位置中的至少一个存储单元复制成所述至少一个存储单元的副本。执行第二种复制操作，以便把被复制的至少一个存储单元的元数据复制成所述复制的至少一个存储单元的元数据的副本，从而提供元数据的时点副本，并把包含该元数据的数据块复制成在第二复制数据结构中指示的元数据的副本。
附图说明
图1图解说明其中实现实施例的网络计算环境。
图2图解说明存储系统的一个实施例。
图3图解说明用户存储系统的一个实施例。
图4图解说明系统存储系统的一个实施例。
图5图解说明网络计算环境中复制文件集和元数据的操作的一个实施例。
图6图解说明系统存储子系统的另一实施例。
图7图解说明网络计算环境中复制文件集和元数据的操作的另一实施例。
具体实施方式
在下面的说明中，参考了附图，附图构成所述说明的一部分，并且图解说明本发明的几个实施例。显然也可利用其它实施例，并且在不脱离本发明的范围的情况下可做出结构和操作上的变化。
图1图解说明根据实施例的分布式文件系统计算环境。元数据集群2包括多个元数据引擎4a、4b...4n，元数据引擎4a、4b...4n包括管理参考保存在用户数据存储系统8b...8n中的文件的全局名称空间的元数据服务器程序6a、6b...6n。元数据集群2管理客户机10a、10b...10n对在全局名称空间中定义的文件集的访问。每个客户机10a、10b...10n包括客户机虚拟文件系统12a、12b...12n，客户机虚拟文件系统12a、12b...12n使客户机10a、10b...10n与全局名称空间中客户机可访问的那些文件集进行接口(interface)。元数据集群2，客户机10a、10b...10n，和存储系统8a、8b...8n通过网络14通信。变量“n”表示任意数目的部件，并且当和不同的部件一起使用时，可具有不同的值。
元数据引擎4a、4b...4n可包含服务器级系统。可分配每个元数据引擎4a、4b...4n处理全局名称空间中的特定文件集，以致全局名称空间的工作负载分布在元数据引擎4a、4b...4n上。对于客户机10a、10b...10n，文件集表现为分级文件系统中的标准目录和文件夹。元数据服务器6a、6b...6n执行全局名称空间管理操作，并把包含客户机10a、10b...10n访问的文件集的有关信息的文件元数据和文件集的系统元数据保存在系统存储系统8a中。在备选实施例中，元数据服务器和客户机系统可位于相同的计算机设备上。
客户机虚拟文件系统12a、12b...12n安装客户机10a、10b...10n可访问的文件集。
图2把存储系统8a、8b...8n图解表示成包括一个或多个存储子系统30，存储子系统30管理对在存储装置32中配置的卷的访问。在一个实施例中，每个存储系统8a、8b...8n包括一个独立的存储子系统30和存储装置32。在另一实施例中，可在一个存储子系统30和存储装置32中实现多个存储系统8a、8b...8n，或者可用具有附加的存储装置的一个或多个存储子系统实现一个存储系统8a、8b...8n。存储子系统30可包括存储服务器或企业存储服务器，例如IBM
Figure C200610102000D0009150927QIETU
Enterprise Storage Server
Figure C200610102000D0009150927QIETU
(IBM和企业存储服务器是IBM的注册商标)。分配给存储系统8a、8b...8n的存储设备32可包含本领域中已知的存储系统，例如直接存取存储装置(DASD)，简单磁盘捆绑(JBOD)，独立磁盘冗余阵列(RAID)，虚拟化装置，磁带存储器，光盘存储器，或者本领域中已知的任何其它存储系统。
在一些实施例中，用户存储系统8b...8n把用户数据保存在由元数据集群2管理的文件集中。客户机10a、10...10n包括本领域中已知的计算设备，例如工作站、桌上型计算机、服务器、大型机、手持式计算机、电话机等。网络14包括本领域中已知的网络，例如局域网(LAN)、存储区域网(SAN)、广域网(WAN)、InfiniBand、无线网络等。元数据服务器6a、6b...6n实现全局名称空间16，全局名称空间16实现由映射到用户存储系统8b...8n中的存储位置的多个文件集构成的分布式文件系统。如前所述，用户存储系统8b、8n包含与网络14连接的存储系统和装置，以便把文件集保存在全局名称空间16中。
图3图解说明具有存储子系统30b和用户存储装置32b的用户存储系统8b的一个实施例，用户存储装置32b包括具有用户数据文件集52a的源卷54a，数据文件集52a被复制到包括用户数据文件集的副本52b的目标卷54b，作为复制操作的一部分。其它用户存储系统8n也可具有经历复制操作的数据文件集。在一个实施例中，在用户存储系统8b...8n内复制用户数据文件集52b，而不通过客户机10a、10b...10n或者元数据集群2在网络14内传送数据。在一个备选实施例中，文件集的副本52b可以在和被复制的文件集52a不同的用户数据存储系统8b...8n中。管理其中保持源卷54a的存储装置32b的存储子系统30b还可保持指示源卷54a和目标卷54b中经历时点复制操作的数据块的复制数据结构56。在创建复制数据结构56之后，存储子系统30随后可开始在存储系统8b内把源卷54a中的数据块复制到目标卷54b，而不通过客户机10a、10b...10n或者元数据集群2在网络14内复制数据。通过首先把请求所针对的数据块从源卷54a复制到目标卷54b，处理对源卷54a或目标卷54b中的在复制数据结构56中指示为未被复制的数据块的任何后续更新。在数据已被复制到目标卷b之后，复制的源卷54a和目标卷54b数据可被就地(in place)更新和重写，和“正常的”写操作的情况一样。此外，为了访问在复制数据结构56中指出的在目标卷54b的数据，在可访问该数据之前，数据块必须已从源卷54a复制到目标卷54b。从而，对还未用来自源卷54a的数据更新的目标卷54b数据块的读请求可触发复制操作，以便在复制之后允许访问。一旦数据已从源位置复制到目标位置，那么由复制数据结构56建立的复制数据的时点关系就结束，以致在源卷的文件集和在目标卷的文件集的副本可被就地更新和重写。在复制数据之前创建复制数据结构的这种即时复制操作的一个例子是IBM FlashCopy
Figure C200610102000D0010150941QIETU
操作。在FlashCopy中，创建源卷和目标卷的位图数据结构，以指示源卷和目标卷中服从该复制关系的还未被复制的数据块。为复制操作指定的存储单元可包括整个逻辑卷，指定的文件，例如非连续文件，存储器中的存储块或者本领域中已知的存储器的其它适当单位。
在上述实施例中，在用于卷级复制的卷级指定复制操作。在备选实施例中，可相对于不同的源和目标存储单元进行复制操作。经历上述复制操作并在复制数据结构中指出的存储单元除了是卷之外，还可包含一组指定文件，存储器中的一系列存储块，分区等。
图4图解说明(文件集52a的)元数据60a如何被复制到元数据的副本60b，以致元数据的副本60b提供文件系统元数据，从而使客户机10a、10b...10n能够访问文件集的副本52b。在一个实施例中，元数据60a被复制成系统存储系统8a中的元数据副本60b，而不通过客户机10a、10b...10n或元数据集群2在网络14内传送元数据。在一个实施例中，复制的元数据60a可以只是系统池8a中的卷中的数据的子集，该卷中的其它数据可提供未经历图3的复制操作的卷中的文件集的元数据。此外，在一个实施例中，元数据60a可被复制成系统存储系统8a中的元数据副本60b，而不通过客户机10a、10b...10n在网络14内传送该元数据。
图5图解说明由图1中的组件执行的把源卷54a中的文件集52a复制到目标卷54b(图3)的操作。如上所述，虽然关于卷级复制说明复制操作，不过可对其它存储单元级，例如存储器中的一系列的存储块进行复制操作。控制开始于方框100，一个客户机10a、10b...10n发起复制用户数据文件集52a和对应的元数据60a的操作。执行客户机10a、10b...10n请求的系统(它可包括接收客户机请求的元数据服务器6a、6b...6n或者虚拟文件系统12a、12b...12n)确定(在方框102)用户存储装置32b中包括所请求的文件集52a的存储位置和系统存储装置32a中具有待复制的文件集52a的元数据60a的元数据存储位置。一个或多个元数据服务器6a、6b...6n停止(在方框104)对待复制的文件集52a(或者其它存储单元)的输入/输出(I/O)请求。在一个实施例中，通过联系图1中访问正被复制的文件集52a的每个系统(例如客户机或元数据引擎)，元数据服务器6a、6b...6n可停止(quiesce)I/O。此外，具有待复制的文件集52a的更新的任意系统(例如，客户机10a、10b...10n或元数据引擎4a、4b...4n)将把它们的更新转出(destage)到存储子系统30b，以便从发起客户机复制请求的时点起，使待复制的文件集52a一致。管理对具有待复制的元数据60a的系统存储装置30a的访问的元数据服务器6a...6n可停止(在方框106)对正被复制的文件集52a的元数据60a的I/O请求。
处理客户机请求的元数据服务器6a、6b...6n或者客户机虚拟文件系统12a、12b...12n向用户数据存储子系统30b提交(在方框108)第一命令，执行复制在确定的用户数据存储位置的所请求文件集52a的第一种复制操作，和向元数据存储子系统30a提交第二命令，执行复制所请求文件集52a的元数据60a的第二种复制操作。如上所述，文件集可在任意用户存储系统8b...8n中。在一个实施例中，作为第一复制操作的一部分，复制用户数据的第一命令可包括对卷或指定文件集的复制操作。复制元数据的第二命令可包括复制包含元数据60a的一系列存储块的操作。
存储子系统30b执行(在方框110)进行第一种复制操作的第一命令，从而通过进行方框112和114的操作，把文件集52a复制成文件集副本52b。在方框112，存储子系统30b产生指示待复制的文件集52a(它们在复制命令中指出)中的数据块的复制数据结构，从而提供文件集52a的时点副本。在第一命令是卷级FlashCopy命令的一个实施例中，复制数据结构56可包含在FlashCopy操作中使用的源卷位图和目标卷位图。另一方面，复制数据结构56可识别数据块。存储子系统30b随后发起(在方框114)把在复制数据结构56中指出的数据块复制到文件集副本52b的操作。
管理对具有元数据60a的系统存储装置32a的访问的存储子系统30a可执行第二命令，从而进行(在方框116)第二种复制操作，以便把用户数据的复制文件集52a的元数据60a复制成在元数据存储位置的至少一个元数据副本60b。
在复制操作完成，产生时点复制之后，在数据块已被复制到文件集副本52b之前，元数据服务器6a...6n启动(在方框120)对文件集52a、52b的I/O访问。从而，在实际复制完数据之前，系统可认识到复制操作已结束，数据可在稍后或在后台操作中被复制完。在物理地把元数据60a复制成元数据副本60b之后，存储子系统30a启动(在方框122)对元数据的I/O访问。元数据副本60b被用于向客户机10a、10b...10n提供在用户数据存储系统8b...8n中实现的文件系统的综览。虚拟文件系统12a、12b...12n利用复制的元数据向客户机10a、10b...10n提供对在全局名称空间16中实现的文件系统的访问。
在图5的实施例中，利用不同类型的复制操作复制文件集50a和元数据60a。利用在实际复制数据之前，最初创建识别经历复制操作的文件集52a中的数据块的数据结构56的虚拟复制技术复制文件集50a，以致在创建复制数据结构56之后，并在复制数据之前，可允许对文件集52a的访问。这使文件集52a不可用的时间降至最小。此外，利用一种不同的复制操作，例如由元数据服务器组织的逐块复制，复制元数据60a，因为在一些实施例中，待复制的元数据60a的数量明显小于对应的文件集50a，从而在复制元数据的时候，不工作时间可能不大，不会拖延对元数据的访问。
此外，在涉及卷级复制的一个实施例中，包括文件集52a的整个源卷54a被复制。在这样的一个实施例中，源卷54a不包括不经历复制操作的任何文件集52a。在一个实施例中，复制的元数据60a可包括卷的子集，因为包含元数据60a的卷包括不经历复制操作的文件集的元数据。在这样的实施例中，第二种复制操作只从包括被复制的文件集52a的元数据的卷中复制包含元数据60a，而不包含同一卷中未经历复制操作的文件集的元数据的一系列存储块。
图6图解说明其中元数据的元数据服务器6a、6b...6n可产生复制数据结构58，从而进行时点复制，而不复制实际的元数据，以致在创建复制数据结构58之后，并在复制元数据60a之前，对元数据60a的访问可返回的实施例。在一个实施例中，复制数据结构58指示只有正被复制的元数据60a才服从该关系，除了正被复制的那些元数据外，与元数据60a在同一卷中的文件集的元数据未在复制数据结构58中指出，不和元数据60a一起经历复制处理。
图7图解说明了由图1中的组件执行的复制文件集52a和相关元数据60a的操作的一个备选实施例。控制始于方框200，一个客户机10a、10b...10n发起复制用户数据文件集52a和对应元数据60a的操作。执行客户机10a、10b...10n请求的系统(它可包括接收客户机请求的元数据服务器6a、6b...6n或者虚拟文件系统12a、12b...12n)确定(在方框202)用户存储装置32b中包括所请求的文件集52a的存储位置和系统存储装置32a中具有待复制的文件集52a的元数据60a的元数据存储位置。元数据服务器6a、6b...6n停止(在方框204)对待复制的文件集52a的输入/输出(I/O)请求。在一个实施例中，通过联系访问待停止的文件集52a的每个客户机10a、10b...10n，元数据服务器6a、6b...6n可停止I/O。此外，具有待复制的文件集52a的更新的任意系统(例如，客户机10a、10b...10n或元数据引擎4a、4b...4n)将把它们的更新转出到存储子系统30b，以便从发起客户机复制请求的时点起，使待复制的文件集52a一致。元数据服务器6a、6b...6n还停止(在方框206)对待复制的元数据的输入/输出(I/O)请求。在一个实施例中，通过联系图1中能够访问待停止的元数据60a的每个系统，元数据服务器6a、6b...6n可停止I/O。此外，具有待复制的元数据60a的更新的任何系统(例如客户机10a、10b...10n或元数据引擎4a、4b...4n)将把它们的更新转出到存储子系统30b，以便从发起客户机复制请求的时点起，使待复制的文件集52a一致。
处理客户机请求的元数据服务器6a、6b...6n或者客户机虚拟文件系统12a、12b...12n向存储子系统30b发送(在方框208)第一命令，执行复制在确定的用户数据存储位置的所请求文件集52a(或者其它存储单元)的第一种复制操作，和向元数据存储子系统30a发送第二命令，执行复制所请求文件集52a的元数据60a(元数据块的列表)的第二种复制操作。存储子系统30b执行第一命令，从而实现(在方框210)把文件集52a复制成文件集副本52b的第一复制操作。在一个实施例中，第一复制操作可产生(在方框212)指示待复制的文件集52a中的数据块的文件复制数据结构56(图3)，以提供文件集52a的时点副本。在第一命令是卷级FlashCopy命令的一个实施例中，复制数据结构56可包含在FlashCopy操作中使用的源卷位图和目标卷位图。存储子系统30b随后发起(在方框214)把在复制数据结构56中指示的数据块复制到文件集副本52b的操作。
存储子系统30a执行第二命令，从而实现(在方框216)把元数据60a复制成元数据副本60b的第二复制操作。存储子系统20a产生(在方框218)指示待复制的元数据60a的数据块的复制数据结构58(图6)，从而提供元数据60a的时点副本，它可包含比包括待复制的元数据60a的卷中的所有数据块少的数据块。在一个实施例中，复制数据结构58可包含在FlashCopy操作中使用的源卷位图和目标卷位图。存储子系统30a随后发起(在方框220)把在复制数据结构58中指示的数据块复制到元数据副本60b的操作。在数据块被复制到文件集副本52b之前，存储子系统30b启动(在方框222)对文件集52a、52b的I/O访问，在数据块被复制到元数据副本60b之前，存储子系统30b启动(在方框224)对元数据60a和元数据副本60b的I/O访问。
在图7的实施例中，相同的虚拟复制操作，例如FlashCopy被用于复制待复制的文件集54a和元数据60a，以致在建立复制数据结构56、58之后，并在实际复制数据之前，图1中的系统可以访问文件集54a和元数据60a。
另外的实施例细节
通过利用标准的编程和/或工程技术来产生软件、固件、硬件或者它们的任意组合，所描述的操作可被实现成一种方法、设备或制造产品。这里使用的术语“制造产品”指的是在有形介质中实现的代码或逻辑，这种有形介质可包括硬件逻辑(例如集成电路芯片，可编程门阵列(PGA)，专用集成电路(ASIC)等)或者计算机可读介质，比如磁性存储介质(例如硬盘驱动器、软盘、磁带等)，光学存储器(CD-ROM、光盘等)，易失性和非易失性记忆装置(例如EEPROM、ROM、PROM、RAM、DRAM、SRAM、固件、可编程逻辑等)。计算机可读介质中的代码由处理器访问和执行。其中代码或逻辑被编码的计算机可读介质还可包含通过空间或传输介质，比如光纤、铜导线等传播的传输信号。其中代码或逻辑被编码的传输信号还可包含无线信号、卫星传输、无线电波、红外信号、蓝牙等。其中代码或逻辑被编码的传输信号能够由发射站发射并由接收站接收，在传输信号中编码的代码或逻辑可被解码并保存在接收和发射站或设备的硬件或计算机可读介质中。另外，“制造产品”可包括其中包含、处理和执行所述代码的硬件和软件组件的组合。当然，本领域的技术人员会认识到可对这种构造进行许多修改，而不脱离本发明的范围，并且制造产品可包含本领域中已知的任何信息承载介质。
在所描述的实施例中，通过创建复制数据结构，创建用户数据的时点副本。在备选的时点复制实施例中，可产生和上述复制管理信息不同类型的数据结构或信息来管理复制操作。
术语“实施例”、“一个或多个实施例”、“一些实施例”和“一个实施例”意味着“本发明的一个或多个(但不是全部)实施例”，除非另有说明。
术语“包括”、“包含”、“具有”和它们的变型意味着“包括但不限于”，除非另有说明。
术语“一个”和“这个”意味着“一个或多个”，除非另有说明。
相互通信的设备不必一直相互通信，除非另有说明。另外，相互通信的设备可直接通信或者通过一个或多个中间物间接通信。
具有相互通信的几个组件的一个实施例的描述并不意味着所有这些组件都需要。相反，描述了各种可选组件，以举例说明本发明的各种可能实施例。
此外，虽然顺序描述了过程步骤，方法步骤，算法等，不过这样的过程，方法，算法等可被配置成按照其它顺序工作。换句话说，可描述的步骤的任何顺序或次序并不一定表示要求按照该顺序执行所述步骤。实际上可按照任何顺序执行这里描述的过程的步骤。一些步骤可同时执行。
当这里描述单一设备或产品时，显然代替单一设备/产品，可以使用一个以上的设备/产品(无论它们是否协作)。类似地，在这里描述一个以上的设备或产品(无论它们是否协作)的情况下，显然代替所述一个以上设备或产品，可以使用单一设备/产品。
另一方面，设备的功能和/或特征可由一个或多个未被明确描述成具有这种功能/特征的其它设备具体体现。从而，本发明的其它实施例不必包括设备本身。
变量“n”表示部件的整数数目的实例，当和不同的部件一起使用时可以取不同的值，例如56n和86n可分别表示相同或不同数目的现场(field)信息和现场授权的实例。
在一些实施例中，文件集和元数据保存在独立的存储系统中，系统通过网络传送复制文件集和元数据的命令。在一个备选实施例中，文件集和元数据可保存在相同的存储系统中，复制命令可由还直接管理包括待复制的文件集和元数据的存储装置的系统中的程序发起。
图5和7的例证操作表示了按照一定顺序发生的一些事件。在备选实施例中，一些操作可按照不同的顺序执行，被修改或除去。可向上述逻辑增加步骤，并且仍然符合描述的实施例。此外，这里描述的操作可顺序发生，或者一些操作可并行处理。此外，操作可由单个处理单元或者由分布式处理单元执行。
出于举例说明的目的，给出了本发明的各个实施例的上述说明。上述说明并不是详尽的，也不打算把本发明局限于公开的具体形式。鉴于上述教导，许多修改和变化是可能的。本发明的范围不受该详细说明限制，而是由附加的权利要求限定。上述说明，例子和数据提供了本发明的组成物的制造和使用的完整描述。由于在不脱离本发明的精神和范围的情况下，可做出本发明的许多实施例，因此本发明由附加的权利要求限定。

Claims (15)

1.一种方法，包括：
把用户数据保持在用户数据存储位置；
把用户数据的元数据保持在元数据存储位置；
执行第一种复制操作，以便把具有用户数据的至少一个指定存储单元复制成所述至少一个指定存储单元的至少一个副本；和
执行第二种复制操作，以便把被复制的至少一个指定存储单元的元数据复制成复制的至少一个文件集的元数据的副本。
2.按照权利要求1所述的方法，其中在用户数据存储系统中实现用户数据存储位置，在元数据存储系统中实现元数据存储位置，其中元数据存储系统和用户数据存储系统与网络连接，其中客户机系统与网络连接，所述方法还包括：
由一个客户机系统发出复制所述至少一个指定存储单元的请求；和
响应于客户机系统请求，把第一命令发出到用户数据存储系统，以便执行第一种复制操作；和
响应于客户机系统请求，把第二命令发出到元数据存储系统，以便执行第二种复制操作。
3.按照权利要求2的方法，还包括：
由客户机系统访问位于元数据服务器的元数据，以确定所述至少一个指定存储单元在存储系统中的用户数据存储位置；
由客户机系统使用所访问的元数据来通过网络从存储系统访问所述至少一个指定存储单元；
由客户机系统通过网络访问在元数据服务器的所述复制的至少一个存储单元的元数据的副本，以确定所述复制的至少一个存储单元在存储系统的存储位置；和
由客户机系统使用所访问的所述复制的至少一个文件存储单元的元数据的副本，以通过网络从存储系统访问所述至少一个存储单元的副本。
4.按照权利要求1所述的方法，其中第一种复制操作包括：
产生指示所述至少一个指定存储单元中的数据块，从而提供所述至少一个指定存储单元的时点副本的复制数据结构；和
把在复制数据结构中指示的数据块复制到所述至少一个指定存储单元的副本。
5.按照权利要求4所述的方法，还包括：
停止对所述至少一个指定存储单元的输入/输出(I/O)请求；和
在数据块被复制到所述至少一个指定存储单元的副本之前，响应于产生指针，启动对所述至少一个指定存储单元的I/O访问。
6.按照权利要求1所述的方法，其中第二种复制操作包括：
停止对被复制的所述至少一个指定存储单元的元数据的输入/输出(I/O)请求；
把元数据复制成元数据的副本；和
响应于把元数据复制成元数据的副本，启动对元数据的I/O访问。
7.一种方法，包括：
把用户数据保持在用户数据存储位置；
把用户数据的元数据保持在元数据存储位置；
通过产生指示用户数据存储位置中的至少一个存储单元中的数据块以提供所述至少一个存储单元的时点副本的复制数据结构，并把所述数据块复制到在第一复制数据结构中指示的所述至少一个存储单元的副本，执行第一种复制操作，以便把所述至少一个存储单元复制成所述至少一个存储单元的副本；
执行第二种复制操作，以便把被复制的至少一个存储单元的元数据复制成所述复制的至少一个存储单元的元数据的副本，从而提供所述元数据的时点副本，并把包含该元数据的数据块复制成在第二复制数据结构中指示的所述元数据的副本。
8.按照权利要求7所述的方法，其中第一种复制操作中涉及的所述至少一个存储单元包含源卷，所述至少一个存储单元的副本包含目标用户数据卷，其中在所述源卷中，不存在未包括在正被复制的至少一个文件集中的文件集，其中第二种复制操作从一个元数据卷中的元数据的第一子集中复制元数据，并且其中元数据卷中的元数据的第二子集包括用户数据存储位置中未经历第一种复制操作的至少一个文件集的元数据。
9.一种与包括用户数据的用户数据存储位置和包括用户数据的元数据的元数据存储位置通信的系统，包括：
第一复制操作发起装置，用于发起第一种复制操作，以便把具有用户数据的至少一个指定存储单元复制成所述至少一个指定存储单元的至少一个副本；和
第二复制操作发起装置，用于发起第二种复制操作，以便把被复制的至少一个指定存储单元的元数据复制成复制的至少一个文件集的元数据的副本。
10.按照权利要求9所述的系统，其中在用户数据存储系统中实现用户数据存储位置，在元数据存储系统中实现元数据存储位置，其中元数据存储系统和用户数据存储系统与网络连接，其中客户机系统与网络连接，所述系统还包括：
接收装置，用于从客户机系统接收复制所述至少一个指定存储单元的请求；和
第一命令发出装置，用于响应于客户机系统请求，把第一命令发出到用户数据存储系统，以便执行第一种复制操作；和
第二命令发出装置，用于响应于客户机系统请求，把第二命令发出到元数据存储系统，以便执行第二种复制操作。
11.按照权利要求所述9的系统，其中所述系统包括：使用元数据和元数据副本来访问用户数据和用户数据副本的客户机系统，或者与客户机通信的元数据服务器，其中所述请求接收自客户机。
12.按照权利要求9所述的系统，其中所述第一复制操作发起装置包括：
产生单元，用于产生指示所述至少一个指定存储单元中的数据块，从而提供所述至少一个指定存储单元的时点副本的复制数据结构；和
复制单元，用于把在复制数据结构中指示的数据块复制成所述至少一个指定存储单元的副本。
13.按照权利要求9所述的系统，其中所述第二复制操作发起装置包括：
停止单元，用于停止对被复制的所述至少一个指定存储单元的元数据的输入/输出(I/O)请求；
复制单元，用于把元数据复制成元数据的副本；和
启动单元，用于响应于把元数据复制成元数据的副本，启动对元数据的I/O访问。
14.一种与具有用户数据的用户数据存储位置和具有用户数据的元数据的元数据存储位置通信的系统，包括：
第一复制操作执行装置，用于通过产生指示所述用户数据存储位置中至少一个存储单元中的数据块以提供所述至少一个存储单元的时点副本的复制数据结构，并把所述数据块复制到在第一复制数据结构中指示的所述至少一个存储单元的副本，执行第一种复制操作，以便把所述至少一个存储单元复制成所述至少一个存储单元的副本；
第二复制操作执行装置，用于执行第二种复制操作，以便把被复制的至少一个存储单元的元数据复制成所述复制的至少一个存储单元的元数据的副本，从而提供元数据的时点副本，并把包含该元数据的数据块复制成在第二复制数据结构中指示的元数据的副本。
15.按照权利要求14所述的系统，其中第一种复制操作中涉及的所述至少一个存储单元包含源卷，所述至少一个存储单元的副本包含目标用户数据卷，其中在所述源卷中，不存在未包括在正被复制的至少一个文件集中的文件集，其中第二种复制操作从一个元数据卷中的元数据的第一子集中复制元数据，并且其中元数据卷中的元数据的第二子集包括用户数据存储位置中未经历第一种复制操作的至少一个文件集的元数据。
CNB2006101020008A 2005-08-15 2006-07-18 把存储单元和相关元数据复制到存储器的方法和系统 Expired - Fee Related CN100461121C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/204,310 US7870353B2 (en) 2005-08-15 2005-08-15 Copying storage units and related metadata to storage
US11/204,310 2005-08-15

Publications (2)

Publication Number Publication Date
CN1916862A CN1916862A (zh) 2007-02-21
CN100461121C true CN100461121C (zh) 2009-02-11

Family

ID=37737863

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101020008A Expired - Fee Related CN100461121C (zh) 2005-08-15 2006-07-18 把存储单元和相关元数据复制到存储器的方法和系统

Country Status (3)

Country Link
US (1) US7870353B2 (zh)
CN (1) CN100461121C (zh)
TW (1) TW200719147A (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8001528B2 (en) * 2006-03-30 2011-08-16 Microsoft Corporation Organization of application state and configuration settings
US8533155B2 (en) 2009-10-30 2013-09-10 Hitachi Data Systems Corporation Fixed content storage within a partitioned content platform, with replication
US8819080B2 (en) * 2007-06-13 2014-08-26 The Boeing Company System and method for collection, retrieval, and distribution of data
US8095827B2 (en) * 2007-11-16 2012-01-10 International Business Machines Corporation Replication management with undo and redo capabilities
US9152515B2 (en) * 2007-11-27 2015-10-06 International Business Machines Corporation Apparatus and method for managing storage copy services systems
US20100049559A1 (en) * 2008-08-21 2010-02-25 International Business Machines Corporation Method and system for focused and scalable event enrichment for complex ims service models
US8255373B2 (en) * 2008-10-24 2012-08-28 Microsoft Corporation Atomic multiple modification of data in a distributed storage system
US9996572B2 (en) 2008-10-24 2018-06-12 Microsoft Technology Licensing, Llc Partition management in a partitioned, scalable, and available structured storage
JP4886918B1 (ja) * 2008-10-30 2012-02-29 インターナショナル・ビジネス・マシーンズ・コーポレーション フラッシュコピー・プロセスを処理する方法、ならびにそのためのシステム、およびコンピュータ・プログラム
CN101504670A (zh) * 2009-03-04 2009-08-12 成都市华为赛门铁克科技有限公司 数据操作方法、系统、客户端和数据服务器
US8285762B2 (en) * 2010-05-11 2012-10-09 International Business Machines Corporation Migration of metadata and storage management of data in a first storage environment to a second storage environment
JP5853649B2 (ja) 2011-11-30 2016-02-09 富士通株式会社 ストレージ装置，制御装置及びプログラム
US9075762B2 (en) 2013-01-04 2015-07-07 International Business Machines Corporation Setting copy permissions for target data in a copy relationship
US10671635B2 (en) 2013-02-27 2020-06-02 Hitachi Vantara Llc Decoupled content and metadata in a distributed object storage ecosystem
CN105100149A (zh) * 2014-05-13 2015-11-25 中国电信股份有限公司 用于管理文件的方法和系统
CN105302747B (zh) * 2014-07-11 2019-04-26 深圳市腾讯计算机系统有限公司 一种存储器启动控制方法，及存储器启动控制装置
CN104281534B (zh) * 2014-09-22 2018-02-13 华为技术有限公司 一种存储元数据的方法和装置
US10362146B1 (en) * 2015-09-30 2019-07-23 Open Text Corporation Method and system for enforcing governance across multiple content repositories using a content broker
CN106933698B (zh) * 2015-12-29 2021-05-28 伊姆西Ip控股有限责任公司 一种用于存储系统的方法和装置
US10356158B2 (en) 2016-05-16 2019-07-16 Carbonite, Inc. Systems and methods for aggregation of cloud storage
US10116629B2 (en) 2016-05-16 2018-10-30 Carbonite, Inc. Systems and methods for obfuscation of data via an aggregation of cloud storage services
US10264072B2 (en) * 2016-05-16 2019-04-16 Carbonite, Inc. Systems and methods for processing-based file distribution in an aggregation of cloud storage services
US10404798B2 (en) 2016-05-16 2019-09-03 Carbonite, Inc. Systems and methods for third-party policy-based file distribution in an aggregation of cloud storage services
US11100107B2 (en) 2016-05-16 2021-08-24 Carbonite, Inc. Systems and methods for secure file management via an aggregation of cloud storage services
CN106407045B (zh) * 2016-09-29 2019-09-24 郑州云海信息技术有限公司 一种数据灾难恢复方法、系统及服务器虚拟化系统
US11113148B2 (en) * 2019-01-25 2021-09-07 International Business Machines Corporation Methods and systems for metadata tag inheritance for data backup
US11113238B2 (en) * 2019-01-25 2021-09-07 International Business Machines Corporation Methods and systems for metadata tag inheritance between multiple storage systems
US11100048B2 (en) * 2019-01-25 2021-08-24 International Business Machines Corporation Methods and systems for metadata tag inheritance between multiple file systems within a storage system
US11093448B2 (en) * 2019-01-25 2021-08-17 International Business Machines Corporation Methods and systems for metadata tag inheritance for data tiering
US11030054B2 (en) * 2019-01-25 2021-06-08 International Business Machines Corporation Methods and systems for data backup based on data classification
US11210266B2 (en) 2019-01-25 2021-12-28 International Business Machines Corporation Methods and systems for natural language processing of metadata
US11914869B2 (en) * 2019-01-25 2024-02-27 International Business Machines Corporation Methods and systems for encryption based on intelligent data classification
US11176000B2 (en) 2019-01-25 2021-11-16 International Business Machines Corporation Methods and systems for custom metadata driven data protection and identification of data
US20210272035A1 (en) * 2020-02-28 2021-09-02 Uber Technologies, Inc. Storage location selection according to query evaluation
CN115562562A (zh) * 2021-07-01 2023-01-03 伊姆西Ip控股有限责任公司 基于客户端/服务器架构管理计算系统的方法、设备和程序产品
US20230259294A1 (en) * 2022-02-11 2023-08-17 Samsung Electronics Co., Ltd. Systems, methods, and apparatus for copy destination atomicity in devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030217077A1 (en) * 2002-05-16 2003-11-20 Schwartz Jeffrey D. Methods and apparatus for storing updatable user data using a cluster of application servers
US20050015415A1 (en) * 2003-07-14 2005-01-20 International Business Machines Corporation Method, system, and program for performing an input/output operation with respect to a logical storage device

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6732244B2 (en) 2002-01-22 2004-05-04 International Business Machines Corporation Instant virtual copy technique with expedited creation of backup dataset inventory from source dataset inventory
US7085785B2 (en) * 2002-02-15 2006-08-01 International Business Machines Corporation Writable file system snapshot with ditto address feature
US7082445B2 (en) 2002-04-01 2006-07-25 International Business Machines Corporation Fast data copy using a data copy track table
EP1579331A4 (en) 2002-10-07 2007-05-23 Commvault Systems Inc SYSTEM AND METHOD FOR MANAGING SAVED DATA
US6996682B1 (en) * 2002-12-27 2006-02-07 Storage Technology Corporation System and method for cascading data updates through a virtual copy hierarchy
US7085909B2 (en) 2003-04-29 2006-08-01 International Business Machines Corporation Method, system and computer program product for implementing copy-on-write of a file
JP4429634B2 (ja) 2003-06-02 2010-03-10 株式会社日立製作所 ストレージシステム、及びストレージシステムの制御方法
US7069402B2 (en) 2003-06-02 2006-06-27 International Business Machines Corporation Host-independent incremental backup method, apparatus, and system
US7318133B2 (en) 2003-06-03 2008-01-08 Hitachi, Ltd. Method and apparatus for replicating volumes
US7188222B2 (en) * 2003-09-29 2007-03-06 International Business Machines Corporation Method, system, and program for mirroring data among storage sites
US7440982B2 (en) * 2003-11-13 2008-10-21 Commvault Systems, Inc. System and method for stored data archive verification
US7130957B2 (en) * 2004-02-10 2006-10-31 Sun Microsystems, Inc. Storage system structure for storing relational cache metadata
US7197520B1 (en) * 2004-04-14 2007-03-27 Veritas Operating Corporation Two-tier backup mechanism
US7225307B2 (en) * 2004-05-04 2007-05-29 International Business Machines Corporation Apparatus, system, and method for synchronizing an asynchronous mirror volume using a synchronous mirror volume
US7383406B2 (en) * 2004-11-19 2008-06-03 International Business Machines Corporation Application transparent autonomic availability on a storage area network aware file system
US7987158B2 (en) * 2005-02-09 2011-07-26 International Business Machines Corporation Method, system and article of manufacture for metadata replication and restoration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030217077A1 (en) * 2002-05-16 2003-11-20 Schwartz Jeffrey D. Methods and apparatus for storing updatable user data using a cluster of application servers
US20050015415A1 (en) * 2003-07-14 2005-01-20 International Business Machines Corporation Method, system, and program for performing an input/output operation with respect to a logical storage device

Also Published As

Publication number Publication date
US20070038822A1 (en) 2007-02-15
US7870353B2 (en) 2011-01-11
TW200719147A (en) 2007-05-16
CN1916862A (zh) 2007-02-21

Similar Documents

Publication Publication Date Title
CN100461121C (zh) 把存储单元和相关元数据复制到存储器的方法和系统
EP1814033B1 (en) Storage system and data restoration method thereof
CN100470490C (zh) 用于存储卷的一致拷贝的方法、系统和制造品
US9256605B1 (en) Reading and writing to an unexposed device
CN1983153B (zh) 数据处理系统中执行远程复制的方法和存储数据的方法
JP3958757B2 (ja) カスケード式再同期を利用する障害回復システム
US6189079B1 (en) Data copy between peer-to-peer controllers
CN101578586B (zh) 在故障转移和故障回复环境中使用虚拟拷贝
CN100530124C (zh) 将应用重新定位到拓扑上位于远程计算系统的系统和方法
US7849361B2 (en) Methods and apparatus for multiple point in time data access
CN100378679C (zh) 用于存储器访问请求的重定向的方法和系统
CN103793271B (zh) 用于在镜像卷之间进行切换的方法和系统
US20030172157A1 (en) System and method for managing replication sets of data distributed over one or more computer systems
US10223007B1 (en) Predicting IO
CN101061467B (zh) 远程存储数据副本
JP2003517651A (ja) 高度利用可能ファイルサーバ
JP5102826B2 (ja) 複製およびプロビジョニング管理でのボリューム・コンテナの使用
CN101755257B (zh) 管理在不同的网络上将写入从首要存储器拷贝到次要存储器
US8626722B2 (en) Consolidating session information for a cluster of sessions in a coupled session environment
CN100552637C (zh) 在不同地点间建立数据镜像的方法和系统
US7725669B1 (en) Backup and restore operations using coherency groups for ISB protocol systems
US7584339B1 (en) Remote backup and restore operations for ISB protocol systems
CN101515296A (zh) 数据更新方法和装置
CN102782639A (zh) 使复制目标能够回收瘦供给存储系统上未使用的存储空间的系统和方法
CN106776123B (zh) 一种容灾实时数据复制方法及系统、备份客户端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090211

Termination date: 20160718

CF01 Termination of patent right due to non-payment of annual fee