CN1284192A - 应用于一维数据的电子水印 - Google Patents

Abstract

在将水印信息埋入一维数据之际,首先,利用PN序列g(t)对原声音信号s(t)进行频谱扩展而生成第一扩展声音信号x(t)。其次,对于此第一扩展声音信号列x(t)执行修正离散余弦变换。于是,调整MDCT系数的特定的频率分量的值使其与水印信息相对应。通过对此经过调整的频率分量进行逆变换而生成第二扩展声音信号x’(t),最后,利用与扩展时相同的PN序列实行逆扩展而生成埋入水印信息的电子水印一维数据。

Description

应用于一维数据的电子水印

本发明涉及电子水印，特别是涉及在声音数据等一维数据中埋入水印信息的技术以及从埋入水印信息的一维数据中抽出水印信息的技术。

作为生成数字声音数据的方法，PCM(脉冲编码调制)应用很多。在PCM中，首先将模拟声音信号抽样量化之后，通过线性脉冲编码生成数字声音数据。通常的音乐软件多是使用抽样率44.1kHz和量化宽度16比特的PCM进行数字化。如利用此方法，则由于可以很好地再现人耳可听频带的声音，所以可以在高保真的音质情况下将声音数字化。

然而，数字声音数据具有容易以完全的形式复制(即具有忠实的再现性)的特征。这种声音数据的忠实再现性使数字化的巨大优点的反面其著作权的保护的重要性变得更为严重。作为一种对策，近年来开始利用所谓的“电子水印”。电子水印是以人们感觉不到的形式将著作权信息等水印信息以电子方式埋入到声音数据中的技术。

但是，由于现有的电子水印技术会因为埋入水印信息而使噪音加大，所以存在使音乐软件的音质严重劣化而不适合高品质的数据的问题。另外，还有水印信息的隐蔽性低使第三者能够比较容易地将水印信息抽出的问题。这个问题，不限于声音数据的电子水印，也是在测量数据、数字控制数据的反馈信号等其他各种一维数据中使用电子水印的场合的共通的问题。

本发明即旨在解决现有技术中的上述问题，其目的在于提供一种可以缓和由于埋入水印信息而引起的噪音并且水印信息的隐蔽性高的技术。

为了至少解决上述课题的一部分，在本发明中在将水印信息埋入原一维数据内之际，首先，通过不规则地取具有特定绝对值的正负值的特定的正负序列和上述一维数据进行乘法运算和等价运算实行频谱扩展，由此生成第一扩展一维数据。其次，对上述第一扩展一维数据执行正交变换。于是，将通过上述正交变换获得的变换系数的特定的频率分量的值进行调整以与上述水印信息对应。另外，通过对上述经过调整的频率分量实施逆正交变换生成第二扩展一维数据。于是，通过利用上述特定的正负序列对上述第二扩展一维数据进行频谱逆扩展可生成埋入上述水印信息的电子水印一维数据。

根据上述发明，因为在埋入水印信息之前，对原一维数据实施利用特定的正负序列的频谱扩展，所以如果不知道此特定的正负序列，就很难从电子水印一维数据中抽出电子水印信息。因此，通过实施频谱扩展，可以提高水印信息的隐蔽性。另外，在本发明中，因为正交变换系数的特定频率分量的值与水印信息对应，所以可以缓和在逆正交变换的一维数据中发生的水印信息所引起的噪音。

另外，上述的特定的正负序列最好是相应于特定的频率发生键而发生。

如此就可以无须保存全部正负序列，如果保存频率发生键，就可以执行同一频谱扩展/逆扩展处理。

此外，上述正交变换是对上述第一扩展一维数据中的由2M个(M为大于2的整数)数据构成的各帧利用规定的窗函数执行变换的修正离散余弦变换，上述第一扩展一维数据也可以在上述修正离散余弦变换中被区分为多个帧从而使邻接的帧取M个数据区间互相错开的位置。

如利用这种修正离散余弦变换，由于可以将帧畸变抑制为最小，所以可以进一步减轻噪音的发生。

另外，与上述水印信息相对应的上述特定的频率分量最好是大致与M/2相当的频率分量。

如此将可以使噪音的发生进一步减轻。

另外，在特定的频率分量中埋入水印信息也可以按如下方式实行：以规定的整数kd使上述特定的频率分量量化而生成第一量化值，通过调整上述第一量化值的最低位与上述水印信息的比特值相对应而生成第二量化值，并通过使上述第二量化值与上述规定的整数kd相乘而生成上述经过调整的频率分量。

如加大整数kd的值，则存在即使在电子水印一维数据产生某种程度的比特错误正确抽出水印信息的可能性也很高的优点。

另一方面，在本发明中，在从埋入水印信息的电子水印一维数据中抽出上述水印信息之际，首先，通过不规则地取具有特定绝对值的正负值的特定的正负序列和上述一维数据进行乘法运算和等价运算实行频谱扩展，由此生成第一扩展一维数据。其次，对上述第一扩展一维数据执行正交变换。于是，从通过正交变换获得的变换系数的特定的频率分量的值中抽出与上述特定的频率分量的值相对应的上述水印信息。

这样一来就可以从一维数据中抽出通过上述埋入处理而埋入的水印信息。

另外，作为本发明的实施形态存在以下各种形态。

(a)将水印信息埋入原一维数据中的方法。

(b)将水印信息埋入原一维数据中的装置。

(c)记录用来将水印信息埋入原一维数据中的计算机程序的记录媒体。

(d)记录埋入水印信息的电子水印一维数据的记录媒体。

(e)从电子水印一维数据中抽出水印信息的方法。

(f)从电子水印一维数据中抽出水印信息的装置。

(g)记录用来将水印信息从一维数据中抽出的计算机程序的记录媒体。

图1为示出作为本发明的第一实施例的电子水印处理装置的结构框图、

图2为示出电子水印埋入单元42的功能的框图、

图3为示出水印信息埋入处理步骤的流程图、

图4为示出频谱扩展原理的说明图、

图5为示出使用修正离散余弦变换的帧和窗函数w(n)的关系的说明图、

图6为示出步骤S3～S5的处理内容的说明图、

图7为示出电子水印抽出单元44的功能的框图、

图8为示出水印信息抽出处理步骤的流程图、

图9为示出由水印信息引起的噪音的影响的说明图、

图10为示出频率键kf的值和信号对量化噪音比SNRseg的关系的曲线图、

图11为示出频率键kf的值和信号对量化噪音比SNRseg的关系的曲线图、

图12为示出频率键kf的值和信号对量化噪音比SNRseg的关系的曲线图、

图13为示出利用与埋入时不同的PN序列生成键ks尝试检出水印信息的场合的检出率的曲线图、

图14为示出在使标度键kd变化的场合音质的变化的曲线图、

图15为示出没有埋入水印信息的重放声音波形、埋入水印信息的重放声音波形及其差分波形的曲线图。

本发明的优选实施形态

A．装置的整体结构

下面根据实施例对本发明的实施形态予以说明。图1为示出作为本发明的第一实施例的电子水印处理装置的结构框图。此电子水印处理装置是一台包括CPU 22、包含ROM及RAM的主存储器24、帧存储器26、键盘30、鼠标32、显示装置34、硬盘36、调制解调器38以及连接这些各个部件的总线40的计算机。另外，在图1中省略了各种接口电路。调制解调器38通过图中未示出的通信线路连接到计算机网络。计算机网络的服务器(图中未示出)具有通过通信线路向图像处理装置提供计算机程序的程序提供装置的功能。

在主存储器24中存放分别实现电子水印埋入单元42和电子水印抽出单元44的功能的计算机程序。关于这些单元42、44的功能见后述。

实现这些单元42、44的功能的计算机程序以记录于软盘及CD-ROM等计算机可读记录媒体上的形态提供。计算机从该记录媒体读取计算机程序并传送到内部存储装置或外部存储装置。或者也可以通过通信线路向计算机通过计算机程序。在实现计算机程序的功能时，存放于内部存储装置中的计算机程序由计算机的微处理器执行。另外，也可以由计算机读取记录于记录媒体上的计算机程序并直接执行。

在此说明书中，所谓计算机的是包含硬件装置和操作系统的概念，意味着在操作系统控制下工作的硬件装置。另外，在不需要操作系统、应用软件单独使硬件装置工作的场合，概硬件装置本身相当于计算机。硬件装置至少具备CPU等微处理器及读取记录于记录媒体上的计算机程序的手段。计算机程序在这种计算机中包含实现上述各手段的功能的程序代码。此外，上述功能的一部分也可以不由应用程序实现而由操作系统实现。

此外，作为本发明中的“记录媒体”可利用软盘及CD-ROM、磁光盘、IC卡、盒式ROM卡、穿孔卡、印刷有条码等符号的印刷品、计算机的内部存储装置(RAM及ROM等存储器)等计算机可读的各种媒体。

B．水印信息的埋入处理

图2为示出电子水印埋入单元42的功能的框图。电子水印埋入单元42包含第一PN序列生成单元52、第一乘法器54、帧抽出单元56、MDCT单元(修正离散余弦变换单元)58、埋入单元60、IMDCT单元(修正离散逆余弦变换单元)62、帧重放单元64、第二乘法器66以及第二PN序列生成单元68的功能。

此外，第一PN序列生成单元52和第一乘法器54相当于进行频谱扩展的频谱扩展单元。另外，帧抽出单元56和MDCT单元58相当于进行正交变换的正交变换单元，IMDCT单元62和帧重放单元64相当于进行逆正交变换的逆变换单元。并且，第二乘法器66和第二PN序列生成单元68相当于进行频谱逆扩展的逆扩展单元。

PN序列生成单元52，68生成可随机取+1和-1的值的2值PN序列(正负序列)g(t)。PN序列g(t)的随机模式根据由PN序列生成单元52，68输入的PN序列生成键ks(ks为整数)的值决定。即，假如PN序列生成键ks的值相同，则两个PN序列生成单元52，68将生成具有同样模式的PN序列g(t)。作为PN序列生成单元52，68，比如，可利用C语言的标准伪随机数生成函数，此时，PN序列生成键ks作为随机数生成的种子输入到函数内。另外，在所生成的随机数的最低位的比特值为1时，其比特值“1”按原样作为PN序列g(t)输出，另一方面，在所生成的随机数的最低位的比特值为0时，将-1作为PN序列g(t)输出。这样一来，就可以生成随机取+1和-1值的2值PN序列g(t)。

使用PN序列生成键ks的理由如下。即，在频谱扩展中所使用的PN序列一般具有庞大的数量。然而，因为要抽出水印信息与此PN序列相同的序列是必需的，所以就必须将PN序列整体完全保持(保存)。于是，在本实施例中，利用伪随机数生成器(比如作为C语言标准函数的伪随机数生成函数)，通过对其设定随机数键ks生成随机数，就可以不必保持庞大数量的PN序列整体而生成同一PN序列。

图3为示出水印信息埋入处理步骤的流程图。在步骤S1中，第一乘法器54通过将原声音信号s(t)与PN序列g(t)相乘而生成第一扩展声音信号x(t)。此运算以下式表示。

    x(t)=s(t)·g(t)                  (1)

在式(1)中所表示的运算相当于通常称为频谱扩展的直接扩展方式的处理。图4为示出频谱扩展原理的说明图。图4(a)示出原声音信号s(t)，图4(b)示出PN序列g(t)，而图4(c)示出第一扩展声音信号x(t)。原声音信号s(t)，比如，是将模拟声音信号以抽样率44.1kHz和量化宽度16比特进行数字化而得到数字声音信号。在本实施例中所使用的PN序列g(t)(图4(b))是以和原声音信号s(t)的抽样频率相等的频率改变的信号。所以，通过对这些信号s(t)，g(t)相乘而得到的第一扩展声音信号x(t)(图4(c))具有与原声音信号s(t)相等的频率，一部分的信号值的符号是由原声音信号s(t)反转的信号。此外，如图4(d)所示，如对同一PN序列g(t)再次以第一扩展声音信号x(t)相乘，就可以再现原声音信号s(t)。其理由是因为PN序列g(t)是取+1和-1的2值信号，同一PN序列g(t)的平方值g²(t)等于1之故。这样，就将PN序列g(t)的自乘处理称为“逆扩展”。

然而，频谱扩展主要是在通信领域利用的技术。但是，在通信领域中，作为原声音信号s(t)使用的是数字调制的调制信号。另外，因为作为PN序列g(t)使用的是原声音信号s(t)频率的数十倍以上的高频的序列，所以扩展信号x(t)的频谱分布与原信号s(t)相比扩展为数十倍以上。发送器发送扩展信号x(t)，接收器，如图4(d)所示，通过将所接收的扩展信号x(t)与同一PN信号g(t)相乘而重放原信号s(t)。因为在通信通路中混入的干扰波及干涉波的频谱分布通过逆扩展将扩展为数十倍，所以频谱扩展通信可提高对干扰波及干涉波的排除能力。

在本实施例中，因为PN序列g(t)以与原声音信号s(t)的抽样频率相等的频率变化，在严格意义上频谱分布未扩展。然而，在本说明书中“频谱扩展”这一用语是用于较之通常更广的意义，即使在PN序列g(t)以与原声音信号s(t)抽样频率相等的频率变化的场合，也称为“频谱扩展”。此外，在利用本发明的处理中，也可以设定将PN序列g(t)的频率设定为原声音信号s(t)的抽样频率的整数倍。

图4(a)～(d)中所示的频谱扩展及逆扩展可考虑为将PN序列g(t)用作键对原声音信号s(t)进行加密及解密之方式。所以，通过频谱扩展，可提高埋入声音信号中的水印信息的隐蔽性。对于这一点下面还将叙述。

在图3的步骤S3中，帧抽出单元56抽出第一扩展声音信号x(t)中的第i个(初始值i=1)帧，MDCT单元58对该帧执行修正离散余弦变换。此处所谓的“帧”的意思指的是作为修正离散余弦变换的对象的信号区间，在本实施例中1帧中包含2M(M是大于2的整数)个信号值。第i个帧的MDCT系数Xi(k)由下面的式(2)给出。 $X_i\left(k\right)=\frac{2}{M}\underset{n-0}{\overset{2M-1}{\mathrm{\Σ}}}w\left(n\right)c(k,n)x(n+\mathrm{iM})---\left(2\right)$ 0≤k≤M-1,0≤n≤2M-1

其中k是表示频率的整数。另外，式(2)右边的窗函数w(n)和MDCT基底c(k，n)分别以式(3)与式(4)表示。 $w\left(n\right)=\sin \left(\frac{\mathrm{\π}(2n+1)}{4M}\right),0\≤n\≤2M-1---\left(3\right)$ $c(k,n)=\cos \left(\frac{\mathrm{\π}(2k+1)(2n+M+1)}{4M}\right)---\left(4\right)$ 0≤k≤M-1,0≤n≤2M-1

解式(2)可得出，各帧的2M个信号值x(n+im)变换为M个变换系数Xi(k)(k=0～(M-1))。并且，将k=0的变换系数Xi(0)称为直流分量，其以外的变换系数Xi(k)(k≠0)称为交流分量。

图5为示出使用修正离散余弦变换的帧和窗函数w(n)的关系的说明图。在图5中示出邻接的2帧的位置关系和应用于各帧的窗函数w(n)的形状。这样，因为各帧设定在与M个信号值x(t)相当的区间每一个顺次错开的位置，所以在邻接的2个帧中包含共通的M个的信号值x(t)。于是，在1帧中包含的实际信号值的个数为M。

窗函数w(n)是在各帧中央具有峰值的正弦函数。此外，作为窗函数w(n)，也可使用正弦函数以外的函数，一般可以使用修正离散余弦变换及其逆变换可以可逆进行的任意函数。

此外，代替修正离散余弦变换，可利用其他各种正交变换(离散余弦变换(DCT)、离散傅里叶变换(DFT)、哈达玛变换等)。在其他正交变换中，帧(也称为“块”)的设定互相不重复。另一方面，在修正离散余弦变换中，因为帧的设定使邻接的帧部分地重复，所以具有可使频率分离度提高，并且可降低帧偏移(块偏移)的优点。因此，如利用修正离散余弦变换，则与利用其他正交变换的场合相比较，可降低由于埋入水印信息而引起的音质劣化。

在图3的步骤S3～S6中，利用埋入单元60，在变换系数的特定的频率分量内埋入水印信息。水印信息由多个比特构成，下面将水印信息的各比特称为“水印信息比特bi”。在埋入水印比特bi之际使用频率键kf和标度键kd。频率键kf是表示在一个帧内的M个MDCT系数Xi(k)(k=0～(M-1))中，埋入水印比特bi的特定频率分量Xi(kf)的频率的整数。作为频率键kf，预先从0～M范围中选择优选的整数值。另外，标度键kd是在MDCT系数Xi(kf)进行量化之际的量化幅度，可设定为0以外的任意的正整数。对频率键kf和标度键kd的优选值见后述。

在步骤S3中，如下式(5)所示，将以频率键kf确定的频率分量Xi(kf)除以标度键kd，通过舍去小数点以下的部分求出整数值ei(称为“量化值”)。e_i←[X_i(k_f)/k_d]    (5)

在步骤S4中，判断量化值ei和埋入比特bi是否满足下面两个中的任何一个。

[条件1]ei为奇数且bi=0，

[条件2]ei为偶数且bi=1。

在条件1，2的任何一方成立的场合，如下式(6)所示，将MDCT系数Xi(kf)除以标度键kd并将小数点以下的部分四舍五入而得到的值采用作为量化值ei(步骤S5)。 $e_i\←|X_i\left(k_f\right)/k_d|------------\left(6\right)$

另一方面，在上述条件1，2的任何一方都不成立的场合，则按原样采用在步骤S3中所得到的量化值ei。结果，如水印比特bi为0，则设定量化值ei为偶数(最低位比特为0)，如水印比特bi为1，则设定量化值ei为奇数(最低位比特为1)。即，在步骤S3～S5的处理中，以MDCT系数Xi(kf)的量化值ei与水印比特bi相对应的方式调整量化值ei，结果在量化值ei中埋入水印比特bi。

此外，在将MDCT系数Xi(kf)除以标度键kd的值Xi(kf)/kd不包含小数而是整数的场合，在步骤S5中，即使在步骤S5中四舍五入量化值ei与步骤S3的值也没有区别。所以，作为在步骤S5中的处理，代替四舍五入也可采用将在步骤S3中所得到的量化值ei加1或减1的运算。

图6为示出步骤S3～S5的处理内容的说明图。如图6的右侧所示，与覆盖标度键kd范围的MDCT系数Xi(kf)对应的量化值ei，如水印比特bi为0，则通过四舍五入得出，另一方面，如水印比特bi为1，则通过截断得出。此外，在图6的左侧“取整范围”，为比较起见，示出通过四舍五入量化值ei变为奇数的范围。

在图3的步骤S6中，如下式(7)所示，通过将埋入量化值ei乘以标度键kd对水印比特bi进行逆量化，生成埋入水印比特bi的MDCT系数Xi′(kf)。 ${X\′}_i\left(k_f\right)\←e_i\·k_d-------------\left(7\right)$

此外，在上述步骤S3的处理对应于将变换系数的特定频率分量Xi(kf)以标度键kd进行量化而作成的量化单元的功能。另外，步骤S4，S5的处理对应于将量化值ei的最低位比特与水印比特bi相对应地进行调整的比特调整单元的功能。此外，在步骤S6的处理对应于将埋入水印比特的量化值ei乘以标度键kd进行逆量化的逆量化单元的功能。

在步骤S7中，IMDCT单元62(图2)对包含埋入水印比特bi的频率分量Xi′(kf)的1帧的MDCT系数Xi′(kf)(k=0～(M-1))执行修正离散余弦变换。此外，包含埋入水印比特bi的频率分量Xi′(kf)以外的MDCT系数Xi′(kf)(k≠kf)的值与在步骤S2中所得到的MDCT系数Xi(k)相同。修正离散余弦逆变换以下式(8)表示。 $x_i^{\′}\left(n\right)=w\left(n\right)\underset{k=0}{\overset{M-1}{\mathrm{\Σ}}}c(k,n)X_i^{\′}\left(k\right)---\left(8\right)$ 0≤k≤M-1,0≤n≤2M-1

此外，在逆变换中所使用的窗函数w(n)和基底c(k，n)与顺变换中的相同。

在步骤S7中，还有，帧重放单元64按照下面的式(9)生成第二扩展声音信号x′i(t)。

x′(i)=x′(n+iM)=x′_i-1(n+M)+x′_i(n)    (9)

0≤n≤M-1

其中x′_i-1(n+M)是第(i-1)个帧的逆变换信号，x′_i(n)是第i个帧的逆变换信号，x′_i-1(n+M)和x′_i(n)是互相重复的区间(图5)的信号。

在步骤S8中判断在整个帧中埋入水印信息是否结束，如未结束，就在步骤S9中令i加1而返回步骤S2。另一方面，如整个帧中埋入水印信息已经结束，就从步骤S8转向步骤S10，第二乘法器66通过将第二扩展声音信号x′i(t)乘以PN序列g(t)执行频谱逆扩展。结果可得到埋入水印信息的声音信号s′(t)。以下称此声音信号s′(t)为“电子水印声音信号”。

在本实施例中，在1帧的电子水印声音信号s′(t)中埋入1比特的水印信息，并且，1帧实质上是由M个信号值构成。因此，水印信息的埋入比率Br由式(10)给出。 $B_r=\frac{f_s}{M}\[\mathrm{bit}/s\]----------\left(10\right)$

其中fs为原声音信号s(t)的抽样频率。

此外，在水印信息是由N比特构成的场合，可在N帧的声音信号区间中埋入一个水印信息。因此，N比特的水印信息是在N帧中每一个反复埋入。

如此获得的电子水印声音信号s′(t)可以各种形态配置。比如，可以通过通信线路传送电子水印声音信号s′(t)。另外，也可以以CD-ROM及DVD等音乐专用的记录媒体以及计算机可读记录媒体等存放的形式配置。此时，对电子水印声音信号s′(t)也可以进行调制及压缩。特别是在电子水印声音信号s′(t)是存放于计算机可读记录媒体上的场合，可以从该媒体读出电子水印声音信号s′(t)并抽出水印信息。

此外，如上所述，因为水印信息是在埋入MDCT系数中之后进行逆正交变换，所以与过去相比可将由水印信息引起的音质劣化抑制到很低。水印信息的埋入和音质劣化的关系在下面还将叙述。

C．水印信息的抽出处理

图7为示出电子水印抽出单元44(图1)的功能的框图。电子水印抽出单元44具有PN序列生成单元72、乘法器74、帧抽出单元76、MDCT单元78及的功能。PN序列生成单元72与图2所示的PN序列生成单元52，68相同，根据PN序列生成键ks的值生成特定的PN序列g(t)。另外，乘法器74、帧抽出单元76以及MDCT单元78也分别具有与图2所示的第一乘法器54、帧抽出单元56以及MDCT单元58相同的结构与功能。

图8为示出水印信息抽出处理步骤的流程图。在步骤11中，乘法器74利用和埋入时同一PN序列g(t)通过对电子水印声音信号s′(t)进行频谱扩展而生成扩展声音信号x′(t)。这一处理以下式(11)表示。s′(t)·g(t)=x′(t)·g²(t)                           (11)

        =x′(t)

其中，PN序列g(t)利用了具有g²(t)=1的性质(参考图4(d))。

在步骤S12中，帧抽出单元76从扩展声音信号x′(t)中抽出第i个(初始值i=1)的帧，MDCT单元78对该帧执行修正离散余弦变换。在步骤13中，解码器单元80从一个帧的MDCT系数X′i(k)中以在埋入时所使用的频率键kf抽出特定的频率分量X′i(kf)，并且按照下式(12)求出将该频率分量X′i(kf)以标度键kd量化的量化值e′i。

e′_i←Round(X′_i(k_f)/k_d)           (12)

其中算子Round()表示通过四舍五入取得整数值。

此外，因为修正离散余弦变换是可逆变换，式(12)的右边括号内的值“X′_i(k_f)/k_d”通常是整数，不需要进行求整运算。但是，在由于第三者进行错误波形处理场合等那样由于某种原因发生比特错误的场合，会出现以标度键kd相除的值“X′i(kf)/kd”不是正确的整数值。在此场合也可以如式(10)那样通过将“X′i(kf)/kd”四舍五入改正由于声音信号s′(t)的变形而产生的水印信息抽出的错误。即，通过四舍五入可提高水印信息的抗错性。这种抗错性在标度键kd越大时越大。比如，如将标度键kd设定为一个大值，则即使电子水印声音信号s′(t)受到某种程度的大变形，也可以正确地抽出水印信息。另一方面，如后面所详述，标度键kd越大，音质劣化的增大倾向也越大。即，如标度键kd值较小，由于电子水印声音信号s′(t)的变形引起的水印信息的消失的可能性高，而音质劣化则较小。

在图8的步骤S14中，解码器单元80根据量化值e′i的值复原水印比特b0i。即，在量化值e′i为偶数的场合判断水印比特b0i为0，在量化值e′i为奇数的场合判断水印比特b0i为1 。在步骤S15中判断从整个帧中抽出水印信息是否结束，如未结束，在步骤S16中将参数i增加1返回步骤12。另一方面，如从整个帧中抽出水印信息已经结束，则处理结束。结果抽出由多个比特构成的水印信息。此外，在一次将由多个比特构成的正确的水印信息抽出时，图8的处理也可立即结束。

此外，在水印信息抽出处理中所使用的PN序列与埋入处理所使用的PN序列不同的场合，从电子水印抽出单元44的乘法器74输出的信号，会成为与在电子水印埋入单元42中埋入水印信息的扩展声音信号x′(t)不同的信号。因此，在此场合，不能复原正确的水印信息。即，在本实施例中，由于利用了频谱扩展，水印信息的隐蔽性提高。特别是，在本实施例中，为了使水印信息的埋入对音质的影响小，是在特定频率的变换系数中实施埋入，所以在不采用频谱扩展的场合，第三者可以比较容易地抽出水印信息。另一方面，如实行利用PN序列的频谱扩展，因为可使用该PN序列作为一种加密/解密键，所以具有在声音数据等一维数据中埋入的水印信息的隐蔽性可以提高的优点。

D．埋入频率的最优化

下面研究由于水印信息的埋入对音质产生的影响。首先，由于在MDCT系数中埋入水印信息而产生的量化误差δi(k)由下式(13)定义。

δ_i(k)=X′_i(k)-X_i(k)                    (13)

其中Xi(k)是埋入前的系数值，X′i(k)是埋入后的系数值。在上述实施例中，因为是以频率键kf在特定的频率分量中进行埋入，所以在k=kf以外的频率分量的量化误差δi(k)为零。 ${\mathrm{\δ}}_i\left(k\right)={\{}_{0k\≠k_f}^{{\mathrm{\δ}}_i\left(k_f\right)k=k_f}---\left(14\right)$

但是，量化误差δi(kf)的值不依赖频率键kf的值，其绝对值|δi(kf)|在标度键kd以下。

在各帧中的声音信号xi(n)中产生的埋入影响Di(n)，从上述式(8)(逆变换公式)及式(14)出发，可由下式(15)给出。

D_i(n)=w(n)c(k_f，n)δ_i(k_f)            (15)

0≤n≤2M-1

所以，水印信息的埋入对声音信号的影响(即噪音分量)D(n)可以由下式(16)给出。

D(n)=D_i-1(n+M)+D_i(n)                          (16)

0≤n≤M-1

另外，在数字声音信号值中产生的误差，如下式(17)所示，由D(n)的整数化的值给出。 $\widehat{D\left(n\right)=\mathrm{Round}\left(D\left(n\right)\right)---\left(17\right)}$ 0≤n≤M-1

然而，在MDCT系数的特定的频率分量Xi(kf)中埋入水印信息，如图9所示，与给予窄带噪音干涉δi(kf)等价。因此，由水印信息引起的噪音的带宽在声音复原时扩大M倍(M为1帧中所包含的信号值的实质个数)，其结果可以认为水印信息的噪音功率很小。

但是，一般作为对音质的客观评价尺度所使用的基本尺度是信号对噪音的比SNR。SNR(dB)的评价公式系利用输入声音信号So(m)和其量化误差Er(m)以下式(18)定义。 $\mathrm{SNR}={10\log }_{10}\{\underset{m}{\mathrm{\Σ}}{\mathrm{So}}^2\left(m\right)/\underset{m}{\mathrm{\Σ}}{\mathrm{Er}}^2\left(m\right)\}------\left(18\right)$

在本实施例中，使用对SNR进行改进提高与主观评价的对应关系SNRseg(分段SNR)。SNRseg由下式919)给出。 ${\mathrm{SNR}}_{\mathrm{seg}}=\frac{1}{N_f}\underset{f=1}{\overset{\mathrm{Nf}}{\mathrm{\Σ}}}{\mathrm{SNR}}_f\[\mathrm{dB}\]--------\left(19\right)$

其中Nf是测定区间的帧数，SNRf是第f帧的SNR。在以下示出的测定例中，1帧的长度为32ms。另外，无误差的声音帧，即SNRf=∞声音帧测定时除外。

图10为示出实际上利用数字声音信号求出的频率键kf的值和信号对量化噪音比SNRseg的关系结果曲线图。其中假设在1帧中包含的信号值的实质的个数M(即1帧的变换系数的数)为256。另外，标度键kd和PN序列生成键ks(图2)都设定为1。从图10的结果可知，kf=127或128时的波形畸变与其他场合相比非常小。其理由可以认为，如上述式(15)、(17)所示，由于频率键kf的差异所引起的对噪音分量Di(m)的影响的在于MDCT基底c(k，n)和数字化的取整处理的缘故。这样，在1帧中所包含的实质的信号值的个数M为256的场合，如频率键kf的值为127或128，就可以将音质劣化抑制为最小限度。一般最好是将频率键kf的值设定为等于声音信号值的实质的个数M的大约1/2的值。

此外，在1帧中也可以埋入多个水印比特。比如，可以在kf=127及kf=128两个频率分量中埋入水印比特。这样，在本说明书中所谓的“在特定的频率分量中埋入”也包含了在1帧中埋入多个水印比特的场合。但是，在1帧中埋入的水印信息的比特数越增加，音质的劣化倾向越厉害。

E．实验结果

在音质的好坏中存在价值的音乐软件中埋入水印信息的场合，重要的是在埋入不能引起音质劣化。于是，实际上对于在高品质的音乐数据中埋入水印信息对音质的影响进行了调研。在此实验中，采用了将古典音乐、爵士乐和舞曲3种音乐以抽样频率44.1kHz和量化宽度16比特进行量化的原声音信号s(t)。不过，虽然音乐软件通常是立体声的，但只在一侧分量中进行了埋入。

在此实验中，因为设定M=256，所以水印信息的埋入量Br由上式(10)得出大约为172比特/秒。对实施了这一埋入的重放声音信号和未实施埋入的重放声音信号的音质进行了比较研究。

图11示出的是标度键kd固定，频率键kf变化时对古典音乐实施埋入的场合SNRseg的的曲线图。其中kd=12，ks=1(ks为PN序列生成键)。在图11中在频率键kf的值在128附近时得到最高音质。图12示出的是通过设定PN序列生成键ks的值为2而生成具有与图11不同的变化模式的PN序列，并且标度键kd设定为与图11同一值的场合的结果。在图12中，与图10及图11一样，在频率键kf的值在128附近时可得到最高音质。

图13为示出利用与埋入时不同的PN序列生成键ks尝试检出水印信息的场合的检出率的曲线图。其中设水印信息埋入时的标度键kd为2，频率键kf为128，PN序列生成键ks为128。从图13的结果可知，如利用由正确的PN序列生成键ks(=128)生成的PN序列解密，检出率为1，水印信息可完全解密，在PN序列生成键ks为其他值时检出率为0.5。在检出率为0.5时，因为0和1的比特随机出现，无法正确检出水印信息。这样，根据本实施例的电子水印技术，埋入所使用的PN序列g(t)具有作为加密键的功能，可确保相对水印信息的高隐蔽性。然而，在偶然使用与埋入所使用的PN序列g(t)相关性高的PN序列的场合，考虑到也可能非法发现水印信息。所以，作为PN序列g(t)，最好是使用不容易生成相关性高的序列的那种。从这个意义上考虑，最好是不要使用像C语言标准函数这样的一般容易得到的PN序列生成单元，最好是使用一般不容易得到的PN序列生成单元。

图14示出的是在频率键kf为128定值，而标度键kd变化的场合音质的变化的曲线图。从图14可知，如加大标度键kd，表示复原声音的音质的SNRseg降低。为了保持高音质，标度键kd最好是1～3大小的比较小的值。另一方面，为了从电子水印声音信号中可靠地检出水印信息，标度键kd的值最好是尽量地大。此外，在不使音乐软件失掉商品价值(即不使音质过度劣化)的情况下进行数字复制的场合，即使标度键kd的值很小，也可能取出正确的水印信息。另一方面，在想要从音质劣化(有损压缩)的声音信号中取出水印信息的场合最好是也将标度键kd设定为大值。

图15为示出没有埋入水印信息的重放声音波形、埋入水印信息的重放声音波形及其差分波形的曲线图。这些波形是爵士乐中与钢琴演奏者相当的部分。从图15(c)示出的差分波形可以看出图15(a)和(b)的波形几乎没有差异。

这样，根据上述实施例，可以做到在不损害音乐软件的音质的情况下埋入可保持高隐蔽性的水印信息。另外，在上述实施例中，因为是在将原声音信号经MDCT变换而得到的变换系数的特定频率分量中埋入水印信息，所以不论原声音信号s(t)的抽样频率是任何值，水印信息的埋入和抽出都可能。换言之，上述实施例中的电子水印技术既可应用于高音质的声音数据，也可应用于低音质的声音数据。

此外，本发明并不限于上述实施例及实施形态，在不脱离其要旨的范围内其实施可以有各种变形，比如可以有如下的变形。

(1)在上述实施例中，利用硬件实现的结构的一部分也可用软件置换，反之，利用软件实现的结构的一部分也可用硬件置换。比如，图2所示的电子水印埋入单元42的结构及图7所示的电子水印抽出单元44可以由硬件电路实现。

(2)在上述实施例中，作为PN序列g(t)使用的是随机取+1和-1两个值的序列，但也可以使用1以外的整数值p作为PN序列g(t)的绝对值。即，一般可以使用具有特定的绝对值p的不规则地取正负值的正负序列。但是，在此场合，通过将图2的第二乘法器66的输出x′(t)·g(t)除以整数值p的平方可生成电子水印声音信号s′(t)。

(3)作为频谱扩展的运算可以使用与PN序列(正负序列)乘以原声音信号的运算等价的各种运算。比如，也可以通过使用随机地取0值和1值的二值序列的逻辑运算实现频谱扩展。在此场合，设置输入原声音信号的各个比特的多个EXOR(“异”)电路，通过向这些多个EXOR电路共通输入2值序列就可以实现与PN序列同原声音信号的乘法运算等价的运算。即，因为在将2值序列的0值输入到多个EXOR电路的场合，原声音信号将按原样输出，所以就可以实现与原声音信号乘以+1的运算等价的运算。另一方面，因为在将2值序列的1值输入到多个EXOR电路的场合，原声音信号的各比特将反转输出，所以就可以实现与原声音信号乘以-1的运算等价的运算。另外，对于经过频谱扩展的扩展声音信号，利用同一个2值序列再一次利用EXOR进行处理时就可以实现原声音信号的重放。

本发明可应用于声音数据、测量数据、数字控制的反馈信号等各种一维数据中实行电子水印的装置及方法。

Claims (16)

1．一种电子水印埋入方法，作为将水印信息埋入原一维数据的方法，其特征在于其构成包括：

(a)通过不规则地取具有特定绝对值的正负值的特定的正负序列和上述一维数据进行乘法运算和等价运算实行频谱扩展，由此生成第一扩展一维数据的步骤，

(b)对上述第一扩展一维数据执行正交变换的步骤，

(c)将通过上述正交变换获得的变换系数的特定的频率分量的值进行调整以与上述水印信息对应的步骤，

(d)通过对上述经过调整的频率分量实施逆正交变换生成第二扩展一维数据的步骤，以及

(e)通过利用上述特定的正负序列对上述第二扩展一维数据进行频谱逆扩展生成埋入上述水印信息的电子水印一维数据的步骤。

2．如权利要求1所述的电子水印埋入方法，其特征在于上述步骤(a)及步骤(b)包含根据特定的频率生成键分别生成上述特定的正负序列的步骤。

3．如权利要求1或2所述的电子水印埋入方法，其特征在于：

上述正交变换是对上述第一扩展一维数据中的由2M个(M为大于2的整数)数据构成的各帧利用规定的窗函数执行变换的修正离散余弦变换，

上述第一扩展一维数据在上述修正离散余弦变换中区分为多个帧从而使邻接的帧取相互错开M个数据区间的位置。

4．如权利要求3所述的电子水印埋入方法，其特征在于与上述水印信息相对应的上述特定的频率分量是大致与M/2相当的频率分量。

5．如权利要求1至4中任何一项所述的电子水印埋入方法，其特征在于上述步骤(c)包括：

(ⅰ)以规定的整数kd使上述特定的频率分量量化而生成第一量化值的步骤，

(ⅱ)通过调整上述第一量化值的最低位比特与上述水印信息的比特值相对应而生成第二量化值的步骤，以及

(ⅲ)通过使上述第二量化值与上述规定的整数kd相乘而生成上述经过调整的频率分量的步骤。

6．一种将水印信息埋入原一维数据的装置，其特征在于其构成包括：

通过不规则地取具有特定绝对值的正负值的特定的正负序列和上述一维数据进行乘法运算和等价运算实行频谱扩展，由此生成第一扩展一维数据的频谱扩展单元，

对上述第一扩展一维数据执行正交变换的正交变换单元，

将通过上述正交变换获得的变换系数的特定的频率分量的值进行调整以与上述水印信息对应的埋入单元，

通过对上述经过调整的频率分量实施逆正交变换生成第二扩展一维数据的逆变换单元，以及

通过利用上述特定的正负序列对上述第二扩展一维数据进行频谱逆扩展而生成埋入上述水印信息的电子水印一维数据的逆扩展单元。

7．如权利要求6所述的电子水印埋入装置，其特征在于上述频谱扩展单元包含根据特定的频率生成键生成上述特定的正负序列的正负序列生成单元。

8．如权利要求6或7所述的电子水印埋入装置，其特征在于：

上述正交变换是对上述第一扩展一维数据中的由2M个(M为大于2的整数)数据构成的各帧利用规定的窗函数执行变换的修正离散余弦变换，

上述第一扩展一维数据在上述修正离散余弦变换中区分为多个帧从而使邻接的帧取互相错开M个数据区间的位置。

9．如权利要求8所述的电子水印埋入装置，其特征在于与上述水印信息相对应的上述特定的频率分量是大致与M/2相当的频率分量的电子水印埋入装置。

10．如权利要求6至9中任何一项所述的电子水印埋入方法，其特征在于上述埋入单元包括：

以规定的整数kd使上述特定的频率分量量化而生成第一量化值的量化单元，

通过调整上述第一量化值的最低位比特与上述水印信息的比特值相对应而生成第二量化值的比特调整单元，以及

通过使上述第二量化值与上述规定的整数kd相乘而生成上述经过调整的频率分量的逆量化单元。

11．一种记录用来将水印信息埋入原一维数据的计算机程序的计算机可读的记录媒体，其特征在于所记录的计算机程序的由计算机实现的功能包括：

通过不规则地取具有特定绝对值的正负值的特定的正负序列和上述一维数据进行乘法运算和等价运算实行频谱扩展，由此生成第一扩展一维数据的频谱扩展功能，

对上述第一扩展一维数据执行正交变换的正交变换功能，

将通过上述正交变换获得的变换系数的特定的频率分量的值进行调整以与上述水印信息对应的埋入功能，

通过对上述经过调整的频率分量实施逆正交变换生成第二扩展一维数据的逆变换功能，以及

通过利用上述特定的正负序列对上述第二扩展一维数据进行频谱逆扩展而生成埋入上述水印信息的电子水印一维数据的逆扩展功能。

12．一种记录埋入电子水印信息的一维数据的计算机可读的记录媒体，其特征在于生成上述水印信息包括：

通过不规则地取具有特定绝对值的正负值的特定的正负序列和上述一维数据进行乘法运算和等价运算实行频谱扩展，由此生成第一扩展一维数据，

对上述第一扩展一维数据执行正交变换的正交变换，

将通过上述正交变换获得的变换系数的特定的频率分量的值进行调整以与上述水印信息对应，

通过对上述经过调整的频率分量实施逆正交变换生成第二扩展一维数据，以及

通过利用上述特定的正负序列对上述第二扩展一维数据进行频谱逆扩展而生成埋入上述水印信息的电子水印一维数据。

13．一种电子水印抽出方法，作为从埋入电子水印信息的一维数据中抽出上述水印信息的方法包括：

(a)通过不规则地取具有特定绝对值的正负值的特定的正负序列和上述一维数据进行乘法运算和等价运算实行频谱扩展，由此生成第一扩展一维数据的步骤，

(b)对上述第一扩展一维数据执行正交变换的步骤，以及

(c)从经过上述正交变换获得的变换系数的特定的频率分量的值中抽出与上述特定的频率分量的值相对应的上述水印信息的步骤。

14．一种电子水印抽出装置，作为从埋入电子水印信息的一维数据中抽出上述水印信息的装置包括：

通过不规则地取具有特定绝对值的正负值的特定的正负序列和上述一维数据进行乘法运算和等价运算实行频谱扩展，由此生成第一扩展一维数据的频谱扩展单元，

对上述第一扩展一维数据执行正交变换的正交变换单元，以及

从经过上述正交变换获得的变换系数的特定的频率分量的值中抽出与上述特定的频率分量的值相对应的上述水印信息的解码单元。

15．一种记录用来从埋入水印信息的电子水印一维数据中抽出上述水印信息的计算机程序的计算机可读的记录媒体，其特征在于所记录的计算机程序的由计算机实现的功能包括：

通过不规则地取具有特定绝对值的正负值的特定的正负序列和上述一维数据进行乘法运算和等价运算实行频谱扩展，由此生成第一扩展一维数据的频谱扩展功能，

对上述第一扩展一维数据执行正交变换的正交变换功能，以及

从经过上述正交变换获得的变换系数的特定的频率分量的值中抽出与上述特定的频率分量的值相对应的上述水印信息的解码器功能。

16．一种记录埋入水印信息的电子水印一维数据的计算机可读的记录媒体，其特征在于抽出上述水印信息包括：

通过不规则地取具有特定绝对值的正负值的特定的正负序列和上述一维数据进行乘法运算和等价运算实行频谱扩展，由此生成第一扩展一维数据，

对上述第一扩展一维数据执行正交变换的正交变换，

从经过上述正交变换获得的变换系数的特定的频率分量的值中抽出与上述特定的频率分量的值相对应的上述水印信息。

Images