基于多帧灰度差异的视频对象分割

陈国锋

何南忠

施保昌

（华中科技大学数学系，武汉４３００７４）

Ｅ－ｍａｉｌ：ｈｅｎｒｙｃｇｆ＠ｔｏｍ．ｃｏｍ

摘

要

在新一代ＭＰＥＧ－４视频编码标准中，为了支持面向视频对象的编码和实现基于内容的应用，自动、快速地从视

频场景中提取视频对象已成为一项关键技术，为此文章提出了一种基于多帧灰度差异的视频对象分割新算法。该算法首先采用多帧序列图像灰度差异的４次高阶统计量假设检验（ＨｉｇｈｅｒＯｒｄｅｒＳｔａｔｉｓｔｉｃｓ，ＨＯＳ），自动提取运动对象模板；然后利用数学形态学对模板作平滑和内部填充处理；最后将模板投影到原始灰度图，得到运动对象。实验结果表明，该方法能比较有效地分割视频对象。关键词

运动对象

视频对象分割

高阶统计量

形态学

中图分类号ＴＰ３９１

文章编号１００２－８３３１－（２００６）１２－００６６－０２文献标识码Ａ

ＳｅｇｍｅｎｔａｔｉｏｎｏｆＶｉｄｅｏＯｂｊｅｃｔＢａｓｅｄｏｎＣｈａｎｇｅｏｆ

Ｍｕｌｔｉ－ｆｒａｍｅｓ’ＧｒａｙＶａｌｕｅ

ＣｈｅｎＧｕｏｆｅｎｇＨｅＮａｎｚｈｏｎｇＳｈｉＢａｏｃｈａｎｇ

（ＭａｔｈｓＤｅｐａｒｔｍｅｎｔ，ＨｕａｚｈｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ４３００７４）

Ａｂｓｔｒａｃｔ：ＩｎｔｈｅｎｅｗＭＰＥＧ－４ｃｏｄｉｎｇｓｔａｎｄａｒｄ，ａｆａｓｔａｎｄａｕｔｏｍａｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｏｆｖｉｄｅｏｏｂｊｅｃｔｐｌａｙｓａｋｅｙｒｏｌｅｉｎｓｕｐｐｏｒｔｉｎｇｏｂｊｅｃｔ－ｏｒｉｅｎｔｅｄｃｏｄｉｎｇａｎｄｅｎａｂｌｉｎｇｃｏｎｔｅｎｔ－ｂａｓｅｄｆｕｎｃｔｉｏｎａｌｉｔｉｅｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ａｎｅｗａｌｇｏｒｉｔｈｍｆｏｒｅｘｔｒａｃｔｉｎｇｍｏｖｉｎｇｏｂｊｅｃｔｉｓｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔ，ａｂｉｎａｒｙｍａｓｋｉｓｄｒａｗｎｂｙｆｏｕｒｔｈ－ｏｒｄｅｒｓｔａｔｉｓｔｉｃｓｄｅｔｅｃｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｔｈｅｇｒａｙｄｉｆｆｅｒｅｎｃｅｓｂｅｔｗｅｅｎｍｕｌｔｉｐｌｙｆｒａｍｅｓ．Ｔｈｅｎ，ｗｅｕｓｅｍｏｒｐｈｏｌｏｇｉｃｍｅｔｈｏｄｓｔｏｓｍｏｏｔｈａｎｄｆｉｌｌｔｈｅｍａｓｋ．Ｆｉｎａｌｌｙ，ｔｈｅｍｏｖｉｎｇｏｂｊｅｃｔｉｓｅｘｔｒａｃｔｅｄｂｙｐｒｏｊｅｃｔｉｎｇｔｈｅｍａｓｋｏｎｔｈｅｏｒｉｇｉｎａｌｇｒａｙｐｉｃｔｕｒｅ．Ｅｘｐｅｒｉｍｅｎｔｔａｌｒｅｓｕｌｔｓｄｅｍｏｎｓｔｒａｔｅｔｈａｔｔｈｉｓｍｅｔｈｏｄｉｓｅｆｆｅｃｔｉｖｅ．

Ｋｅｙｗｏｒｄｓ：ｍｏｖｉｎｇｏｂｊｅｃｔ，ｖｉｄｅｏｏｂｊｅｃｔｓｅｇｍｅｎｔａｔｉｏｎ，ＨｉｇｈｅｒＯｒｄｅｒＳｔａｔｉｓｔｉｃｓ，ｍｏｒｐｈｏｌｏｇｉｃａｌｏｐｅｒａｔｏｒ

１引言

随着多媒体技术和视频编码技术的发展，人们对多媒体信

分割。

本文研究的重点是基于多帧序列图像间的灰度差异，利用

息的需求已从简单的播放转向基于内容的访问、检索和操作，为此具有高压缩率的基于对象的编码技术也日益成为研究的热点。ＭＰＥＧ组织在新一代视频编码标准ＭＰＥＧ－４中，引入了视频对象（ＶｉｄｅｏＯｂｊｅｃｔ）的概念，这一概念不仅大大提高了数据压缩效率，而且使基于内容的交互功能成为可能。ＭＰＥＧ－４标准假设在编码之前，视频序列已经被分解为若干视频对象，所以，视频对象的获得（即视频分割）对于ＭＰＥＧ－４以及其相关特性的实现至关重要。

视频对象分割通常分为自动分割和半自动分割。自动分割技术［２，３］难度比较大，其分割效果与视频的场景复杂程度关系较大。主要是面向特定应用，如车辆检测系统、大厅监测系统、可视电话和电视会议等等。从背景静止视频流中提取视频对象是一种比较有效的方法，常用的有变化检测法［１］。主要思想是根据两帧图像中亮度、颜色或纹理信息的变化来检测和分割出视频对象。半自动分割技术［４，５］适用于复杂场景下的对象分割且分割质量较好，但其不具有实时性。其主要方法是用户通过图形用户界面（ＧＵＩ）对视频图象进行初始分割，给出视频对象初始的精确轮廓，然后对后继帧采取对象跟踪和自动分割方法进行

基金项目：国家自然科学基金资助项目（编号：６０４７３０１５）

４次高阶统计量（ＨｉｇｈｅｒＯｒｄｅｒＳｔａｔｉｓｔｉｃｓ，ＨＯＳ）假设检验，确定

运动对象的位置，自动分离运动区域和背景。具体算法流程图如图１所示。

作者简介：陈国锋，男，硕士研究生，研究方向：图像处理，多媒体技术。何南忠，男，副教授，研究方向：图像处理，多媒体技术，高性能计算。施保昌，

男，教授，博导，研究方向：快速变换，高性能计算，计算流体力学。

６６２００６．１２计算机工程与应用２时域分割

２．１利用帧差的高阶统计提取运动区域

文献［１］指出视频序列中的背景变化主要是由噪声、亮度和图像纹理的慢变化（如云、草、海、或树叶等）等所构成，它们的统计量一般符合高斯特性，因此，在假设背景静止的前提下，如果连续两帧图像之间的灰度差非零，则可认为该灰度变化是由噪声或对象的运动引起的。噪声具有高斯特性，而运动对象有较强的结构性，我们可采用高阶统计量假设检验来判决运动对象。采用帧差的２次方作为判决条件，需考虑运动对象的旋转、局部变形及透视变化等，分解较复杂，因此，采用帧差的４次方来判决。具体就是将帧差图像中各像素所对应的局部４阶矩平均值与背景区域所估计的高斯噪声的均方差的平均值进行比较，自动判定运动区域和背景区域。

设帧差灰度图像为ｄ（ｓ，ｔ），取以（ｘ，ｙ）为中心的移动窗口

不仅包含了运动对象，还包含了被运动对象所遮挡和重现的纹理背景。为了减少这种被误判入运动区域的纹理背景，运动对象在两帧之间的相对位移要很小。但是，如果对象的位移太小了，则运动区域检测的效果会很差。由于系列图像中运动对象边缘和帧差图中运动区域边缘具有很强的相关性，我们可以将中间帧向前帧差和向后帧差所提取的运动区域边缘重合的部分作为中间帧运动对象的边缘。这样可以有效地消除运动对象遮挡和重现的纹理背景［６］。

对于非整体运动的对象，如非刚体，由于部分运动缓慢，仅仅利用连续的三帧图像通常无法得到其完整的轮廓，我们可采用连续多帧灰度差异信息来进行处理。具体地说就是在连续多帧序列图像中，如图２，ｆ１～ｆ５帧中取中间帧ｆ３，分别计算ｆ１，ｆ２，ｆ３和ｆ３，ｆ４，ｆ５的多帧灰度差（图２（ｆ），（ｇ））；利用４次高阶统计量假设检验分别得到向前帧差和向后帧差的运动区域二值图（图

!（ｘ，ｙ）（３×３的矩形窗口），则像素点（ｘ，ｙ）所对应的窗口内帧

差灰度图像的４阶矩平均值为：

２（ｈ），（ｉ））；最后，我们对以上两二值图相乘，提取出中间帧ｆ３

的运动对象边缘（实验过程中，我们将二值图中白色区域像素设置为１，黑色区域像素设置为０）。

!４（ｘ，ｙ）＝１ｍｄ

Ｎ!（ｘ，ｙ）＝１ｍｄ

Ｎ!（ｓ，ｔ）∈!（ｘ，ｙ）

\"!（ｘ，ｙ））（ｄ（ｓ，ｔ）－ｍｄ

４

２．３后期处理

通过以上步骤，我们可以得到粗略的运动对象二值化模

其中窗口内帧差灰度图像的平均值：

!（ｓ，ｔ）∈!（ｘ，ｙ）

４

\"

ｄ（ｓ，ｔ）

板。由于对象内部纹理的相似性，模板内部可能出现空洞，所以首先采用形态学闭、开运算对二值化图像进行边缘平滑处理和去噪，然后填充边缘内部，最终得到完整的运动对象二值化模板。

!（ｘ，ｙ），并与一阈值作比较，其中阈值与此逐像素计算ｍｄ

!２成正比，可记为Ｃ!２）２的形式。帧差灰度图像的噪声方差\"・（\"ｏｄｏｄ!（ｘ，ｙ）大于阈值，则认为该像素属于运若像素（ｘ，ｙ）所对应的ｍｄ

动对象或覆盖／显露的背景Ｈ１；否则，判定它属于背景或对象常量Ｃ可由实验确定，一般可取为７５。噪声方的静止部分Ｈ０。差：

４

３实验结果

为了验证本文算法的效果，我们选择ＭＰＥＧ－４的测试序

列ＨａｌｌＭｏｎｉｔｏｒ进行实验。实验中，我们选取连续９帧进行对由于仅仅利用高阶统计量假设检象的提取，常量Ｃ设定为７５。

验无法完全抑制噪声，因此，实验前，我们对序列图像进行高斯平滑预处理。图３为部分实验结果，分别对应于ＨａｌｌＭｏｎｉｔｏｒ第３９帧，第４４帧，第５０帧的原图、基于多帧灰度差异提取的二值化模板和最终的分割结果。

!＝１\"ｏｄ

Ｎ２

Ｓ（ｓ，ｔ）∈Ｓ

\"!）（ｄ（ｓ，ｔ）－ｍｄ

２

!为Ｓ区域内帧差灰度图像的平Ｓ为静止的背景区域，ｍｄ

均值。由于视频序列中运动对象一般位于图像的，所以实验中选取帧差灰度图像的４个角的７×７ｐｉｘｅｌ大小的区域，对获得的４个区域的噪声方差取平均值作为背景噪声方差。

４结论

本文针对视频序列对象分割，提出了一种基于多帧灰度差

２．２利用多帧灰度差异提取对象边缘

通过上述的帧差４阶矩统计假设检验所提取的运动区域

异的高阶统计量假设检验分割方法。实验结果表明，本文算法具有较好的抗干扰性，计算量小，需调整的参数少，在室内场景

（下转８８页）

计算机工程与应用２００６．１２６７

相对大小。另外等错误率（ＥＲＲ）也是衡量系统性能的一种直观指标，即ＦＡＲ与ＦＲＲ相等时的错误率。三种指标的测试结果如下表所示。

表２

Ｋ取值１．５５１．６７１．７６１．８０

后研究的一个发展方向。（收稿日期：２００５年７月）

参考文献

表３

Ｋ取值１．１５１．２７１．３３１．３７

文本有关确认结果

ＦＡＲ／％０．０００．０４０．０７０．０９

ＦＲＲ／％２．００１．０００．３３０．００

文本无关确认结果

ＦＡＲ／％０．０４０．２１０．５６０．７９

ＦＲＲ／％６．６７０．６７０．３３０．００

１．姚鸿勋，高文等．视觉语言－唇读综述［Ｊ］．电子学报，２００１；２９（２）：２３９～２４６２．ＪＬｕｅｔｔｉｎ，ＮＡＴｈａｃｋｅｒ，ＳＷＢｅｅｔ．ＳｐｅｅｃｈｒｅａｄｉｎｇＵｓｉｎｇＳｈａｐｅａｎｄＩｎｔｅｎｓｉｔｙＩｎｆｏｒｍａｔｉｏｎ［Ｃ］．Ｉｎ：ＰｒｏｃＩｎｔＣｏｎｆＯｎＳｐｏｋｅｎＬａｎｇｕａｇｅＰｒｏ－ｃｅｓｓｉｎｇ，１９９６

３．ＪＬｕｅｔｔｉｎ，ＮＡＴｈａｃｋｅｒ，ＳＷＢｅｅｔ．Ｓｐｅａｋｅｒｉｄｅｎｔｉｆｉｃａｔｉｏｎｂｙｌｉｐ－ｒｅａｄ－ｉｎｇ［Ｃ］．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ４ｔｈＩｎｔｃｏｎｆｏｎＳｐｏｋｅｎＬａｎｇｕａｇｅＰｒｏ－６５ｃｅｓｓｉｎｇ（ＩＣＳＬＰ｀９６），１９９６；１：６２～

４．ＭＡｃｈｅｒｏｙｅｔａｌ．Ｍｕｌｔｉ－ｍｏｄａｌｐｅｒｓｏｎｖｅｒｉｆｉｃａｔｉｏｎｔｏｏｌｓｕｓｉｎｇｓｐｅｅｃｈａｎｄｉｍａｇｅｓ［Ｃ］．Ｉｎ：ＰｒｏｃＥｕｒｏｐＣｏｎｆＯｎＭｕｌｔｉｍｅｄｉａＡｐｐｌｉｃａｔｉｏｎｓ，Ｄｅｒ－ｖｉｃｅｓａｎｄＴｅｃｈｎｉｑｕｅｓ，１９９６

５．单卫．计算机唇读系统的研究与实践［Ｄ］．工程硕士毕业论文．哈尔滨工业大学，２００２－０７

当Ｋ＝１．７９７时ＥＲＲ＝０．０９％当Ｋ＝１．２９５时ＥＲＲ＝０．３３％

７结论

本文提出了一种基于唇动的说话人识别技术，在一个小型

的说话人语料库上对说话人辨认系统与确认系统分别加以实在说话人辨认系统，文本有关与文本无关现，并进行实验测试。

在说话人确认系统，模式的正确率分别达到了１００％和９９．７％。

文本有关与文本无关模式的等错误率分别为０．０９％与０．３３％；从对应不同Ｋ值的ＦＡＲ与ＦＲＲ可以看出，我们的系统对ＦＡＲ控制较为严格。这与系统假冒者数据相对较为充分也有一定关系。

考虑到我们的语料库规模较小，语料库的扩建仍然是我们下一步的工作重点，扩建工作不仅包含对说话人的扩充，还应当尽量使语料包含说话人在多种环境、多种状态下的数据，以更加真实自然的反映说话人的身份信息。在大规模语料库下，如何保证算法的鲁棒性是我们今后研究工做的重点与难点。另外，唇动说话人识别与其他身份识别相融合的技术也是我们今

６．姚鸿勋，高文，李静梅等．用于口型识别的实时唇定位方法［Ｊ］．软件学报，２０００；１１（８）：１１２６～１１３２

７．ＮＡＦｏｘ，ＲＢＲｅｉｌｌｙ．Ａｕｄｉｏ－ＶｉｓｕａｌＳｐｅａｋｅｒＩｄｅｎｔｉｆｉｃａｔｉｏｎＢａｓｅｄｏｎｔｈｅＵｓｅｏｆＤｙｎａｍｉｃＡｕｄｉｏａｎｄＶｉｓｕａｌＦｅａｔｕｒｅｓ［Ｃ］．Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ４ｔｈＩｎｔ．Ｃｏｎｆ．ｏｎＡｕｄｉｏ－ａｎｄＶｉｄｅｏ－ＢａｓｅｄＢｉｏｍｅｔｒｉｃＰｅｒｓｏｎＡｕ－ｔｈｅｎｔｉｃａｔｉｏｎ，ＡＶＢＰＡ，Ｇｕｉｌｄｆｏｒｄ，ＵＫ，２００３：７４３～７５１

８．ＳＬｕｃｅｙ，ＴＣｈｅｎ．Ｉｍｐｒｏｖｅｄａｕｄｉｏ－ｖｉｓｕａｌｓｐｅａｋｅｒｒｅｃｏｇｎｉｔｉｏｎｖｉａｔｈｅｕｓｅｏｆａｈｙｂｒｉｄｃｏｍｂｉｎａｔｉｏｎｓｔｒａｔｅｇｙ［Ｃ］．Ｉｎ：ＣｏｎｆｏｆＡｕｄｉｏ－ａｎｄＶｉｄｅｏ－ＢａｓｅｄＰｅｒｓｏｎＡｕｔｈｅｎｔｉｃａｔｉｏｎ（ＡＶＢＰＡ），ＧｕｉｌｄｆｏｒｄＵＫ，２００３

９．ＬＲＲａｂｉｎｅｒ．ＡＴｕｔｏｒｉａｌｏｎＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌｓａｎｄＳｅｌｅｃｔｅｄＡｐｐｌｉｃａｔｉｏｎｓｉｎＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎ［Ｃ］．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ，１９８９；７７（２）

１０．易克初，田斌，付强．语音信号处理［Ｍ］．国防工业出版社，２０００

（上接６７页）参考文献

１．ＮｅｒｉＡ，ＣｏｌｏｎｎｅｓｅＳ，ＲｕｓｓｏＧｅｔａｌ．Ａｕｔｏｍａｔｉｃｍｏｖｉｎｇｏｂｊｅｃｔａｎｄ２３２ｂａｃｋｇｒｏｕｎｄｓｅｐａｒａｔｉｏｎ［Ｊ］．ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ，１９９８；６６（２）：２１９～２．ＴｈｏｍａｓＭｅｉｅｒ，ＫｉｎｇＮＮｇａｎ．Ａｕｔｏｍａｔｉｃｓｅｇｍｅｎｔａｔｉｏｎｏｆｍｏｖｉｎｇｏｂｊｅｃｔｓｆｏｒｖｉｄｅｏｏｂｊｅｃｔｐｌａｎｅｇｅｎｅｒａｔｉｏｎ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｉｒｃｕｉｔｓ５３８ａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，１９９８；８（５）：５２５～

３．ＣｈａｎｇｉｃｋＫｉｍ，Ｊｅｎｑ－ＮｅｎｇＨｗａｎｇ．Ｆａｓｔａｎｄａｕｔｏｍａｔｉｃｖｉｄｅｏｏｂｊｅｃｔｓｅｇｍｅｎｔａｔｉｏｎａｎｄｔｒａｃｋｉｎｇｆｏｒｃｏｎｔｅｎｔ－ｂａｓｅｄａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，２００２；１２（２）：１２２～１２９

４．ＧｕＣｈｕａｎｇ，ＬｅｅＭｉｎｇ－Ｃｈｉｅｈ．Ｓｅｍｉａｕｔｏｍａｔｉｃｓｅｇｍｅｎｔａｔｉｏｎａｎｄｔｒａｃｋｉｎｇｏｆｓｅｍａｎｔｉｃｖｉｄｅｏｏｂｊｅｃｔｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ，１９９８；８（５）：５７２～５８４

５．ＫｉｍＭｕｎｃｈｕｒｌ，ＪｅｏｎＪＧ，ＫｗａｋＪＳｅｔａｌ．Ｍｏｖｉｎｇｏｂｊｅｃｔｓｅｇｍｅｎｔａｔｉｏｎｉｎｖｉｄｅｏｓｅｑｕｅｎｃｅｓｂｙｕｓｅｒｉｎｔｅｒａｃｔｉｏｎａｎｄａｕｔｏｍａｔｉｃｏｂｊｅｃｔｔｒａｃｋｉｎｇ［Ｊ］．２６０ＩｍａｇｅａｎｄＶｉｓｉｏｎｃｏｍｐｕｔｉｎｇ，２００１；１９（５）：２４５～

６．ＤｕｂｕｉｓｓｏｎＭＰ，ＪａｉｎＡＫ．Ｃｏｎｔｏｕｒｅｘｔｒａｃｔｉｏｎｏｆｍｏｖｉｎｇｏｂｊｅｃｔｓｉｎｃｏｍｐｌｅｘｏｕｔｄｏｏｒｓｃｅｎｅｓ［Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，

较为复杂的视频序列中，可以比较有效地提取非刚体的视频运动对象。

纹理下一步的研究工作是，如何充分结合图像里的颜色、信息和序列图像中的对象跟踪技术，进一步提高本文算法的性能。（收稿日期：２００５年７月）

１９９５；１４（１）：８３～１０５

７．韩军，熊璋，孙文彦等．自动分割及跟踪视频运动对象的一种实现方法［Ｊ］．中国图象图形学报，２００１；６Ａ（８）：７３２～７３８

８．杨莉，张弘，李玉山．视频运动对象的自动分割［Ｊ］．计算机辅助设计与图形学学报，２００４；１６（３）：３０１～３３０

８８２００６．１２计算机工程与应用