立体视觉与空间编码技术相结合的非接触三维曲面测量系统[1]

立体视觉与空间编码技术相结合的非接触三维曲面测量系统

李晓星　康绍峥　周贤宾

北京航空航天大学机械工程及自动化学院,北京,100083

　　　　摘要:介绍了立体视觉技术在三维型面非接触测量中的应用。将立体

视觉与空间二进制编码技术相结合,针对大型或回转型工件,采用分区域测量拼接技术,得到完整的曲面数模,并开发了测量系统。介绍了系统主要功能,包括系统标定、空间编码、双目配准、空间坐标的反求、三维拼接以及曲面重构,对飞机蒙皮成形模具型面进行了分块测量和拼接试验,结果表明本李晓星　教授系统工作可靠、测量精度高,验证了其实用性。关键词:立体视觉;空间编码;双目配准;三维拼接中图分类号:TG806,TP391　　　文章编号:1004-132Ⅹ(2004)09-0806-04Non-contact3DSurfaceMeasurementSystembasedonBinocularVisionandSpatialCode

LiXiaoxing　KangShaozheng　ZhouXianbin

BeihangUniversity,Beijing,100083

Abstract:Anon-contact3Dsurfacemeasurementsystembasedonbinocularvisionwasintroducedinthispaper.Thelargeorcylindricalworkpiececanbemeasuredpartiallyandrealizedaccurately,thenthedigitalmodelofintegratedsurfacecanbeobtained.Theprinciplesofsystemincludescalibration,spatialcode,stereomatching,3Dcoordinatecalculation,3Dregistrationandcurvingsurfacereconstructionweredescribed.Theresultofexaminationsformeasurementofaircraftskinshowsthesystemisreliable,accu2rateandpractical.

Keywords:binocularvision;spatialcode;stereomatching;3Dregistration

0　引言

光学轮廓测量方法的种类很多,基本上都是采用主动投影式原理,向被测物投影结构光,利用摄像机采集反射光,然后从包含被检测物的2D图像中提取出物体的3D轮廓信息。基于生理视差原理的立体视觉技术已经开始在三维非接触测量中得到应用。纯粹的立体视觉技术现阶段只适用于简单和少量特征点的测量,对于数据量大的三维轮廓测量,将立体视觉技术和空间编码技术相结合,可以得到较大的数据量,提高测量精度。

对于本文的三维轮廓测量系统,主要是标定出摄像机的焦距(以像素表示的alphau和alphav),左右摄像机之间的旋转和平移矩阵,以及左

右摄像机主光轴在成像平面的中心坐标(以像素点来表示)。这些标定结果是双目配准以及最后的空间坐标反求的主要依据,所以标定的精度直接影响到整个系统的精度。1.2　空间编码

空间二进制编码是向被测物投影一系列栅状的由黑白条纹构成的图案,将这些编码图案在被测物表面投影所形成的条纹图像进行组合,把被测物空间的区域分割成一系列条状、狭窄的子区域,每个子区域由唯一的一个二进制编码标识。通常空间二进制编码系统由数字化投影仪、CCD摄像机和微机构成(见图1)。

空间二进制编码的原理见图2。

编码图案为一系列明暗相间的黑白条纹图,在计算机的控制下由投影仪依次投影到被测物体上,再由CCD摄像机依次拍摄条纹图像。将所得到的条纹图像进行黑白二值化处理,图像中白色条纹区域的像素标记为“1”,黑色条纹区域的像素

1　系统介绍

1.1　系统标定

系统标定是整个系统工作的开始,是系统能

够正常工作的基础。其目的是为了确定各个摄像机的位置、属性参数以及建立摄像机成像模型,以便确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。系统标定涉及成像模型和各种坐标系之间的转换问题。

收稿日期:2003-17-10

・806・

立体视觉与空间编码技术相结合的非接触三维曲面测量系统———李晓星　康绍峥　周贤宾

采用11幅图投影方案,将被测空间划分为512个

带状区域,每个区域的宽度只有2～3个像素,为后面高精度、高密度的双目配准打下了良好基础。1.3　双目配准[2]

空间二进制编码仅仅实现了左右图像配准时的横向约束,还不能在纵向对图像进行约束。这里引入对极几何的概念。

如图3所示,Oa、Ob分别为左右摄像机的透视中心。Oa、Ob和空间物点P构成一个平面,称为外极平面。外极平面与左右像平面的交线paea、

pbeb分别称为投影点pa、pb在左右像面上的外极图1　空间二进制编码系统

(a)投影图案A

线。OaOb与左右像平面的交点ea、eb叫做左右像

(b)投影图案B

平面的极点。同一像平面上的所有外极线都应相交于e点,称e为该像面的外极中心。

(c)投影图案C

图3　交向姿态双目视觉模型的对极几何关系

(d)二进制编码

对极几何为双目视觉立体匹配提供了一个纵向约束条件。极线paea、pbeb在左右像平面上是相互对应的,从而与左像面上投影点pa所对应的右像面投影点pb必在右外极线pbeb上,反之与右像平面上投影点pb所对应的左像平面投影点pa必在左外极线paea上。

左右摄像机坐标系位置关系可以表示为

xayazaxbybzb=R=R

xbybzbxayaza+T=+T=

r11r21r31r′11r′21r′31

r12r22r32r′12r′22r′32

r13r23r33r′13r′23r′33xbybzbxayaza++

txtytzt′xt′yt′z(1)

图2　空间二进制编码原理

标记为“0”,这样每经过一次投影,图像中的每一个像素就获得一个二进制数“0”或“1”。待投影图案全部投影完后将像素所获得二进制数顺序组合起来,具有相同编码的像素就构成了一个窄的带状区域,这样被测物空间就相应被分割成众多由二进制编码唯一确定的窄带状区域。

本例中投影装置依次向被测物空间投影A、

B、C三幅编码图案,通过空间二进制编码,被测

物空间在图像上被分成了由“000”到“111”8个二进制编码标识的区域。理论上,被测物空间区域被分割成的子区域的数目与投影图案的幅数与编码方案有关,通常为后一幅光栅的密度是前一幅的2倍,则分割区域的数目与投影图案的幅数之

间的关系是2n(n为条纹图的幅数)。

空间二进制编码要满足一定的条件:①区域分割后,每个区域的编码必须是和唯一的;②编码要求满足相邻区域编码间的Hamming距离均是1[1],否则在双目配准时会出现错误配准;③编码方案要满足采样定理,要受硬件设备分辨率的,即一般要求编码划分的最小区域的宽度和一个像素的视野比大于2。

本系统所用的摄像机分辨率为1300×1030,

式中,R为两摄像机间的旋转矩阵;T为两摄像机间的平移矩阵。

如果左像平面上一条斜率为ka并通过左外

极中心ea的直线与右像面上一条斜率为kb并通过右外极中心eb直线对应,则这两条直线分别为同一外极平面与左右像平面的交线,它们有如下对应关系:

ka=-tz(r21+r22kb)-ty(r31+r32kb)tx(r31+r32kb)-tz(r11+r12kb)

′′′′′′

tz(r21+r22ka)-ty(r31+r32ka)

kb=-′′′′′′

tx(r31+r32ka)-tz(r11+r12ka)

当给定左像面上一点,首先计算过该点的左极线斜率,然后利用上式得到与之相对应的右极线斜率,就可以结合空间编码划分的带状区域在

・807・

中国机械工程第15卷第9期2004年5月上半月

右极线上搜索与其相对应的右像点,从而实现配准。

1.4　空间坐标的反求

在双目配准中,已经提取到左右图像的对应点,但是这些点都是被测物体2D图像中的信息,空间坐标的反求则是从包含被检测物的2D图像中计算出物体的空间三维坐标,是提取物体3D轮廓信息的最后一步。

如图4所示,o1x1y1z1、o2x2y2z2为左右摄像机三维坐标系,O1X1Y1、O2X2Y2为左右像平面

′坐标系,o′o2u2v2为左右计算机图像平面1u1v1、

(fu1,fv1)、(fu2,fv2)分别为左右摄像机坐标系。

件的一个局部,另外对于回转体和型面形状复杂、

部分区域存在遮挡的工件,从一个角度测量可能出现视觉盲区,无法得到物体表面的全部信息。要得到物体完整的形状信息,常常需要从物体的不同角度对不同部位进行测量。由于在不同角度进行测量时的坐标系不同,必须将各部分测量到的数据进行必要的坐标转换后,合成为同一坐标系的一组数据,该技术称之为数据缝合,即三维拼接技术。

常用的拼接技术有旋转工作台法和位移控制法,两者基本原理类似,通过精确控制被测物体(或摄像机)的旋转运动或位移运动,使得被测物(或摄像机)的旋转、平移矩阵为已知,这样拼接起来比较简单,但现场适应性较差,难以实现大尺寸工件的在线检测。

本系统采用了基于四元数[3]算法的分区域自由拼接,无需事先知道旋转角度和平移距离,只需将摄像机和投影仪组成的测量仪器任意移动,分区域将大型工件测量出来,然后利用事先准备的标记点进行拼接。1.6　曲面重构

镜头在u、v坐标轴的等效焦距(单位:像素),(u01,v01)、(u02,v02)分别为左右像面中心坐标。

图4　双目视觉测量系统交向姿态测量模型

在不考虑镜头的畸变时,根据理想小孔成像原理,有

x1=-z1X1/fu1y1=-z1Y1/fv1x2=-z2X2/fu2y2=-z2Y2/fv2

X1=u1-u01　　Y1=v1-v01X2=u2-u02　　Y2=v2-v02

(2)

至此已经得到了离散的数据点云,接下来的工作就是将这些数据点云进行曲面重构,即对数据点云进行曲面拟合还原出物体的真实外形。本文利用了Surface软件来进行曲面重构,图5是对拼接前后的飞机蒙皮成形模具型面进行曲面重构后的结果。其中图5a、图5b为分块测量的结果,图5c为拼接后的结果。

(3)

将左右摄像机坐标系之间的位置关系式(1)代入式(3)中,整理得

x1=-z1X1/fu1y1=-z1Y1/fv1

z1=fu1fv1(X2tz+fu2tx)・

[fv1X1(fu2r11+X2r31)+fu1Y1(fu2r12+X2r32)-fu1fv1(fu2r13+X2r33)]-1=fu1fv1(Y2tz+fv2ty)・[fv1X1(fv2r21+Y2r31)+fu1Y1(fv2r22+Y2r32)-fu1fv1(fv2r23+Y2r33)]

-1

(a)　　　　　　(b)　　　　　　　　(c)

图5　飞机蒙皮成形模具型面曲面重构

(4)

2　测量结果与误差

实际测量的误差由单块测量误差和拼接误差

两部分组成。单块测量误差与测量物体的大小有直接关系,如果物体大,则测量的精度降低。对300mm×300mm×300mm标准立方体进行测量试验,其夹角误差为0.01°,平面误差为0.1mm。对飞机蒙皮成形模具型面整体测量和分块测量后拼接的结果进行了比较,其结果见表1。

如果将世界坐标系设定为与左摄像机坐标系相重合,那么重构出的三维坐标就在左摄像机坐标系下表示,可以通过式(4)重构出该空间点的三维坐标了。1.5　三维拼接

采用光栅法的三维检测一次只能测量大型工

・808・

基于知识的虚拟设计研究———李玉忠　陈泽琳　杨振野

基于知识的虚拟设计研究

李玉忠1　陈泽琳2　杨振野3

1.广东技术师范学院机电系,广州,5106652.华南理工大学软件学院,广州,51003.广东技术师范学院电子信息工程系,广州,510665

　　　　摘要:研究了虚拟制造的体系结构和虚拟设计的模型问题,提出了层次化建模思想及元模型、机构模型、产品模型的概念,将整个虚拟设计模型分

为元模型、机构模型和产品模型,建立了三个模型的结构,并给出基于知识的虚拟设计的建模方法和装配模型。

李玉忠　高级工程师关键词:虚拟制造;虚拟设计;元模型;机构模型;产品模型中图分类号:TP391.9　　　文章编号:1004-132Ⅹ(2004)09-0809-04AStudyofVirtualDesignBasedontheKnowledges

LiYuzhong1　ChenZelin2　YangZhenye1

1.GuangdongPolytechnicNormalUniversity,Guangzhou,5106652.SouthChinaUniversityofTechnology,Guangzhou,5100

Abstract:Thedesignandstructuresofvirtualmanufacturewerediscussed.Moreover,itlunchedabrandnewconceptsofadvancedlayermodelingincludingthebasicmodel,mechanismmodelandproductmodel.Thusthevirtualdesigncouldalsobesortedintothethreekinds.Basedontheknowledges,themodelingwayandassemblymodelsofvirtualdesignaregivenindetails.

Keywords:virtualmanufacturing;virtualdesign;basicmodel;mechanismmodel;productmodel

0　引言

国内外对虚拟制造已有大量的研究[1,2],然而,在现有的以设计为中心的虚拟制造系统中,大多利用CAD软件进行几何造型或特征设计,用CAM软件进行制造工艺设计,造成数据难以继承、重用和共享,更不可能进行各阶段数据的无缝链接。然而,虚拟设计的本质是虚拟现实技术在

收稿日期:2003-07-04

基金项目:广东省教育厅自然科学基金项目(0159)

产品设计中的应用,即在计算机上用可视可感觉

的方法来表现产品设计的全过程和结果。在真实的设计中,零件和产品的结构、外形和尺寸不是凭空想像出来的,它是人类利用在科学研究和生产实践中发现与积累起来的知识而设计得出的。因此,虚拟设计必须是根据产品与零件的功能、强度、刚度、稳定性、疲劳和动平衡等的设计,决定产品零部件的结构、造型和尺寸,即基于知识的虚拟设计。反之,只有基于知识的虚拟设计才能符合

-D形貌测量方法.光学技术,1999(5):33～36[2]　游亚素,许光　.立体视觉研究的现状与进展.中国

表1　模具整体测量和分块测量后拼接结果比较

1

2204.42094204.5781

3236.07273236.1934

整体测量

分块拼接

179.79801179.6879

图像图形学报,1997,2(1):17～24

[3]　HungY,YangD.3-DIntegralEquationAnalysisof

GuidedandLeakyWavesonaThin-filmStructurewith2-DMaterialGratings.IEEEMTT-SInter2national,1996,21(2):723～726

(编辑　马尧发)

作者简介:李晓星,男,1953年生。北京航空航天大学机械工程及自动化学院教授。主要研究方向为材料加工、计算机控制及检测技术。获省部级科技进步三等奖1项。发表论文20余篇。康绍峥,男,1979年生。北京航空航天大学机械工程及自动化学院硕士研究生。周贤宾,男,1938年生。北京航空航天大学机械工程及自动化学院教授、博士研究生导师。

　　由表1中数据计算得到拼接时的相对平均误差为0.06%。

3　结论

虽然双目视觉光学三维测量技术还存在测量

噪声较大,难以测量快速移动物体等缺点,但因其具有的独特优点,该方法在物体的形状测量和逆向工程数模获取方面具有广泛的应用前景。

参考文献:

[1]　董斌,尤政,李颖鹏,等.基于空间二进制编码的3

・809・