一种可变焦3D深度相机及其成像方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 108718406 A(43)申请公布日 2018.10.30

(21)申请号 201810552274.X(22)申请日 2018.05.31

(71)申请人 西安知微传感技术有限公司

地址 710077 陕西省西安市高新区丈八五

路10号陕西省科技资源统筹中心B503室(72)发明人 夏长锋　宋秀敏　杨迪　乔大勇　

何伟　(74)专利代理机构 西安智邦专利商标代理有限

公司 61211

代理人 汪海艳(51)Int.Cl.

H04N 13/20(2018.01)G02B 26/10(2006.01)

权利要求书2页 说明书6页 附图5页

CN 108718406 A()发明名称

一种可变焦3D深度相机及其成像方法(57)摘要

本发明属于光电检测领域，具体涉及一种可变焦3D深度相机及其成像方法，包括编码结构光投影模块、图像接收模块及系统主控模块；编码结构光投影模块产生编码结构光；根据待测对象区域大小，调节图像接收模块可视区域和/或编码结构光投影模块扫描区域，确保待测对象同时处在图像接收模块可视区域与编码结构光投影模块扫描区域；对待测对象进行扫描；图像接收模块采集从待测对象反射的编码结构光；系统主控模块根据图像接收模块采集到的从待测对象反射的编码结构光相对投影到待测对象上的编码结构光的变化，提取得到待测对象的3D信息。兼顾视场大小与成像精度，使3D深度相机既可检测到大视野下待测物整体信息，同时也得到待测物体局部高精度信息。

CN 108718406 A

权　利　要　求　书

1/2页

1.一种可变焦3D深度相机，其特征在于：包括编码结构光投影模块、图像接收模块及系统主控模块；

所述编码结构光投影模块用于可变焦的将编码结构光投影至待测对象；所述图像接收模块用于变焦采集从待测对象反射的编码结构光；所述系统主控模块与编码结构光投影模块及图像接收模块电连接，用于耦合控制编码结构光投影模块与图像接收模块，根据图像接收模块采集到的从待测对象反射的编码结构光相对投影到待测对象上的编码结构光的变化，提取得到待测对象的3D信息。

2.根据权利要求1所述的可变焦3D深度相机，其特征在于：所述编码结构光投影模块包括激光光源、扫描振镜及编码结构光投影控制系统；所述编码结构光投影控制系统与激光光源、扫描振镜电连接，用于实时调制激光光源光功率及扫描振镜的扫描区域；

扫描振镜位于激光光源出射光路中，激光光源出射的激光入射至扫描振镜后被反射，投射出特定的编码结构光。

3.根据权利要求2所述的可变焦3D深度相机，其特征在于：所述扫描振镜为2D扫描振镜或n个1D扫描振镜，其中n等于1或2；

当n等于2时，两个1D扫描振镜沿转轴相互重直的方向布置；当为2D扫描振镜或为2个1D扫描振镜时，激光光源为激光点光源；当为1个1D扫描振镜时，激光光源为激光线光源。4.根据权利要求1所述的可变焦3D深度相机，其特征在于：所述编码结构光投影模块包括LCD、LED或DLP投影系统与可变焦光学镜头；通过调节可变焦光学镜头调节LCD、LED或DLP的投影区域。

5.根据权利要求1至4任一所述的可变焦3D深度相机，其特征在于：所述图像接收模块包括图像接收传感器与图像接收光学镜头；

所述图像接收传感器为CCD或是CMOS；所述图像接收光学镜头为可变焦镜头，通过调节图像接收光学镜头的焦距，调节图像接收模块视场的大小。

6.根据权利要求1所述的可变焦3D深度相机，其特征在于：还包括可动载台，所述编码结构光投影模块，图像接收模块及系统主控模块均固定在可动载台上。

7.一种权利要求1至6任一所述的可变焦3D深度相机的成像方法，其特征在于，包括以下步骤：

步骤一：编码结构光投影模块产生编码结构光；步骤二：根据待测对象区域大小，调节图像接收模块可视区域和/或编码结构光投影模块扫描区域，使得编码结构光投影模块扫描区域与图像接收模块可视区域视场匹配，并确保待测对象同时处在图像接收模块可视区域与编码结构光投影模块扫描区域；编码结构光投影模块对待测对象进行扫描；图像接收模块采集从待测对象反射的编码结构光；

步骤三：系统主控模块根据图像接收模块采集到的从待测对象反射的编码结构光相对投影到待测对象上的编码结构光的变化，提取得到待测对象的3D信息。

8.根据权利要求7所述的可变焦3D深度相机的成像方法，其特征在于：当编码结构光投影模块包括激光光源、扫描振镜及编码结构光投影控制系统；图像接收模块包括图像接收传感器与图像接收光学镜头时；

步骤一具体为：编码结构光投影控制系统实时调制激光光源光功率，经扫描振镜反射，

2

CN 108718406 A

权　利　要　求　书

2/2页

产生编码结构光；

步骤二具体为：根据待测对象区域大小，调节图像传感器可视区域和/或扫描振镜扫描区域，使得扫描振镜扫描区域与图像传感器可视区域视场匹配，确保待测对象同时处在图像传感器可视区域与扫描振镜扫描区域；扫描振镜对待测对象进行扫描；图像传感器采集从待测对象反射的编码结构光。

9.根据权利要求8所述的可变焦3D深度相机的成像方法，其特征在于：当只通过调节图像接收模块可视区域，使得编码结构光投影模块扫描区域与图像接收模块可视区域视场匹配时，编码结构光投影控制系统调整激光器功率与结构光投影模块投影编码结构光图案，增大视场内结构光条纹或点数密度。

10.根据权利要求8所述的可变焦3D深度相机的成像方法，其特征在于：步骤二中，当扫描振镜为谐振式扫描振镜时，通过编码结构光投影控制系统调节扫描振镜的转角大小，及扫描振镜相对图像接收传感器的位置，从而调节扫描振镜扫描区域中心，实现扫描振镜扫描区域的调节；当扫描振镜为可矢量控制的扫描振镜时，通过编码结构光投影控制系统改变扫描振镜的扫描范围，实现扫描振镜扫描区域的调节；

通过调节图像接收光学镜头的焦距实现图像传感器可视区域调节。11.根据权利要求7所述的可变焦3D深度相机的成像方法，其特征在于：当编码结构光投影模块包括LCD、LED或DLP光源与可变焦光学镜头时；步骤一具体为：根据待测对象区域大小，通过调节可变焦光学镜头调节LCD、LED或DLP的投影区域。

3

CN 108718406 A

说　明　书

一种可变焦3D深度相机及其成像方法

1/6页

技术领域

[0001]本发明属于光电检测领域，具体涉及一种用来进行3D检测或3D成像的可变焦深度相机及其成像方法。

背景技术

[0002]光学升级一直停留在像素、感光等二维层面，也是智能手机创新周期的主驱动力，拍照一直是智能手机的重要卖点，像素和拍照性能是换机的主驱动力之一，以iPhone为例，后置相机从单颗2M升级到双12M，前置相机从无到8M，其性能提升幅度远超其他任何零组件。2D成像技术以臻成熟，唯有通过维度提升向3D发展才能继续突破成像技术的局限。3D成像在二维的基础上，实现了像素景深的叠加，拍照的同时记录下对象的立体信息，推动人脸识别、虹膜识别、手势控制、机器视觉等变为现实，是开启AI和AR时代的感知钥匙，堪比当初的触屏和双摄，3D成像会很快爆发。

[0003]目前3D成像和检测主要基于三种方案：TOF、结构光、双目测距。其中TOF方案抗干扰性能好，视角更宽，但深度图像分辨率较低，只能做一些简单避障和视觉导航，不适合高精度场合，且对传感器芯片性能要求高，成本高，量产困难；双目方案，硬件成本最低，但是深度信息依赖纯软件算法得出，此算法复杂度高，难度很大，处理芯片需要很高的计算性能，同时它也继承了普通RGB摄像头的缺点：在昏暗环境下以及特征不明显的情况下并不适用；结构光方案优势在于技术成熟，深度图像分辨率可以做得比较高，虽然易受外界光照影响，但在近距离、高精度、适应性方面有其他两种方案不可比拟的优势，势必会成为一种主流的3D检测方案。

[0004]基于结构光方案进行3D成像，其分辨率和精度会随距离的变化而不同，一般是测量距离越大，分辨率越低，测量精度越差。目前以色列PrimeSense公司的Kinect1根据三种不同的距离使用了三种不同尺寸的散斑，以在远中近三种距离内都能得到相对较好的测量精度：近距离(0.8～1.2m)可以获得较高的测量精度；中距离(1.2～2.0m)可以获得中等的测量精度；远距离(2.0～3.5m)可以获得较低的测量精度。但此种方式得到的结构光条纹也只有三个级别，结构光条纹密度会受限于光源能量与图像传感器的感光灵敏度，不能投影足够高密度的结构光；同时受限于图像接收传感器的分辨率，3D深度信息精度提高也有限。发明内容

[0005]为了如2D成像一样，得到更全面更高精度3D信息，3D深度相机需兼顾视场大小与成像精度，本发明提出一种可变焦扫描与变焦接收的3D深度相机，使3D深度相机既可检测到大视野下待测物整体信息，同时也可兼顾待测物体局部高精度信息。[0006]本发明的技术解决方案是提供一种可变焦3D深度相机，其特殊之处在于：包括编码结构光投影模块、图像接收模块及系统主控模块；

[0007]上述编码结构光投影模块用于可变焦的将编码结构光投影至待测对象；通过改变投影区域实现可变焦投影，其效果等效于光学领域变焦来改变视野大小；

4

CN 108718406 A[0008]

说　明　书

2/6页

上述图像接收模块用于变焦采集从待测对象反射的编码结构光；

[0009]上述系统主控模块与编码结构光投影模块及图像接收模块电连接，用于耦合控制编码结构光投影模块与图像接收模块，根据图像接收模块采集到的从待测对象反射的编码结构光相对投影到待测对象上的编码结构光的变化，提取得到待测对象的3D信息。[0010]进一步地，上述编码结构光投影模块包括激光光源、扫描振镜及编码结构光投影控制系统；

[0011]上述编码结构光投影控制系统与激光光源、扫描振镜电连接，用于实时调制激光光源光功率及扫描振镜扫描区域；通过改变扫描振镜扫描区域来改变结构光投影区域大小，其效果等效于光学领域变焦来改变视野大小；[0012]扫描振镜位于激光光源出射光路中，激光光源出射的激光入射至扫描振镜后被反射，投射出特定的编码结构光。[0013]进一步地，上述扫描振镜为2D扫描振镜或n个1D扫描振镜，其中n等于1或2；[0014]当n等于2时，两个1D扫描振镜沿转轴相互重直的方向布置；[0015]当为2D扫描振镜或为2个1D扫描振镜时，激光光源为激光点光源；[0016]当为1个1D扫描振镜时，激光光源为激光线光源。[0017]进一步地，上述编码结构光投影模块还可以是LCD、LED或DLP投影系统与可变焦光学镜头；通过调节可变焦光学镜头调节LCD、LED或DLP的投影区域。[0018]进一步地，上述图像接收模块包括图像接收传感器与图像接收光学镜头；[0019]上述图像接收传感器为CCD或是CMOS；上述图像接收光学镜头为可变焦镜头，通过调节图像接收光学镜头的焦距，调节图像接收模块视场的大小。[0020]进一步地，还包括可动载台，上述编码结构光投影模块，图像接收模块及系统主控模块均固定在可动载台上。

[0021]本发明还提供一种上述的可变焦3D深度相机的成像方法，包括以下步骤：[0022]步骤一：编码结构光投影模块产生编码结构光；[0023]步二：根据待测对象区域大小，调节图像接收模块可视区域和/或编码结构光投影模块扫描区域，使得编码结构光投影模块扫描区域与图像接收模块可视区域视场匹配，确保待测对象同时处在图像接收模块可视区域与编码结构光投影模块扫描区域；对待测对象进行扫描；图像接收模块采集从待测对象反射的编码结构光；[0024]步骤三：系统主控模块根据图像接收模块采集到的从待测对象反射的编码结构光相对投影到待测对象上的编码结构光的变化，提取得到待测对象的3D信息。[0025]进一步地，当编码结构光投影模块包括激光光源、扫描振镜及编码结构光投影控制系统；图像接收模块包括图像接收传感器与图像接收光学镜头时；[0026]步骤一具体为：编码结构光投影控制系统实时调制激光光源光功率，经一定频率的扫描振镜反射，产生编码结构光；[0027]步骤二具体为：根据待测对象区域大小，调节图像传感器可视区域和/或扫描振镜扫描区域，使得扫描振镜扫描区域与图像传感器可视区域视场匹配，确保待测对象同时处在图像传感器可视区域与扫描振镜扫描区域；对待测对象进行扫描；图像传感器采集从待测对象反射的编码结构光。[0028]进一步地，当只通过调节图像接收模块可视区域，使得待测对象处在图像传感器

5

CN 108718406 A

说　明　书

3/6页

可视区域与编码结构光投影模块扫描区域时，系统主控模块调整激光器功率与结构光投影模块投影编码结构光图案，增大视场内结构光条纹或点数密度。[0029]进一步地，步骤二中，当扫描振镜为谐振式扫描振镜时，通过编码结构光投影控制系统调节扫描振镜的转角大小，及扫描振镜相对图像接收传感器的位置，从而调节扫描振镜扫描区域中心，实现扫描振镜扫描区域的调节；当扫描振镜为可矢量控制的扫描振镜时，通过编码结构光投影控制系统改变扫描振镜的扫描范围，实现扫描振镜扫描区域的调节；[0030]通过调节图像接收光学镜头的焦距实现图像传感器可视区域调节。[0031]进一步地，当编码结构光投影模块包括LCD、LED或DLP光源与可变焦光学镜头时；步骤一具体为：根据待测对象区域大小，通过调节可变焦光学镜头调节LCD、LED或DLP的投影区域。

[0032]本发明的有益效果是：[0033]1、本发明提出的3D深度相机可变焦扫描与变焦接收，兼顾视场大小与成像精度，使3D深度相机既可检测到大视野下待测物整体信息，同时也得到待测物体局部高精度信息。

[0034]2、3D深度相机结构光扫描模块通过扫描振镜投影结构光实现，通过控制扫描振镜的扫描角度可实现3D深度相机扫描模块扫描范围的连续可调，且配合激光光源调质，易于改变结构光条纹数或点数，从而实现对待测对像的变焦扫描。附图说明

[0035]图1为本发明3D深度相机示意图；[0036]图2为本发明3D深度相机扫描视场一；[0037]图3为本发明3D深度相机扫描视场二；[0038]图4为本发明3D深度相机变焦扫描示例；

[0039]图5为本发明基于2D扫描振镜的3D深度相机示意图；[0040]图中附图标记为：1-编码结构光投影模块，11-1D扫描振镜，12-激光光源，13-编码结构光投影控制系统，2-图像接收模块，21-图像接收传感器，22-图像接收光学镜头，3-系统主控模块，4-第一待测物体，5-第二待测物体，6-2D扫描振镜。具体实施方式

[0041]以下结合附图及具体实施例对本发明做进一步的描述。[0042]实施例一

[0043]从图1可以看出，本实施例涉及的3D深度相机主要包含如下三部分：编码结构光投影模块1，图像接收模块2，系统主控模块3。其中编码结构光投影模块1用于可变焦的投影结构光条纹至待测物体，图像接收模块2用于可变焦的采集从待测物体反射的结构光，系统主控模块3用于耦合控制编码结构光投影模块1与图像接收模块2，以将编码结构光投影到待测对象上，并使用图像接收模块2采集到的从待测对象反射的结构光，根据结构光条纹变化，提取得到待测物体的3D信息。[0044]具体如下，编码结构光投影模块1包含1D扫描振镜11，激光线光源12，编码结构光投影控制系统13；激光线光源12出射的线激光入射至1D扫描振镜11，并被反射，编码结构光

6

CN 108718406 A

说　明　书

4/6页

投影控制系统13可实时调制激光线光源12的光功率，及1D扫描振镜11扫描角度的大小，从而投射出特定的结构光条纹。[0045]在此，编码结构光投影模块1通过以下方式实现可变焦投影：保证结构光条纹数不变和1D扫描振镜扫描频率不变，改变1D扫描振镜的扫描角度，即可在距待测物体与编码结构光投影模块距离不变与结构条纹能量不变的情况下，改变结构光在待测物体上的扫描范围，从而实现变焦投影。且若条纹数相同，扫描振镜扫描频率相同，激光线光源发出功率相同，扫描区域越小，对应的结构光条纹越密，结构光条纹亮区能量并未减小，结构光条纹就能反应扫描区域更精确的3D信息。

[0046]图像接收模块2包含图像接收传感器21与图像接收光学镜头22，在此，图像接收光学镜头22可变焦，通过调节图像接收光学镜头22的焦距，可调节图像接收模块视场的大小。图像接收传感器可是CCD或是CMOS，对于一个图像接收传感器像素数量是固定的，接收视场越小，视场内待测物体在图像传感器上成像信息越详细。[0047]需要指出的是，编码结构光投影模块投影区域与图像接收模块的视场要匹配，具体如下：待测物体要同时处在图像传感器可视区域与编码结构光投影模块扫描区域，且两部分区域均可根据待测物体区域大小进行调节，如图2与图3示。图2中，第一待测物体4与第二待测物体5均位于深度相机测试区域，可通过改变图像接收模块光学镜头焦距，缩小图像接收模块可视区域，仅让第一待测物体4位于可视区域；与此同时，缩小编码结构光投影模块投影区域，只在第一待测物体4上投射结构光条纹，条纹数目不变，且扫描频率不变，如图3示，则可得到第一待测物体4更高精度的3D信息。[0048]编码结构光投影模块投影区域与图像接收模块的视场匹配形式分为下述两种类型：

[0049]对于1D谐振式扫描振镜，扫描振镜以其平衡位置为中心，往复扫描：可通过编码结构光投影控制系统调节扫描振镜的转角大小，并另加旋转机构调节扫描振镜相对图像接收传感器的位置，从而调节扫描振镜的平衡位置，即扫描区域中心，以使扫描振镜投影区域与图像接收传感器视场匹配；

[0050]对于1D可矢量控制的扫描振镜：可控制扫描振镜在其扫描范围内任意区域往复扫描，以匹配图像传感器接收视场，如图4示：图像接收模块最大视场角为±θ，扫描振镜可扫描区域为α1≤α≤α2；当图像扫描视场角由±θ缩小为±θ1时，编码结构光投影控制系统通过控制编码结构光投影模块13实现扫描振镜在α3≤α≤α4区域内扫描投影，以使结构光条纹投射在较小的区域，图像接收模块接收视场缩小，即较小区域的待测物体在图像接收传感器成像，即增加了该待测区域的成像分辨率，可得到待测物体更细致的细节信息。[0051]实施例二

[0052]与实施例一不同的是，该实施例中编码结构光投影模块1中激光光源为激光点光源，振镜为2D扫描振镜，具体如图5示，主要包含如下三部分：编码结构光投影模块1，图像接收模块2，系统主控模块3。其中编码结构光投影模块用于可变焦的投射编码结构光至待测物体，图像接收模块b用于可变焦的采集从待测物体反射的编码结构光，系统主控模块3用于耦合控制编码结构光投影模块1与图像接收模块2，以将编码结构光投射到待测对象上，并使用图像接收模块2采集从待测物体反射的编码结构光，根据结构光条纹变化，提取得到待测物体的3D信息。

7

CN 108718406 A[0053]

说　明　书

5/6页

具体如下，编码结构光投影模块1包含2D扫描振镜6，激光点光源，编码结构光投影

控制系统13；激光点光源入射至2D扫描振镜6，并被反射，编码结构光投影控制系统13可实时调制激光点光源光功率，及2D扫描振镜6扫描角的大小，从而投射出特定的编码结构光。[00]在此，编码结构光投影模块1通过以下方式实现可变焦投影：保证编码结构光点数不变和2D扫描振镜绕两扭转轴扫描频率不变，改变2D扫描振镜的绕两扭转轴扫描角度，即可在距待测物体与编码结构光投影模块距离不变与编码结构光能量不变的情况下，改变编码结构光在待测物体上的扫描范围，从而实现变焦投影。且若编码结构光点数相同，扫描振镜扫描频率相同，激光点光源发出功率相同，扫描区域越小，对应的编码结构光越密，结构光条纹亮区能量并未减小，编码结构光就能反应扫描区域更精确的3D信息。[0055]图像接收模块2包含图像接收传感器21与图像接收光学镜头22，在此，光学镜头可变焦，通过调节光学镜头的焦距，可调节图像接收模块视场的大小。图像接收传感器可是CCD或是CMOS，对于一个图像接收传感器像素数量是固定的，接收视场越小，视场内待测物体在图像传感器上成像信息越详细。[0056]需要指出的是，编码结构光投影模块投影区域与图像接收模块的视场要匹配，具体如下：待测物体要同时处在图像传感器可视区域与编码结构光投影模块扫描区域，且两部分区域均可根据待测物体区域大小进行调节。

[0057]2D振镜绕其两轴的振动可同时是谐振式或可矢量控制式，或两种振动形式的组合，编码结构光投影模块投影区域与图像接收模块的视场要匹配形式分为下述两种类型：[0058]对于2D扫描振镜谐振式振动一轴，以其平衡位置为中心，往复扫描：可通过编码结构光投影控制系统调节扫描振镜的转角大小，并另加旋转机构调节扫描振镜相对图像接收传感器的位置，从而调节扫描振镜的平衡位置，即扫描区域中心，以使扫描振镜投影区域与图像接收传感器视场匹配；

[0059]对于可矢量控制的2D扫描振镜一轴：也可通过控制扫描振镜绕该扭转轴在扫描范围内任意区域往复扫描，以匹配图像传感器接收视场。[0060]实施例三

[0061]该实施例与实施例二不同的是编码结构光投影模块2中将2D扫描振镜替换为两个1D扫描振镜的组合，两个1D扫描振镜沿转轴相互重直的方向布置，激光点光源先入射至第一个扫描振镜，再从第一个扫描振镜反射至第二个扫描振镜，实现2D投影，从而投射编码结构光至待测物体；编码结构光投影系统控制两扫描振镜的振动和实现激光点光源功率调制。

[0062]实施例四

[0063]实施例一至三中，在图像接收传感器可分辨的情况下，可不改变结构光模块投射区域的大小，单纯通过投射更高密度的结构光图案，来提高检测精度；或通过改变接收镜头的焦距，缩小图像接收传感器的视场，同时增大视场内结构光线条密度，来提高检测精度。需指出的是，增大结构光密度可能会降低结构光图案线条能量，可能导致低于图像传感器的灵敏度，在此可配合增大激光器功率来提高结构光图案线条能量实现。[00]实施例五

[0065]该实施例中，在实施例一至实施例四的基础上，3D深度相机可固定到可动载台上，控制可动载台的运动可控制3D相机的旋转与移动，实现对被测物体的定向定位扫描，得到

8

CN 108718406 A

说　明　书

6/6页

被测物体更全面更高精度的3D信息。[0066]实施例六

[0067]变焦投影结构光模块不限于上述各实施例提到的基于扫描振镜投影激光结构光图案模式，也可以是其他形式的编码结构光投影形式，如LCD、LED、DLP投影等实现变焦投影。具体可通过光学镜头实现变焦。

9

CN 108718406 A

说　明　书　附　图

1/5页

图1

10

CN 108718406 A

说　明　书　附　图

2/5页

图2

11

CN 108718406 A

说　明　书　附　图

3/5页

图3

12

CN 108718406 A

说　明　书　附　图

4/5页

图4

13

CN 108718406 A

说　明　书　附　图

5/5页

图5

14