CN102012513B - 前视声纳图像的实时拼接方法和系统 - Google Patents

Abstract

本发明涉及一种前视声纳图像的拼接方法和系统。本方法是通过安装在船体上云台的姿态信息、船体的姿态传感器信息以及差分GPS信息，计算出每一声纳图像对应到惯性坐标系统下的坐标。然后将不同位置的声纳图像根据大地坐标下的位置，结合相邻图像之间的相关性计算出坐标变换矩阵，将图像投影在一个平面内；最后通过灰度拉伸，调整声纳图像亮度，在重叠区域采用双线形的插值，实现重叠区域的融合。这种拼接方法可实时的将小视角的单幅前视声纳图像拼接为一个大范围的声纳图像，扩大了观测的视野，方便了水下目标的观测。另外，由于在声纳匹配中添加了GPS信息，拼接的声纳图像可以直接用于水下目标尺寸的测量和水下导航。

Description

前视声纳图像的实时拼接方法和系统

技术领域

本发明涉及一种前视声纳的图像拼接方法和系统，可实时的将分辨率较低的前视声纳图像拼接为一个高分辨率，大范围的图像。

背景技术

前视声纳利用声波的回波信息进行成像，主要用于水下目标观测，广泛的应用于水下探测，搜救，水下入侵检测以及导航等。特别在浑浊的水中，光线会被吸收散射，导致光学成像设备无法探测远距离的目标，甚至导致无法成像。所以在浑浊的水域内进行探测，声纳是一种非常重要的手段。现有的前视声纳设DIDSON(Dual-Frequency Identification Sonar)是运用声频“镜头”能在黑暗中、混水中能生成几乎等同影像质量图像的声纳。它是美国空间与海上战争系统中心研发，作为其海港防御计划的一个组成部份，可被用来识别大型的海港内潜入水域的入侵者。但是由于DIDSON成像的视角小(水平方向为28.8°)，分辨率低(垂直分辨率为512，水平方向在小于512)，很难观测大的范围，不利于发现水中的目标。因此在实际的应用中会将DIDSON安装在船体的云台上，通过船体以及云台的运动，来观测较大的范围。然而，在同一时刻也只能观测到一个小视角范围内的图像，这仍然不满足水中目标物的检测，由于水下环境复杂，要判别一个物体的性质，需要有个连续的过程，最好能够显示大范围的水中的影像。实时的将多幅小视角的声纳图像拼接为一个大范围的图像，在水下探测中具有重要的作用。

发明内容

本发明的目的在于针对已有技术存在的缺陷提供一种前视声纳图像的实时拼接方法和系统，可以实时的将多幅视角小，分辨率低的声纳图像拼接为一个大范围，高分辨率的声纳图像，有利于提高前视声纳目标探测的水平，扩大观测视角，方便对水下大的目标进行探测。

本发明的构思是：图像拼接采用了多个传感器融合的方法，首先通过云台的姿态信息、船体的姿态传感器信息以及差分GPS信息，计算出每一声纳图像对应到惯性坐标系统下的坐标。其次将不同位置的声纳图像根据惯性坐标下的位置，结合相邻图像之间的相关性计算出坐标变换矩阵，将图像投影在一个平面内；最后通过灰度拉伸，调整声纳图像亮度，在重叠区域采用双线形的插值，实现重叠区域的融合；最终将多幅声纳图像拼接在一起。

本发明的系统结构为：姿态传感器固定安装在船上，可以测量出船体的三维姿态信息。差分GPS固定安装在船上，可测量出船体的大地坐标，用来确定船的位置。两维云台固定安装在船上，经由云台控制器通过PC控制它的运动。前视声纳固定安装在云台上，会随着云台的运动而动作，声纳图像数据通过网络连接到计算机。GPS信号以及惯性系统的信息号都通过串口连接到计算机。

根据云台的安装位置、姿态传感器信息和GPS信息，可计算出当前声纳图像在大地坐标系下的位置和姿态。根据声纳的成像原理，可将图像重新投影到大地坐标系下。在目标探测区域内，PC控制云台的运动以及船体的运动，前视声纳可获取到不同位置和角度的水下图像，这些图像都能够通过计算投影到同一个大地坐标系下，不同图像之间通过融合算法进行融合，这样就将多幅小范围的声纳图像拼接为一个较大范围的图像。

上述的姿态传感器采用了TSS公司的MAHRS SURFACE；

上述的GPS采用了Simrad公司的MX421；

上述云台为自制的二维云台；

上述前视声纳DIDSON采用Sound Metrics公司的长距型双频识别声纳。

根据上述的发明构思，本发明采用下述的技术方案：

一种前视声纳图像的实时拼接方法，其特征在于拼接步骤是：

(1)将GPS、姿态传感器以及云台安装在船上：云台安装在船头的支架上，其水平旋转面与船甲板面平行，旋转中心线尽量在船体中轴线上，GPS安装在船体中心位置，姿态传感器安装位置要保证其中心线与船体中轴线重合。云台控制器和PC放置在船上，计算机通过串口联线连接云台控制器、姿态传感器和GPS，并通过网络网线连接前视声纳。

(2)启动PC、GPS、姿态传感器设备、云台、前视声纳；检查各部分数据链路通讯是否正常；

(3)通过PC控制云台在探测范围内运动；

(4)同时获取各个传感器信息数据，包括以下四种传感器信息：

●从串口读取云台反馈的姿态信息；

●从串口读取姿态传感器发送的船体姿态信息；

●从串口读取GPS信息；

●从网络读取声纳回波信息；

(5)根据前视声纳回波信号的强度将声纳信息恢复为声纳的灰度图象；

从声纳介绍到的信号为采样点声波的回波强度，将回波强度看做图像的灰度值，即可以得到声纳的灰度图像，变换公式如下：

I(x，y)＝F(S(i，j))

其中，I(x，y)为声纳图像在(x，y)的灰度，S(i，j)为声纳信号在(i，j)的回波强度，F(x)为变换方程。

(6)通过灰度拉伸将当前的声纳图像亮度调整到与拼接后图像亮度达到一致；由于信号增益的不同，以及声波回波强度的变化，可能会造成不同时间下采集的声纳图像亮度有所不同，因此采用了图像灰度拉伸的方法将亮度调整一致。

(7)通过上述四种传感器信息，经过坐标变换计算出当前声纳图像变换到大地坐标下的变换矩阵T；这里的大地坐标也就是拼接后图像的坐标系。

(8)根据该变换矩阵T，得大地坐标系投影平面的每个像素点与当前声纳图像中像素点的变换关系；如果当前声纳图像与在大地坐标系投影平面的图像中有重叠的部分，那么在重叠区域中通过图像灰度相关法搜索最佳的匹配点；通过四对以上新的匹配点重新计算出变换矩阵T′，并将图像映射到大地坐标投影的图像中，即拼接后的图像中；

(9)通过融合算法使图像重叠部分融合，并在产生空洞处采用双线形插值的方法将图像补齐；

(10)重复(3)～(9)即可实现前视声纳图像的拼接。

一种前视声纳图像和实时拼接系统，应用与上述方法，包括前视声纳、GPS、姿态传感器、云台、云台控制器和计算机。

以上拼接方法中，船体在大地坐标系下的位置是通过GPS获取的，但是由于GPS的数据更新频率较低，而声纳图像更新数据较快，在两次GPS更新之间不能够的直接得到船体的位置信息。因此在计算声纳图像对应的位置时，是利用船体的航向和速度，计算出在单位时间内船位置的变化量，间接的获得船体的位置。

本发明具有如下显而易见的突出特点和显著优点：本发明提供了一种实用快速的方法实现前视声纳DIDSON图像的拼接方法。通过云台运动参数，GPS和惯性传感器信号直接计算出声纳图像序列的拼接参数，减少了图像匹配搜索的范围，提高了图像匹配的实时性。这种拼接方法可实时的将小视角的单幅前视声纳图像拼接为一个大范围的声纳图像，扩大了观测的视野，方便了水下目标的观测。另外，由于在声纳匹配中添加了GPS信息，拼接的声纳图像可以直接用于水下目标尺寸的测量和水下导航。

附图说明

图1是本发明的传感器安装示意图；

图2是坐标关系图；

图3为本发明的系统框图；

具体实施方式

本发明的一个优选实施例如下详述：参见图1为拼接系统各个部件的安装图，其中1为船体，2为姿态传感器，该传感器安装时器中轴线需要和船体的中轴线对齐，这样做的目的是为了更加准确的测量出船体的姿态，尤其是航线信息；3为GPS，GPS也尽量安置在船的中心位置，这样会减少由于坐标变换引起的误差；4为一个两维的云台，云台与船体固定连接，云台可以在水平方向(航向)旋转，旋转角度范围为-160°～160°，另外在俯仰方向可以旋转，范围为0°～-80°，可以调节声纳探测水域的深度。5为前视声纳。

参见图3为系统的框图，其中8为计算机，2为姿态传感器，3为GPS，它们通过串口6联线连接到计算机，7为云台控制器，连接到云台4，云台控制器(7)通过串口6联线连接到计算机8，5为前视声纳传感器，通过网络9联线连接到计算机8。

实现拼接的拼接步骤是：

1.将GPS、姿态传感器以及云台安装在船上；云台安装在船头的支架上，其水平旋转面与船甲板面平行，旋转中心线尽量在船体中轴线上，GPS安装在船体中心位置，姿态传感器安装位置要保证其中心线与船体中轴线重合。云台控制器和PC放置在船上，连接各部分的数据线。

2.启动PC、GPS、姿态传感器、云台、前视声纳；检查各部分数据链路通讯是否正常；

3.通过PC控制云台在探测范围内运动；

4.同时获取各个传感器信息数据，包括以下四种传感器信息：

●从串口读取云台反馈的姿态信息；

●从串口读取姿态传感器发送的船体姿态信息；

●从串口读取GPS信息；

●从网络读取声纳回波信息；

5.根据声纳回波信号的强度将声纳信息恢复为声纳的灰度图象；从声纳介绍到的信号为采样点声波的回波强度，将回波强度看做图像的灰度值，即可以得到声纳的灰度图像，变换公式如下：

I(x，y)＝F(S(i，j))

其中，I(x，y)为声纳图像在(x，y)的灰度，S(i，j)为声纳信号在(i，j)的回波强度，F(x)为变换方程。

6.通过灰度拉伸将当前的声纳图像亮度调整到与拼接后图像亮度达到一致；由于信号增益的不同，以及声波回波强度的变化，可能会造成不同时间下采集的声纳图像亮度有所不同，因此采用了图像灰度拉伸的方法将亮度调整一致。

7.通过传感器信息，计算出当前声纳图像变换到大地坐标下的变换矩阵T；这里的大地坐标也就是拼接后图像的坐标系。坐标关系如图2所示，其中XYZO为大地坐标系，船体的坐标系为X₁Y₁Z₁O₁，它在大地坐标系下的变换矩阵可以通过GPS以及姿态传感器MAHRS测量出来，假设GPS测量出来的位置坐标为(x，y，z)，MAHRS测量出来船体的三个方向的姿态角度(航向，俯仰，横滚)为(ψ，θ，φ)，那么船体在大地坐标系下的变换矩阵为：

$B=\left[\begin{array}{cccc}\cos \mathrm{\φ}\cos \mathrm{\ψ}-\cos \mathrm{\θ}\sin \mathrm{\φ}\sin \mathrm{\ψ}& \sin \mathrm{\φ\ψ}\cos +\cos \mathrm{\θ}\cos \mathrm{\φ}\sin \mathrm{\ψ}& \sin \mathrm{\θ}\sin \mathrm{\ψ}& x\\ -\cos \mathrm{\φ}\sin \mathrm{\ψ}-\cos \mathrm{\θ}\sin \mathrm{\φ}\cos \mathrm{\ψ}& -\sin \mathrm{\φ}\sin \mathrm{\ψ}+\cos \mathrm{\θ}\cos \mathrm{\φ}\cos \mathrm{\ψ}& -\sin \mathrm{\θ}\cos \mathrm{\ψ}& y\\ \sin \mathrm{\θ}\sin \mathrm{\φ}& -\sin \mathrm{\θ}\cos \mathrm{\φ}& \cos \mathrm{\ψ}& z\\ 0& 0& 0& 1\end{array}\right]$

云台的固定安装在船上，如图2中X₂Y₂Z₂O₂坐标系，云台的姿态通过PC进行控制，云台相对于船的变换矩阵可以写为：

$K=\left[\begin{array}{cccc}\cos \mathrm{\α}\cos \mathrm{\λ}-\cos \mathrm{\β}\sin \mathrm{\α}\sin \mathrm{\λ}& \sin \mathrm{\α}\cos \mathrm{\λ}+\cos \mathrm{\β}\cos \mathrm{\α}\sin \mathrm{\λ}& \sin \mathrm{\β}\sin \mathrm{\λ}& \mathrm{\Δx}\\ -\cos \mathrm{\α}\sin \mathrm{\λ}-\cos \mathrm{\β}\sin \mathrm{\α}\cos \mathrm{\λ}& -\sin \mathrm{\α}\sin \mathrm{\λ}+\cos \mathrm{\β}\cos \mathrm{\α}\cos \mathrm{\λ}& -\sin \mathrm{\β}\cos \mathrm{\λ}& \mathrm{\Δy}\\ \sin \mathrm{\β}\sin \mathrm{\α}& -\sin \mathrm{\β}\cos \mathrm{\α}& \cos \mathrm{\λ}& \mathrm{\Δz}\\ 0& 0& 0& 1\end{array}\right]$

其中(α，β，λ)为云台相对于船体的姿态角度，角度包含了云台的安装角度以及控制角度，(Δx，Δy，Δz)为云台相对于船体坐标系的位置，这个是由云台的安装位置来决定的，可以通过测量得到；云台与声纳固定安装在一起，可以认为云台的位置和姿态就是声纳设备的位置和姿态。那么当前声纳在世界坐标系下的位置和姿态就可通过下面的公式计算，

$Y=B*K=\left[\begin{array}{cccc}r11& r12& r13& x\\ r21& r22& r23& y\\ r31& r32& r33& z\\ 0& 0& 0& 1\end{array}\right]$

其中δx，δy，δz就是声纳图像在大地坐标系下的位置，矩阵

为声纳在大地坐标系下的姿态。因此这里问题的关键就是要把声纳当前姿态下的图像，投影在姿态与大地坐标一致，即旋转矩阵为

位置为(0，0，-δz)的坐标系下，即坐标系为X₃Y₃Z₃O₃。

图2中在声纳坐标系下即在X₂Y₂Z₂O₂坐标系下，P(x₂，y₂，z₂)点在声纳DIDSON是成像点坐标为(u，v)，根据声纳的成像原理，它成像坐标变换为：

$u=r*\sin \mathrm{\μ}=x_2\sqrt{1+{\tan }^2\mathrm{\η}}$

$v=r*\cos \mathrm{\μ}=y_2\sqrt{1+{\tan }^2\mathrm{\η}}$

其中

η的为OP向量与成像平面的夹角。那么在同一点在X₃Y₃Z₃O₃坐标系下的变换为：

$\left(\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right)=\left(\begin{array}{c}{x_2}^{\′}\sqrt{1+{\tan }^2{\mathrm{\η}}^{\′}}\\ {y_2}^{\′}\sqrt{1+{\tan }^2{\mathrm{\η}}^{\′}}\\ 1\end{array}\right)=T\left(\begin{array}{c}{x}_2\sqrt{1+{\tan }^2\mathrm{\η}}\\ y_2\sqrt{1+{\tan }^2\mathrm{\η}}\\ 1\end{array}\right)=T\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)$

公式可以写为：

$u^{\′}=x_2^{\′}\sqrt{1+{\tan }^2{\mathrm{\η}}^{\′}}=\sqrt{1+{\tan }^2{\mathrm{\η}}^{\′}}(r_{11}{x}_2+r_{12}{y}_2-r_{13}\mathrm{\δz})$

$v^{\′}=y_2^{\′}\sqrt{1+{\tan }^2{\mathrm{\η}}^{\′}}=\sqrt{1+{\tan }^2{\mathrm{\η}}^{\′}}(r_{21}{x}_2+r_{22}{y}_2-r_{23}\mathrm{\δz})$

那么由此可以得到：

$T=\left[\begin{array}{ccc}r11& r12& -\mathrm{\δ}{\mathrm{zr}}_{13}\\ r21& r22& -\mathrm{\δz}{r}_{23}\\ 0& 0& 1\end{array}\right]$

8.根据该变换矩阵T，就可以知道大地坐标系投影平面的每个像素点与当前声纳图像中像素点的变换关系；如果当前声纳图像与在大地坐标系投影平面的图像中有重叠的部分，那么在重叠区域中可通过图像灰度相关法搜索最佳的匹配点；通过四对以上新的匹配点可以重新计算出变换矩阵T′，并将图像映射到大地坐标投影的图像中，即拼接后的图像中。

9.通过融合算法使图像重叠部分融合，并在产生空洞出采用双线形插值的方法将图像补齐；(10)重复步骤(3)～(9)即可实现前视声纳图像的拼接。

Claims (2)

1.一种前视声纳图像的实时拼接方法，其特征在于拼接步骤是：

a.将GPS(3)、姿态传感器(2)以及云台(4)安装在船上；云台(4)安装在船头的支架上，其水平旋转面与船甲板面平行，旋转中心线在船体中轴线上，GPS(3)安装在船体中心位置，姿态传感器(2)安装位置要保证其中心线与船体中轴线重合；云台控制器(7)和计算机(8)放置在船上，计算机(8)通过串口(6)连接云台控制器(7)、姿态传感器(2)和GPS(3)，并通过网络(9)网线连接前视声纳(5)；

b.启动计算机(8)、GPS(3)、姿态传感器(2)、云台(4)、前视声纳(5)；检查各部分数据链路通讯是否正常；

c.通过计算机(8)控制云台(4)在探测范围内运动；

d.同时获取各个传感器信息数据，包括以下四种传感器信息；

●从串口(6)读取云台(4)反馈的姿态信息；

●从串口(6)读取姿态传感器(2)发送的船体姿态信息；

●从串口(6)读取GPS(3)信息；

●从网络(9)读取前视声纳(5)的回波信息；

e.根据前视声纳回波信号的强度将声纳信息恢复为声纳的灰度图象；

f.通过灰度拉伸将当前的声纳图像亮度调整到与拼接后图像亮度达到一致；由于信号增益的不同，以及声波回波强度的变化，可能会造成不同时间下采集的声纳图像亮度有所不同，因此采用了图像灰度拉伸的方法将亮度调整一致；

g.通过所述四种传感器信息，经过坐标变换计算出当前声纳图像变换到大地坐标下的变换矩阵T；这里的大地坐标也就是拼接后图像的坐标系；

h.根据该变换矩阵T，得到大地坐标系投影平面的每个像素点与当前声纳图像中像素点的变换关系；如果当前声纳图像与在大地坐标系投影平面的图像中有重叠的部分，那么在重叠区域中通过图像灰度相关法搜索最佳的匹配点；通过四对以上新的匹配点重新计算出变换矩阵T′，并将图像映射到大地坐标投影的图像中，即拼接后的图像中；

i.通过融合算法使图像重叠部分融合，并在产生空洞处采用双线形插值的方法将图像补齐；

j.重复步骤c～步骤I，即实现了前视声纳图像的拼接。

2.一种前视声纳图像的实时拼接系统，应用于根据权利要求1所述的前视声纳图像的实时拼接方法，包括前视声纳(5)、GPS(3)、姿态传感器(2)、云台(4)、云台控制器(7)和计算机(8)，其特征在于姿态传感器(2)安装在船体(1)上，并通过串口(6)联线连接到计算机(8)；GPS(3)通过串口(6)联线连接到计算机(8)；云台(4)固定安装在船体(1)上，并通过云台控制器(7)通过串口(6)联线连接到计算机(8)；前视声纳传感器(5)固定安装在云台(4)上，通过网络(9)网线连接到计算机(8)。

Images