作者：曹兴文
Date：2020-07-31
来源：ARGIS算法学习

AIRX授权转载

增强现实（AR）技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”

本篇将讲解实时AR跟踪注册技术相关研究现状，目前注册技术分为四种：①人工标识注册技术、②自然特征注册技术、③硬件传感器注册技术、④混合跟踪注册技术。

首先讲解注册原理与关键技术实现，为了使AR信息与真实场景融合为一体，跟踪注册首要任务就是获取用户与其视野内场景的位置与姿态信息，并基于该信息求解虚拟物体与真实场景的投影变换模型，最终将虚拟信息叠加到真实场景中，达到AR场景几何一致性目的，要实现这一过程，首先要明确注册技术的数学原理，并掌握该过程所涉及的关键技术。

注册过程

现实世界中所有对象具有三维属性，可以将事物抽象为一个物点，具有空间属性坐标，将三维空间目标与二维平面图形连接的纽带就是坐标，在经历投影变换等降维操作后，虚拟信息由初始的三维坐标形式最终转换为用户屏幕上二维坐标形式。综合来说分为以下几个步骤：

• 数据预处理
• 内参数标定
• 位姿信息求解
• 虚拟信息叠加

注册原理

跟踪注册过程就是实时确定虚拟信息和真实环境的相对位置关系，将用户视野中的三维信息投影到用户显示屏幕上的过程，本文设计了理想状态下的成像坐标模型如下图所示（画了我好久的图）：

该模型主要描述了在用户视角下，用户视野内一个物点（事物抽象）Q最终在投影平面上的投影关系，上述模型主要涉及不同坐标系转换关系的确定。

1、场景三维特征点坐标系到世界坐标系转换关系Π用于将场景三维特征点的经纬度坐标转换为世界坐标系的描述；

2、世界坐标系到动态追踪坐标系的转换关系Φ用于确定场景三维特征点相对于世界坐标系的位置和方向；

3、动态追踪坐标系到人眼坐标系的转换关系Ψ确定人眼位置相对真实室内场景中的位置和姿态

4、人眼坐标系到投影平面坐标系的转换关系Γ确定将场景三维特征点坐标转化为二维图像透视投影和姿态；

场景物点Q坐标系到世界坐标系转换关系Π详细求解步骤如下

（1）设物点坐标是GCS2000国家坐标系，将点坐标先转化为空间直角坐标，由坐标转换公式得

（2）接着将空间直角坐标（X,Y,Z）进行高斯投影，将空间坐标系转化为世界坐标系（X1,Y1,Z1）

（3）GPS坐标中高程为世界坐标系下坐标Z1，由此过程已将物点坐标转换为世界坐标系表示形式。后面具体实施方式均已世界坐标系为基准坐标系进行位姿关系的确定。

世界坐标系到动态追踪坐标系的转换关系Φ详细求解步骤如下：

（1）本文采用的是基于自然场景特征跟踪注册求解，动态追踪矩阵的最终形式都可以化为旋转平移矩阵变换形式：

（2）[XTYTZT](T为下标，这是个转置矩阵，太难受了，打不出来)表示物点Q在动态追踪坐标系下的坐标；R和T分别表示世界坐标系和动态追踪坐标系之间的相对位置和姿态，其中R为绕坐标轴旋转矩阵，T为三维平移向量。

动态跟踪坐标系到人眼坐标系的转换关系Ψ详细求解步骤如下：

（1）因为在动态追踪注册时采用的智能手机设备与人眼存在固定的位置偏移关系，可以用相应的旋转平移矩阵[R'T']表示。将旋转平移矩阵[R'T']带入

（2）上述式子中[XCYCZC]（C为下标）表示物点Q在人眼坐标系下的坐标，其中为固定值，通过对智能手机的相对位置关系进行标定可以求解；

人眼坐标系到投影平面坐标系的转换关系Γ详细求解步骤如下：

（1）此过程的转换矩阵求解可由上图（成像模型图）中坐标轴的平行关系，结合平面几何中的相似三角形进行求解。由相似三角形性质得：

（2）其中（x,y,L）的x,y表示为物点Q在投影平面的交点的平面坐标，L为人眼距离智能手机的垂直距离，为固定的不为0的比例系数，将该公式转换为齐次矩阵形式:

（3）[x y 1]（转置矩阵）为物点Q在投影平面坐标系下的齐次坐标，其度量单位为长度。还需将投影平面坐标系下坐标转换为智能手机屏幕的像素单位坐标系。两者转换关系如下图（图像坐标系与像素坐标系转换关系图）所示，其转换关系如下：

图像坐标系与像素坐标系转换关系图示

（4）（fu,fv,1）是Q点在像素坐标系下的齐次坐标，即像素行列数；dx,dy表示单位像素坐标在x轴和y轴方向上的物理长度；(u0,v0)（0为下标）是图像坐标原点在像素坐标系下的描述，将其视为常量，γ代表像素坐标斜向畸变角。

（5）由此求解出在室内场景三维特征识别点在图像像素坐标系的总关系式；

在实际测试中，智能手机像素物理斜向畸变角γ近似为零，因此tanγ近似为0而(X1,Y1,Z1)T（T为转置矩阵角标，1为下标）是场景中任一物点，在确定世界坐标系的原点后，就可以根据上式计算任意一点在智能手机显示屏幕上的像素点坐标。

（6）由上式得出矩阵A的参数值均为常量，只与智能手机设备结构有关，称为内参矩阵，内部参数统称为S，R和T表示用户采用的智能手机相对于世界坐标系的位置和方向，其参数值在注册过程中随着用户在室内场景中的位置改变而改变，将两个矩阵合并后的Tcw称为外参矩阵

假设主点（u0,v0）（0为下标）值为，规定表示平面与世界坐标系下的Z=0平面重合，则平面标识上点Q在世界坐标系下的坐标（X1,Y1,0,1）（X,Y的1为下标）与与Q点在第m帧影像之间的关系可以用以下式子表示：

因为R为旋转矩阵，T为平移矩阵

其中3*3矩阵将真实世界中Z=0平面上的Q点映射到第m帧图像上，称之为单应矩阵，下标1代表世界坐标系。单应矩阵通过下列式子计算：

进而可以求出

，由三维注册矩阵旋转分量的正交性可得

可以导出下列公式：

由上式（2），（3）两式消去ξ，并结合（1）式可求出ax，uy（x,y为下标），从而获取智能手机内参矩阵

至此，现实世界中物点转换到用户手机屏幕像素坐标就完成了，好了今天就写到这，这是增强现实AR注册的数学原理，下一篇我将结合代码工程案例来实现。用python和matlab来模拟仿真。