计算机视觉

3周实验，1周报告

1 图像处理基础

1-1 图像定义

• 图像：二维函数 $f(x,y)$
• 数字图像：由像素构成
  • 用二维矩阵描述
  • 像素值为整数
  • 原点为左上角

1-2 空间滤波

图像 * 模板

1-3 空间滤波的应用

边缘检测

• 图像梯度 $\Delta f=[\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}]$
• 通过梯度计算边缘点

1-4 Hough 变换

Hough 变换原理：

• 利用图像空间和 Hough 参数空间的点－线对偶性
• 把图像空间中的检测问题转换到参数空间
• 通过检测参数空间中的极值点来估计该曲线的参数

直线

参数空间：y=mx+b，m和b为变量，x和y为参数

由此每个点(x, y)对应一条参数空间m,b上的直线

直线拟合： 多个点则得到多条参数空间中的直线，获得一或多个交点。 相交最多的参数交点即为拟合得到的直线。

还可以用极坐标：$\rho =x\cos \theta +y\sin \theta$

圆

若圆的半径未知，参数空间是圆锥

2 相机与成像模型

2-1 小孔成像

透视投影方程：（相似三角形）

$P,O,P^{\prime }$ 三点共线 $\Rightarrow \overrightarrow{O{P}^{\prime }}=\lambda \overrightarrow{OP}\Rightarrow \{\begin{array}{l}{x}^{\prime }=\lambda x\\ y^{\prime }=\lambda y\\ f^{\prime }=\lambda z\end{array}$ $\Rrightarrow \{\begin{array}{l}{x}^{\prime }=f^{\prime }\frac{x}{z}\\ y^{\prime }=f^{\prime }\frac{y}{z}\end{array}$

2-2 成像特点

1. 近大远小
2. 不保持平行性：平面上的平行线在像平面上可能相交（铁轨）

聚焦条件：$\frac{1}{f}=\frac{1}{z}+\frac{1}{z^{\prime }}$

变焦：改变焦距（移动镜头组中镜片的相对位置）

对焦：让像成在底片上，通常移动镜头来实现

薄透镜：透镜厚度在计算中可忽略不计

3 相机标定

相机标定：求解 3D 到 2D 的映射的参数

相机的几何模型：

3-1 齐次坐标

用 n+1 维向量表示 n 维向量：

• 原坐标 $[x_1,x_2,\dots ,x_n]$
• 齐次坐标 $[h{x}_1,h{x}_2,\dots ,h{x}_n,h]$

平面：

• $ax+by+cz-d=0$
• $\left(\begin{array}{c}a\\ b\\ c\\ -d\end{array}\right)\cdot \left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)=0$

球面：

• $x^2+y^2+z^2=R^2$
• $\left(\begin{array}{c}x,y,z,1\end{array}\right)\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& -R^2\end{array}\right)\left(\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right)=0$

3-2 坐标系变换

世界坐标系，相机坐标系，

两个几何变换：

• 从世界坐标系到相机坐标系的刚体变换（相机的外参数）
• 从相机坐标系中三维坐标到成像平面上二维坐标的透视投影变换（相机的内参数）

刚体变换

刚体：形状、大小不变，内部各点的相对位置不变

刚体变换：把刚体做旋转、平移等坐标变换

是两个正交坐标系间的变换

1. 平移变换： $${}^B{O}_A{=}^{B}P{-}^{A}P$$
2. 旋转变换：
   1. 例如坐标系 A 绕 k 轴旋转： $$\left[\begin{array}{c}{}^{B}x\\ {}^{B}y\\ {}^{B}z\end{array}\right]=\left[\begin{array}{ccc}cos\theta & sin\theta & 0\\ -sin\theta & cos\theta & 0\\ 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}{}^{A}x\\ {}^{A}y\\ {}^{A}z\end{array}\right]$$ $$=\left(\begin{array}{ccc}{i}_B\cdot i_A& i_B\cdot j_A& 0\\ j_B\cdot i_A& j_B\cdot j_A& 0\\ 0& 0& 1\end{array}\right)\left[\begin{array}{c}{}^{A}x\\ {}^{A}y\\ {}^{A}z\end{array}\right]$$
   2. 通用旋转矩阵： $${}_A^{B}R=\left(\begin{array}{ccc}{i}_A\cdot i_B& j_A\cdot i_B& k_A\cdot i_B\\ i_A\cdot j_B& j_A\cdot j_B& k_A\cdot j_B\\ i_A\cdot k_A& j_A\cdot k_B& k_A\cdot k_B\end{array}\right)$$
3. 刚体变换： $${}^{B}P{=}_A^B{R}^{A}P{+}^B{O}_A$$ $$\left(\begin{array}{c}{}^{B}P\\ 1\end{array}\right)=\left(\begin{array}{cc}{}_A^{B}R& {}^B{O}_A\\ 0^T& 1\end{array}\right)\left(\begin{array}{c}{}^{A}P\\ 1\end{array}\right)$$

下标指示被表示的对象，上标指示用来表示对象的坐标系， 如${}^{A}P$是坐标系 A 下 P 的表示，${}_A^{B}R$是坐标系 A 在坐标系 B 中的旋转矩阵。

3-3 相机建模

虚拟成像平面：与物理成像平面平行，在光轴上距光心为 f

$$\left(\begin{array}{l}u\\ v\\ 1\end{array}\right)=\frac{1}{z}\left(\begin{array}{cccc}\alpha & -\alpha \cdot \cot \theta & u_0& 0\\ 0& \frac{\beta }{\sin \theta }& v_0& 0\\ 0& 0& 1& 0\end{array}\right)\left(\begin{array}{cc}{r}_1^T& t_x\\ r_2^T& t_y\\ r_3^T& t_z\\ 0& 1\end{array}\right)\left(\begin{array}{c}{w}_x\\ w_y\\ w_z\\ 1\end{array}\right)$$

像素坐标$=$尺度$\cdot$内参$\cdot$外参$\cdot$世界坐标

注意：r 为三维列向量

歪斜角 $\theta$ ：相机传感器非矩形而是平行四边形

像素纵横系数：$\alpha =kf,\beta =lf$，将虚拟成像平面映射到物理成像平面（像素坐标系）

3-4 参数求解

最小二乘法

$$\{\begin{array}{l}{u}_{11}{x}_1+u_{12}{x}_2+\cdots +u_{1q}{x}_q=y_1\\ u_{21}{x}_1+u_{22}{x}_2+\cdots +u_{2q}{x}_q=y_2\\ ⋮\\ u_{p1}{x}_1+u_{p2}{x}_2+\cdots +u_{pq}{x}_q=y_p\end{array}$$ 当 $p>q$时，最小化误差函数 E $$E=\sum _{i=1}^p{\left(u_{i1}{x}_1+u_{i2}{x}_2+\cdots +u_{iq}{x}_q-y_i\right)}^2=||Ux-Y|{|}^2$$

$$x=(U^{T}U{)}^{-1}{U}^{T}Y$$

若 y 均为0，则为齐次方程，解为 $U^{T}U$ 的最小特征根所对应的特征向量

算法步骤

• 物点的世界坐标，像点的像素坐标）经由多组数据的最小二乘法，得到（矩阵 M 的 12 个元素值） $$\left(\begin{array}{l}u\\ v\\ 1\end{array}\right)=\frac{1}{z}M\cdot \left(\begin{array}{c}{}^{w}x\\ {}^{w}y\\ {}^{w}z\\ 1\end{array}\right)$$
• 再算出相机的内外参数之积 M $$M=\left(\begin{array}{cc}\alpha \cdot r_1^T-\alpha \cdot \cot \theta \cdot r_2^T+u_0\cdot r_3^T& \alpha \cdot t_x-\alpha \cdot \cot \theta \cdot t_y+u_0\cdot t_z\\ \frac{\beta }{\sin \theta }\cdot r_2^T+v_0\cdot r_3^T& \frac{\beta }{\sin \theta }\cdot t_y+v_0\cdot t_z\\ r_3^T& t_z\end{array}\right)$$

计算 M

令 $P=\left(\begin{array}{c}{w}_x\\ w_y\\ w_z\\ 1\end{array}\right)$，有 $\left(\begin{array}{l}u\\ v\\ 1\end{array}\right)=\frac{1}{z}\left(\begin{array}{l}{m}_1^T\\ m_2^T\\ m_3^T\end{array}\right)P$， 得$\{\begin{array}{l}{\left(m_1-u{m}_3\right)}^T\cdot P=0\\ {\left(m_2-v{m}_3\right)}^T\cdot P=0\end{array}$

将 n 组点代入（即 n 个 u，v，P）

转为齐次方程：$$\left(\begin{array}{ccc}{P}_1^T& 0& -u_1{P}_1^T\\ 0& P_1^T& -v_1{P}_1^T\\ ⋮& ⋮& ⋮\\ P_n^T& 0& -u_n{P}_n^T\\ 0& P_n^T& -v_n{P}_n^T\end{array}\right)\left(\begin{array}{c}{m}_1\\ m_2\\ m_3\end{array}\right)=0$$

则得 ${\left(m_1^T,m_2^T,m_3^T\right)}^T$ 为矩阵 $A^{T}A$ 最小特征根对应的特征向量 $$M=\rho {\left(\begin{array}{l}{m}_1^T\\ m_2^T\\ m_3^T\end{array}\right)}_{3\times 4}=\rho \left(\begin{array}{ll}{a}_1^T& b_1\\ a_2^T& b_2\\ a_3^T& b_3\end{array}\right)$$ 其中 ρ 为齐次方程的系数。由此解出 M。

$$\rho \left(\begin{array}{l}{a}_1^T\\ a_2^T\\ a_3^T\end{array}\right)=\left(\begin{array}{c}\alpha \cdot r_1^T-\alpha \cdot \cot \theta \cdot r_2^T+u_0\cdot r_3^T\\ \frac{\beta }{\sin \theta }\cdot r_2^T+v_0\cdot r_3^T\\ r_3^T\end{array}\right)$$

$\{\begin{array}{l}{u}_0={\rho }^2\left(a_1^T{a}_3\right)\\ v_0={\rho }^2\left(a_2^T{a}_3\right)\end{array}$，且 $\{\begin{array}{l}\rho =\frac{\epsilon }{|a_3|}\\ r_3=\rho a_3\end{array}$，$ϵ=\pm 1$

其中 ε 表征物体与相机是否在世界坐标系的同一侧（1 为同）

估计参数

$$\{\begin{array}{rl}\cos \theta & =-\frac{{\left(a_1\times a_3\right)}^T\cdot \left(a_2\times a_3\right)}{\left|a_1\times a_3\right|\cdot \left|a_2\times a_3\right|}\\ \alpha & ={\rho }^2\left|a_1\times a_3\right|\sin \theta \\ \beta & ={\rho }^2\left|a_2\times a_3\right|\sin \theta \end{array}$$

$$\{\begin{array}{c}{r}_1=\frac{a_2\times a_3}{|a_2\times a_3|}\\ r_2=r_3\times r_1\end{array}$$

$$\begin{array}{rl}& t_x=\rho \cdot \frac{1}{\alpha }\cdot \left[b_1+\frac{\alpha }{2\beta }\sin 2\theta \cdot b_2-\left(\frac{\alpha }{2\beta }\sin 2\theta \cdot v_0+u_0\right)\cdot b_3\right]\\ & t_y=\rho \cdot \frac{\sin \theta }{\beta }\left(b_2-v_0{b}_3\right)\\ & t_z=\rho b_3\end{array}$$

$$z=m_3^T\cdot P$$

4 图像配准

4-1 图像配准

• 图像配准可以视为源图像 I2 和目标图像 I1 关于空间和灰度的映射关系： $$I_2(x,y)=g\left(I_1(f(x,y))\right)$$ 其中： f 为二维空间坐标变换（如仿射变换），g 为灰度变换。
• 图像配准问题的关键:最佳几何变换 f
  • 选取图像特征
  • 估计几何变换

图像配准的模式分类

• 按自动化程度分类：
  • 人工配准方法
  • 半自动方法
  • 全自动方法
• 按成像模式分类:
  • 不同视角(多视角分析）
  • 不同时间(多时段分析)
  • 不同传感器(多模式分析)
  • 场景与场景模型图像配准
• 按图像配准的应用领域分类
  • 医学、遥感、计算机视觉、军事等领域
• 按图像的维数分类
  • 2D-2D、2D-3D、3D-3D
• 按对图像信息的利用情况分类
  • 基于灰度信息
  • 基于特征信息

4-2 图像预处理

4-2-1 图像的灰度变换

• 线性灰度变换
• 对数灰度变换
• 分段线性灰度变换
• 直方图的均衡化

4-2-2 图像的平滑处理

• 邻域平均法
• 中值滤波

4-3 图像配准

4-3-1 主要方法

基于灰度的图像配准

基于特征的图像配准

1. 特征提取
2. 特征匹配
3. 通过特征估计变换模型
4. 图像重采样

图像配准的核心模块

• 特征选取
  • 充分表达图像的内部结构
  • 消除畸变噪音的干扰
  • 降低参与计算的数据量
• 几何变换的选取
  • 选择合适的几何变换
• 搜索策略
  • 动态规划、牛顿法、最速下降法、共轭梯度法
• 相似度度量

4-3-2 特征选取

1. 找到图像特征点
2. 特征点配对
3. 图像拼接：通过匹配的特征点，估计参数

角点检测

• 角点：像素值变化剧烈的点
• 定义移动窗口的像素变化值
  • W 为窗口
  • 移动量为 (u,v)
  • 窗口内像素变化函数 $E(u,v)={\sum }_{(x,y)\in W}[I(x+u,y+v)-I(x,y){]}^2$

Harris 角点检测

• 假定窗口滑动微小，图像平滑，则通过泰勒展开 $$\begin{array}{rl}I(x+u,y+v)& \approx I(x,y)+\frac{\partial I}{\partial x}u+\frac{\partial I}{\partial y}v\\ & \approx I(x,y)+\left[I_x{I}_y\right]\left[\begin{array}{c}u\\ v\end{array}\right]\end{array}$$

$$I_x=\frac{\partial I}{\partial x},I_y=\frac{\partial I}{\partial y}$$

则：$$\begin{gathered} E(u,v)\approx \sum _{(x,y)\in W}{\left[\left[I_x{I}_y\right]\left[\begin{array}{l}u\\ v\end{array}\right]\right]}^2 \\ =\left[\begin{array}{ll}u& v\end{array}\right]\left(\sum _{(x,y)\in W}\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_y{I}_x& I_y^2\end{array}\right]\right)\left[\begin{array}{l}u\\ v\end{array}\right] \end{gathered}$$

圆括号内的 求和 记为矩阵 H

根据特征值的计算公式：

$$\det \left[\begin{array}{cc}{h}_{11}-\lambda & h_{12}\\ h_{21}& h_{22}-\lambda \end{array}\right]=0$$

得到H的两个特征值：

$${\lambda }_{\pm }=\frac{1}{2}\left[\left(h_{11}+h_{22}\right)\pm \sqrt{4h_{12}{h}_{21}+{\left(h_{11}-h_{22}\right)}^2}\right]$$

• 几何关系

  • $x_{+}$表示 E 的最大变化分量
  • $x_{-}$征表示 E 的最小变化分量
  • ${\lambda }_{+}$ 在$x_{+}$方向的增量值
  • ${\lambda }_{-}$ 在$x_{-}$方向的增量值

• 平坦区域：${\lambda }_{+}$ 和 ${\lambda }_{-}$ 都很小

• 边缘区域：${\lambda }_{+}$ 大， ${\lambda }_{-}$ 小

• 角点区域：${\lambda }_{+}$ 和 ${\lambda }_{-}$ 都很大

Harris 算子 $$f=\frac{{\lambda }_{-}{\lambda }_{+}}{{\lambda }_{-}+{\lambda }_{+}}=\frac{\text{ determinant }(H)}{\mathrm{trace}(H)}$$

Harris 无需计算特征值，算子大则检测到角点。

4-3-3 特征描述

SIFT描述子

• 提取图像的局部特征
• 具有平移、旋转、伸缩不变性
• 对光照变化、仿射变换和三维投影变换具有一定的鲁棒性

SIFT描述子产生过程

1. 方向分配
   • 在关键点为中心的邻域窗口，计算每个点的梯度
   • 用直方图统计邻域像素的梯度方向分布（每10度为一个统计区间）
   • 最大的梯度所在的方向即为关键点的主方向
2. 产生描述
   • 将坐标轴旋转为关键点的主方向，确保旋转不变性
   • (以窗口长度为8为例)
   1. 根据预设的尺度与角度，在特征点附近取窗口
   2. 获得窗口内每点的梯度
   3. 将原始窗口分为2×2共4个子窗口，计算每个窗口内的梯度直方图（仅考虑8个方向）
   4. 这2×2×8共32个数值（4个直方图）,获得特征描述
   5. 归一化以消除光照影响

4-3-4 特征匹配

• 设特征 $f_1^{\prime }$ 和 $f_2$ 是与特征 $f_1$ 最近和次近的特征
• 计算距离比例$r=\frac{||f_1-f_1^{\prime }|{|}_2}{||f_1-f_2|{|}_2}$
• 当r小于某个阈值，则匹配成功
• 阈值的选取需根据图像确定（建议范围：0.4到0.8）

由于图片角点十分多，因此需要用 K-d 树等数据结构来加速

K-d 树略

4-3-5 几何模型估计