Калибровка камеры

${\displaystyle A={\begin{bmatrix}\alpha _{x}&\gamma &u_{0}\\0&\alpha _{y}&v_{0}\\0&0&1\end{bmatrix}}}$

Матрица внутренней калибровки A содержит 5 значимых параметров. Эти параметры соответствуют фокусному расстоянию, углу наклона пикселей и принципиальной точке (точка пересечения плоскости изображения с оптической осью, совпадающая с центром фотографии. В реальных камерах, как правило, бывает немного смещена из-за оптических искажений). В частности, ${\displaystyle \alpha _{x}}$ и ${\displaystyle \alpha _{y}}$ соответствуют фокусному расстоянию, измеренному в ширине и высоте пикселя, ${\displaystyle u_{0}}$ и ${\displaystyle v_{0}}$ — координатам принципиальной точки, а ${\displaystyle \gamma ={\alpha _{y}}*\tan \varphi }$, где ${\displaystyle \varphi }$ — угол наклона пикселя[2]. Нелинейные параметры внутренней калибровки, такие как коэффициенты дисторсии, также имеют важное значение, хотя и не могут быть включены в линейную модель, описываемую матрицей внутренней калибровки. Большинство современных алгоритмов калибровки камеры определяет их вместе с параметрами линейной части модели.
Параметры внутренней калибровки относятся только к камере, но не к сцене, поэтому они изменяются только в том случае, когда меняются соответствующие настройки камеры.

${\displaystyle {\textbf {R}},T}$ (где ${\displaystyle {\textbf {R}}}$ — вектор 1 × 3 или матрица 3 × 3 поворота, ${\displaystyle {\textbf {T}}}$ — вектор 3 × 1 переноса) — параметры внешней калибровки, определяющие преобразование координат, переводящее координаты точек сцены из мировой системы координат в систему координат, связанную с камерой[2]. Или, что эквивалентно предыдущему определению, параметры внешней калибровки задают положение камеры в мировой системе координат.
Параметры внешней калибровки связаны непосредственно с фотографируемой сценой, поэтому (в отличие от параметров внутренней калибровки) каждой фотографии соответствует свой набор этих параметров.

При использовании камеры свет из снимаемой сцены фокусируется и захватывается. Этот процесс уменьшает число измерений у данных, получаемых камерой, с трёх до двух (свет из трёхмерной сцены преобразуется в двухмерное изображение). Поэтому каждый пиксель на полученном изображении соответствует лучу света исходной сцены. Во время калибровки камеры происходит поиск соответствия между трёхмерными точками сцены и пикселями изображения.
В случае идеальной камеры-обскуры для задания такого соответствия достаточно одной матрицы проекции. Однако в случае более сложных камер искажения, вносимые линзами, могут сильно повлиять на результат. Таким образом, функция проецирования принимает более сложный вид и часто записывается как последовательность преобразований, например:
${\displaystyle x=I\times Dist(E\times X)}$, где

• ${\displaystyle X=[x_{w}\,y_{w}\,z_{w}\,1]^{\top }}$ — координаты исходной точки сцены;
• ${\displaystyle x=[u\,v\,1]^{\top }}$ — координаты пикселя на изображении;
• ${\displaystyle E=\left[{\begin{array}{*{20}{c}}R&T\\{0_{3}^{T}}&1\\\end{array}}\right]}$ — матрица внешней калибровки (где ${\displaystyle R}$ — матрица поворота 3 × 3, ${\displaystyle T}$ — вектор переноса 3 × 1);
• ${\displaystyle Dist}$ — функция применения дисторсии;
• ${\displaystyle I={\begin{bmatrix}\alpha _{x}&\gamma &u_{0}\\0&\alpha _{y}&v_{0}\\0&0&1\end{bmatrix}}}$ — матрица внутренней калибровки.

Основные шаги данного метода:

1. Поиск особых точек на всех изображениях. Для этой цели может использоваться, например, уголковый детектор Харриса.
2. Поиск точечных соответствий между изображениями. Для этого можно, например, воспользоваться сравнением SIFT-дескрипторов найденных особых точек. В результате на каждом изображении находится набор пикселей, которые соответствуют одним и тем же трёхмерным точкам сцены.
3. После этого с помощью алгоритма Bundle Adjustment на основе данных о точечных соответствиях производится одновременный поиск и параметров калибровки, и 3D-координат этих особых точек в сцене.