Процесс Грама ― Шмидта

Пусть имеются линейно независимые векторы ${\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{n}}$ и пусть ${\displaystyle \mathbf {proj} _{\mathbf {b} }\,\mathbf {a} }$ — оператор проекции вектора ${\displaystyle \mathbf {a} }$ на вектор ${\displaystyle \mathbf {b} }$, определённый как

${\displaystyle \mathbf {proj} _{\mathbf {b} }\,\mathbf {a} ={\langle \mathbf {a} ,\mathbf {b} \rangle \over \langle \mathbf {b} ,\mathbf {b} \rangle }\mathbf {b} ,}$

где ${\displaystyle \langle \mathbf {a} ,\mathbf {b} \rangle }$ — скалярное произведение векторов ${\displaystyle \mathbf {a} }$ и ${\displaystyle \mathbf {b} }$.

Классический процесс Грама — Шмидта выполняется следующим образом:

${\displaystyle {\begin{array}{lclr}\mathbf {b} _{1}&=&\mathbf {a} _{1}&(1)\\\mathbf {b} _{2}&=&\mathbf {a} _{2}-\mathbf {proj} _{\mathbf {b} _{1}}\,\mathbf {a} _{2}&(2)\\\mathbf {b} _{3}&=&\mathbf {a} _{3}-\mathbf {proj} _{\mathbf {b} _{1}}\,\mathbf {a} _{3}-\mathbf {proj} _{\mathbf {b} _{2}}\,\mathbf {a} _{3}&(3)\\&\dots &&\\\mathbf {b} _{n}&=&\mathbf {a} _{n}-\mathbf {proj} _{\mathbf {b} _{1}}\,\mathbf {a} _{n}-\mathbf {proj} _{\mathbf {b} _{2}}\,\mathbf {a} _{n}-\dots -\mathbf {proj} _{\mathbf {b} _{n-1}}\,\mathbf {a} _{n}&(n)\end{array}}}$

На основе каждого вектора ${\displaystyle \mathbf {b} _{j}\;(j=1\ldots n)}$ может быть получен нормированный вектор ${\displaystyle \mathbf {e} _{j}}$ единичной длины, определённый как

${\displaystyle \mathbf {e} _{j}={\mathbf {b} _{j} \over \|\mathbf {b} _{j}\|}}$

Результаты процесса Грама — Шмидта:

${\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{n}}$ — система ортогональных векторов либо

${\displaystyle \mathbf {e} _{1},\;\ldots ,\;\mathbf {e} _{n}}$ — система ортонормированных векторов.

Вычисление ${\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{n}}$ носит название ортогонализации Грама — Шмидта, а ${\displaystyle \mathbf {e} _{1},\;\ldots ,\;\mathbf {e} _{n}}$ — ортонормализации Грама — Шмидта.

Рис. 1. Второй шаг процесса Грама — Шмидта

Рассмотрим формулу (2) — второй шаг алгоритма. Её геометрическое представление изображено на рис. 1:

1. получение проекции вектора ${\displaystyle \mathbf {a} _{2}}$ на ${\displaystyle \mathbf {b} _{1}}$;
2. вычисление ${\displaystyle \mathbf {a} _{2}-\mathbf {proj} _{\mathbf {b} _{1}}\mathbf {a} _{2}}$, то есть перпендикуляра, которым выполняется проецирование ${\displaystyle \mathbf {a} _{2}}$ на ${\displaystyle \mathbf {b} _{1}}$. Этот перпендикуляр — вычисляемый в формуле (2) вектор ${\displaystyle \mathbf {b} _{2}}$;
3. перемещение полученного на шаге 2 вектора ${\displaystyle \mathbf {b} _{2}}$ в начало координат. Это перемещение сделано на рисунке лишь для наглядности;

На рисунке видно, что вектор ${\displaystyle \mathbf {b} _{2}}$ ортогонален вектору ${\displaystyle \mathbf {b} _{1}}$, так как ${\displaystyle \mathbf {b} _{2}}$ является перпендикуляром, по которому ${\displaystyle \mathbf {a} _{2}}$ проецируется на ${\displaystyle \mathbf {b} _{1}}$.

Рассмотрим формулу (3) — третий шаг алгоритма — в следующем варианте:

${\displaystyle {\begin{array}{lcr}\mathbf {b} _{3}=\mathbf {a} _{3}-(\mathbf {proj} _{\mathbf {b} _{1}}\mathbf {a} _{3}+\mathbf {proj} _{\mathbf {b} _{2}}\mathbf {a} _{3})&&(6)\\\end{array}}}$

Её геометрическое представление изображено на рис. 2:

Рис. 2. Третий шаг процесса Грама — Шмидта

1. получение проекции вектора ${\displaystyle \mathbf {a} _{3}}$ на ${\displaystyle \mathbf {b} _{1}}$;
2. получение проекции вектора ${\displaystyle \mathbf {a} _{3}}$ на ${\displaystyle \mathbf {b} _{2}}$;
3. вычисление суммы ${\displaystyle \mathbf {proj} _{\mathbf {b} _{1}}\mathbf {a} _{3}+\mathbf {proj} _{\mathbf {b} _{2}}\mathbf {a} _{3}}$, то есть проекции вектора ${\displaystyle \mathbf {a} _{3}}$ на плоскость, образуемую векторами ${\displaystyle \mathbf {b} _{1}}$ и ${\displaystyle \mathbf {b} _{2}}$. Эта плоскость закрашена на рисунке серым цветом;
4. вычисление ${\displaystyle \mathbf {a} _{3}-(\mathbf {proj} _{\mathbf {b} _{1}}\mathbf {a} _{3}+\mathbf {proj} _{\mathbf {b} _{2}}\mathbf {a} _{3})}$, то есть перпендикуляра, которым выполняется проецирование ${\displaystyle \mathbf {a} _{3}}$ на плоскость, образуемую векторами ${\displaystyle \mathbf {b} _{1}}$ и ${\displaystyle \mathbf {b} _{2}}$. Этот перпендикуляр — вычисляемый в формуле (6) вектор ${\displaystyle \mathbf {b} _{3}}$;
5. перемещение полученного ${\displaystyle \mathbf {b} _{3}}$ в начало координат. Это перемещение сделано на рисунке лишь для наглядности. Оно не является математическим действием и поэтому не отражается в формуле (6).

На рисунке видно, что вектор ${\displaystyle \mathbf {b} _{3}}$ ортогонален векторам ${\displaystyle \mathbf {b} _{1}}$ и ${\displaystyle \mathbf {b} _{2}}$, так как ${\displaystyle \mathbf {b} _{3}}$ является перпендикуляром, по которому ${\displaystyle \mathbf {a} _{3}}$ проецируется на плоскость, образуемую векторами ${\displaystyle \mathbf {b} _{1}}$ и ${\displaystyle \mathbf {b} _{2}}$.

Таким образом, в процессе Грама — Шмидта для вычисления ${\displaystyle \mathbf {b} _{j}}$ выполняется проецирование ${\displaystyle \mathbf {a} _{j}}$ ортогонально на гиперплоскость, натянутую на векторы ${\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{j-1}}$. Вектор ${\displaystyle \mathbf {b} _{j}}$ затем вычисляется как разность между ${\displaystyle \mathbf {a} _{j}}$ и его проекцией. То есть ${\displaystyle \mathbf {b} _{j}}$ — это перпендикуляр от ${\displaystyle \mathbf {a} _{j}}$ к гиперплоскости, натянутой на векторы ${\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{j-1}}$. Поэтому ${\displaystyle \mathbf {b} _{j}}$ ортогонален векторам, образующим эту гиперплоскость.