Норма матрицы

• Матричная норма ${\displaystyle \|A\|_{1}=\max \limits _{1\leq j\leq n}\sum _{i=1}^{m}|a_{ij}|}$, подчинённая векторной норме ${\displaystyle \|x\|_{1}=\sum _{i=1}^{n}|x_{i}|}$.
• Матричная норма ${\displaystyle \|A\|_{\infty }=\max \limits _{1\leq i\leq m}\sum _{j=1}^{n}|a_{ij}|}$, подчинённая векторной норме ${\displaystyle \|x\|_{\infty }=\max \limits _{1\leq i\leq n}|x_{i}|}$.
• Спектральная норма ${\displaystyle \|A\|_{2}=\sup \limits _{\|x\|_{2}=1}\|Ax\|_{2}=\sup \limits _{(x,x)=1}{\sqrt {(Ax,Ax)}}={\sqrt {\lambda _{max}(A^{*}A)}}}$, подчиненная векторной норме ${\displaystyle \|x\|_{2}={\sqrt {\sum _{i=1}^{n}|x_{i}|^{2}}}}$.

Свойства спектральной нормы:

1. Спектральная норма оператора равна максимальному сингулярному числу этого оператора.
2. Спектральная норма нормального оператора равна абсолютному значению максимального по модулю собственного значения этого оператора.
3. Спектральная норма не изменяется при умножении матрицы на ортогональную (унитарную) матрицу.

Например, рассмотрим две различные операторные нормы ${\displaystyle \|A\|_{1}}$ и ${\displaystyle \|A\|_{2}}$, например строчную и столбцовую нормы. Образуем новую норму ${\displaystyle \|A\|=\max {(\|A\|_{1},\|A\|_{2})}}$. Новая норма обладает кольцевым свойством ${\displaystyle \|AB\|\leqslant \|A\|\|B\|}$, сохраняет единицу ${\displaystyle \|I\|=1}$ и не является операторной[4].

Пусть ${\displaystyle (a_{1},\ldots ,a_{n})}$— вектор из столбцов матрицы ${\displaystyle A.}$ Норма ${\displaystyle L_{2,1}}$ по определению равна сумме евклидовых норм столбцов матрицы:

${\displaystyle \Vert A\Vert _{2,1}=\sum _{j=1}^{n}\Vert a_{j}\Vert _{2}=\sum _{j=1}^{n}\left(\sum _{i=1}^{m}|a_{ij}|^{2}\right)^{1/2}}$

Норма ${\displaystyle L_{2,1}}$ может быть обобщена до нормы ${\displaystyle L_{p,q},\;p,q\geqslant 1:}$

${\displaystyle \Vert A\Vert _{p,q}=\left(\sum _{j=1}^{n}\left(\sum _{i=1}^{m}|a_{ij}|^{p}\right)^{q/p}\right)^{1/q}}$

Можно рассматривать ${\displaystyle m\times n}$ матрицу как вектор размера ${\displaystyle mn}$ и использовать стандартные векторные нормы. Например, из нормы ${\displaystyle L_{p,q}}$ при ${\displaystyle p=q}$ получается векторная p-норма:

${\displaystyle \|A\|_{p}=\|\mathrm {vec} (A)\|_{p}=\left(\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{p}\right)^{1/p}}$

Эта норма отличается от индуцированной p-нормы ${\displaystyle \|A\|_{p}=\sup \limits _{x\neq 0}{\frac {\|Ax\|_{p}}{\|x\|_{p}}}}$и от p-нормы Шаттена (см. ниже), хотя используется одно и то же обозначение.

Норма Фробениуса, или евклидова норма (для евклидового пространства) представляет собой частный случай p-нормы для p = 2: ${\displaystyle \|A\|_{F}={\sqrt {\sum _{i=1}^{m}\sum _{j=1}^{n}|a_{ij}|^{2}}}}$.

Норма Фробениуса легко вычисляется (по сравнению, например, со спектральной нормой). Обладает следующими свойствами:

• Согласованность: ${\displaystyle \|Ax\|_{2}\leq \|A\|_{F}\|x\|_{2}}$, так как в силу неравенства Коши-Буняковского

${\displaystyle \|Ax\|_{2}^{2}=\sum _{i=1}^{m}\left|\sum _{j=1}^{n}a_{ij}x_{j}\right|^{2}\leq \sum _{i=1}^{m}\left(\sum _{j=1}^{n}|a_{ij}|^{2}\sum _{j=1}^{n}|x_{j}|^{2}\right)=\sum _{j=1}^{n}|x_{j}|^{2}\|A\|_{F}^{2}=\|A\|_{F}^{2}\|x\|_{2}^{2}.}$

• Субмультипликативность: ${\displaystyle \|AB\|_{F}\leq \|A\|_{F}\|B\|_{F}}$, так как ${\displaystyle \|AB\|_{F}^{2}=\sum _{i,j}\left|\sum _{k}a_{ik}b_{kj}\right|^{2}\leq \sum _{i,j}\left(\sum _{k}|a_{ik}||b_{kj}|\right)^{2}\leq \sum _{i,j}\left(\sum _{k}|a_{ik}|^{2}\sum _{k}|b_{kj}|^{2}\right)=\sum _{i,k}|a_{ik}|^{2}\sum _{k,j}|b_{kj}|^{2}=\|A\|_{F}^{2}\|B\|_{F}^{2}}$.
• ${\displaystyle \|A\|_{F}^{2}=\mathop {\rm {tr}} A^{*}A=\mathop {\rm {tr}} AA^{*}}$, где ${\displaystyle \mathop {\rm {tr}} A}$ — след матрицы ${\displaystyle A}$, ${\displaystyle A^{*}}$ — эрмитово-сопряжённая матрица.
• ${\displaystyle \|A\|_{F}^{2}=\rho _{1}^{2}+\rho _{2}^{2}+\dots +\rho _{n}^{2}}$, где ${\displaystyle \rho _{1},\rho _{2},\dots ,\rho _{n}}$ — сингулярные числа матрицы ${\displaystyle A}$.
• ${\displaystyle \|A\|_{F}\geq \|A\|_{2}}$, где ${\displaystyle \|\cdot \|_{2}}$ — спектральная норма.
• ${\displaystyle \|A\|_{F}}$ не изменяется при умножении матрицы ${\displaystyle A}$ слева или справа на ортогональные (унитарные) матрицы[5].

Норма максимума модуля — другой частный случай p-нормы для p = ∞.

${\displaystyle \|A\|_{\text{max}}=\max\{|a_{ij}|\}.}$

Нормы Шаттена возникают при применении ${\displaystyle p}$-нормы к вектору сингулярных значений матрицы. Если обозначить через ${\displaystyle \sigma _{i}(A)}$ ${\displaystyle i}$-ое сингулярное число матрицы ${\displaystyle A}$ размера ${\displaystyle m\times n}$, то ${\displaystyle p}$-норма Шаттена определяется как

${\displaystyle \|A\|_{p}=\left(\sum _{i=1}^{\min\{m,n\}}\sigma _{i}^{p}(A)\right)^{1/p}.}$

Нормы Шаттена обозначаются так же, как индуцированная и векторная ${\displaystyle p}$-нормы, но не совпадают с ними.

Для любого ${\displaystyle p}$ норма Шаттена субмультипликативна и унитарно инвариантна, то есть ${\displaystyle ||AB||_{p}\leq ||A||_{p}||B||_{p}}$ и ${\displaystyle \|A\|_{p}=\|UAV\|_{p}}$ для любых матриц ${\displaystyle A}$ и ${\displaystyle B}$ и любых унитарных матриц ${\displaystyle U}$ и ${\displaystyle V}$.

При ${\displaystyle p=2}$ норма Шаттена совпадает с нормой Фробениуса, при ${\displaystyle p=\infty }$ — со спектральной нормой, а при ${\displaystyle p=1}$ — с ядерной нормой (известной также как следовая норма и ${\displaystyle n}$-норма Ки Фана), которая определяется как

${\displaystyle \|A\|_{1}=\sum _{i=1}^{\min\{m,n\}}\sigma _{i}(A)={\mbox{tr}}\left({\sqrt {A^{*}A}}\right).}$

Ядерная норма является выпуклой оболочкой функции ранга на множестве матриц с единичной спектральной нормой, поэтому она часто используется в задачах оптимизации для нахождения матриц с малым рангом[6].