Произведение Кронекера

Произведение Кронекера — бинарная операция над матрицами произвольного размера, обозначается $\otimes$ . Результатом является блочная матрица.

Произведение Кронекера не следует путать с обычным умножением матриц. Операция названа в честь немецкого математика Леопольда Кронекера.

Определение

Если A — матрица размера m×n, B — матрица размера p×q, тогда произведение Кронекера есть блочная матрица размера mp×nq

A\otimes B={\begin{bmatrix}a_{11}B&\cdots &a_{1n}B\\\vdots &\ddots &\vdots \\a_{m1}B&\cdots &a_{mn}B\end{bmatrix}}.

В развёрнутом виде

$\mathbf {A} \otimes \mathbf {B} ={\begin{bmatrix}a_{11}b_{11}&a_{11}b_{12}&\cdots &a_{11}b_{1q}&\cdots &\cdots &a_{1n}b_{11}&a_{1n}b_{12}&\cdots &a_{1n}b_{1q}\\a_{11}b_{21}&a_{11}b_{22}&\cdots &a_{11}b_{2q}&\cdots &\cdots &a_{1n}b_{21}&a_{1n}b_{22}&\cdots &a_{1n}b_{2q}\\\vdots &\vdots &\ddots &\vdots &&&\vdots &\vdots &\ddots &\vdots \\a_{11}b_{p1}&a_{11}b_{p2}&\cdots &a_{11}b_{pq}&\cdots &\cdots &a_{1n}b_{p1}&a_{1n}b_{p2}&\cdots &a_{1n}b_{pq}\\\vdots &\vdots &&\vdots &\ddots &&\vdots &\vdots &&\vdots \\\vdots &\vdots &&\vdots &&\ddots &\vdots &\vdots &&\vdots \\a_{m1}b_{11}&a_{m1}b_{12}&\cdots &a_{m1}b_{1q}&\cdots &\cdots &a_{mn}b_{11}&a_{mn}b_{12}&\cdots &a_{mn}b_{1q}\\a_{m1}b_{21}&a_{m1}b_{22}&\cdots &a_{m1}b_{2q}&\cdots &\cdots &a_{mn}b_{21}&a_{mn}b_{22}&\cdots &a_{mn}b_{2q}\\\vdots &\vdots &\ddots &\vdots &&&\vdots &\vdots &\ddots &\vdots \\a_{m1}b_{p1}&a_{m1}b_{p2}&\cdots &a_{m1}b_{pq}&\cdots &\cdots &a_{mn}b_{p1}&a_{mn}b_{p2}&\cdots &a_{mn}b_{pq}\end{bmatrix}}.$

Если A и B представляют собой линейные преобразования V₁ → W₁ и V₂ → W₂, соответственно, то A ⊗ B представляет собой тензорное произведение двух отображений, V₁ ⊗ V₂ → W₁ ⊗ W₂.

Пример

{\begin{bmatrix}1&2\\3&4\\\end{bmatrix}}\otimes {\begin{bmatrix}0&5\\6&7\\\end{bmatrix}}={\begin{bmatrix}1\cdot 0&1\cdot 5&2\cdot 0&2\cdot 5\\1\cdot 6&1\cdot 7&2\cdot 6&2\cdot 7\\3\cdot 0&3\cdot 5&4\cdot 0&4\cdot 5\\3\cdot 6&3\cdot 7&4\cdot 6&4\cdot 7\\\end{bmatrix}}={\begin{bmatrix}0&5&0&10\\6&7&12&14\\0&15&0&20\\18&21&24&28\end{bmatrix}}

.

Билинейность, ассоциативность и некоммутативность

Произведение Кронекера является частным случаем тензорного произведения, и значит оно является билинейным и ассоциативным:

A\otimes (B+C)=A\otimes B+A\otimes C,

(A+B)\otimes C=A\otimes C+B\otimes C,

(kA)\otimes B=A\otimes (kB)=k(A\otimes B),

(A\otimes B)\otimes C=A\otimes (B\otimes C),

где A, B и C есть матрицы, а k — скаляр.

Произведение Кронекера не является коммутативным. Хотя, всегда существуют такие матрицы перестановки P и Q, что

A\otimes B=P\,(B\otimes A)\,Q.

Если A и B квадратные матрицы, тогда A $\otimes$ B и B $\otimes$ A являются перестановочно подобными, то есть, P = Q^T.

Транспонирование

Операции транспонирования и эрмитова сопряжения можно переставлять с произведением Кронекера:

(A\otimes B)^{T}=A^{T}\otimes B^{T},

(A\otimes B)^{H}=A^{H}\otimes B^{H}.

Смешанное произведение

Если A, B, C и D являются матрицами такого размера, что существуют произведения AC и BD, тогда

(A\otimes B)(C\otimes D)=AC\otimes BD.

A $\otimes$ B является обратимой тогда и только тогда, когда A и B являются обратимыми, и тогда

(A\otimes B)^{-1}=A^{-1}\otimes B^{-1}.

(A\otimes B)\circ (C\otimes D)=(A\circ C)\otimes (B\circ D)

, где

\circ

- произведение Адамара

A\otimes B=(I\otimes B)(A\otimes I)

, где

I

- единичная матрица.

Сумма и экспонента Кронекера

Пусть A — матрица размера n×n, B — матрица размера m×m и $E_{k}$ — единичная матрица размера k×k. Тогда можно определить сумму Кронекера $\oplus$ как

A\oplus B=A\otimes E_{m}+E_{n}\otimes B.

Также справедливо

e^{A\oplus B}=e^{A}\otimes e^{B}.

Спектр, след и определитель

Если A и B квадратные матрицы размера n и q соответственно. Если λ₁, …, λ_n — собственные значения матрицы A и μ₁, …, μ_q собственные значения матрицы B. Тогда собственными значениями A $\otimes$ B являются

\lambda _{i}\mu _{j},\qquad i=1,\ldots ,n,\,j=1,\ldots ,q.

След и определитель произведения Кронекера равны

\operatorname {tr} (A\otimes B)=\operatorname {tr} (A)\,\operatorname {tr} (B),

\det(A\otimes B)=(\det A)^{q}(\det B)^{n}.

Сингулярное разложение и ранг

Если матрица A имеет r_A ненулевых сингулярных значений:

\sigma _{A,i},\qquad i=1,\ldots ,r_{A}.

Ненулевые сингулярные значения матрицы B:

\sigma _{B,i},\qquad i=1,\ldots ,r_{B}.

Тогда произведение Кронекера A $\otimes$ B имеет r_Ar_B ненулевых сингулярных значений

\sigma _{A,i}\sigma _{B,j},\qquad i=1,\ldots ,r_{A},\,j=1,\ldots ,r_{B}.

Ранг матрицы равен количеству ненулевых сингулярных значений,

\operatorname {rank} (A\otimes B)=\operatorname {rank} (A)\,\operatorname {rank} (B).

История

Произведение Кронекера названо в честь Леопольда Кронекера, несмотря даже на то, что существует мало свидетельств о том, что он был первым, кто определил и использовал эту операцию. В прошлом произведение Кронекера иногда называли матрицей Зефусса.

Блочные версии произведения Кронекера

В случае блочных матриц могут использоваться матричные операции, связанные c произведением Кронекера и отличающиеся порядком соответствующего перемножения блоков. Таковыми являются произведения Трейси – Сингха (англ. Tracy–Singh product) и произведение Хатри — Рао.

Произведение Трейси-Сингха

Указанная операция перемножения блочных матриц заключается в том, что каждый блок левой матрицы умножается последовательно на блоки правой матрицы. При этом формируемая структура результирующей матрицы отличается от характерной для произведения Кронекера. Произведение Трейси – Сингха определяется как[1][2]

\mathbf {A} \circ \mathbf {B} =\left(\mathbf {A} _{ij}\circ \mathbf {B} \right)_{ij}=\left(\left(\mathbf {A} _{ij}\otimes \mathbf {B} _{kl}\right)_{kl}\right)_{ij}

Например:

\mathbf {A} =\left[{\begin{array}{c | c}\mathbf {A} _{11}&\mathbf {A} _{12}\\\hline \mathbf {A} _{21}&\mathbf {A} _{22}\end{array}}\right]=\left[{\begin{array}{c c | c}1&2&3\\4&5&6\\\hline 7&8&9\end{array}}\right],\quad \mathbf {B} =\left[{\begin{array}{c | c}\mathbf {B} _{11}&\mathbf {B} _{12}\\\hline \mathbf {B} _{21}&\mathbf {B} _{22}\end{array}}\right]=\left[{\begin{array}{c | c c}1&4&7\\\hline 2&5&8\\3&6&9\end{array}}\right],

{\begin{aligned}\mathbf {A} \circ \mathbf {B} =\left[{\begin{array}{c | c}\mathbf {A} _{11}\circ \mathbf {B} &\mathbf {A} _{12}\circ \mathbf {B} \\\hline \mathbf {A} _{21}\circ \mathbf {B} &\mathbf {A} _{22}\circ \mathbf {B} \end{array}}\right]={}&\left[{\begin{array}{c | c | c | c}\mathbf {A} _{11}\otimes \mathbf {B} _{11}&\mathbf {A} _{11}\otimes \mathbf {B} _{12}&\mathbf {A} _{12}\otimes \mathbf {B} _{11}&\mathbf {A} _{12}\otimes \mathbf {B} _{12}\\\hline \mathbf {A} _{11}\otimes \mathbf {B} _{21}&\mathbf {A} _{11}\otimes \mathbf {B} _{22}&\mathbf {A} _{12}\otimes \mathbf {B} _{21}&\mathbf {A} _{12}\otimes \mathbf {B} _{22}\\\hline \mathbf {A} _{21}\otimes \mathbf {B} _{11}&\mathbf {A} _{21}\otimes \mathbf {B} _{12}&\mathbf {A} _{22}\otimes \mathbf {B} _{11}&\mathbf {A} _{22}\otimes \mathbf {B} _{12}\\\hline \mathbf {A} _{21}\otimes \mathbf {B} _{21}&\mathbf {A} _{21}\otimes \mathbf {B} _{22}&\mathbf {A} _{22}\otimes \mathbf {B} _{21}&\mathbf {A} _{22}\otimes \mathbf {B} _{22}\end{array}}\right]\\={}&\left[{\begin{array}{c c | c c c c | c | c c}1&2&4&7&8&14&3&12&21\\4&5&16&28&20&35&6&24&42\\\hline 2&4&5&8&10&16&6&15&24\\3&6&6&9&12&18&9&18&27\\8&10&20&32&25&40&12&30&48\\12&15&24&36&30&45&18&36&54\\\hline 7&8&28&49&32&56&9&36&63\\\hline 14&16&35&56&40&64&18&45&72\\21&24&42&63&48&72&27&54&81\end{array}}\right].\end{aligned}}

Произведение Хатри-Рао

Данный вариант умножения определён для матриц с одинаковой блочной структурой. Он предусматривает, что операция кронекеровского произведения выполняется поблочно, в пределах одноимённых матричных блоков по аналогии с поэлементным произведением Адамара, только при этом в качестве элементов фигурируют блоки матриц, а для умножения блоков используется кронекеровское произведение.

Примечания

Tracy, D. S.; Singh, R. P. (1972). “A New Matrix Product and Its Applications in Matrix Differentiation”. Statistica Neerlandica. 26 (4): 143—157. DOI:10.1111/j.1467-9574.1972.tb00199.x.
Liu, S. (1999). “Matrix Results on the Khatri–Rao and Tracy–Singh Products”. Linear Algebra and Its Applications. 289 (1—3): 267—277. DOI:10.1016/S0024-3795(98)10209-4.

Литература

Хорн Р. Матричный анализ: Пер. с англ. / Р. Хорн, Ч. Джонсон. – М.: Мир, 1989.– 655 с.

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] Tracy, D. S.; Singh, R. P. (1972). “A New Matrix Product and Its Applications in Matrix Differentiation”. Statistica Neerlandica. 26 (4): 143—157. DOI:10.1111/j.1467-9574.1972.tb00199.x.

[2] Liu, S. (1999). “Matrix Results on the Khatri–Rao and Tracy–Singh Products”. Linear Algebra and Its Applications. 289 (1—3): 267—277. DOI:10.1016/S0024-3795(98)10209-4.