矩阵相关计算

1 矩阵乘法的五种理解方式

1.1 定义的角度

设$\boldsymbol{C = AB}$，则矩阵$\boldsymbol A$的$(i,j)$处的元素为$\boldsymbol A$的第$i$行与$\boldsymbol B$的第$j$列的各元素相乘之和，即：

$$c_{i j}=a_{i 1} b_{1 j}+a_{i 2} b_{2 j}+\cdots+a_{i n} b_{n j}=\sum_{k=1}^{n} a_{i k} b_{k j}$$

也即是$\boldsymbol A$的第$i$行与$\boldsymbol B$的第$j$列点乘所得到的结果。

1.2 列的角度

设矩阵$\boldsymbol B$为$\boldsymbol B = (\boldsymbol \beta_1, \boldsymbol \beta_2, \cdots, \boldsymbol \beta_n)$则：

$$\boldsymbol{AB} = \boldsymbol A (\boldsymbol \beta_1, \boldsymbol \beta_2, \cdots, \boldsymbol \beta_n) = (\boldsymbol A \boldsymbol \beta_1, \boldsymbol A \boldsymbol \beta_2, \cdots, \boldsymbol A \boldsymbol \beta_n)$$

因此，从列的角度来看，矩阵$\boldsymbol B$右乘矩阵$\boldsymbol A$所得到的矩阵的每一列都是$\boldsymbol A$的列的线性组合，线性组合的系数分别是$\boldsymbol B$的各列的分量。

1.3 行的角度

设矩阵$\boldsymbol A$为：

$$\boldsymbol{A}=\left(\begin{array}{c} \boldsymbol{a}_{1}^{\mathrm{T}} \\ \boldsymbol{\alpha}_{2}^{\mathrm{T}} \\ \vdots \\ \boldsymbol{\alpha}_{n}^{\mathrm{T}} \end{array}\right)$$

则有：

$$\boldsymbol{AB}=\left(\begin{array}{c} \boldsymbol{a}_{1}^{\mathrm{T}} \boldsymbol B\\ \boldsymbol{\alpha}_{2}^{\mathrm{T}} \boldsymbol B\\ \vdots \\ \boldsymbol{\alpha}_{n}^{\mathrm{T}} \boldsymbol B \end{array}\right)$$

因此，从行的角度来看，矩阵$\boldsymbol A$左乘矩阵$\boldsymbol B$所得到的矩阵的每一行都是$\boldsymbol B$的行的线性组合，线性组合的系数分别是$\boldsymbol A$的各行的分量。

1.4 从列乘以行的角度

设矩阵$\boldsymbol A$、$\boldsymbol B$分别为：

$$\boldsymbol{A}=\left(\boldsymbol{\alpha}_{1}, \boldsymbol{\alpha}_{2} \cdots, \boldsymbol{\alpha}_{n}\right), \quad \boldsymbol{B}=\left(\begin{array}{c} \boldsymbol{\beta}_{1}^{\mathrm{T}} \\ \boldsymbol{\beta}_{2}^{\mathrm{T}} \\ \vdots \\ \boldsymbol{\beta}_{n}^{\mathrm{T}} \end{array}\right)$$

则有：

$$\boldsymbol{A B}=\boldsymbol{\alpha}_{1} \boldsymbol{\beta}_{1}^{\mathrm{T}}+\boldsymbol{\alpha}_{2} \boldsymbol{\beta}_{2}^{\mathrm{T}}+\cdots+\boldsymbol{\alpha}_{n} \boldsymbol{\beta}_{n}^{\mathrm{T}}=\sum_{k=1}^{n} \boldsymbol{\alpha}_{k} \boldsymbol{\beta}_{k}^{\mathrm{T}}$$

由于列向量乘以行向量得到的是一个矩阵，因此从列乘以行的角度来看，矩阵$\boldsymbol A$乘以$\boldsymbol B$得到的是$n$个矩阵之和，其中第$i$个矩阵由$\boldsymbol A$的第$i$列乘以$\boldsymbol B$的第$j$行得到。

1.5 分块乘法(block multiplication)

矩阵乘法同样可以分块来乘，只要分块的大小能够使乘法有意义即可(分块的大小要相互匹配)如

$$\boldsymbol{A B}=\left(\begin{array}{ll} \boldsymbol{A}_{1} & \boldsymbol{A}_{2} \\ \boldsymbol{A}_{3} & \boldsymbol{A}_{4} \end{array}\right)\left(\begin{array}{ll} \boldsymbol{B}_{1} & \boldsymbol{B}_{2} \\ \boldsymbol{B}_{3} & \boldsymbol{B}_{4} \end{array}\right)=\left(\begin{array}{ll} \boldsymbol{A}_{1} \boldsymbol{B}_{1}+\boldsymbol{A}_{2} \boldsymbol{B}_{3} & \boldsymbol{A}_{1} \boldsymbol{B}_{2}+\boldsymbol{A}_{2} \boldsymbol{B}_{4} \\ \boldsymbol{A}_{3} \boldsymbol{B}_{1}+\boldsymbol{A}_{4} \boldsymbol{B}_{3} & \boldsymbol{A}_{3} \boldsymbol{B}_{2}+\boldsymbol{A}_{4} \boldsymbol{B}_{4} \end{array}\right)$$

2 矩阵迹、F范数与内积

2.1 基本定义

矩阵的迹 ：就是矩阵的主对角线上所有元素的和，对于矩阵$\boldsymbol A \in \mathbb K^{N \times N}$或$\boldsymbol A \in \mathbb K^{N \times N}$定义式为：

$$\text{Tr}(\boldsymbol A) = \sum_{i=1}^N a_{ii}$$

对于矩阵$\boldsymbol A \in \mathbb K^{M \times N}$乘$\boldsymbol B \in \mathbb K^{N \times M}$的迹：

$$\text{Tr}(\boldsymbol{AB}) = \sum_{i=1}^M \sum_{j=1}^N a_{ij}b_{ji}$$

其中，$\mathbb K$表示实数域$\mathbb R$或者复数域$\mathbb C$均可。

矩阵$\boldsymbol A \in \mathbb K^{M \times N}$的F范数定义式为：

$$\| \boldsymbol A \|_F = \sqrt{\sum_{i=1}^M \sum_{j=1}^N |a_{ij}|^2}$$

F范数与迹的关系：

$$\| \boldsymbol A \|^2_F = \text{Tr}(\boldsymbol A \boldsymbol A^T) = \text{Tr}(\boldsymbol A^T \boldsymbol A) \\ \| \boldsymbol A \|^2_F = \text{Tr}(\boldsymbol A \boldsymbol A^H) = \text{Tr}(\boldsymbol A^H \boldsymbol A)$$

对于矩阵$\boldsymbol A \in \mathbb K^{M \times N}$乘$\boldsymbol B \in \mathbb K^{M \times N}$的内积定义式为：

$$\begin{aligned} & \langle \boldsymbol A , \boldsymbol B \rangle = \text{Tr}(\boldsymbol A^T \boldsymbol B)= \text{Tr}(\boldsymbol B \boldsymbol A^T) = \text{Tr}(\boldsymbol B^T \boldsymbol A) = \text{Tr}(\boldsymbol A \boldsymbol B^T) \\ & \langle \boldsymbol A , \boldsymbol B \rangle = \text{Tr}(\boldsymbol A^H \boldsymbol B) = \text{Tr}(\boldsymbol B \boldsymbol A^H ) \end{aligned}$$

注意到，两个矩阵求内积必须维度是相同的。此外，特别的对于复数域，有：

$$\begin{aligned} \langle \boldsymbol A , \boldsymbol B \rangle &= \text{Tr}(\boldsymbol A^H \boldsymbol B) = \text{Tr}(\boldsymbol B \boldsymbol A^H ) \\ &= \overline{\text{Tr}(\boldsymbol B^H \boldsymbol A)} = \overline{\text{Tr}(\boldsymbol A \boldsymbol B^H)} \\ & = \text{Tr}(\overline{\boldsymbol B^H \boldsymbol A}) = \text{Tr}(\overline{\boldsymbol A \boldsymbol B^H}) \end{aligned}$$

其中，上划线表示取共轭。

F范数与内积的关系：

$$\| \boldsymbol A \|^2_F = \langle \boldsymbol A , \boldsymbol A \rangle$$

2.2 矩阵迹的运算

• 性质1：不论是实数域还是复数域矩阵$\boldsymbol A$的迹和其转置的迹相等

$$\text{Tr}(\boldsymbol A) = \text{Tr}(\boldsymbol A^T)$$

但注意在复数域要取共轭转置时候有：$\text{Tr}(\boldsymbol A) =\overline{ \text{Tr}(\boldsymbol A^H)}$。

• 性质2：矩阵迹的循环交替性质(在复数域也是成立的)

$$\begin{aligned} & \text{Tr}(\boldsymbol{AB}) = \text{Tr}(\boldsymbol{BA}) \\ & \text{Tr}(\boldsymbol{ABC}) = \text{Tr}(\boldsymbol{CAB)} = \text{Tr}(\boldsymbol{BCA)} \\ & \text{Tr}(\boldsymbol{ABCD}) = \text{Tr}(\boldsymbol{DABC)} = \text{Tr}(\boldsymbol{CDAB)} = \text{Tr}(\boldsymbol{BCDA)} \\ & \quad \vdots \\ & \text{Tr}(\boldsymbol{AB}^H) = \text{Tr}(\boldsymbol{B}^H \boldsymbol A) \\ & \text{Tr}(\boldsymbol{ABC}^H) = \text{Tr}(\boldsymbol{C}^H\boldsymbol{AB)} = \text{Tr}(\boldsymbol{B}\boldsymbol{C}^H\boldsymbol{A)} \\ & \quad \vdots \end{aligned}$$

• 性质3：数乘性质，若$a$为一个实数

$$\text{Tr}(a\boldsymbol A) = a\text{ Tr}(\boldsymbol A)$$

• 性质4：矩阵求和的迹和矩阵的迹的和相等

$$\text{Tr}(\boldsymbol A +\boldsymbol B + \boldsymbol C ) = \text{Tr}(\boldsymbol A) + \text{Tr}(\boldsymbol B) + \text{Tr}(\boldsymbol C)$$

注意，上述性质可以相互组合使用。

3 矩阵的求导

3.1 纯向量/矩阵求导

3.1.1 实向量求导

实向量$\boldsymbol x \in \mathbb R^{N \times 1}$

$$\frac{\partial \boldsymbol x}{\partial \boldsymbol x} = \boldsymbol I, \qquad \frac{\partial \boldsymbol {Ax}}{\partial \boldsymbol x} = \boldsymbol A^{\text{T}}, \qquad \frac{\partial \boldsymbol {x}^{\mathrm T} \boldsymbol{A}}{\partial \boldsymbol x} = \boldsymbol A, \qquad \frac{\partial \boldsymbol {x}^{\mathrm T} \boldsymbol{Ax}}{\partial \boldsymbol x} = (\boldsymbol{A} + \boldsymbol {A}^{\mathrm T}) \boldsymbol {x} \overset{若A为对称阵}{=}2\boldsymbol{Ax}$$

3.1.2 复向量求导

复向量$\boldsymbol w \in \mathbb{C}^{N \times 1}$

$$\dfrac{\text{d} \boldsymbol w^T}{\text{d} \boldsymbol w} = \boldsymbol I_{N \times N}, \quad \dfrac{\text{d} \boldsymbol w^H}{\text{d} \boldsymbol w^*} = \dfrac{\text{d} (\boldsymbol w^*)^T}{\text{d} \boldsymbol w^*} = \boldsymbol I_{N \times N} , \quad \dfrac{\text{d} \boldsymbol w^H}{\text{d} \boldsymbol w} = \dfrac{\text{d} (\boldsymbol w^*)^T}{\text{d} \boldsymbol w} = \boldsymbol O_{N \times N}, \quad \dfrac{\text{d} \boldsymbol w^T}{\text{d} \boldsymbol w^*} = \boldsymbol O_{N \times N}$$ $$\dfrac{\partial \boldsymbol b^H \boldsymbol w}{\partial \boldsymbol w} = \left(\dfrac{\partial \boldsymbol w^H \boldsymbol b}{\partial \boldsymbol w^*}\right)^* = \boldsymbol b^* \quad \Longrightarrow \quad \dfrac{\partial \boldsymbol w^H \boldsymbol b}{\partial \boldsymbol w^*} = \boldsymbol b$$ $$\dfrac{\partial \boldsymbol b^H \boldsymbol w}{\partial \boldsymbol w^*} = \left(\dfrac{\partial \boldsymbol w^H \boldsymbol b}{\partial \boldsymbol w}\right)^* = \boldsymbol 0 \quad \Longrightarrow \quad \dfrac{\partial \boldsymbol w^H \boldsymbol b}{\partial \boldsymbol w} = \boldsymbol 0$$ $$\dfrac{\partial \boldsymbol w^H \boldsymbol R \boldsymbol w}{\partial \boldsymbol w} = \boldsymbol R^T \boldsymbol w^*, \quad \dfrac{\partial \boldsymbol w^H \boldsymbol R \boldsymbol w}{\partial \boldsymbol w^*} = \boldsymbol R \boldsymbol w, \quad \dfrac{\partial \boldsymbol w^H \boldsymbol R \boldsymbol w^*}{\partial \boldsymbol w^*} = (\boldsymbol R +\boldsymbol R^T ) \boldsymbol w$$

3.2 矩阵迹的求导

$$\frac{\partial \text{Tr}(\boldsymbol {AB})}{\partial \boldsymbol A} = \boldsymbol B^{\text{T}}, \quad \frac{\partial \text{Tr}(\boldsymbol {AB})}{\partial \boldsymbol B} = \boldsymbol A^{\text{T}}, \quad \frac{\partial \text{Tr}(\boldsymbol A^H \boldsymbol B)}{\partial \boldsymbol A} = \boldsymbol O_{M \times N}, \quad \frac{\partial \text{Tr}(\boldsymbol {AB}^H)}{\partial \boldsymbol B} = \boldsymbol O_{N \times M}$$ $$\frac{\partial \text{Tr}(\boldsymbol {AA}^H)}{\partial \boldsymbol A} = \boldsymbol A^*$$ $$\frac{\partial \text{Tr}(\boldsymbol {ABB}^H \boldsymbol A^H)}{\partial \boldsymbol B} = (\boldsymbol A^{\text{H}}\boldsymbol A)^T \boldsymbol B^*$$

3.3 矩阵行列式的求导

3.4 特殊的矩阵求导

设矩阵$\boldsymbol A$的元素是$t$的函数$\boldsymbol A = [a_{ij}(t)]$，则关于$t$的导数为：

$$\frac{\mathrm{d}|\boldsymbol A|}{\mathrm{d t}}=|\boldsymbol {A} |\mathrm{Tr}\left(\boldsymbol {A}^{-1}\frac{\mathrm{d} \boldsymbol A}{\mathrm{d t}}\right)$$

其逆矩阵关于$t$的导数为：

$$\frac{\mathrm{d} \boldsymbol A^{-1}}{\mathrm{dt}} = -\boldsymbol {A}^{-1} \frac{\mathrm{d} \boldsymbol A}{\mathrm{d t}} \boldsymbol {A}^{-1}$$

3.5 关于矩阵求导的相关资料链接

链接1：矩阵求导术：上篇 - 知乎和下篇 —— 本文基本上是这两篇文章内容的重新整理
链接2：刘建平Pinard系列博客 —— 这个博客主要用于查缺补漏
链接3：矩阵求导总结 - 个人博客
链接4：矩阵行列式求导以及矩阵的逆的求导 - CSDN
链接5：复数 标量/向量/矩阵 求导_复数矩阵求导-CSDN博客
链接6：信号处理中的复数矩阵求导 - Speech 101的博客
链接7：复数矩阵求导的转置和共轭转置问题？（MMSE预编码器推导） - null的回答- 知乎

此外，若碰到实在无法理解的求导，也可应借助下面两个工具：

工具1：The Matrix Cookbook - 矩阵烹饪书
工具2：Matrix Calculus —— 超级强大的在线矩阵求导工具