thinking and record

1 统计信号估计理论：滤波、预测、平滑 + 参数估计、状态估计

1.1 什么是估计理论（Estimation）

估计理论是从被噪声污染后的量测数据中恢复无法直接观测的随机变量、随机过程或者系统某些特征的统计信号处理方法。

1.2 估计的三种基本形式

1.2.1 解释1

(1) 滤波——Filtering

滤波是用当前时刻及以前的数据来估计当前时刻感兴趣信息的一种运算过程。

(2) 预测——Prediction

预测是用当前时刻及以前的数据来估计未来某时刻感兴趣的信息。

(3) 平滑——Smoothing

平滑是利用感兴趣时刻之后的所有观测数据估计感兴趣时刻的信息，因此它是一种后验形式的估计。

1.2.2 解释2

自适应滤波器的三种状态：滤波，预测，平滑

平滑只是滤波器的一种工作状态，如果感兴趣的信号部分在过去，现在，未来，那么滤波器是在分别做平滑，滤波，预测。根据时间序号$k$和信号样本集$N$，通过统计规则实现的自适应滤波器有三种效果：

(1) 预测：当$N<k$，这是在预测未来的状态，我们在做预测估计(predicted estimate)，也就是预测；

(2) 滤波：当$N=k$，这是在用所有过去的观测值和当前的观测值估计当前的状态，这是在做滤波估计(filtered estimate)，也就是滤波；

(3) 平滑：当$N>k$，这是在估计过去的状态，这是在做平滑估计(smoothed estimate)，也就是平滑。

解释2来自：在信号处理和图像处理领域，滤波，平滑和去噪几个词的区别和联系？ - 甜草莓的回答 - 知乎

1.2.3 解释3

一个系统不可避免的受到外界的干扰，因而系统的状态一般是不能精确量测的。这样就存在着基于系统量测(输出)对系统状态进行估计(estimation)的问题

首先需要了解参数估计的一般理论。对于一个未知参数向量，量测是一个随机向量，一组量测构成了样本，对样本的统计量就称为对参数的一个估计量。利用样本对参数的估计量本质上是随机的，而当样本值给定时所得到的参数估计值一般与真值并不相同，因而需要用某些准则进行评价：

• 如果所得估计量的数学期望等于真值，则称这个估计是对参数的一个无偏估计；

• 如果所得估计量依概率收敛于真值，称其是对参数的一个一致估计量。

最常用的参数估计方法有最小二乘估计算法、极大似然估计算法等。近年来还发展有期望极大化算法等。

对于控制系统而言，状态估计问题是一个动态估计问题，分为三种不同的类型：

(1) 滤波问题：利用直到当前时刻的实时信息对当前的状态进行估计；

(2) 预测问题：利用直到当前时刻的实时信息对未来的状态进行估计；

(3) 平滑问题：利用直到当前时刻的实时信息对过去的状态进行估计。

仅仅就滤波问题而言，如果系统是线性的，一般可采用所谓卡尔曼(Kalman)滤波算法进行状态估计。由于相当多的系统不满足线性随机系统的条件，所以标准卡尔曼滤波算法并不适用。为此，针对非线性情况，早年就发展了所谓扩展卡尔曼滤波算法，即利用在线的线性化方法，把非线性系统在一个名义值附近进行线性近似，然后利用标准卡尔曼滤波算法进行一步滤波处理，然后递推实现在线滤波。

解释3来自：滤波、预测和平滑之间的关系是什么？ - 繁星丶落幕的回答 - 知乎

1.2.4 解释4

这里讨论的是对信号波形进行估计的问题，或者是对函数的估计问题。一般是用某一个时间点$t$以前测量得到的信息，对某一时刻$t +\Delta t$上面的信号值进行估计。随着估计时间的不断推移，就可以得到全部信号。

(1) 平滑或内插：如果时间差$\Delta t < 0$，这时的估计工作称为平滑或内插。其作用是一致已经得到观测点上的信号值，是对过去观测值的处理。

(2) 滤波：如果时间差$\Delta t = 0$，这时的估计工作称为滤波。它是对目前时间点上的信号值进行估计，一般用于抑制当前时间点上的观测噪声。

(3) 预测：如果时间差$\Delta t > 0$，这时的估计工作是对将来时间点上的信号值进行估计，是一种预测。
在实际应用中，滤波应用得比较多。

解释4来自：第五章 统计滤波 - 百度文库

1.3 滤波、预测和平滑的区别

滤波和预测是能够根据当前获得的数据实现对所期望时刻的数据估计，因此它们是一类实时(Online)运算。而平滑因需要所有观测数据进行处理，所以它是一类离线(Offline)运算或者批处理运算。

1.4 估计的两种形式

(1) 参数估计：根据量测数据来估计系统中随时间不变或缓慢变化的参数，其中被估计的参数包括随机变量和非随机变量。

(2) 状态估计：基于状态空间模型，根据量测数据来估计系统中随时间连续变化的状态，其中包括离散时间状态和连续时间状态。

1.5 参数估计和状态估计区别

参数估计本质上属于概率论和数理统计理论的一个分支。而状态估计是控制理论、计算机技术及概率论与数理统计理论相结合的产物，是现代控制理论的一个重要分支。

以上内容转自：统计信号估计理论：滤波、预测、平滑 + 参数估计、状态估计

2 维纳滤波

2.1 维纳滤波基本原理和概述

维纳(Wiener)是用来解决从噪声中提取信号的一种过滤(或滤波)方法。这种线性滤波问题，可以看做是一种估计问题或一种线性估计问题。

一个线性系统，如果它的单位样本响应为$h(n)$，当输入一个随机信号$x(n)$，且：

$$x(n) = s(n) + v(n) \tag{2.1.1}$$

其中，$x(n)$表示信号，$v(n)$表示噪声，则输出$y(n)$为：

$$y(n) = \sum_m h(m)x(n-m) \tag{2.1.2}$$

我们希望$x(n)$通过线性系统$h(n)$后得到的$y(n)$尽量接近于$s(n)$，因此称$y(n)$为$s(n)$的
估计值，用$\hat s(n)$表示，即：

$$y(n) = \hat s(n) \tag{2.1.3}$$

则维纳滤波器的输入—输出关系可用下面图表示。

实际上，式$(2.1.2)$所示的卷积可理解为从当前和过去的观察值$x(n), x(n-1), \cdots, x(n-m), \cdots$ 来估计信号的当前值$s(n)$。因此，用$h(n)$进行过滤问题实际上是一种统计估计问题。

一般地滤波、预测、平滑可以从如下划分：

• 从当前的和过去的观察值$x(n), x(n-1), x(n-2), \cdots$估计当前的信号值$y(n)=\hat s(n)$称为过滤或滤波；
• 从过去的观察值，估计当前的或者将来的信号值$y(n)=\hat s(n +N), (N≥0)$称为外推或预测；
• 从过去的观察值，估计过去的信号值$y(n)=\hat s(n-N), (N>1)$称为平滑或内插。

因此维纳滤波器又常常被称为最佳线性过滤与预测或线性最优估计。这里所谓的最佳与最优是以最小均方误差为准则的。

如果分别以$s(n)$与$\hat s(n)$表示信号的真实值与估计值，而用$e(n)$表示它们之间的误差，即：

$$e(n)= s(n)-s(n) \tag{2.1.4}$$

显然$e(n)$可能是正值，也可能是负值，并且它是一个随机变量。因此，用它的均方误差来表达误差是合理的，所谓均方误差最小即它的平方的统计期望最小：

$$\xi (n) = \min E[e^2(n)] \tag{2.1.5}$$

用最小均方误差准则作为最佳过滤准则的原因还在于其理论分析比较简单，不要求对概率的描述。

维纳-霍夫方程的求解

为了按$(2.1.5)$式所示的最小均方误差准则来确定维纳滤波器的冲激响应$h(n)$，令$\xi(n)$对$h(j)$的导数等于零，即可得：

$$R_{xs}(m) = \sum_i h(i)R_{xx}(m-i) \tag{2.1.6}$$

式中，$R_{xs}(m)$是$s(n)$与$x(n)$的互相关函数，$R_{xx}(m)$是$x(n)$的自相关函数，分别定义为：

$$R_{xx} = E[x(n)s(n+m)] \qquad R_{xx} = E[x(n)x(n+m)]$$

式$(2.1.6)$称为维纳滤波器的标准方程或维纳-霍夫(Wiener-Hopf)方程。若已知$R_{xs}(m)$和$R_{xx}(m)$，那么解此方程即可求的维纳滤波器的冲激响应。

式$(2.1.6)$所示标准方程右端的求和范围即$i$的取值范围没有具体标明，实际上有三种情况：

• 有限冲激响应(FIR)维纳滤波器，$i$从$0$到$N-1$取得有限个整数值；
• 非因果无限冲激响应(非因果IIR)维纳滤波器，$i$从$-\infty$到$+\infty$所有整数值;
• 因果无限冲激响应(因果IIR)维纳滤波器，$i$从$0$到$+\infty$取正整数值。

上述三种情况下标准方程的解法不同，本文只描述FIR维纳滤波器的求解。设滤波器冲激响应序列的长度为$N$，冲激响应矢量为：

$$h = [h(0), h(1), \cdots,h(N-1) ]^{\mathrm T} \tag{2.1.7}$$

滤波器的输入数据矢量：

$$x = [x(n), x(n-1), \cdots, x(n-N+1)]^{\mathrm T} \tag{2.1.8}$$

则滤波器的输出为：

$$y(n) = \hat s(n) = x^{\mathrm T}h = h^{\mathrm T}x \tag{2.1.9}$$

这样，式$(2.1.6)$所示的维纳-霍夫方程可写成：

$$P^{\mathrm T} = h^{\mathrm T}R \quad {\mathrm{OR}} \quad P = R^{\mathrm T}h \tag{2.1.10}$$

其中，$P = E[x(n)s(n)]$是$s(n)$与$x(n)$的互相关函数，它是一个$N$维列矢量；$R$是$x(n)$的自相关函数，是$N$阶方阵，$R = E[x(n)x^{\mathrm T}(x)]$

利用求逆矩阵的方法直接求解式$(2.1.10)$，得：

$$h_{\mathrm{opt}} = R^{-1}P$$

这里opt表示“最佳”，这就是FIR维纳滤波器的冲激响应。

以上内容主要转自：维纳滤波器

3 卡尔曼滤波

关于卡尔曼滤波中协方差矩阵Q,R的一些思考,卡尔曼原理讲解：这个人写的感觉挺不错，但没有细看。

卡尔曼滤波算法从名称上来看落脚点是一个滤波算法，一般的滤波算法都是频域滤波，而卡尔曼滤波算法是一个时域滤波，时域就是它的强大之处。卡尔曼滤波也是一种最优估计算法，常见的最优估计算法有“最小二乘法”等，卡尔曼滤波也是一个迭代器，根据以知的先验值，预测下一时刻的估计值。
再说说滤波这个名词，本质上就是给加权。既然是加权，那么卡尔曼滤波算法本质就是数据融合的操作(Data fusion)，卡尔曼增益就是融合过程中的权重，融合的内容有两个：分别是满足一定分布的先验状态估计值和满足一定分布的观测值之间的融合（也就是你们可能在其他资料上看到的两个椭圆相乘，其实就是数据的融合），融合后得到后验状态估计值。

其实深度学习中的卷积操作也是加权求和，本质上也是滤波，本质上也是求导，比如边缘检测的离散微分算子sobel的计算过程，也是分别在x和y两个方向上求导，提取出边缘特征。（下面是我个人的思考）由点及面，我们就可以想像到一个大尺寸的卷积核，其实就相当于“变形求导”，通过卷积核内部权重数值大小给定求导曲线，卷积就是求解在这条曲线上的导数。 一个卷积核是提取特征，那么多个卷积核组合起来就有无限可能，提取到的就是高维特征（高维特征对应图片的纹理等深层次的语义信息），组合起来非常之强大，就能够实现深度学习中的分类、边框回归等功能。

以上内容转自：深入理解卡尔曼滤波算法

维纳滤波与卡尔曼滤波比较：

解释1：

维纳滤波和卡尔曼滤波都是解决线性滤波和预测问题的方法，并且都是以均方误差最小为准则的，在平稳条件下两者的稳态结果是一致的。但是它们解决问题的方法有很大区别。维纳滤波是根据全部过去观测值和当前观测值来估计信号的当前值，因此它的解形式是系统的传递函数$S(k) = A(k)S(k-1)+w_1(k-1)$

卡尔曼滤波是用当前一个估计值和最近一个观测值来估计信号的当前值,它的解形式是状态变量值。维纳滤波只适用于平稳随机过程,卡尔曼滤波就没有这个限制。设计维纳滤波器要求已知信号与噪声的相关函数,设计卡尔曼滤波要求已知状态方程和量测方程,当然两者之间也有联系。

以上内容转自：比较维纳滤波和卡尔曼滤波方法的区别和联系

解释2：

• 共同点：都解决最佳线性滤波和预测问题，都以均方误差最小为最优准则，平稳条件下它们得到的稳态结果一致。

• 不同点:

  • 维纳滤波根据$x(n),x(n-1),…,x(1)$估计信号的当前值，它的解以系统的系统函数$H(z)$或单位脉冲响应$h(n)$形式给出。这种系统常称为最佳线性滤波器。

    卡尔曼滤波用前一个估计值和最近一个观察数据来估计信号当前值，它用状态方程和递推的方法进行估计，它的解以估计值（常是状态变量值）形式给出。系统常称为线性最优估计器。

  • 维纳滤波只适用于平稳随机过程；卡尔曼滤波适用于平稳和非平稳随机过程。

  • 维纳滤波设计时要已知信号与噪声的统计分布规律。卡尔曼滤波设计时要求已知状态方程和量测方程。

以上内容转自：维纳滤波和卡尔曼滤波 - 豆丁网 (docin.com)

卡尔曼滤波的原理与思想 - 走看看

卡尔曼滤波 kalman 理解

授之以渔： 卡尔曼滤波器 ….大泻蜜

卡尔曼滤波算法总结

其他-卡尔曼滤波

卡尔曼滤波介绍

卡尔曼滤波的个人理解

世界上应用最广泛的算法之一的卡尔曼滤波算法原理-从放弃到精通-无人机/机器人应用 - 哔哩哔哩 (bilibili.com) ：卡尔曼滤波器的通俗举例 - 好了，现在对于某一分钟我们有两个有关于该房间的温度值。

卡尔曼滤波算法 - 生命不止，学习不息的博客-CSDN博客

卡尔曼滤波和维纳滤波 - sillykog的博客-CSDN博客_卡尔曼滤波和维纳滤波的区别

维纳滤波和卡尔曼滤波 - 西岸贤的博客-CSDN博客_维纳滤波和卡尔曼滤波

卡尔曼滤波算法详细推导 - victorzy的博客-CSDN博客_卡尔曼滤波推导

4 协方差

初学）从协方差到协方差矩阵，再到特征向量和特征值

协方差矩阵的特征向量指的是什么

主成分分析-交互固定效应基础：协方差矩阵的几何意义：好像写的很好！！！

协方差的几何意义

协方差的意义和计算公式

5 距离分辨率与带宽

5.1 距离分辨力

距离分辨力本质上是和脉冲宽度有关，脉宽越窄，距离分辨力越高，但是由于在发射机峰值功率一定的情况下，脉宽越窄，对应的平均功率越小，这会导致雷达最大可测距离减小，这就是俗称的距离分辨力与最大可测距离之间的矛盾。

为了解决这个矛盾，雷达接收机中频信号处理引入匹配滤波技术(时宽近似为带宽分之一)，可以解决这个矛盾。chirp信号发射的一般是大时宽带宽积的信号，大时宽保证最大可测距离，大带宽(MF之后对应小时宽)保证高的距离分辨力。

• 距离分辨率本质上到底是看脉宽还是看带宽？
  • 早期的确是时宽，因为考虑到最大可测距离与距离分辨力的矛盾，引入脉压技术，所以现代雷达说的都是带宽。 本质是时(脉)宽，但一般现代雷达中脉宽和带宽存在一个倒数关系，所以经常用那个带宽的公式。

5.2 速度分辨力

至于速度分辨力(多普勒分辨力)和雷达对目标回波做的相参积累时间T有关，近似等于$\dfrac{1}{T}$。

以上内容转自：线性调频脉冲信号的距离分辨率和速度分辨率与什么因素有关？ - fever wong的回答 - 知乎

6 随机信号处理笔记之白噪声

6.1 白噪声的概念

“白噪声”，Additive White Gaussian Noise(AWGN)。“白”的概念来自于光学，和白光的“白”是同一个意思，指的是包含所有频率分量的噪声，且这所有的频率分量是等值的。

白噪声，就是说功率谱为一常数；即其协方差函数在时延$\tau = 0$时不为0，在$\tau \neq 0$时值为0； 换句话说，样本点互不相关。 所以“白”与“不白”是和分布没有关系的。 当随机地从高斯分布中获取采样值时，采样点所组成的随机过程就是“高斯白噪声”； 同理，随机从均匀分布中获取采样值时，采样点所组成的随机过程就是“均匀白噪声”。

6.2 白噪声的统计学定义

如果白噪声的功率谱密度在所有频率上都是一个常数(功率谱密度只与白噪声与否有关，即与自相关函数有关，与高斯与否无关。 )：

$$P(\omega) = \frac{N_0}{2}$$

其中，$N_0>0, \omega \in (-\infty, \infty)$，则称该噪声为白噪声。 白噪声的单边功率谱密度：

$$P_{单}(\omega) = N_0$$

其中，$N_0>0, \omega \in (0, \infty)$。

6.3 白噪声的自相关函数

根据维纳-辛钦定理，平稳随机过程的功率谱密度函数和自相关函数是傅里叶变换对。

白噪声的自相关函数：

$$R(\tau) = \frac{N_0}{2}\delta(\tau)$$

对于所有的$\tau \neq 0$，都有$R(\tau) = 0$，说明白噪声仅在$\tau=0$时刻才是相关的，而在其他时刻（$\tau \neq 0$)的随机变量都是不相关的。

白噪声的平均功率：

$$R(0) = \frac{N_0}{2}\delta(0) = \infty$$

因此真正“白”的噪声是不存在的。实际工程应用中，只要噪声的功率谱密度均匀分布的频率范围远大于通信系统的工作频带($3 \text{ dB}$带宽)，就可将其视作白噪声。

以上内容主要转自：随机信号处理笔记之白噪声

7 窄带噪声、高斯噪声、白噪声

7.1 概念解析

• 高斯噪声是指它的概率密度函数服从高斯分布(即正态分布)的一类噪声；
• 窄带噪声是指频带范围较窄的一类噪声，系统的频带宽度远远小于其中心频率的系统；
• 白噪声是指它的功率谱密度函数在整个频域内是常数。

可以看出他们描述的属于不同的领域，高斯噪声是从概率方面描述，窄带是从带宽方面描述，白噪声是从功率方面描述。

以上内容转自：窄带噪声、高斯噪声、白噪声 - 嵌入式随笔的文章 - 知乎

7.2 高斯白噪声

高斯型白噪声也称高斯白噪声，是指噪声的概率密度函数满足正态分布统计特性，同时它的功率谱密度函数是常数的一类噪声。高斯型白噪声同时涉及到噪声的两个不同方面，即概率密度函数的正态分布性和功率谱密度函数均匀性，二者缺一不可。

假设高斯白噪声服从$(0, \sigma^2)$正态分布，则其自相关函数为：

$$R(\tau) = \sigma^2 \delta(\tau)$$

高斯白噪声的功率谱密度$P(\omega)$是其自相关函数$\R(\tau)$的傅里叶变换，有：

$$P(\omega) = \frac{N_0}{2} = \sigma^2$$

也就是在通信信道中，一般噪声的均值$\mu = 0$，那么当噪声的均值是零的时候，噪声的平均功率等于其方差。

以上内容转自：高斯白噪声的自相关函数是什么？ - 高宏的回答 - 知乎

• 高斯色噪声

那么，是否有“非白的高斯”噪声呢？答案是肯定的，这就是”高斯色噪声“。

这种噪声其分布是高斯的，但是它的频谱不是一个常数，或者说，对高斯信号采样的时候不是随机采样的，而是按照某种规律来采样的。

以上内容转自：噪声的讨论 - 博客园

7.3 几个问题的辨析解释

7.3.1 白噪声的方差等于什么

当均值为零时，高斯白噪声的功率谱密度等于方差，此时的功率谱密度为双边功率谱密度，数字信号处理上面有关于这些的推导，$\dfrac{n_0}{2}$是双边功率谱密度，$n_0$为单边功率谱密度，一般都是考虑双边的。

通常文献所说的噪声的方差，是指加性高斯白噪声(AWGN)的经过采样后的采样值的方差，具体说，就是数字通信原理里说的在相关接收/或匹配滤波后的输出，此时的方差是$\dfrac{N_0}{2}$（见Proakis的digital communcations的第五章第一、二节）。

若说某个白高斯过程的方差是$\dfrac{N_0}{2}$，这个提法本身就是不严格的，因为对于均值为0的高斯白噪声，方差就是总功率，因为：

$$总功率=直流功率+交流功率=0+交流功率=0+方差$$

因为均值为0，所以直流功率为0，方差就是交流功率，亦即总功率。

根据白噪声的定义，其功率谱在整个频段上都是一个常数，此时总功率是对功率谱在整个频段上的积分，这个总功率自然就是无穷大的了。 实际上，即使输入的噪声真的是AWGN，经过相关接收/或匹配滤波后，噪声项就不再是白的了，因为相关接收/匹配滤波器本身就可以被看作是一个滤波器(积分器的系统函数为1,即是个低通)，wgn经过滤波器后，功率自然就不再是无穷大了，虽然它的相关接收/匹配滤波器输出采样值分布仍然是高斯的。

如果有作者说“高斯白噪声服从的是均值为0，方差为$\dfrac{N_0}{2}$的高斯分布”，那一定是指白噪声经过相关接收/或匹配滤波后并采样获得的离散随机过程是均值为0，方差为$\dfrac{N_0}{2}$的高斯分。

以上内容转自：白噪声的方差等于什么_百度知道 (baidu.com)

7.3.2 为什么高斯白噪声的平均功率等于方差

高斯白噪声$\xi(t)$是一种平稳的随机过程，假设该过程为ξ(t)，那么其自相关函数的定义如下：

$$R(t) =E(\xi(t) \xi(t+\tau))$$

随机过程的自相关函数非常重要，它有两条非常重要的性质：

• $R(0) = E(\xi^2(t)]$，表示平均功率
• $R(\infty) = E^2(\xi(t))$，表示直流功率

为什么$R(0)$表示平均功率，$R(\infty)$表示直流功率呢？

其实$R(0)$表示平均功率相对好理解一些，输入的信号是$ξ(t)$，信号的平方就是功率，对功率取个$E(\cdot)$，就是取平均，那就是平均功率了。

当$τ$为无穷大时，$ξ(t)$和$ξ(t+\tau)$相当于独立同分布的两个随机变量了，因此：

$$\begin{aligned} R(\infty) &=E[\xi(t) \xi(t+\tau)] \\ &=E[\xi(t)] \cdot E[\xi(t+\tau)] \\ &=E[\xi(t)] \cdot E[\xi(t)] \\ &=E^2[\xi(t)] \end{aligned}$$

这个就是信号先求平均(即直流分量)，再平方结果自然就是直流的功率了。

自相关函数$R(\tau)$也叫二阶原点矩，而自协方差函数$C(\tau)$是二阶中心矩，它的定义为：

$$\begin{aligned} C(\tau) &=E[[\xi(t)-m(t)][\xi(t+\tau)-m(t+\tau)]] \\ &=E[\xi(t) \xi(t+\tau)]-m(t)) \cdot m(t+\tau) \end{aligned}$$

其中，$m(t)$表示$t$时刻的平均值。当$\tau = 0$时，$C(0) = E[\xi^2 (t)]−m^2 (t) = R(0) − m^2 (t)$，即平均功率减去均值平方，表示方差。所以，对于高斯白噪声来说，它的均值为0，即$m(t)$为0，因此平均功率等于方差。

以上内容转自：为什么高斯白噪声的平均功率等于方差？ - 张大侠的文章 - 知乎

7.3.3 待定。。。之后根据下面的链接进行补充

为何连续高斯白噪声的方差定义是无穷大？ - 知乎；高斯白噪声解惑_hupipi96的博客-CSDN博客 ；学了3,4年，终于明白了高斯白噪声的那些东西。_gllnupt的博客-CSDN博客 ；高斯噪声和高斯白噪声相关介绍_咆哮的狼的博客-CSDN博客 ；高斯白噪声（white Gaussian noise，WGN）_他人是一面镜子，保持谦虚的态度的博客-CSDN博客 ；高斯白噪声与信噪比 - CSDN；噪声相关笔记 - 360个人图书馆；通信基本概念与基础知识；白噪声高斯噪声高斯白噪声的区别 - 搜狐；高斯白噪声 - CSDN；3.4 信道的加性噪声 一、噪声的分类

8 自相关矩阵与协方差矩阵

自相关函数与互相关函数 - CSDN

【数字信号处理】相关函数应用 ( 高斯白噪声 的 自相关函数 分析 )

自相关函数的理解 - CSDN

【什么是自相关矩阵，自协方差矩阵，互相关矩阵，互协方差矩阵？】 - CSDN

9 卷积和相关

如何通俗易懂地解释卷积？ - 知乎

信号处理绕不过去的坎：相关与卷积 - 面包板

10 条件期望

10.1 条件期望的定义(摘自Wiki)

(1) 设$X$和$Y$都是离散型随机变量，则$X$在给定事件$Y=y_k$条件时的条件期望：

$$E(X \mid Y=y) = \sum_i x_i P(X=x_i \mid Y=y_k)$$

(2) 设$X$是连续型随机变量，$Y$是离散型随机变量，$X$在给定事件$Y=y_k$条件时的条件期望：

$$E(X \mid Y=y) = \int_{-\infty}^{\infty} x f_{X \mid Y}(x \mid Y=y_k) \text{ d}x$$

(3) 设$X$和$Y$都是连续型随机变量，联合概率密度为$f_{X,Y}(x,y)$，$Y$的密度函数为$f_Y(y)$，则$X$的条件概率密度函数：

$$f_{X \mid Y}(x \mid y) = \frac{f_{X,Y}(x,y)}{f_Y(y)}$$

在给定事件$Y=y$条件时的条件期望：

$$E(X \mid Y=y) = \int_{-\infty}^{\infty} x f_{X \mid Y}(x \mid y) \text{ d}x = \frac{1}{f_Y(y)}\int_{-\infty}^{\infty} x f_{X,Y}(x,y) \text{ d}x$$

10.2 区分$E(X)$、$E(X \mid Y)$、$E(X \mid Y=y)$

• $E(X)$：一个数；
• $E(X \mid Y)$：随机变量，关于$Y$的函数，没有固定的$y$值；
• $E(X \mid Y=y)$ ：不是随机变量，而是一个关于$y$的函数$f(y)$，对于给定的$y$，有唯一确定值与之对应。

$E(X)$是对所有$\omega \in \Omega$， $X(\omega)$取值全体的加权平均；而$E(X \mid Y=y)$是局限在$\omega \in \begin{Bmatrix} \omega \mid Y(\omega)=y \end{Bmatrix}$时，$X(\omega)$ 取值局部的加权平均。

10.4 全期望公式(Law of total expectation)

设$X,Y$为随机变量，下列期望和条件期望均存在，则：

$$E(X) = E(E(X \mid Y))$$

• 若$Y$为连续型随机变量，则：

$$E(X) = E(E(X \mid Y)) = \int_{-\infty}^{\infty} E(X \mid Y = y) f_Y(y) \text{ d}y$$

• 若$Y$为离散型随机变量，则：

$$E(X) = E(E(X \mid Y)) = \sum_i E(X \mid Y = y_i) P(Y = y_i)$$

以上内容转自：条件期望与全期望公式 - Ryan的文章 - 知乎

10.5 其他几点

10.5.1 条件期望是否能去掉

(1) 设$h(\cdot)$是一个函数，则：

$$\begin{aligned} E(X \cdot h(Y)) &= E[E(X \cdot h(Y) \mid Y)] \\ &= \int_{-\infty}^{\infty} E(X \cdot h(Y) \mid Y = y) f_Y(y) \text{ d}y \\ &= \int_{-\infty}^{\infty} E(X \cdot h(y) \mid Y = y) f_Y(y) \text{ d}y \\ &= \int_{-\infty}^{\infty} h(y)E(X \mid Y = y) f_Y(y) \text{ d}y \\ &= \int_{-\infty}^{\infty} h(y) [E(X)](Y)_{Y = y} f_Y(y) \text{ d}y \\ &= \int_{-\infty}^{\infty} h(y) G(Y)_{Y = y} f_Y(y) \text{ d}y \end{aligned}$$

e.g. $X \sim \text{Exp}(Y)$，则：

$$\begin{aligned} E(X) &= E(E(X \mid Y)) \\ &= \int_{-\infty}^{\infty} E(X \mid Y = y) f_Y(y) \text{ d}y \\ &= \int_{-\infty}^{\infty} G(Y)_{Y = y} f_Y(y) \text{ d}y \\ &= \int_{-\infty}^{\infty} \frac{1}{Y} \mid_{Y = y} f_Y(y) \text{ d}y \\ &= \int_{-\infty}^{\infty} \frac{1}{y} f_Y(y) \text{ d}y \end{aligned}$$

11 群延时与相位延时

信号与系统学习难点（一）群时延与相频特性

一文读懂群延时(Group Delay)：非常简单易懂

12 幅频特性和相频特性

幅频特性和相频特性的物理意义

13 维纳滤波器和平时所说的低通频域滤波器的区别

第五章 数字滤波器的基本概念及一些特殊滤波器

14 线性代数中各种矩阵的简介及其性质

线性代数中各种矩阵的简介

理解矩阵（一）

矩阵相关定义性质全总结

矩阵的分类以及性质

15 向量的模和范数

15.1 向量的模

向量的模，表示向量的长度；向量$\boldsymbol x = (x_1, x_2, \cdots, x_n)^{\mathrm T}$它的模的计算公式：

$$|\boldsymbol x| = \sqrt{x_1^2+x_2^2+ \cdots + x_n^2}$$

15.2 向量的常见范数

15.2.0 向量的0范数

向量中非零元素的个数 ；

15.2.1 向量的1范数(L1范数、曼哈顿范数)

$$\|\boldsymbol x \|_1 = \sum_{i = 1}^{n} |x_i|$$

15.2.2 向量的2范数(L2范数、欧式范数)

$$\|\boldsymbol x \|_2 = \sqrt{\sum_{i = 1}^{n} x_i^2}$$

向量的2范数等价于向量的模长。

15.2.3 向量的无穷范数($\infty$范数、最大值范数)

$$\| \boldsymbol x \|_{\infty} = \max_{1 \leq i \leq n} |x_i|$$

15.2.4 向量的p范数

$$\| \boldsymbol x \|_p = \left( \sum _{i = 1}^{n} |x_i|^p \right)^{\frac{1}{p}}$$

临时补充：复数的模

$z_1 = a + bi$、$z_2 = c + di$

$|z_1 \times z_2| = |z_1| \times |z_2|$

$\left|\dfrac{z_1}{z_2} \right| = \dfrac{|z_1|}{|z_2|}$

熟悉陌生的2-范数（向量的模）

向量 模（module） 范数（norm）

16 充分性，必要性，充分条件，必要条件的区别

16.1 概述

令：$A$是命题，$B$是结论，则有：

• $A \longrightarrow B$：$A$是$B$的充分条件；
  • $A$成立$B$一定成立，$A$不成立$B$不一定不成立。
• $B \longrightarrow A$：$A$是$B$的必要条件；
  • $A$成立$B$不一定成立，$A$不成立$B$一定不成立。
• $A \longleftrightarrow B$：$A$和$B$互为充要条件（充分必要），即$B$成立当且仅当$A$成立。

E.g. 说$B$的充要条件是$A$，是把后者作为条件：

即证$B$的充要条件是$A$，是：证充分性（$A \longrightarrow B$），证必要性（$B \longrightarrow A$）

转载于：充分性，必要性，充分条件，必要条件的区别 - 博客园 - 用户_zwl

16.2 充分条件、必要条件、充要条件

以初中平面几何中的全等三角形的判定定理1：若两个三角形的三条对应边均相等，则这两个三角形全等为例，首先引入充分条件与必要条件。

• 充分条件： 若已知两三角形三边对应相等，则两三角形全等 ，也就是说：两个三角形三边对应相等是这两个三角形全等成立的充分条件 。其中充分条件的含义是，若两三角形三边对应相等，则有充分理由断定“这两个三角形全等”成立。
• 必要条件： 若已知两个三角形全等，则这两个三角形三条边对应相等 ，也就是说：两个三角形三边对应相等是这两个三角形全等成立的必要条件 。其中必要条件的含义是，若两个三角形全等，则必定需要 满足一个条件：“两三角形三边对应相等”，即只有满足了这个条件，这两个三角形全等才成立。
• 充分必要条件： 结合上述两部分论断，我们可以得到如下的命题：两三角形全等的充要条件是这两个三角形的三边对应相等。

16.3 充分性、必要性

• 充分性：常用箭头$\Longleftarrow$表示，即由条件推出结论（假设两三角形三边对应相等成立，来证明两三角形全等）。
• 必要性：常用箭头$\Longrightarrow$表示，即由结论推条件（假设两三角形全等成立，来证明三角形三边对应相等）。

16.4 定义

有了上面的例子，很容易得到充分条件、必要条件等的定义：

设$A$、$B$是两个命题，并且有：$A$成立的充要条件是$B$成立，则：

• 充分条件：若$B$成立则$A$成立，即$B$成立是$A$成立的充分条件。
• 必要条件：若$A$成立则$B$成立，即$B$成立是$A$成立的必要条件。
• 充分性： 用 $\Longleftarrow$代替，即“假定$B$成立，去证明$A$成立”(条件推结论)。
• 必要性： 用$\Longrightarrow$代替，即“假定$A$成立，去证明$B$成立”(结论推条件)。

16.5 “当且仅当”（if and only if）

有时候也会用到“当且仅当”一词来表示充要条件 。仍用上面所举三角形全等的例子，就可以说：两三角形全等当且仅当两三角形三边对应相等。也可以一般化为：$A$成立当且仅当$B$成立，这时：

• 充分条件：当$B$成立时$A$成立（$B$成立能充分说明$A$成立）。
• 必要条件：仅当$B$成立时$A$才成立（$B$成立是$A$成立所必定需要的）。

16.6 补充：充分必要条件的意义

$A$成立的充要条件是$B$成立，说明命题$A$与$B$是相互等价的，是同一现象（事物）的不同表现形式。
也即：若$A$成立的充要条件是$B$成立，则得到$A$与$B$互为充要条件。

16.7 找准哪个命题是“充要条件”

实际运用中，常会出现两种十分相似的表述，但是二者仍有很大区别，即

• $A$成立的充要条件是$B$。
• $A$成立是$B$成立的充要条件。

在第一种表述中，可以认为$A$是“结论”，$B$是“条件”；

而第二种表述恰恰相反。如果在实际分析中出现了第二种表述，就不能简单地认为$A\Longrightarrow B$是必要性了，还需要找到哪个命题是“条件”，哪个命题是“结论”，然后进行进一步的分析。

转载于：理解充分条件与必要条件 - CSDN - CSDN用户zorchp

17 概率论——总体、样本、统计量(顺序统计量)的基本概念

17.1 总体

总体是与我们所研究的问题有关的所有个体组成，而样本是总体中抽取的一部分个体。若总体中个体的数目为有限个，则称为有限总体, 否则称为无限总体。

关于总体的一个争论：总体是不是一个随机变量？

具体可以参考下面这个链接：为什么总体和样本都是随机变量？ - 知乎

17.2 样本

样本具有两重性，意思是样本既可看成具体的数，又可以看成随机变量(或随机向量)。在完成抽样后，它是具体的数；在实施抽样前，它被看成随机变量。因为在实施具体抽样之前无法预料抽样的结果，只 能预料它可能取值的范围，故可把它看成一个随机变量，因此才有概率分布可言。为区别起见，今后用大写的英文字母表示随机变量或随机向量，用小写字母表示具体的观察值。

17.3 统计量

数理统计的任务是通过样本去推断总体。而样本自身是一些杂乱无章的数字，要对这些数字进行加工整理，计算出一些有用的量。可以这样理解：这种由样本算出来的量，把样本中与所要解决的问题有关的信息集中起来了我们把这种量称为统计量，其定义如下：

由样本算出的量是统计量，或者是统计量是样本的函数。对这一定义我们作如下几点说明:

• 统计量只与样本有关，不能与未知参数有关。

  • 例如，$X \sim N(\mu, \sigma^2)$，当$\mu$和$\sigma^2$皆为未知参数时，$\sum _ {i=1}^{n}(X_i-\mu)^2$和$\sum _ {i=1}^{n}\dfrac{X_i^2}{\sigma^2}$都不是统计量，而$\sum _ {i=1}^{n}X_i ^2$和$\sum_{i=1}^{n}X_i^2$均是统计量
• 由于样本具有两重性，同时统计量是样本的函数，因此统计量也具有两重性。正因为统计量可视为随机变量(或随机向量)，因此才有概率分布可言，这是利用统计量进行统计推断的依据。
• 在什么问题中选用什么统计量，要看问题的性质。一般说来，所提出的统计量应是最好的集中了样本中与所讨论问题有关的信息，这不是容易做到的。

17.4 顺序统计量

首先直接说明几点前提和结论：

• 随机变量不可以比较大小；
• 顺序统计量属于随机变量。

17.4.1 顺序统计量的定义

顺序统计量：

$$X_{(1)}\le X_{(2)}\le \dots\le X_{(n)}$$

其中，$X _ {(1)}=\min\begin{Bmatrix}X_1,\dots,X_n\end{Bmatrix}$，$X_{(n)}=\max\begin{Bmatrix}X_1, \cdots, X_n\end{Bmatrix}$，$X_{(k)}$为$X_1, \cdots, X_n$的递增排序的第$k$位。$X _ {(n)}-X_{(1)}$样本极差。

17.4.2 关于顺序统计量的理解

其实到写到这为止感觉还是没有透彻理解顺序统计量，我自己关于顺序统计量主要有两个疑点：

• 从表面上看，顺序统计量就是对随机变量大小排序，但是我们知道随机变量是不能比较大小的。
• 其次，为什么顺序统计量是一个随机变量，感觉随机变量排序后只是一个大小的比较结果，咋就能视为一个随机变量了呢？

首先，先说一下我的简单理解：

从总体中抽出$n$个样本$X_1, \cdots, X_n$，我们想要了解这些样本中大小排第$k$的样本(随机变量)的分布情况$F_{X_{(k)}}(x_k) = P(X _ {(k)} < x_k)$，由于$k$的取值可以从$1 \sim n$，即我们先研究排序中每一位置的分布情况，所以何不就直接从小到大排个序，这也就导出了顺序统计量。

其次，我们看一下ChatGPT的回答：

• 问：随机变量能比较大小吗？
  • 答：不可以，随机变量是数值不确定的变量，它们本身并不具有可比性，不能比较大小。但是我们可以对随机变量的概率分布进行比较，即可以比较两个随机变量所代表的概率分布的差异程度。
• 问：随机变量不能比较大小为什么会出现顺序统计量？
  • 答1：顺序统计量并不是指对随机变量进行大小比较，而是指对样本数据进行排序，将数据按照其大小排列，并编号。顺序统计量是样本中某一数值的排名，通常用于研究样本分布的性质，如判断样本的正态性等。因此，顺序统计量是由样本数据而不是随机变量生成的。
  • 答2：随机变量是描述随机现象的数学概念，不能直接比较大小。但是，我们可以通过研究其特定分布情况，对其进行统计分析，以得到有关其大小关系的统计结论。因此，出现了顺序统计量的概念，即对随机变量的样本数据进行排序，从而对其分布情况进行研究。
• 问：顺序统计量是随机变量但随机变量不是不能比较大小吗？
  • 答：顺序统计量和随机变量是两个不同的概念，顺序统计量是对随机变量的一种排列（即大小顺序）的统计描述。顺序统计量是随机变量，因为其值取决于随机变量的值，并且随机变量值不同时顺序统计量值也不同。然而，随机变量本身不能比较大小，因为它是一个概率分布，只能描述数据的可能性，而不能对数据的大小进行比较。
• 问：如何理解你说的“顺序统计量是对随机变量的一种排列（即大小顺序）的统计描述”，你的意思不就是对随机变量比较大小然后排序吗 ？
  • 答：是的，顺序统计量通过比较随机变量的大小并将其进行排序，得出其大小顺序，以此作为对随机变量的统计描述。但是这种比较大小和排序行为仅仅是在计算上的表现，并不能说明随机变量本身具有大小关系，因为随机变量本身并不具有确定的值。
• 问：请问“但是这种比较大小和排序行为仅仅是在计算上的表现，并不能说明随机变量本身具有大小关系”这句话能不能详细解释一下？
  • 答：所谓“比较大小和排序行为仅仅是在计算上的表现”，是指我们在研究统计问题时，常常需要对一组随机变量的取值进行比较和排序，以得到更直观、客观的描述。然而，这种比较大小和排序的行为，只是计算的一种方法，并不能真实反映出随机变量本身的大小关系，因为随机变量的大小关系是不确定的，只能通过概率的方式来表示。

关于这一部分，主要参考下面的链接，特别注意第一个链接特别好：

概率论与数理统计课件 - 张伟平 - USTC；张伟平个人主页 - 统计与金融系教授

数理统计讲义

数理统计1：数理统计的概念，总体与样本，统计量 - 江景平个人

18 条件概率和事件的交的概率有什么区别

简单来说：

• 条件概率是已知前提条件中描述的事件发生了。

• 事件的交则是涉及到的事件均还没有发生，求这几个事件一块发生的概率。

本质上来说，条件概率减小了事件的空间，而一般事件的交仍然是整个样本空间$\Omega$

常见题目中的字眼：

• 若出现“在已知。。。”，则一般为条件概率；
• 若一般出现“并且、且”等字眼，则为事件的交。

参考链接：概率论中，条件概率和事件的交的概率有什么区别

19 随机向量

• 根据参考链接[19.1]的评论区：
  • 总体研究的是一项数量指标还是多个维度的数量指标？比如一个班上的学生是一个总体，$X_1$是身高，$X_2$是体重，样本是$(X_1, X_2)$是个二维随机变量。还是总体只研究一个指标，比如身高$X$，$(X_1, X_2)$是样本，代表第一个学生和第二个学生的身高值。知乎博主给出的回答是：都可以，看你怎么定义研究的内容。
• 根据参考链接[19.2]给的例子：
  • 当个体上的数量指标不止一项时，我们用随机向量来表示总体。例如研究某地区小学生的发育状况时，人们关心的是其身高$X$和体重$Y$这两个数量指标，此时总体就可以用二维随机向量$ (X，Y)$或其联合分布$F(x, y)$表示。

此外，我还从今天(2023.02.08)发现的最强大的智能对话ChatGPT上，通过问答获得以下结果：

参考链接：

【19.1】为什么总体和样本都是随机变量？ - 杜克清风侠的回答 - 知乎

【19.2】概率论与数理统计课件 - 张伟平 - USTC

20 矩阵相关定义性质全总结

20.1 基本概念

• 矩阵定义：$m \times n$矩阵为$m \times n$个数排成的$m$行$n$列的表格，当$m=n$时，矩阵$\boldsymbol A$称为$n$阶方阵。
• 零矩阵：矩阵所有元素都为0，在下文中用$\boldsymbol O$表示。
• 单位阵：对角线全为1，其他全为0的方阵，一般用$\boldsymbol I$或$\boldsymbol E$表示，本文用$\boldsymbol I$，用$\boldsymbol E$表示初等矩阵。
• 同型矩阵：$\boldsymbol A$矩阵为$m \times n$矩阵，$\boldsymbol B$矩阵为$s \times t$矩阵，若$m=s,n=t$，$\boldsymbol A$和$\boldsymbol B$为同型矩阵。
• 矩阵相等：$\boldsymbol A$和$\boldsymbol B$相等意味着两个同型矩阵对应的元素都相等。
• 矩阵行列式：$n$阶方阵$\boldsymbol A$构成的行列式，一般记为：$\det \boldsymbol A$或者$|\boldsymbol A|$。

注意：
只有方阵才有行列式；矩阵$\boldsymbol A$是表格，而行列式$|\boldsymbol A|$是数。

20.2 基本运算

• 乘法：设$\boldsymbol A$是一个$m \times s$矩阵，$\boldsymbol B$是一个$s \times t$矩阵(即左矩阵的列数=右矩阵的行数)，则乘积$\boldsymbol{AB}$是一个$m \times t$矩阵，记为$\boldsymbol C$。
• 矩阵多项式： 设$\boldsymbol A$是$n$阶矩阵，$f(x)=a_m x^m+ \cdots +a_1 x+a_0$是$x$的多项式，则称$a_m\boldsymbol A^m+a_{m-1}\boldsymbol A^{m-1}+ \cdots +a_1\boldsymbol A+a_0 \boldsymbol I$为矩阵多项式，记为$f(\boldsymbol A)$。

注意一下几点：

1. 一般情况$\boldsymbol{AB} \neq \boldsymbol{BA}$；
2. $\boldsymbol A \neq \boldsymbol O$，$\boldsymbol B \neq \boldsymbol O$，但有可能$\boldsymbol{AB} = \boldsymbol O$；
3. $\boldsymbol{AB} = \boldsymbol{AC}, \boldsymbol A \neq \boldsymbol O$不能推出$\boldsymbol B = \boldsymbol C$；
4. $\boldsymbol{AB} = \boldsymbol O$可推出$\boldsymbol B$的列向量是$\boldsymbol{Ax}= \boldsymbol 0$的解；

20.3 矩阵基础操作

20.3.1 矩阵转置

(一) 定义

将$m \times n$型矩阵$\boldsymbol A=(a_{ij})_{m \times n}$的行列互换的到的$n \times m$矩阵$(a_{ji})_{n \times m}$，称为$\boldsymbol A$的转置矩阵。

(二) 性质

1. $(\boldsymbol A + \boldsymbol B)^{\mathrm T} = \boldsymbol A^{\mathrm{T}} + \boldsymbol B^{\mathrm{T}}$
2. $(k\boldsymbol A)^{\mathrm T} = k\boldsymbol A^{\mathrm T}$
3. $(\boldsymbol A \boldsymbol B)^{\mathrm T} = \boldsymbol B^{\mathrm T}\boldsymbol A^{\mathrm T}$

20.3.2 伴随矩阵

(一) 余子式和代数余子式

• 余子式：是指在$n$阶行列式中，把元素$a_{ij}$(其中$i$和$j$分别表示行和列)所在的第$i$行和第$j$列划去后，留下来的$n-1$阶行列式叫做元素$a_{ij}$的余子式，记做$M_{ij}$。
• 代数余子式：在余子式的基础上，记$A_{ij}=(-1)^{i+j}M_{ij}$，叫做元素$a_{ij}$的代数余子式。

注意：
只有方阵才有余子式，余子式和代数余子式都是一个行列式，其结果是一个数而不是矩阵。

只讲概念比较枯燥，通过例题计算更直观，例如计算下面这个行列式的$a_{32}$元素的余子式和代数余子式分别是多少：

$$\left|\begin{array}{lll} a_ {11}& a_ {12} & a_ {13} \\ a_ {21} & a_ {22} & a_ {23} \\ a_ {31} & a_ {32} & a_ {33} \end{array}\right|$$

根据概念，所谓$a_{32}$的余子式就是把$a_{32}$所在的行和列划去，留下来的行列式，那么$a_{32}$的余子式就是：

$$M_{32}= \left|\begin{array}{ll} a_ {11}& a_ {13} \\ a_ {21} & a_ {23} \end{array}\right|$$

那么，顺势而推，$a_{32}$的代数余子式就是：

$$A_{32} = (-1)^{3+2}\left|\begin{array}{ll} a_ {11}& a_ {13} \\ a_ {21} & a_ {23} \end{array}\right|$$

(二) 伴随矩阵

矩阵$\boldsymbol A​$的伴随矩阵一般记为$\boldsymbol A^*​$。由矩阵$\boldsymbol A​$的所有代数余子式构成，列对应行。

方阵$\boldsymbol A = (a_{ij})_{n \times n}$的各个元素的代数余子式转置构成伴随矩阵$\boldsymbol A^*$：

$$\boldsymbol A^* = \left(\begin{array}{cccc} A_{11} & A_{21} & \cdots & A_{n1} \\ A_{12} & A_{22} & \cdots & A_{n2} \\ \vdots & \vdots & \ddots & \vdots\\ A_{1n} & A_{2n} & \cdots & A_{nn} \end{array}\right)$$

(三) 相关性质

1. $\boldsymbol A \boldsymbol A^ =$ $\boldsymbol A^ \boldsymbol A = |\boldsymbol A|\boldsymbol I$
2. $(\boldsymbol A^ )^{-1} =$ $(\boldsymbol A^{-1})^ $1
3. $(k \boldsymbol A)^ =$ $k^{n-1}\boldsymbol A^ $
4. $(\boldsymbol A^ )^{\mathrm{T}} =$ $(\boldsymbol A^{\mathrm{T}})^$
5. $|\boldsymbol A^ * | = |\boldsymbol A|^{n-1}$
6. $\boldsymbol A^{-1} = \dfrac{1}{|\boldsymbol A|}\boldsymbol A^ * $
7. $(\boldsymbol{AB})^ =$ $\boldsymbol B^ \boldsymbol A^ * $

8. 伴随矩阵的秩：

   • $\mathrm{rank}(\boldsymbol A^ * ) = n, \mathrm{rank}(\boldsymbol A) = n$
   • $\mathrm{rank}(\boldsymbol A^ * ) = 1, \mathrm{rank}(\boldsymbol A) = n-1$
   • $\mathrm{rank}(\boldsymbol A^ * ) = 0, \mathrm{rank}(\boldsymbol A) < n-1$

   矩阵的秩等于0的充分必要条件是这个矩阵是零矩阵。

20.3.3 逆矩阵

(一) 定义

只有方阵才有逆矩阵，非方阵可以定义伪逆。

若$\boldsymbol A$、$\boldsymbol B$为$n$阶方阵，且满足：$\boldsymbol{AB} = \boldsymbol{BA} = \boldsymbol I$，则$\boldsymbol A$和$\boldsymbol B$互为逆矩阵，即：

$$\boldsymbol A^{-1} = \boldsymbol B; \quad \boldsymbol B^{-1} = \boldsymbol A$$

(二) $n$阶矩阵$\boldsymbol A$可逆的充分必要条件

1. 存在$n$阶矩阵$\boldsymbol A$，使$\boldsymbol{AB} = \boldsymbol I$或者$\boldsymbol{BA} = \boldsymbol I$；
2. $|\boldsymbol A|≠ 0​$，或者$\boldsymbol A​$满秩，或者$\boldsymbol A​$的列(行)向量线性无关；
3. 齐次方程组$\boldsymbol{Ax = 0}$只有零解；
4. 任意$\boldsymbol b$，非齐次线性方程组$\boldsymbol{Ax = b}$总有唯一解；
5. 矩阵$\boldsymbol A$的所有特征值均不等于0；
6. 能表示成一些初等矩阵的乘积：PN…P2P1A=E

(三) 性质

1. $k≠0$，$(k\boldsymbol A)^{-1}=\dfrac{1}{k} \boldsymbol A^{-1}$
2. $(\boldsymbol A \boldsymbol B)^{-1} = \boldsymbol B^{-1} \boldsymbol A^{-1}$
3. $(\boldsymbol A^{\mathrm T})^{-1} = (\boldsymbol A^{-1})^{\mathrm T}$
4. $|\boldsymbol A^{-1}| = \dfrac{1}{|\boldsymbol A|}$

注意：即使$\boldsymbol A$、$\boldsymbol B$和$\boldsymbol A + \boldsymbol B$都可逆，一般的$(\boldsymbol A + \boldsymbol B)^{-1} \neq \boldsymbol A^{-1}+\boldsymbol B^{-1}$。

(四) 矩阵求逆方法

• 公式法：$|\boldsymbol A| \neq 0$，则$\boldsymbol A^{-1} = \dfrac{1}{|\boldsymbol A|}\boldsymbol A^*$
• 初等变换：$(\boldsymbol A \mid \boldsymbol I) \longrightarrow (\boldsymbol I \mid \boldsymbol A^{-1})$

20.3.4 初等矩阵、行阶梯矩阵和行最简矩阵

(一) 初等变换

设$\boldsymbol A$是$m \times n$矩阵，进行初等倍乘、互换、倍加行(列)变换，统称为初等变换。

1. 倍乘：用某个非零常数$k(k≠0)$乘$\boldsymbol A$的某行(列)的每个元素，此时行列式的值乘以$k$。
2. 互换：互换$\boldsymbol A$的某两行(列)的位置，此时行列式变为相反数，即行列式的值会乘以-1。
3. 倍加行(列)：将$\boldsymbol A$的某行(列)元素的$k$倍加到另一行(列)，此时行列式不变。

(二) 初等矩阵

单位矩阵经一次初等变换得到的矩阵为初等矩阵。 常见初等矩阵的表示可用$\boldsymbol E$、$\boldsymbol P$或者$\boldsymbol Q$这3个字母。

(三) 等价矩阵

在线性代数和矩阵论中，有两个$m \times n$阶矩阵$\boldsymbol A$和$\boldsymbol B$，如果这两个矩阵满足：

$$\boldsymbol P \boldsymbol A \boldsymbol Q = \boldsymbol B$$

其中，$\boldsymbol P$是$m \times m$阶可逆矩阵，$\boldsymbol Q$是$n \times n$阶可逆矩阵），那么这两个矩阵之间是等价关系。也就是说，存在可逆矩阵$\boldsymbol P、\boldsymbol Q$，使得$\boldsymbol A$经过有限次的初等变换得到$\boldsymbol B$。

注意：
左乘矩阵相当于对原矩阵进行了初等行变换，右乘矩阵相当于对原矩阵进行了初等列变换。

(四) 性质

1. 初等矩阵的转置仍然是初等矩阵；
2. 初等矩阵均是可逆矩阵($\boldsymbol E$，满秩)，且其逆矩阵仍是初等矩阵；
3. 用初等矩阵$\boldsymbol E$左乘(右乘)$\boldsymbol A$，其结果$\boldsymbol{EA}$($\boldsymbol{AE}$)相当于对$\boldsymbol A$作相应的初等行(列)变换。

(五) 行阶梯矩阵、行最简矩阵

• 行阶梯矩阵
  • 如果矩阵有零行(即这一行元素全是0)，则零行在最底部；
  • 每个非零元素的主元(即该行的最左边的第一个非零元)，它们的列指标随着行指标的递增而严格增大。
• 行最简矩阵：
  • 是行阶梯矩阵；
  • 非零行的主元都是1；
  • 主元所在的列的其他元素都是0。

20.4 矩阵的几种属性

20.4.1 方阵的行列式

(一) 概念

矩阵行列式是指矩阵的全部元素构成的行列式，$\boldsymbol A$是数域$\mathbb{R}$上的一个$n$阶矩阵，则所有$\boldsymbol A$中的元素组成的行列式称为矩阵$\boldsymbol A$的行列式，记为$|\boldsymbol A|$或$\det(\boldsymbol A)$。行列式的意义是变换后，空间的膨胀系数。

(二) 性质

1. $|\boldsymbol A^{\mathrm T}| = |\boldsymbol A| = \lambda_1 \times \lambda_2 \times \cdots \times \lambda_n$
2. $|k\boldsymbol A| = k^n |\boldsymbol A|$
3. $|\boldsymbol{AB}| = |\boldsymbol A| |\boldsymbol B|$
4. $|\boldsymbol A^*| = |\boldsymbol A|^{n-1}$
5. $|\boldsymbol A^{-1}| = |\boldsymbol A|^{-1}$

20.4.2 矩阵的秩

(一) k阶子式(数)

在$m \times n​$矩阵$\boldsymbol A​$中，任取$k​$行与$k​$列($k \leq m,k \leq n​$)，位于这些行与列的交叉点上的$k^2​$个元素按其在原来矩阵$\boldsymbol A​$中的次序可构成一个$k​$阶行列式，称其为矩阵$\boldsymbol A​$的一个$k​$阶子式。

• 顺序主子式

顺序主子式是$n$阶方阵的$n$个行列式的序列，第$k$个行列式由方阵的前$k$行和前$k$列组成。

(二) 秩的概念

设$\boldsymbol A$为$m \times n$矩阵，若$\boldsymbol A$中存在$r$阶子式不等于0，$r$阶以上子式均等于0，则称矩阵$\boldsymbol A$的秩为$r$，记为$r(\boldsymbol A)=\mathrm{rank}(\boldsymbol A)$。零矩阵的秩规定为0。

(三) 性质

1. $r(\boldsymbol A)=0$等价于$\boldsymbol A=\boldsymbol O$，同时也有$\boldsymbol A\neq \boldsymbol O$等价于$r(\boldsymbol A) \geq 1$；
2. $\boldsymbol A$是$n$阶矩阵，$r(\boldsymbol A) = n$等价于$|\boldsymbol A| \neq 0$等价于$\boldsymbol A$可逆，$r(A)<n$等价于$|\boldsymbol A| = 0$等价于$\boldsymbol A$不可逆;
3. 若$\boldsymbol A$是$m \times n$矩阵，则$r(\boldsymbol A) \leq \min(m,n)$；
4. 经过初等变换矩阵的秩不变；

(四) 拓展性质(公式)

1. $r(\boldsymbol A)=r(\boldsymbol A^{\mathrm T})$；$r(\boldsymbol A \boldsymbol A^{\mathrm T})=r(\boldsymbol A)$
2. $r(\boldsymbol A+\boldsymbol B)<=r(\boldsymbol A)+r(\boldsymbol B)$
3. $r(\boldsymbol{AB}) \leq \min(r(\boldsymbol A), r(\boldsymbol B)) \leq \max(r(\boldsymbol A), r(\boldsymbol B)) \leq r(\boldsymbol A + \boldsymbol B) \leq r(\boldsymbol A)+r(\boldsymbol B)$
4. 若$\boldsymbol A$可逆，则$r(\boldsymbol{AB})=r(\boldsymbol B)$，$r(\boldsymbol{BA})=r(\boldsymbol B)$
5. 若$\boldsymbol A$是$m \times n$矩阵，$\boldsymbol B$是$n×s$矩阵且$\boldsymbol{AB=O}$，则$r(\boldsymbol A)+r(\boldsymbol B) \leq n$

20.4.3 矩阵的迹

20.4.4 矩阵的特征值

n阶矩阵一定有n个特征值。因为特征值是特征多项式的根,n阶方阵的特征多项式是个n次多项式,根据代数基本定理,n次多项式有且只有n个根(重根按重数计算),这些根可能是实数,也可能是复数。

更加详细的说法为：一个n阶矩阵一定有n个特征值（包括重根），也可能是复根。一个n阶实对称矩阵一定有n个实特征值（包括重根）。每一个特征值至少有一个特征向量（不止一个）。不同特征值对应特征向量线性无关。

特征根是特征多项式的根的概念，对特征根t当有特征向量a满足Aa-ta等于0成立，称特征根为特征值。当方阵不能对角化时，不是所有特征根都能称为特征值。

20.5 几种特殊矩阵

20.5.1 奇异矩阵

行列式为零的方阵称为奇异矩阵。

该定义蕴含着奇异矩阵是方阵，因为行列式是对方阵而言的。行列式恰好为零，是不是就很“奇异”呢？换个问题，行列式恰好为1的矩阵奇异不奇异呢？行列式恰好为2呢？3呢？素数呢？从某种意义上说，这些矩阵确实都很奇异。但为何只说行列式为零的矩阵才奇异呢？

这很可能是由线性方程组的解的个数引出的名词。对于系数行列式非零的情况，方程组的解是唯一的；否则，就有无穷多解。换句话说，系数行列式可能取各种值，但不管是什么值，只要不为零，相应的方程组的解一定是唯一的。但是，如果系数行列式恰巧为零，方程组的解就可以有无穷多。这样，行列式为零的矩阵就显得很“突出”、很“不一样”、很“另类”、很“奇怪”，等等。而“奇异”包含了奇怪和异端两种意思，正好用于描述这种矩阵。

参考链接：
本文来自李毅伟科学网博客。 链接地址：https://blog.sciencenet.cn/blog-315774-889594.html

20.5.2 正交矩阵

(一) 定义

设$\boldsymbol Q$为$n$阶方阵，若$\boldsymbol {QQ}^{\mathrm T} = \boldsymbol Q^{\mathrm T} \boldsymbol Q=\boldsymbol I$，则称$\boldsymbol Q$为正交矩阵。

(二) 性质

1. $\boldsymbol Q^{\mathrm T} = \boldsymbol Q^{-1}$；
2. $\boldsymbol Q$的行(列)向量都是单位向量且两两正交；
3. $|\boldsymbol Q| = \pm 1$；
4. 对任意一向量$\boldsymbol x$，有$|\boldsymbol{Qx}| = |\boldsymbol x|$，即正交阵不改变向量模长；
5. 正交阵的特征值一定是1或-1；
6. 正交阵的每一个行(列)向量都是模为1的向量；
7. 正交阵每个元素绝对值都$\leq1$，若有一个元素为1，则该元素所在的行和列的其余元素均为0。

20.5.3 相似矩阵

(一) 定义

设$\boldsymbol A$、$\boldsymbol B$都是$n$阶矩阵，若存在可逆矩阵$\boldsymbol P$，使得$\boldsymbol P^{-1}\boldsymbol{AP}= \boldsymbol B$，则称$\boldsymbol B$是$\boldsymbol A$的相似矩阵，或$\boldsymbol A$相似于$\boldsymbol B$，记为$\boldsymbol A \sim \boldsymbol B$。

(二) 性质

1. $\boldsymbol A \sim \boldsymbol A$；
2. $\boldsymbol A \sim \boldsymbol B \Longleftrightarrow \boldsymbol B \sim \boldsymbol A$；
3. 若$\boldsymbol A \sim \boldsymbol B$，$\boldsymbol B \sim \boldsymbol C$ 则可以推导出$\boldsymbol A \sim \boldsymbol C$；
4. $n$阶方阵$\boldsymbol A$可对角化的充分必要条件是$\boldsymbol A$有$n$个线性无关的特征向量。(可得若$n$阶矩阵$\boldsymbol A$有$n$个不同的特征值$\lambda_1, \lambda_2, \cdots, \lambda_n$，则$\boldsymbol A$可相似对角化，且对角矩阵元素一一对应特征值。)
5. $n$阶矩阵$\boldsymbol A$可相似对角化的充分必要条件是$\boldsymbol A$的每个特征值中，线性无关的特征向量的个数恰好等于该特征值的重数。
6. 若$\boldsymbol A \sim \boldsymbol \Lambda$，其中$\boldsymbol \Lambda$为对角阵，则称$\boldsymbol A$可相似对角化，$\boldsymbol \Lambda$是$\boldsymbol A$的相似标准形。

(三) 相似的必要条件

1. 特征多项式相同：$|\lambda\boldsymbol I - \boldsymbol A|=|\lambda \boldsymbol I-\boldsymbol B|$
2. $r(\boldsymbol A)=r(\boldsymbol A)$
3. $\boldsymbol A$和$\boldsymbol B$有相同的特征值
4. $|\boldsymbol A|=|\boldsymbol B|=特征值之积$
5. $\mathrm{tr}(\boldsymbol A) = \mathrm{tr}(\boldsymbol B) = 特征值之和$
6. $\boldsymbol A^2 \sim \boldsymbol B^2(\boldsymbol A^n \sim \boldsymbol B^n)$
7. $\boldsymbol A+k\boldsymbol I \sim \boldsymbol B+k\boldsymbol I$
8. 如果$\boldsymbol A$可逆，$\boldsymbol A^{-1} \sim \boldsymbol B^{-1}$

20.5.4 实对称矩阵

(一) 定义

除了主对角线，两侧相对应的数相同的矩阵，也即满足：

$$\boldsymbol A = \boldsymbol A^{\mathrm T}$$

(二) 性质

1. 实对称矩阵</font color=red>必可相似对角化</font>；
2. 实对称矩阵的属于不同特征值对应的特征向量相互正交；
3. 设$\boldsymbol A$为$n$阶实对称矩阵，则必存在正交阵$\boldsymbol Q$，使得$\boldsymbol Q^{-1}\boldsymbol A\boldsymbol Q = \boldsymbol Q^{T}\boldsymbol A\boldsymbol Q = \boldsymbol \Lambda$

20.5.5 酉矩阵(幺正矩阵 )

(一) 定义

酉矩阵（unitary matrix）也叫幺正矩阵。当矩阵元为实数时也叫正交矩阵，是正交矩阵的复数拓展，即矩阵元可以是复数。酉矩阵$\boldsymbol U$的定义同样为：

$$\boldsymbol U^{\mathrm H} \boldsymbol U = \boldsymbol U \boldsymbol U^{\mathrm H} = \boldsymbol I$$

其中，$\boldsymbol U^{\mathrm H}$表示共轭转置。酉矩阵一定是方阵。

(二) 性质

1. $\boldsymbol U^{-1} = \boldsymbol U^{\mathrm H}$，同样就有$\boldsymbol U^{-1}$和$\boldsymbol U^{\mathrm T}$也是酉矩阵；
2. $|\boldsymbol U| = 1$；

(三) 充要条件

复矩阵$\boldsymbol A \in \mathbb{C}_{n \times n}$是酉矩阵的充要条件是$\boldsymbol A$的$n$个列向量是标准的正交向量。 可见，快速判断一个复矩阵是不是酉矩阵可以看它任意两个列向量是不是正交且单位的。

20.5.6 正定矩阵

(一) 定义
对于$n$阶方阵$\boldsymbol A$，若对于任何非零向量$\boldsymbol x$，都有：

$$\boldsymbol x^{\mathrm T}\boldsymbol {Ax} > 0$$

则$\boldsymbol A$为正定矩阵。在实数域上，正定矩阵是实对称矩阵，在复数域上，正定矩阵是Hermit矩阵。

(二) 性质

1. 正定阵行列式恒为正，即正定矩阵一定可逆；
2. 实对称矩阵$\boldsymbol A$正定当且仅当$\boldsymbol A$与单位矩阵合同；
3. 若$\boldsymbol A$是正定矩阵，则$\boldsymbol A$的逆矩阵也是正定矩阵；
4. 两个正定矩阵的和是正定矩阵；
5. 在实数域中，正定矩阵的主对角线元素均大于0。

(三) 一个矩阵是正定矩阵的充要条件

1. $\boldsymbol A$的特征值均为正；
2. 存在可逆矩阵$\boldsymbol P$，使得$\boldsymbol A = \boldsymbol P^{\mathrm T} \boldsymbol P$，即$\boldsymbol A$与$\boldsymbol I$合同；
3. $\boldsymbol A$的前$k(k = 1,2,\cdots,n)$阶顺序主子式均大于零；

20.6 小结：常见几种矩阵变换——合同、相似、等价

20.6.1 矩阵合同

(一) 定义

设$\boldsymbol A$和$\boldsymbol B$是两个$n$阶方阵，若存在可逆阵$\boldsymbol C$，使得$\boldsymbol C^{\mathrm T}\boldsymbol A\boldsymbol C=\boldsymbol B$，则称$\boldsymbol A$合同于$\boldsymbol B$，记成$\boldsymbol A \simeq \boldsymbol B$.

在线性代数，特别是二次型理论中，常常用到矩阵间的合同关系。

(二) 性质

1. 反身性：任意矩阵都与其自身合同；
2. 对称性：矩阵$\boldsymbol A$合同于矩阵$\boldsymbol A$，则可以推出矩阵$\boldsymbol A$合同于矩阵$\boldsymbol B$；
3. 传递性：矩阵$\boldsymbol A$合同于矩阵$\boldsymbol B$，矩阵$\boldsymbol B$合同于矩阵$\boldsymbol C$，则可以推出矩阵$\boldsymbol A$合同于矩阵$\boldsymbol C$。

(三) 矩阵合同的判别/充要条件

• $r(\boldsymbol A) = r(\boldsymbol B)$
  • 设$\boldsymbol A$和$\boldsymbol B$均为复数域上的$n$阶对称矩阵，则$\boldsymbol A$与$\boldsymbol B$在复数域上合同等价于$\boldsymbol A$与$\boldsymbol B$的秩相同。
  • 设$\boldsymbol A​$与$\boldsymbol B​$均为实数域上的$n​$阶对称矩阵，则$\boldsymbol A​$与$\boldsymbol B​$在实数域上合同等价于$\boldsymbol A​$与$\boldsymbol B​$有相同的正、负惯性指数(即正、负特征值的个数相等)。

20.6.2 小结：相似、合同、等价

• 相似矩阵必为等价矩阵，等价矩阵未必为相似矩阵，满足$\boldsymbol{PQ=I}$的等价矩阵是相似矩阵。
• 合同矩阵必为等价矩阵，等价矩阵未必为合同矩阵，满足 pA=pB,qA=qB的等价矩阵是合同矩阵。
• 相似矩阵未必合同，合同矩阵未必相似。
• 正交相似矩阵必合同，正交合同矩阵必相似。
• 实对称矩阵相似必合同，实对称矩阵合同未必相似。

矩阵合同、矩阵相似、矩阵等价是矩阵理论中常见的三个概念，它们的定义如下：

1. 矩阵合同：设$\boldsymbol A, \boldsymbol B$是 $n$ 阶实（或复）矩阵，若存在一个$n$阶可逆实（或复）矩阵$\boldsymbol P$，使得$\boldsymbol B = \boldsymbol{P^\mathrm T A P}$，则称矩阵$\boldsymbol A$和$\boldsymbol B$合同。记为$\boldsymbol A \simeq \boldsymbol B$。
2. 矩阵相似：设$\boldsymbol A, \boldsymbol B$是$n$阶实（或复）矩阵，若存在一个$n$阶可逆实（或复）矩阵$\boldsymbol P$，使得$\boldsymbol B=\boldsymbol{P^{-1}AP}$，则称矩阵$\boldsymbol A$和$\boldsymbol B$相似。记为$\boldsymbol A \sim \boldsymbol B$。
3. 矩阵等价：设$\boldsymbol A, \boldsymbol B$是$n$阶实（或复）矩阵，若存在$n$阶可逆实（或复）矩阵$\boldsymbol P, \boldsymbol Q$，使得$\boldsymbol B = \boldsymbol{P^{-1}AQ}$，则称矩阵$\boldsymbol A$和$\boldsymbol B$等价。记为$\boldsymbol A \approx \boldsymbol B$。

三者的联系与区别如下：

1. 矩阵合同是一种特殊的矩阵等价关系，即如果矩阵$\boldsymbol A$ 和$\boldsymbol B$合同，则它们等价，即$\boldsymbol A \approx \boldsymbol B$。但反之不成立，即等价的矩阵不一定合同。
2. 矩阵相似是一种更加严格的关系，如果矩阵$\boldsymbol A$和$\boldsymbol B$相似，则它们一定等价，即$\boldsymbol A \sim \boldsymbol B$蕴含$\boldsymbol A \approx \boldsymbol B$。但反之不成立，即等价的矩阵不一定相似。
3. 矩阵等价是最一般的关系，如果矩阵$\boldsymbol A$和$\boldsymbol B$等价，则它们具有一些共同的性质，例如它们的秩、行列式、迹等都相同，但它们不一定相似或合同。

总的来说，矩阵等价是最一般的关系，矩阵相似是一种较为特殊的等价关系，而矩阵合同是在实对称矩阵和复Hermitian矩阵中的等价关系。