Matrix Computations-Norm
向量范数
定义
一个从 $\mathbb{R}^n$ 到 $\mathbb{R}$ 的非负函数$||·||$ 叫做 $\mathbb{R}^n$ 上的向量范数,如果它满足:
- 正定性：对任意 $x\in\mathbb{R}^n$ ，有 $||x||\ge 0$ ，当且仅当 $x=0$ 的时候 $||x||= 0$ ；
- 齐次性: 对任意 $x\in\mathbb{R}^n$ 和 $\alpha\in\mathbb{R}$ ,有 $||\alpha x||=|\alpha|·||x||$；
- 三角不等式， 对任意 $x,y\in\mathbb{R}^n$ ，有 $||x+y||\leq ||x||+||y||$.
向量范数是一个连续函数。
常见的向量范数
$p$范数和闭单位球
特别的，当 $p=1,2,\infty$ 是最重要的，即
有了 $p$ 范数的定义，我们可以定义在不同范数下的闭单位球:
带权重的向量范数
给定任意向量范数$||·||$,对任意非奇异矩阵$W$,定义：
可以证明，$||·||_W$ 也是向量范数。
向量范数的等价性
设 $||·||\alpha $ 和 $||·||\beta $ 是 $\mathbb{R}^{n}$上任意两个范数，则存在正常数 $c_1,c_2$ 使得对于任意 $x\in\mathbb{R}^{n}$,有:
向量序列的范数收敛
向量序列的范数收敛等价于其分量收敛
设 $xk\in \mathbb{R}^n$ ,则 $\lim{k\to\infty}||x_k-x||=0$ 的充分必要条件是:
矩阵范数
定义
一个从 $\mathbb{R}^{n\times n}$ 到 $\mathbb{R}$ 的非负函数$||·||$ 叫做 $\mathbb{R}^{n\times n}$ 上的矩阵范数,如果它满足:
- 正定性：对任意 $A\in\mathbb{R}^{n\times n}$ ，有 $||A||\ge 0$ ，当且仅当 $A=0$ 的时候 $||A||= 0$ ；
- 齐次性: 对任意 $A\in\mathbb{R}^{n\times n}$ 和 $\alpha\in\mathbb{R}$ ,有 $||\alpha A||=|\alpha|·||A||$；
- 三角不等式， 对任意 $A,B\in\mathbb{R}^{n\times n}$ ，有 $||A+B||\leq ||A||+ ||B||$；
- *相容性，有 $||AB||\leq ||A||· ||B||$.
矩阵范数的性质
继承自向量范数
由于 $\mathbb{R}^{n\times n}$ 上矩阵范数可以看作是 $\mathbb{R}^{n^2}$ 上的向量范数的推广,所以矩阵范数具有向量范数的一切性质,例如:
$\mathbb{R}^{n\times n}$ 上的任意两个矩阵范数是等价的;
矩阵序列的范数收敛等价于其元素收敛,即
矩阵向量范数的相容性
若矩阵范数$||·||_M$和向量范数$||·||_v$满足:
则称矩阵范数$||·||_M$和向量范数$||·||_v$是相容的。
Frobenius范数($F$-范数)和算子范数
$F$-范数
若干性质如下:
- (正交不变性)对任意的 $n$ 阶正交矩阵$U$和$V$,有$||UA||_F=||AV||_F=||A||_F$
算子范数
设 $||·||$是 $\mathbb{R}^{n}$ 上的一个向量范数，若定义
则 $||·||$ 是 $\mathbb{R}^{n\times n}$ 上的一个矩阵范数.该矩阵范数称为从属于向量范数$||·||$的矩阵范数,也称为由向量范数$||·||$诱导出的算子范数.
矩阵 $p$-范数
矩阵 $p$-范数随 $p$ 取值的不同，未必满足矩阵范数的定义的三条性质。
$1$-范数
即列和的最大值
$\infty$-范数
即行和的最大值
注意: $\infty$-范数不满足相容性。
$2$-范数
关于 $2$- 范数，有如下定理:
$\left|A\right|_2=\max{\left|y^\mathrm{T}Ax\right|:x,y\in\mathbb{C}^n,\left|x\right|_2=\left|y\right|_2=1}$
$\left|A^\mathrm{T}\right|_2=\left|A\right|_2=\sqrt{\left|A^\mathrm{T}A\right|_2}$
- 对任意的$n$阶正交矩阵$U$和$V$,有$||UA||_2=||AV||_2=||A||_2$
- .对任意的$n$阶正交矩阵$U$和$V$,有$||UA||_F=||AV||_F=||A||_F$
由此可知，$F$-范数和$2$-范数具有正交不变性。
谱半径
定义
设 $A\in \mathbb{C}^{n\times n}$ ,则称
为 $A$ 的谱半径，这里 $\lambda(A)$ 表示矩阵 $A$ 的特征值的全体。
性质
- 设 $A\in \mathbb{C}^{n\times n}$ ,则有
- 对 $\mathbb{C}^{n\times n}$上的任意矩阵范数 $||·||$，有$\rho(A)\leq ||A||$；（谱半径一定小于任一矩阵范数）
- 对于任给的 $\epsilon>0$ ,存在 $\mathbb{C}^{n\times n}$上的算子范数 $||·||$ ,使得 $||A||\leq \rho(A)+\epsilon $
