向量范数

范数的作用

范数是复数模的自然推广，常用于误差估计以及向量/矩阵序列与级数的收敛判定。

向量范数的定义

在 Cn\mathbb{C}^n 上，函数 f(x)f(x) 若对任意 x,yx,y 和复数 aa 满足非负性、齐次性、三角不等式，则称为一个向量范数：

  1. 非负性与正定性：

∣∣x∣∣≥0,∣∣x∣∣=0  ⟺  x=0||x||\ge 0,\quad ||x||=0\iff x=0

  1. 齐次性：

∣∣ax∣∣=∣a∣⋅∣∣x∣∣||ax||=|a|\cdot ||x||

三角不等式：

∣∣x+y∣∣≤∣∣x∣∣+∣∣y∣∣||x+y||\le ||x||+||y||

常见向量范数

pp-范数（1≤p≤∞1\le p\le \infty）定义为

∣∣x∣∣p=(∑i=1n∣xi∣p)1/p,||x||_p=\Big(\sum_{i=1}^n |x_i|^p\Big)^{1/p},\quad

∣∣x∣∣∞=max⁡i∣xi∣.||x||_\infty=\max_i |x_i|.

向量加权范数

加权范数可写作

∣∣x∣∣W=∣∣Wx∣∣,W为对角矩阵||x||_W=||Wx||,\text{W为对角矩阵}

或将已有范数施加权矩阵，如加权 11-范数 ∣∣x∣∣1,W=∣∣Wx∣∣1||x||_{1,W}=||Wx||_1。

范数的等价性

有限维空间上的任意两种向量范数等价：存在与向量无关的常数 c1,c2>0c_1,c_2>0，使得

c1∣∣x∣∣a≤∣∣x∣∣b≤c2∣∣x∣∣a.c_1||x||_a\le ||x||_b\le c_2||x||_a.

对 pp-范数，可给出显式常数（如 ∣∣x∣∣∞≤∣∣x∣∣2≤∣∣x∣∣1||x||_\infty \le ||x||_2 \le ||x||_1 等）。对于p>qp>q，∣∣x∣∣p≤∣∣x∣∣q||x||_p\le||x||_q.

矩阵范数

定义与相容性

把矩阵看作向量可直接推广定义，但对矩阵还要求与乘法“相容”：

  1. 非负性与正定性：

∣∣A∣∣≥0,∣∣A∣∣=0  ⟺  A=0||A||\ge 0,\quad ||A||=0\iff A=0

  1. 齐次性：

∣∣aA∣∣=∣a∣⋅∣∣A∣∣||aA||=|a|\cdot||A||

  1. 三角不等式：

∣∣A+B∣∣≤∣∣A∣∣+∣∣B∣∣||A+B||\le ||A||+||B||

  1. 相容性：

∣∣AB∣∣≤∣∣A∣∣⋅∣∣B∣∣||AB||\le ||A||\cdot||B||

由向量范数直接推广的函数

∣∣A∣∣m1=∑i=1m∑j=1n∣aij∣,相容∣∣A∣∣F=(∑i=1m∑j=1n∣aij∣2)12,相容∣∣A∣∣m∞=max⁡ij∣aij∣,不相容∣∣A∣∣m∞=m⋅n⋅max⁡ij∣aij∣,相容\begin{aligned}||A||_{m_1}&=\sum_{i=1}^m\sum_{j=1}^n|a_{ij}|,\text{相容}\\||A||_F&=\biggl(\sum_{i=1}^m\sum_{j=1}^n|a_{ij}|^2\biggr)^{\frac12},\text{相容}\\||A||_{m_\infty}&=\max\limits _{ij}|a_{ij}|,\text{不相容}\\||A||_{m_\infty}&=\sqrt{m\cdot n}\cdot\max\limits _{ij}|a_{ij}|,\text{相容}\end{aligned}

矩阵范数的等价性

Cn×n\mathbb{C}^{n\times n}上的任意两种矩阵范数等价：存在与矩阵无关的常数 c1,c2>0c_1,c_2>0，使得

c1∣∣A∣∣a≤∣∣A∣∣b≤c2∣∣A∣∣a.c_1||A||_a\le ||A||_b\le c_2||A||_a.

算子范数

给定一个向量范数 ∣∣⋅∣∣V||\cdot||_V，定义

∣∣A∣∣M=max⁡x≠0∣∣Ax∣∣V∣∣x∣∣V=max⁡∣∣x∣∣V=1∣∣Ax∣∣V.||A||_M=\max\limits_{x\ne 0}\frac{||Ax||_V}{||x||_V}=\max\limits_{||x||_V=1}||Ax||_V.

这是由 ∣∣⋅∣∣V||\cdot||_V 从属而来的矩阵范数（算子范数），天然与 ∣∣⋅∣∣V||\cdot||_V 相容：∣∣Ax∣∣V≤∣∣A∣∣M∣∣x∣∣V||Ax||_V\le ||A||_M||x||_V。该定义确立了存在性与基本性质（正定、齐次、三角不等式、与乘法相容）。

具体算子范数的常用公式：

  1. 矩阵 1−1-范数（列和最大）：

∣∣A∣∣1=max⁡1≤j≤n∑i=1m∣aij∣.||A||_1=\max\limits_{1\le j\le n}\sum_{i=1}^m |a_{ij}|.

  1. 矩阵 ∞−\infty-范数（行和最大）：

∣∣A∣∣∞=max⁡1≤i≤m∑j=1n∣aij∣.||A||_\infty=\max\limits_{1\le i\le m}\sum_{j=1}^n |a_{ij}|.

  1. 矩阵 2−2-范数（谱范数）：

∣∣A∣∣2=λmax⁡(AHA).||A||_2=\sqrt{\lambda_{\max}(A^H A)}.

以上三者均满足与相应向量范数的相容性。

可以证明：∣∣A∣∣22≤∣∣A∣∣1∣∣A∣∣∞||A||_2^2\le||A||_1||A||_\infty,即2−2-范数的界：∣∣A∣∣1∣∣A∣∣∞\sqrt{||A||_1||A||_\infty}

Frobenius 范数与酉不变性

F-范数定义为

∣∣A∣∣F=∑i=1m∑j=1n∣aij∣2||A||_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n |a_{ij}|^2}

它与向量 22-范数相容，并且与酉变换不变：对酉阵（实情形为正交阵）U,VU,V 有

∣∣UA∣∣F=∣∣AV∣∣F=∣∣UAV∣∣F=∣∣A∣∣F.||UA||_F=||AV||_F=||UAV||_F=||A||_F.

对于 22-范数同样有酉不变性，如 ∣∣UA∣∣2=∣∣A∣∣2=∣∣AU∣∣2||UA||_2=||A||_2=||AU||_2。

酉矩阵：UHU=UUH=I,∣∣U∣∣2=1U^HU=UU^H=I,||U||_2=1

单位矩阵的范数

若 II 为 nn 阶单位阵，则

∣∣I∣∣1=∣∣I∣∣∞=∣∣I∣∣2=1,∣∣I∣∣F=n.||I||_1=||I||_\infty=||I||_2=1,\quad ||I||_F=\sqrt{n}.

∣∣I∣∣m1=∣∣I∣∣m∞=n||I||_{m_1}=||I||_{m_\infty}=n

范数的选择

通常来说，向量选择2−2-范数，矩阵选择F−F-范数或2−2-范数，因为其可导性。

矩阵范数的性质

谱与谱半径

矩阵 AA 的谱为其特征值集合，谱半径定义为

ρ(A)=max⁡∣λ∣:λ∈σ(A).\rho(A)=\max{|\lambda|:\lambda\in\sigma(A)}.

任意矩阵范数都支配谱半径：

ρ(A)≤∣∣A∣∣M.\rho(A)\le ||A||_M.

更强的是：对任意 ε>0\varepsilon>0，存在某个（依赖于 AA 的）算子范数 ∣∣⋅∣∣M||\cdot||_M 使得

∣∣A∣∣M≤ρ(A)+ε.||A||_M\le \rho(A)+\varepsilon.

相容性的要点小结

任意给定的矩阵范数总能找到与之相容的向量范数；算子范数必与其定义所用的向量范数相容。并非任意矩阵范数与任意向量范数都相容；例如 FF-范数与向量 22-范数相容，但 FF-范数并非某个向量范数的从属范数。