« 1 2 3 4 5 6 7 8 »

Linear Algebra Done Right第九章注记和部分习题

注记部分:

1 定理 9.9 的另一种证明

前一章的注记部分中已叙述了复数向量空间上的相应结果的另一种证明,这一章充分利用上一章的结论,就可以用更简单的方式证明实数向量空间的结果–本章定理 9.9。

这个定理重述起来太长,所以这里省略。定理的 (a) 部分与上一章证法完全一样,也不用重复了(注意本章的情形与上一章定理8.10 的情形有些不同,在8.10中的矩阵完全是上三角的,而这里是分块上三角的。好在不论是书上的证明还是我们自己的证明都可以忽略这个区别,因为对角线上二维矩阵块都是没有特征值的,从而减去 \( \lambda I\) 之后都是可逆的,考察证明过程,可知只要对角线上的二阶矩阵块都是可逆的,那么对角线上独立的 0 的个数就等于 \( \dim\mathrm{null}\,T^n\))。那么这里只需考虑 (b) 的证明。首先证明以下引理,其实是比较简单也比较重要的结论:

引理1(兼答习题2和习题5):设 \( V\) 是二维实向量空间,\( T\in\mathcal L(V)\),那么 \( T\) 有特征值当且仅当 \( T\) 的特征多项式有实数根。
证明:设 \( T\) 的特征多项式为 \( p(T)\),根据定理9.7 前面两段的描述,不论 \( T\) 有没有特征值,都有 \( p(T)=0\)。
那么,如果 \( T\) 有特征值,即存在实数 \( \lambda\) 和非零向量 \( v\) 使得 \( Tv=\lambda v\),则 \( p(T)v=p(\lambda)v=0\),因此 \( p(\lambda)=0\) 从而 \( \lambda\) 是 \( p\) 的实数根。
反之,如果 \( p\) 有实根,那么 \( p(T)=(T-\lambda_1 I)(T-\lambda_2 I)=0\) 从而 \( \lambda_1,\lambda_2\) 其中必有特征值。

现在可以用这个引理把定理9.9 的 (b) 情形转化为 (a) 情形:

设 \( T\) 的矩阵为 \[ \begin{pmatrix}A_1&&* \\ &\ddots& \\ 0&&A_m\end{pmatrix}\] 要考虑的特征多项式为 \( p(T)=T^2+\alpha T+\beta I\),那么考虑 \( p(T)\) 的矩阵,其对角线上的矩阵块分别为
\( p(A_1),\dots,p(A_m)\)
如果 \( A_i\) 是 1×1 阶矩阵,即是一个实数,那么因为 \( p\) 无实根,所以 \( p(A_i)\not=0\);如果 \( A_i\) 是 2×2 的矩阵且不以 \( p\) 为特征多项式,那么因为 \( A_i\) 没有特征值,所以 \( p(A_i)\) 将是可逆的;如果 \( A_i\) 的特征多项式就是 \( p\),那么 \( p(A_i)=0\),所以,在 \( p(T)\) 的矩阵中,其对角线上独立的 0 (即不包含在某个非零的二阶矩阵块中的0)都来源于以 \( p\) 为特征多项式的那些小矩阵块,0的个数是 \( \dim\mathrm{null}\,p(T)^{\dim V}\),所以有 \( \frac{1}{2}\dim\mathrm{null}\,p(T)^{\dim V}\) 个二阶矩阵块以 \( p\) 为特征多项式。

部分习题解答:

3 设 \( A\) 是分块对角矩阵 \[ A=\begin{pmatrix}A_1&& 0 \\ &\ddots& \\ 0&&A_m\end{pmatrix}\] 其中 \( A_j\) 为方阵,证明 \( A\) 的特征值的集合等于 \( A_1,\dots,A_m\) 特征值集合的并集。
4 设 \( A\) 是分块对角矩阵\[ A=\begin{pmatrix}A_1&&* \\ &\ddots& \\ 0&&A_m\end{pmatrix}\]
其中 \( A_j\) 为方阵,证明 \( A\) 的特征值的集合等于 \( A_1,\dots,A_m\) 特征值集合的并集。
证明:两个题目只需利用以下事实:矩阵 \( A\) 可逆当且仅当 \( A_1,\dots,A_m\) 都可逆;矩阵 \( A\) 不可逆当且仅当存在 \( A_j\) 不可逆。以下证明这个事实。
设 \( A\) 对应的映射为 \( T\),记 \[ \begin{pmatrix}A_1&&* \\ &\ddots& \\ 0&&A_k\end{pmatrix}\]
对应的 \( T\) 的不变子空间为 \( U_k\)
当某个 \( A_j\) 不可逆时,考虑子矩阵 \[\begin{pmatrix}A_1&&* \\ &\ddots& \\ 0&&A_j\end{pmatrix}\] 它是 \( T\) 在不变子空间 \( U_j\) 上的限制 \( T|_{U_j}\) 对应的矩阵。从而可以找到一个非零向量 \( v\in U_j,v\not\in U_{j-1}\) 使得 \( Tv\in U_{j-1}\)。则 \( T\) 把子空间 \( U_{j-1}\oplus\mathrm{span}{v}\) 映射到了比它低一维的子空间 \( U_{j-1}\) 中。所以 \( \mathrm{null}\,T\not={0}\),即 \( T\) 不可逆,\( A\) 不可逆。
反之,如果每个 \( A_j\) 都可逆,那么显然 \( T\) 作用在基底上得到的向量组 \( Te_1,\dots,Te_n\) (它们的坐标是 \( A\) 的列向量)是线性无关的。

注:这两题也可以把对角线上的每个矩阵子块都分别化成分块上三角的,自然得出结论。

8 证明不存在 \( T\in\mathcal L(\mathbf R^7)\) 使得 \( T^2+T+I\) 是幂零变换。
证明:第一,因为 \( T^2+T+I\) 无实数根,所以根据本章结论,\( \dim\mathrm{null}\,(T^2+T+I)^{\dim V}\) 是偶数,不可能等于 7。
第二,奇数维的实数向量空间上的线性变换有特征值,即存在实数 \( \lambda\) 和非零向量 \( v\) 使得 \( Tv=\lambda v\),那么 \( (T^2+T+I)^{\dim V}v=(\lambda^2+\lambda+1)^7v\not=0\)。
(10题可利用8题的结论,11题利用10题的结论)

14 设 \( V\) 是 2 维向量空间而 \( T\in\mathcal L(V)\),证明如果
\( \begin{pmatrix}a&b \\ c&d\end{pmatrix}\)
是 \( T\) 的矩阵,那么 \( T\) 的特征多项式为 \( p(z)=(z-a)(z-d)-bc\)。
证明:如果 \( V\) 是实向量空间而 \( T\) 没有特征值,那么根据特征多项式的定义,结论显然成立。
如果 \( T\) 有两个相异的特征值,那么因为 \( p(T)=0\),可知 \( T\) 的两个特征值都是 \( p\) 的根,根据特征多项式的定义知结论成立。
如果 \( T\) 只有一个特征值 \( \lambda\),此时分两种情形:第一,如果这个特征值的特征子空间维数为2,即 \( T=\lambda I\),那么必有 \( b=c=0\),且 \( a=d=\lambda\),结论成立;第二,如果这个特征值的特征子空间只有1维,那么存在非零向量 \( v\) 使得 \( (T-\lambda I)v\not=0\)。因 \( \lambda\) 是 \( p\) 的其中一个根,所以 \( p(z)=(z-\lambda’ )(z-\lambda)\),因此有 \( p(T)v=(T-\lambda’ I)(T-\lambda I)v=0\)。因为 \( (T-\lambda I)v\not=0\) 且已经假设 \( T\) 只有一个特征值,所以 \( \lambda’=\lambda\),\( p(z)=(z-\lambda)^2\)。

Linear Algebra Done Right第八章注记和部分习题

注记部分:

1 \( \dim\mathrm{null}\,T^k\) 随着 k 的增加量

\( \dim\mathrm{null}\,T^k\) 是 k 的单调递增函数,而且当 k 达到某一个数值之后,\( \dim\mathrm{null}\,T^k\) 就恒定不变了。但是书上并没有说它的增加有何规律,是每次都增加相同的维数,还是增加的维数可能有变化?换句话说,\( \dim\mathrm{null}\,T^{k+1}-\dim\mathrm{null}\,T^k\) 有什么规律?它是恒定不变的,还是忽大忽小的,或是有什么别的规律没有?

首先想象 \( \mathrm{null}\,T^{k+1}\) 比 \( \mathrm{null}\,T^k\) 多出来的维数是从哪来的?有些向量在 \( \mathrm{null}\,T^{k+1}\) 里,却不在 \( \mathrm{null}\,T^k\) 里,那么 \( T^k\) 作用在这些向量上不等于零,但再用 \( T\) 作用一下就变成零了,也就是 \( T^kv\not=0, TT^kv=0\),那么 \( T^kv\in\mathrm{null}\,T\),且 \( T^kv\in\mathrm{range}\,T^k\)。那么我们猜想,是否应有 \[ \dim\mathrm{null}\,T^{k+1}=\dim(\mathrm{null}\,T\cap\mathrm{range}\,T^k)+\dim\mathrm{null}\,T^k\] 成立?或者,等价地(利用值域-零度定理),有 \[ \dim\mathrm{range}\,T^k=\dim(\mathrm{null}\,T\cap\mathrm{range}\,T^k)+\dim\mathrm{range}\,T^{k+1}\] 成立?

答案是肯定的,因为 \( U=\mathrm{range}\,T^k\) 是 \( T\) 的不变子空间,设 \( S=T|_U\),那么 \( \mathrm{null}\,S=\mathrm{null}\,T\cap U\),\( \mathrm{range}\,S=\mathrm{range}\,T^{k+1}\),则由值域-零度定理 \( \dim U=\dim\mathrm{null}\,S+\dim\mathrm{range}\,S\) 可得结论。

这样,因为 \( \dim(\mathrm{null}\,T\cap\mathrm{range}\,T^k)\) 随着 k 增加而单调递减,那么 \( \dim\mathrm{null}\,T^k\) 的增量也单调递减,直到某个整数使其增量为零,那么 \( \dim\mathrm{null}\,T^k\) 和 \( \dim\mathrm{range}\,T^k\) 就都不会变化了。

此时,用 \( T^k\) 代替 \( T\),再利用增量公式,因为 \[ \dim\mathrm{null}\,T^{2k}=\dim(\mathrm{null}\,T^k\cap\mathrm{range}\,T^k)+\dim\mathrm{null}\,T^k=\dim\mathrm{null}\,T^k\] 所以这个时候 \( \dim(\mathrm{null}\,T^k\cap\mathrm{range}\,T^k)=0\),故有 \[ \mathrm{null}\,T^k\cap\mathrm{range}\,T^k={0}\] 和 \[ \mathrm{null}\,T^k\oplus\mathrm{range}\,T^k=V\)

2 定理 8.10 的另一个证明

定理8.10:设 \( T\in\mathcal L(V), \lambda\in\mathrm F\),那么如果在一组基底下 \( T\) 的矩阵是上三角的,则 \( \lambda\) 在对角线上出现的次数等于 \( \dim\mathrm{null}\,(T-\lambda I)^{\dim V}\)。
证明:不失一般性,我们还是设 \( \lambda=0\)。
设在一组基底 \( e_1,e_2,\dots,e_n\) 下 \( T\) 的矩阵为 \( A\),为上三角矩阵,那么 0 就会出现在对角线上。我们证明的思路是另外找到一组基底,使得 \( T\) 的矩阵对角线上的 0 都集中在左上角,同时 0 的个数不变,即 \[ \begin{pmatrix}0&&&&&* \\ &\ddots&&&& \\ &&0&&& \\ &&&\lambda_1&&\\ &&&&\ddots& 0 \\&&&&&\lambda_r\end{pmatrix}\] 那么左上角是个幂零矩阵,\( T^n\) 在这个子空间上是零,其对应子空间的维数等于对角线上 0 的个数,同时 \( \mathrm{range}\,T^n\) 的维数是对角线上非零元素的个数,即证得结论。
为了把对角线上的 0 都移动至左上角,第一步,从对角线左上角算起第一个 0 入手,如果它就在第一行第一列,那么第一步完成。否则,假设第一个 0 在第 m 行第 m 列,那么考虑矩阵的前 m 行前 m 列的元素构成的子矩阵,设其为 \[ \begin{pmatrix}\lambda_1&&&* \\ &\ddots&& \\ &&\lambda_{m-1}& \\ &&&0\end{pmatrix}\] 它是 \( T\) 在 \( U=\mathrm{span},(e_1,e_2,\dots,e_m)\) 上的限制 \( T|_U\) 的矩阵。显然 \( T|_U\) 有特征值 0,设对应的特征向量为 \( v\),并且因为 \( T\) 在 \( \mathrm{span},(e_1,e_2,\dots,e_{m-1})\) 上是可逆的,所以 \( v\not\in\mathrm{span},(e_1,e_2,\dots,e_{m-1})\),那么 \( \mathrm{span},(v,e_1,e_2,\dots,e_{m-1})=U\)。我们把向量组 \( v,e_1,e_2,\dots,e_{m-1}\) 作为 \( U\) 的新基底,那么 \( T|_U\) 在这一组基底下的矩阵是 \[ \begin{pmatrix}0&&&* \\ &\lambda_1&& \\ &&\ddots& \\ &&&\lambda_{m-1}\end{pmatrix}\] 用 \( U\) 的新基底替换原来的基底之后,\( T\) 对应的矩阵的右下角的 n-m 行和 n-m 列构成的子矩阵没有改变。因此,这样的变换并没有增加或减少对角线上 0 的个数。
接下来,用同样的方法处理除第一行与第一列之外的元素构成的矩阵(它对应的映射是 \( P_WT|_W\),其中 \( W=\mathrm{span},(e_2,e_3,\dots,e_n)\)),把对角线上的下一个 0 放在第二行第二列的位置。
依此步骤,直到对角线上所有的 0 都移动到左上角。命题得证。

3 引理 8.40 的另一种证明

引理8.40:如果 \( N\in\mathcal L(V)\) 是幂零矩阵,那么存在向量 \( v_1,\dots,v_k\in V\) 使得
a) \( (v_1,Nv_1,\dots,N^{m(v_1)}v1,\dots,v_k,Nv_k,\dots,N^{m(v_k)}v_k)\) 是 \( V\) 的基底;
b) \( (N^{m(v_1)}v1,\dots,N^{m(v_k)}v_k)\) 是 \( \mathrm{null}\,N\) 的基底。
证明:因为 \( \mathrm{null}\,N\subset\mathrm{null}\,N^2\subset\dots\subset\mathrm{null}\,N^r=V\),我们取子空间 \( W_r\) 使得 \( \mathrm{null}\,N^r=\mathrm{null}\,N^{r-1}\oplus W_r\),那么 \( W_r\) 中的任何非零向量 \( v\),有 \( N^{r-1}Nv=0,N^{r-2}Nv\not=0\),因此 \( Nv\in\mathrm{null}\,N^{r-1},Nv\not\in\mathrm{null}\,N^{r-2}\)。
定义 \( N(W_r)={Nv:v\in W_r}\),那么 \( N(W_r)\subset\mathrm{null}\,N^{r-1}\) 且 \( N(W_r)\cap\mathrm{null}\,N^{r-2}={0}\)。那么存在子空间 \( W_{r-1}\),使得 \( \mathrm{null}\,N^{r-1}=\mathrm{null}\,N^{r-2}\oplus W_{r-1}\),并且 \( N(W_r)\subset W_{r-1}\)。
以此类推,取子空间 \( W_{r-2},\dots,W_2\) 使得 \( \mathrm{null}\,N^i=\mathrm{null}\,N^{i-1}\oplus W_i, i=2,3,\dots,r\) 并且 \( N(W_{i+1})\subset W_i\),\( i=2,3,\dots,r-1\)。
令 \( W_1=\mathrm{null}\,N\),那么 \( W_1,\dots,W_r\) 满足 \[ W_1\oplus W_2\oplus\dots\oplus W_r=V\] 取 \( W_r\) 的基底 \( v_1,\dots,v_s\),那么 \( Nv_1,\dots,Nv_s\in W_{r-1}\),因为 \( W_r\cap\mathrm{null}\,N={0}\),所以 \( Nv_1,\dots,Nv_s\) 线性无关,向 \( Nv_1,\dots,Nv_s\) 中添加向量 \( v_{s+1},\dots,v_j\) 使它们成为 \( W_{r-1}\) 的基底,并取得向量 \( N^2v_1,\dots,N^2v_s,Nv_{s+1},\dots,Nv_j\),依次类推,最后将所有的向量放在一起,得到 \[ v_1,Nv_1,\dots,N^{m(v_1)}v1,\dots,v_k,Nv_k,\dots,N^{m(v_k)}v_k\] 因为出自每个 \( W_i\) 的向量组是 \( W_i\) 的基底,而诸 \( W_i\) 的和又是直和,所以整个向量组是 \( V\) 的基底,并且其中 \( (N^{m(v_1)}v1,\dots,N^{m(v_k)}v_k)\) 是 \( W_1=\mathrm{null}\,N\) 的基底。证毕。

部分习题解答:

3 设 \( T\in\mathcal L(V)\),m 是正整数,且 \( v\in V\) 是满足 \( T^{m-1}v\not=0\) 但 \( T^mv=0\) 的向量。证明 \( (v, Tv, T^2v,\dots,T^{m-1}v)\) 线性无关。
证明:设 \( a_1v+a_2Tv+\dots+a_mT^{m-1}v=0\),两边用 \( T^{m-1}\) 作用,得到 \( a_1T^{m-1}v=0\),由于 \( T^{m-1}v\not=0\),那么 \( a_1=0\);
两边用 \( T^{m-2}\) 作用,得 \( a_2=0\),等等,可知 \( a_1=a_2=\dots=a_m=0\)。

5 设 \( S,T\in\mathcal L(V)\)。证明如果 \( ST\) 是幂零的,那么 \( TS\) 也是幂零的。
证明:如果 \( ST\) 是幂零变换,那么 \( (ST)^{\dim V}=0\),因此 \( (TS)^{\dim V}=(TS)^{\dim V+1}=0\)。

13 设 \( V\) 是 n 维复向量空间,且 \( T\in\mathcal L(V)\) 满足 \( \mathrm{null}\,T^{n-2}\not=\mathrm{null}\,T^{n-1}\)。证明 \( T\) 至多有两个不同的特征值。
证明:设 \( \lambda_1,\lambda_2,\dots,\lambda_m\) 是 \( T\) 的全部特征值,那么 \[ V=\mathrm{null}\,(T-\lambda_1 I)^n\oplus\dots\oplus\mathrm{null}\,(T-\lambda_m I)^n\] 如果 \( T\) 至少有三个特征值,那么以上各个子空间的维数都不超过 n-2。那么在每一个不变子空间中都有 \( \mathrm{null}\,T^{n-2}=\mathrm{null}\,T^{n-1}\),则在整个空间中此等式也成立,矛盾。

20 设 \( T\in\mathcal L(V)\) 是可逆变换。证明存在多项式 \( p\in\mathcal P(F)\) 使得 \( T^{-1}=p(T)\)。
证明:映射序列 \( I,T,T^2,\dots,T^{n^2}\) 必线性相关,则有不全为零的数 \( a_0,a_1,\dots,a_{n^2}\) 使得 \[ a_0I+\dots+a_{n^2}T^{n^2}=0\] 设第一个不是零的系数为 \( a_m\),那么因为 \( T\) 可逆,上式两边同时乘以 \( T^{-m}/a_m\) 则有 \[ I+\frac{a_{m+1}}{a_m}T+\dots=0\] 设 \( p(T)=-\frac{a_{m+1}}{a_m}I-\frac{a_{m+2}}{a_m}T-\dots\),则有 \( Tp(T)=I\),因此 \( p(T)=T^{-1}\)。

28 设 \( a_0,\dots,a_{n-1}\in\mathbf C\),某线性变换在标准基底下的矩阵是 \[ \begin{pmatrix}0&&&&&-a_0 \\ 1&0&&&&-a_1 \\ &1&\ddots&&&-a_2 \\ &&\ddots&&&\vdots \\ &&&&0&-a_{n-2} \\ &&&&1&-a_{n-1}\end{pmatrix}\] 找到它的最小多项式与特征多项式。
解答:设这组基底为 \( e_1,e_2,\dots,e_n\),那么 \( e_2=Te_1,e_3=T^2e_1,\dots,e_n=T^{n-1}e_1\),并且 \( T^ne_1=-a_0e_1-a_1Te_1-\dots-a_{n-1}T^{n-1}e_1\),设 \( p(x)=x^n+a_{n-1}x^{n-1}+\dots+a_0\),那么 \( p(T)e_i=p(T)T^{i-1}e_1=0, i=1,2,\dots,n\) 从而 \( p(T)=0\)。又因为 \( e_1,Te_1,T^2e_1,\dots,T^{n-1}e_1\) 线性无关,所以 \( p(x)\) 就是最小多项式。因为最小多项式为 n 次的,所以特征多项式也为 \( p(x)\)。

30 设 V 是复向量空间,且 \( T\in\mathcal L(V)\)。证明 \( V\) 不能分解为 \( T\) 的非平凡不变子空间的直和当且仅当 \( T\) 的最小多项式形如 \( (T-\lambda I)^{\dim V}\),其中 \( \lambda\in\mathbf C\)。
证明:如果 \( V\) 不能分解为 \( T\) 的非平凡不变子空间的直和,那么 \( T\) 只有一个特征值,设为 \( \lambda\),\( T\) 的最小多项式是形如 \( (T-\lambda I)^r\) 的多项式,其中 \( r\le\dim V\)。
为证明 \( r=\dim V\),考虑 \( T\) 的 Jordan 型矩阵,其次对角线上必定没有 0,即形如 \[ \begin{pmatrix}\lambda&1&& 0 \\&\lambda&\ddots& \\ &&\ddots&1 \\ 0&&&\lambda\end{pmatrix}\] 的矩阵,那么如果 \( k<\dim V\),则 \( (T-\lambda I)^k\not=0\),因此其最小多项式为 \( (T-\lambda I)^{\dim V}\)。
如果 \( T\) 的最小多项式形如 \( (T-\lambda I)^{\dim V}\),那么 \( T\) 只有一个特征值 \( \lambda\),假设 \( V\) 可以分解为 \( T\) 的非平凡不变子空间的直和,那么因为在每个不变子空间上 \( (T-\lambda I)\) 是幂零的,所以最小多项式的次数不超过每个子空间的维数,其必定小于 \( \dim V\),矛盾。

Linear Algebra Done Right第七章注记和部分习题

注记部分:

1 命题 7.2 为何在实数空间不成立?

参见本博客文章《理解复数域上的向量空间(第一篇)》

2 \( U\) 是线性算子 \( T\) 的不变子空间,那么 \( T^*|_U=(T|_U)^*\) 是否成立?

在证明实空间自伴算子谱定理的时候,中间有一部,设 \( S=T|_{U^\perp}\) 然后验证 \( S\) 在 \( U^\perp\) 上也是自伴的。为什么这么验证呢?为什么不根据 \( T\) 是自伴的并且 \( U^\perp\) 是不变子空间这个事实,从而直接说 \( T|_{U^\perp}\) 是自伴的?
这涉及一个问题:如果 \( T\) 是一个一般的映射,\( U\) 是 \( T\) 的不变子空间,那么是否一定有 \( T^*|_U=(T|_U)^*\)?

这是不一定的,设
\( T=\begin{pmatrix}1&1\\ 0&1\end{pmatrix}\)
而 \( U=\{(x,0)\}\) 那么 \( U\) 是 \( T\) 的不变子空间。
那么 \( (T|_U)^*\) 是 \( U\) 上的单位变换,但 \( T^*|_U\) 却把 x 轴映射到了直线 y=x 上。\( U\) 不一定是 \( T^*\) 的不变子空间。

之所以出现这种情况,是因为在伴随的定义中,任意 \( w\),要求取 \( T^*w\) 是满足
\( \forall v, \langle Tv,w\rangle=\langle v,T^*w\rangle\)
的那个唯一的向量。
在 \( U\) 中的任意一个向量 \( w\),如果我们找到 \( (T|_U)^*w\in U\) 满足
\( \forall u\in U, \langle Tu,w\rangle=\langle u,(T|_U)^*w\rangle\)
上式中的 \( u\) 也只是限制在 \( U\) 中的,如果把 \( u\) 的范围扩大到整个空间中,那么上面的内积等式不一定成立。因此 \( (T|_U)^*\) 不一定等于 \( T^*|_U\)。

如果考虑 \( (T|_U)^*\) 和 \( T^*|_U\) 二者的关系,那么下面的事实是成立的:记 \( P_U\) 为到子空间 \( U\) 的正交投影,那么 \( (T|_U)^*=P_UT^*|_U\)。 证明也很容易。这样,\( (T|_U)^*=T^*|_U\) 能够成立的充要条件为 \( U\) 也是 \( T^*\) 的不变子空间。

3 实空间变换矩阵的分块上三角化与实空间的正规、自伴算子谱定理

如果实空间的分块上三角矩阵的相关内容放在第五章的位置,那么实空间的谱理论证明就变得跟复空间谱定理一样容易证明。它们不论从形式上还是从证明方法上都没有什么本质区别。

4 自伴算子乘积什么时候是自伴的?

问题:设 \( S\) 与 \( T\) 都是向量空间 \( V\) 上的自伴算子,那么 \( ST\) 和 \( TS\) 是自伴的吗?
由 \( (ST)^*=T^*S^*=TS\),如果 \( S\) 与 \( T\) 可交换,即 \( ST=TS\),那么有 \( (ST)^*=ST\) 和 \( (TS)^*=TS\),即两者都自伴。反过来若 \( ST\) 自伴,则 \( ST=TS\)。

但是 \( S\) 与 \( T\) 二者不一定是可交换的,反例如下:设
\( S=\begin{pmatrix}0&1\\ 1&0\end{pmatrix},T=\begin{pmatrix}1&0\\ 0&2\end{pmatrix}\)
那么
\( ST=\begin{pmatrix}0&2\\ 1&0\end{pmatrix}\not=\begin{pmatrix}0&1\\ 2&0\end{pmatrix}=TS\)

那么 \( S\) 与 \( T\) 满足什么条件时二者是可交换的呢?以下是一个充要条件:

命题1:设 \( S,T\) 是 \( V\) 上的线性变换,\( T\) 自伴,那么 \( ST=TS\) 当且仅当 \( T\) 的每个特征子空间 \( \mathrm{null}\,(T-\lambda I)\) 是 \( S\) 的不变子空间。
证明:如果 \( ST=TS\),那么 \( \forall v\in\mathrm{null}\,(T-\lambda I), (T-\lambda I)Sv=S(T-\lambda I)v=0\),这说明 \( Sv\in\mathrm{null}\,(T-\lambda I)\),因此 \( \mathrm{null}\,(T-\lambda I)\) 是 \( S\) 的不变子空间。
反过来,如果 \( T\) 的每个特征子空间都是 \( S\) 的不变子空间,那么在一个特征子空间 \( \mathrm{null}\,(T-\lambda I)\) 里的任意一个向量 \( v\),有 \( TSv=\lambda Sv=S(\lambda v)=STv\)。
再由自伴算子的谱定理,
\( V=\mathrm{null}\,(T-\lambda_1I)\oplus\mathrm{null}\,(T-\lambda_2I)\oplus\dots\oplus\mathrm{null}\,(T-\lambda_mI)\)
其中 \( \lambda_1,\lambda_2,\dots,\lambda_m\) 是 \( T\) 的全部特征值,可知任意向量 \( v\),有
\( \displaystyle TSv=\sum_{i=1}^mTSv_i=\sum_{i=1}^mSTv_i=STv\)
证毕。

备注:这个命题是从分析 \( S,T\) 的矩阵关系的过程中得到的,即设 \( T\) 在某正交基底下为对角形,分析另一个矩阵与这个对角矩阵可交换的条件,最后从元素满足的条件总结出这个命题。后来发现第五章习题已经讨论过这个问题的一半了。

5 正定算子的平方根

如果 \( \dim V>1\),那么单位变换 \( I\) 有无穷多个平方根。以二维空间为例,任意一个角度 \( \theta\),变换
\( \begin{pmatrix}\cos\theta&\sin\theta\\ \sin\theta&-\cos\theta\end{pmatrix}\)
都是单位变换的平方根。
如果把上面的变换写成复平面上的变换,那么 \( f(z)=\bar ze^{i\theta}\) 是复平面上单位变换的平方根,即 \( f(f(z))=1\)。它不是复数空间上的线性变换,但是如果把复数域看成实数线性空间,它是线性变换。

\( I\) 的上述形式的平方根都是自伴的,\( I\) 也有非自伴的平方根,比如,只要 \( a^2+bc=1\),那么
\( \begin{pmatrix}a&b\\ c&-a\end{pmatrix}^2=I\)
可见正定算子的平方根可以不是自伴的。

由此可知,一个正定算子,只要有一个特征值的重数超过1(即这个特征值的特征子空间超过一维),那么它有无数个平方根,其中也有无数个自伴的平方根。

如果一个二维空间上的正定算子有两个相异的特征值,那么在某正交基底下它的矩阵为
\( \begin{pmatrix}\lambda_1&0\\ 0&\lambda_2\end{pmatrix}\)
我们要找到它的所有平方根,即找到满足
\( \begin{pmatrix}a&b\\ c&d\end{pmatrix}^2=\begin{pmatrix}a^2+bc&b(a+d)\\ c(a+d)&d^2+bc\end{pmatrix}=\begin{pmatrix}\lambda_1&0\\ 0&\lambda_2\end{pmatrix}\)
的所有矩阵。
因为 \( \lambda_1\not=\lambda_2\),所以\( a^2\not=d^2\),故 \( a+d\not=0\),因此 \( b=c=0\),那么 \( a^2=\lambda_1, d^2=\lambda_2\),这个正定算子只有有限个(4个)平方根。

下面证明一般性结论:
命题2:如果一个 n 维空间上的正定算子 \( B\) 有 n 个相异的特征值,那么它只有有限个(\( 2^n\) 个)平方根,并且其平方根都是自伴的。
证明:如果 \( A^2=B\),那么 \( AB=A^3=BA\),即 \( A\) 与 \( B\) 可交换。因为 \( B\) 自伴,利用命题1,得 \( B\) 的每一个特征子空间(都是一维的)也是 \( A\) 的特征子空间,故可以选一组基底使得 \( A\) 与 \( B\) 的矩阵都是对角形,\( A\) 矩阵对角线上的元素就必须等于 \( B\) 矩阵对角线上相应的元素的平方根,这样的矩阵有 \( 2^n\) 个,且因为正数的平方根都是实数,所以这些矩阵都是实对称矩阵,因此 \( B\) 的平方根都是自伴的。

6 等距变换几个相似概念之间的关系

如果假定 \( T\) 是线性变换,那么以下条件是等价的:
1) \( T\) 是等距变换,即 \( \forall u,v\in V,\|Tu-Tv\|=\|u-v\|\)
2) \( T\) 保持范数,即 \( \forall u\in V,\|Tu\|=\|u\|\)
3) \( T\) 保持内积,即 \( \forall u,v\in V,\langle Tu,Tv\rangle=\langle u,v\rangle\)

但是如果 \( T\) 只是一个普通的变换,而没有线性变换的条件,这三个条件不是等价的。它们的推导关系如下图:

其中的箭头方向是必要条件的方向,双向箭头表示两个等价的命题,单项箭头表示两个命题不等价。下面分别证明如下:

线性等距变换保持内积,这个在书上已有证明;线性等距变换是把零向量映射成零向量的等距变换,这个也是显然的;保持内积的实部在实空间下和保持内积是一回事;因为内积诱导的范数只与内积的实部有关,即 \( \langle u,u\rangle\in\mathbf R\),所以保持内积实部的变换一定也是保持范数的。这些都是比较容易得出的结论,因此只需证明两个命题:保持内积的变换是线性等距变换;一个变换保持内积实部当且仅当它是将零向量映射为零向量的等距变换。

命题3:设 \( T\) 是向量空间 \( V\) 上的变换,如果任意两个向量 \( u,v\),有 \( \langle Tu,Tv\rangle=\langle u,v\rangle\),那么 \( T\) 是线性等距变换。
证明:因为 \( T\) 保持内积,所以它一定是保持范数的,那么只需证明 \( T\) 是线性变换,也就推出它是线性等距变换了。即只需证 \( T(u+v)=Tu+Tv\) 与 \( Tku=kTu\)。为此考察
\( \|Tku-kTu\|^2=\langle Tku,Tku\rangle-\bar k\langle Tku,Tu\rangle\)\( -k\langle Tu,Tku\rangle+k\bar k\langle Tu,Tu\rangle=0\)
其中最后一个等号成立是因为在每一个内积里可以把所有的 \( T\) 都去掉,最终得到0。因此 \( Tku=kTu\)。
同理考察 \( \|T(u+v)-Tu-Tv\|^2\),同样在打开的每一个内积中去掉 \( T\),最终为0。
因此 \( T\) 为线性映射。又因为 \( T\) 保持内积,所以由 \( \|Tv\|^2=\langle Tv,Tv\rangle=\langle v,v\rangle=\|v\|^2\),知 \( T\) 保持长度。由定义 \( T\) 是正交变换。

命题4:设 \( T\) 是向量空间 \( V\) 上的变换,那么 \( \forall u,v\in V,\mathrm{Re}\,\langle Tu,Tv\rangle=\mathrm{Re}\,\langle u,v\rangle\) 当且仅当 \( T\) 是等距变换,并且 \( T(0)=0\)。
证明:由于
\( \|Tu-Tv\|^2=\|Tu\|^2-2\mathrm{Re}\,\langle Tu,Tv\rangle+\|Tv\|^2\)
\( \|u-v\|^2=\|u\|^2-2\mathrm{Re}\,\langle u,v\rangle+\|v\|^2\)
如果 \( T\) 保持内积实部,那么 \( T\) 保持范数,所以 \( T(0)=0\),且上面两式右边相等,故 \( \|Tu-Tv\|=\|u-v\|\),即 \( T\) 是等距变换,。
如果 \( T\) 是等距变换,并且 \( T(0)=0\),那么上面两式左边相等,且 \( \|Tu\|=\|Tu-T0\|=\|u-0\|=\|u\|\),从而 \( \mathrm{Re}\,\langle Tu,Tv\rangle=\mathrm{Re}\,\langle u,v\rangle\)。

以下是两个反例,证明关系图中的两个单项箭头不可能是双向的。

反例1:设 \( f\) 是复数域上的变换,\( f(z)=\bar z\),那么因为 \( |\bar{z_1}-\bar{z_2}|=|z_1-z_2|\) 所以 \( f\) 是复向量空间中的等距变换,并且 \( f(0)=0\),但是 \( f\) 不是线性的,也不保持内积,但是保持内积的实部。

反例2:设 \( f\) 是实数域上的变换,\( f(x)=|x|\),那么 \( f\) 保持范数,但它不保持内积实部,也不是等距变换。

参考文献:
[1] 侯维民. 关于正交变换两种定义方式的探讨 [J]. 高等数学研究, 2005, 8(1): 44-45.
[2] [美] Peter.D.Lax. 线性代数及其应用 [M]. 傅莺莺,沈复兴,译. 北京:人民邮电出版社,2009.

7 极分解的另一种形式

一个线性变换 \( T\) 的极分解 \( T=S\sqrt{T^*T}\) 表明,\( T\) 的作用相当于先在某些方向上进行伸缩变换(半正定变换 \( \sqrt{T^*T}\) 的作用,根据谱定理),然后再进行等距变换 \( S\)。
那么,如果取 \( T^*\) 的极分解 \( T^*=S\sqrt{TT^*}\),则 \( T=\sqrt{TT^*}S^*\),则表明 \( T\) 也可以看作先做等距变换,然后再在某些方向上伸缩。

部分习题解答:

5 证明如果 \( \dim V\ge 2\),那么所有 \( V\) 上的正规算子的集合不是 \( \mathcal L(V)\) 的子空间。
证明:考察下面等式:
\( \begin{pmatrix}2&1\\ -1&2\end{pmatrix}+\begin{pmatrix}2&1\\ 1&2\end{pmatrix}=\begin{pmatrix}4&2\\ 0&4\end{pmatrix}\)
等式左边一个为正规算子,一个为自伴算子,它们的和不是正规的。

7 证明如果 \( T\in\mathcal L(V)\) 是正规算子,那么对所有正整数 k,有 \( \mathrm{null}\,T^k=\mathrm{null}\,T, \mathrm{range}\,T^k=\mathrm{range}\,T\)。
证明:k=1 时命题显然成立。假设当 k=m 时,命题成立,那么 \( \forall v\in \mathrm{null}\,T^{m+1}\),有 \( TT^mv=0\),即 \( T^mv\in\mathrm{null}\,T\) 又因 \( T^mv\in\mathrm{range}\,T\) 且 \( (\mathrm{null}\,T)^\perp=\mathrm{range}\,T\),那么 \( T^mv=0\),根据归纳假设,\( v\in\mathrm{null}\,T\)。可见 \( \mathrm{null}\,T^{m+1}\subset\mathrm{null}\,T\)。另一个方向的包含是显然的,所以 \( \mathrm{null}\,T^{m+1}=\mathrm{null}\,T\),
因为 \( T^k\) 也是正规的,所以 \( \mathrm{range}\,T^k=(\mathrm{null}\,T^k)^\perp\)\( =(\mathrm{null}\,T)^\perp=\mathrm{range}\,T\)。

14 设 \( T\in\mathcal L(V)\) 是自伴算子,\( \lambda\in\mathbf F, \epsilon>0\),证明如果存在向量 \( v\in V\) 满足 \( \|v\|=1\) 且 \( \|Tv-\lambda v\|<\epsilon\),那么 \( T\) 有特征值 \( \lambda’\) 满足 \( |\lambda-\lambda’|<\epsilon\)。
证明:根据自伴算子的谱定理,存在一组正交基底使得 \( T\) 的矩阵是对角矩阵 \( \mathrm{diag}\,(\lambda_1,\lambda_2\dots,\lambda_n)\),那么
\( \min_i |\lambda_i-\lambda|^2\le\sum_{i=1}^n|\lambda_i-\lambda|^2v_i^2=\|Tv-\lambda v\|^2<\epsilon^2\)
取 \( \lambda’\) 是与 \( \lambda\) 最接近的特征值即可。

18 证明如果 \( T\) 是 \( V\) 上的半正定算子,那么对任意正整数 k,\( T^k\) 也是半正定的。
证明:可以用谱定理。这里例举另一个证明。
当 k 为偶数时,有
\( \langle T^kv,v\rangle=\langle T^{\frac{k}{2}}v,T^{\frac{k}{2}}v\rangle\ge 0\)
当 k 为奇数时,有
\( \langle T^kv,v\rangle=\langle TT^{\frac{k-1}{2}}v,T^{\frac{k-1}{2}}v\rangle\ge 0\)

24 设 \( T\in\mathcal L(V)\),\( S\in\mathcal L(V)\) 是 V 上的线性等距变换, \( R\in\mathcal L(V)\) 是 V 上的半正定算子且 \( T=SR\),证明 \( R=\sqrt{T^*T}\)。
证明:因 \( R\) 是半正定算子,所以只需证 \( R^2=T^*T\)。
因 \( R\) 自伴且 \( S\) 是线性等距变换,所以 \( T^*T=RS^{-1}SR=R^2\)。

27 证明或给出反例:如果 \( T\in\mathcal L(V)\),那么 \( T^2\) 的奇异值是 \( T\) 的奇异值的平方。
证明:取 \( T(x,y)=(0,x)\),则 \( T^2=0\),但 \( \sqrt{T^*T}(x,y)=(x,0)\),所以 \( T^2\) 的奇异值都为零,不等于 \( T\) 的奇异值的平方 (1和0)。

理解复数域上的向量空间(第一篇)

线性代数进行到酉空间中的自伴算子、正规算子以及谱定理这部分内容时,会发现很多在复空间中成立的命题在实空间中却未必成立。这种情况多少让人感到有点奇怪,为什么会出现这种情况?
复数域是包含实数域的,我们学习复数之后碰到最多的是相反的情况:原本在实数域上成立的性质在复数域中不一定成立了,比如,实数可以比较大小,但复数没有大小关系;又比如,实数的平方非负,等等。这样的命题见多了,容易使人产生思维定势,认为复数包含实数,因此在复数范围内成立的命题在实数范围内也必然成立,而实数范围成立的命题不一定都能推广到复数。
可尤其是学习到复变函数之后,这种情况似乎反过来了,同样的一个概念,到了复数中反倒比原来实数情况下的相应概念有了更多的内涵。这又是为什么呢?

比如,在”Linear Algebra Done Right” 第七章有个命题 7.2,是说

命题7.2:如果 \( V\) 是复数域上的内积空间,并且 \( T\) 是 \( V\) 上的线性算子,且对任意向量 \( v\),都有 \( \langle Tv,v\rangle=0\),那么 \( T=0\)。
证明:使用恒等式
\( \begin{aligned}\langle Tu,w\rangle=&\frac{\langle T(u+w),u+w\rangle-\langle T(u-w),u-w\rangle}{4}\\ &+\frac{\langle T(u+iw),u+iw\rangle+\langle T(u-iw),u-iw\rangle}{4}i\end{aligned}\)
即可得证。

但是,同样的假设,在实数空间中却得不出同样的结论来,比如,二维空间中把所有向量都逆时针旋转90度角。

可是,在实空间中可以存在旋转90度的映射,为什么在复空间中就没有这种映射?难道就不可以有一个线性变换像实空间中那样把每一个向量都旋转到垂直的位置上吗?

Continue reading

理解矩阵与矩阵乘积(三)

四、线性映射的复合

我们已经定义了行向量与列向量的乘法和矩阵与列向量的乘法,现在还差矩阵与矩阵的乘法没有定义。而矩阵与矩阵的乘法要与线性映射的复合联系起来。

设 \( U\)、\( V\) 和 \( W\) 分别为 r 维、n 维、m 维向量空间。\( g\) 和 \( f\) 分别是 \( U\) 到 \( V\) 和 \( V\) 到 \( W\) 的线性映射,那么易证两个线性映射的复合 \( f\circ g\) 也是线性映射。

取三个向量空间的基底,那么三个向量空间就有了坐标系统,如果知道了 \( f\) 和 \( g\) 在坐标系统下的表达式,即按前面所述,知道了它们对应的矩阵:\( f(v)=Av\),\( g(u)=Bu\),其中 \( A\) 为 \( m\times n\) 阶矩阵,\( B\) 为 \( n\times r\) 阶矩阵,那么 \( f\circ g\) 对应的矩阵是什么呢?

依据直观的推导,\( f\circ g(u)=f(Bu)=A(Bu)=ABu\),好像 \( f\circ g\) 对应的矩阵就是 \( A,B\) 两个矩阵的乘积,但是,我们目前并没有定义它们的乘积是什么,所以最后一个等号目前来讲还是没有意义的。

那么,我们就以求两个线性映射的复合映射所对应的矩阵为目的,定义两个线性映射的复合所对应的矩阵就是这两个映射对应矩阵的乘积,那么这个乘积如何来求呢?

Continue reading