理解矩阵与矩阵乘积(二)

本篇有些内容是孟岩《理解矩阵(三)》中观点的严密化与深化。

数域 \( \mathbf{F}\) 上的两个向量空间 \( U\) 到 \( V\) 的一个映射 \( \varphi\),若保持加法和数量乘法,即满足
\( \varphi(u_1+u_2)=\varphi(u_1)+\varphi(u_2)\)
\( \varphi(ku)=k\varphi(u)\)
则称 \( \varphi\) 为线性映射。

矩阵及矩阵的乘法与线性映射有十分重大的联系。为了看清这一点,我们采取以下步骤:

一、从一维空间谈起

Continue reading

理解矩阵与矩阵乘积(一)

线性代数中,有那么几个神秘又神奇的东西,总是让初学它的人琢磨不透,无法理解。今天讨论线性代数中第二个既基本又神奇的东西:矩阵的乘法。

回想起我们中学的那个时代,从初中到高中,数学课的内容完完全全是初等数学,纯粹的向量思想在数学课上不占有一席之地,中学阶段只有学习物理或复数的时候才能接触一点向量的身影。即使在最应该体现向量思想威力的地方,也因为只讨论二维的简单情形而省略掉了,只剩下纯粹的从几何角度推导代数性质,比如,直线方程,不是用向量法推导直线方程的一般形式,而是用定比分点;两直线垂直的条件,不是用向量内积为零,而是通过斜率的关系,等等。在中学唯一能够从数学课本中接触到的线性代数知识就只有一点点的行列式的简介,从解二元和三元一次方程组引入的行列式,而且属于选学内容,课堂上是不讲的。我当时看了看,觉得真是多此一举,既然一次方程组的解都已经用系数的符号表示出来了,为什么还要用行列式重新表示一遍?表达的内容没变,只是换了一套看上去工整漂亮的写法,有什么意义呢?

在这样的背景下,我进入大学,接触到一门蛮不讲道理的学科–高等代数。本来高中时看到用行列式表示方程的解已经够无聊了,到大学还要把这种无聊继续深入下去。为了一个小小的方程组,不惜动用人类最高的智商来创造一个个精致的概念,又是逆序数又是行列式,又是克莱姆法则,倒是得到了一个很漂亮的结果,但它到底有多少实用和理论的价值?

后来矩阵被定义出来了,那更是个无聊的东西,方程组还是原来那个方程组,只是把系数和未知数一分离,马上就出现了一个新的概念–矩阵。难道就非得把系数单独抽取出来变成矩阵的形式才能用高斯消元法解方程?它不就是方程之间加加减减的过程吗,即便带着未知数又能有多大的妨碍呢?带着未知数就不能讨论方程组的通解了?还定义矩阵的乘积,又把方程组写成一个矩阵和一个向量的乘积,我当时觉得实在是吃饱撑的!方程组还是那个方程组,换一种写法有什么不同?我思考它的时候还是需要把它还原为方程组的样子,倒是费了二遍力。是谁第一个引入了矩阵的概念?他的原始动机到底是什么?他似乎只是为了形式上的化简,并没有引入什么新的观念。但是巧的是这个人的一个无聊发明,竟然发展出一门学科来!不光方程组可以归结为矩阵的乘积,就连二次曲线、二次曲面,也表示成矩阵乘积了,矩阵和它们的乘积系统慢慢地脱离了方程组的范围,开始向其它方向渗透了,并且充斥了数学的大部分江山。这一切是为什么?难道这一切都在矩阵发明者的预料之中?如果发明矩阵的人意识到矩阵将来必有这些重大作用,那么他是怎么想到矩阵的这些应用的?他真的如此天资聪明?如果不是这样,那他为什么要发明矩阵这个东西?难道仅仅是偶然?可是这偶然之举为什么后来又如此巧合地展开出这么多理论?这些问题至今还是想不通。

但是今天的话题只是讨论矩阵和矩阵乘积,所以刚才把话题扯远了。每当想起大一时的代数课,我都要发一些牢骚,可见当时代数给我的影响有多深远!

关于矩阵乘积,比较老旧思想的教材不介绍矩阵乘积有什么意义,为什么要引入矩阵的乘积,只是叙述无端的定义:两个矩阵 \( A_{m\times n}, B_{n\times r}\) 的乘积定义为一个 \( m\times r\) 阶矩阵 C,C 的第 i 行第 j 列的元素是 A 的第 i 行和 B 的第 j 列元素分别相乘并相加的和,即 \[c_{ij}=\sum_{k=1}^n a_{ik}b_{kj}\]

稍微好一点的教材会介绍一些线性映射复合的背景:有三组未知数 \( x=(x_1,x_2,\dots,x_n)^T\)、\( y=(y_1,y_2,\dots,y_m)^T\) 和 \( z=(z_1,z_2,\dots,z_r)^T\),用 \( y_i\) 表示 \( z_i\) 的系数矩阵为 \( A\),用 \( x_i\) 表示 \( y_i\) 的系数矩阵为 \( B\),即
\( z=Ay, y=Bx\)
那么怎样用 \( x_i\) 来表示 \( z_i\)?
经过计算,\( z\) 的第 i 个分量 \( z_i\) 可以写成 \[z_i=\sum_{k=1}^m a_{ik} y_k=\sum_{k=1}^m a_{ik}\sum_{j=1}^n b_{kj} x_j=\sum_{j=1}^n(\sum_{k=1}^m a_{ik} b_{kj})x_j\]
即 \( z_i\) 表示成未知数组 \( x\) 的第 j 个分量 \( x_j\) 的系数是 \[\sum_{k=1}^m a_{ik} b_{kj}\] 因此定义两个矩阵 \( A\) 和 \( B\) 的乘积如上所述。

第一种讲述就是从第二种讲述的思想方法来的,却连定义的背景和来历什么的都没有讲,这显然是十分唐突的。况且这两种矩阵乘积定义的讲述都只是蛮力运算,如果只是为了定义出矩阵乘法的表达式,这两种讲述方式尚可接受,尤其是第二种讲法,提及了矩阵乘法就相当于两个线性变换的复合。但是接下来,要接触到矩阵乘法的更深层次的规律时,这样定义出的矩阵乘法就显得有些奇怪了。

比如,证明两个矩阵乘积的秩定理 \( \mathrm{rank}\,(AB)\le\mathrm{min}\{\mathrm{rank}\,A,\mathrm{rank}\,B\}\),乘积 \( AB\) 的每一列都是 \( A\) 的每一列的线性组合,每一行都是 \( B\) 的每一行的线性组合,从而证明这个不等式。但是,请问您是怎么从一大堆数的计算式子中看出这些关系的?我为什么就没看到?我不但没有看到,就算人家给我指出这种关系,我要想看清这些关系还是要费九牛二虎之力的。如果一个东西我理解起来感觉吃力,那么我会本能地考虑是否是我理解它的方式有问题,它应该还有另外一些更省力的理解途径,或者说,这个东西缺乏直观,如果我能直观地理解它,那么我就可以接受它。所以我想,还是应该有更加便捷的途径可以得到这些关系。其实这个不等式如果从映射复合的值域维数角度看应该是比较简单的,可惜的是当初除了矩阵,没有其它方式可以导出这个结果,向量空间的内容还没有学习到。

再比如,矩阵的分块乘法,为什么分块之后乘法的规则和把每一块看成数的乘法规则是一样的?

又比如,学过内积的坐标计算表达式后,学生会惊奇地发现,矩阵乘法的每个元素都是一个内积,为什么会是这样?内积和矩阵乘法之间为什么会有这么大联系?

面对这些问题,我知道很多人,包括很多老师都会告诉我,这些都是计算的结果,计算的过程书上写的明明白白,没必要去深究它背后有什么机理,只要能够确信这些结论,不用去管这些结论是如何得到的。

但是,我总是觉得,这样的推辞无异于填鸭式教育,蛮不讲理,让人生厌,甚至可能把一个曾经喜爱数学的人搞得从此厌恶这样的无理数学。因为第一,这些东西显得过于巧合了,计算无法解释这些巧合背后是否有更深层次的原因;第二,即使是计算得来的,还是无法解释这些计算的动机是什么,这些计算的结果是如何发现的?总应该有个自然点的理由能够说明为什么某人会去考察这些计算过程并得出结论的吧?总不能说一个人某一天没什么事情闲得无聊了就开始算,然后就发现了某些东西吧?他为什么就能看得那么远就知道他计算的东西最终能带给他不平凡的结果?告诉我一个东西却没有告诉我这个东西是如何发现的,那我怎么能有信心沿着前人的足迹向前探索呢?

今天分析当初的困难,多是因为没有整体思维,无法把矩阵当成一个整体来思考,见到向量可以想到那是空间中的一个箭头,但见到矩阵和矩阵乘法,完全想象不到它的整体是个什么东西,我只能想到它的每个元素就是一堆数经过一堆运算得到的结果。看到书上写的矩阵乘法,我的头脑里就出现了它的运算过程的动画:左边一横,右边一竖,左边一横,右边一竖,除此之外想象不到其他的东西了。听说某位数学家摆弄矩阵就像摆弄整数一样熟练,我当时也试图找到把矩阵当成一个整体的感觉,可是在没有空间直觉支持的情况下这种努力是见不到明显效果的。而且从前思考的都是低维空间的问题,对一维二维空间很熟悉,很少考虑高维空间的问题,对高维空间即不熟悉也不习惯,又没有外人指点矩阵代数究竟有什么几何意义,即使是在低维空间中,也没有用矩阵处理几何问题的经验,所以当时一直冷落代数。

现在觉得,为了培养高维空间对象的整体思维方式,一方面就是加强代数的几何直观,另一方面就是站在变换的角度统一抽象地处理矩阵,而不是仅仅把矩阵只当成一堆数的阵列,用线性变换的观点认识矩阵乘法,而不是把矩阵乘法当成一堆数又乘又加的运算。

基于这种原因,我们将以映射的观点重新认识矩阵与矩阵的乘法。

(待续)

平行四边形法则与勾股定理–内积与范数

所谓的范数,就是向量长度这个概念在一般向量空间中的推广。简单地讲就是从向量空间 \( V\) 到数域 \( \mathbf{F}\) 的一个函数 \( |\cdot|\),满足如下条件:
1) \( \forall v\in V,|v|\ge 0\),并且 \( |v|=0\) 当且仅当 \( v=0\)。
2) \( |av|=|a| |v|\)
3) \( |u+v|\le |u|+|v|\)

在一个内积空间中,由内积表达式 \( \sqrt{\langle v,v\rangle}\) 就可以定义出一个范数,这个范数称为由内积诱导的范数。

不是所有的范数都是由内积诱导出来的。例如,在 \( \mathbb{R}^2\) 中,定义范数 \( |(x,y)|=|x|+|y|\),它确实是范数但没有内积可以诱导出这个范数。因为,内积诱导的范数满足平行四边形法则: \[ |u+v|^2+|u-v|^2=2|u|^2+2|v|^2\] 即平行四边形四边的平方和等于两对角线的平方和。而上面举的例子显然不满足这个特性。

那么是不是一个范数只要满足平行四边形法则,它就必然是由某个内积诱导出来的呢?答案是肯定的。证明见下面。

那么平行四边形法则到底是什么东西?为什么有这么大的魔力,使它成为一个范数是否有内积背景的唯一门槛?

Continue reading

从不同的角度看矩阵的行秩与列秩——兼论如何学好线性代数

线性代数中,有那么几个神秘又神奇的东西,总是让初学它的人琢磨不透,无法理解,其中就有矩阵的行向量和列向量的关系,为什么一个矩阵的行向量里有多少个线性无关的向量,列向量里就一定也有多少个线性无关的向量呢?或者考虑稍微简单一点的问题,一个方阵,为什么行向量线性无关或线性相关列向量就一定也线性无关或相关呢?行秩为何等于列秩?
这本来应该是一个基本又简单的事实。但是,请回忆一下你当初初学线性代数时的内容编排顺序,是怎么引入这个问题的,当时又是怎样解决这个问题的?
传统的教材编写思路是从线性方程组开始整个线性代数话题的引入,这个过程中定义行列式和矩阵,用n元数组引入向量,线性相关和无关等概念,讨论解存在的条件,解的结构,等等。总之,一切以方程组为核心,给人的感觉就是线性代数就是方程组的理论,一切讨论的目的都是为了解决小小的方程组问题。
在这个过程中,有一个矩阵行秩等于列秩的命题,此时学生只了解方程组理论和行列式,因此这时对这个问题的解释当然也无法离开方程组或行列式。下面简述两个典型的教材中的证明方法:

第一个证明来自陈志杰《高等代数与解析几何》。
证明:首先,矩阵的初等行变换不改变矩阵的行秩,初等列变换不改变矩阵的列秩。这是由向量组的初等变换不改变向量组的线性相关或无关性保证的,即将某个向量乘以非零的倍数、将某个向量加到另一个向量上,都不改变向量组的线性相关或无关性。
接着证明矩阵的初等行变换不改变矩阵的列秩。
设A是m*n阶矩阵,任意从A的n个列向量中选取k个列向量a1,a2,…,ak,它们线性无关的充要条件是线性方程组a1x1+a2x2+…+akxk=0只有零解。而对矩阵A进行初等行变换不改变此方程组的解,因此不改变这k个列向量的线性相关或无关性。这说明A的列向量的秩在矩阵的初等行变换中不变。同理矩阵的初等列变换不改变矩阵的行秩。
接下来,可以把A经过初等行变换和初等列变为只有对角线上有1或0,其它位置都为0的矩阵,在这个过程中行秩和列秩都不改变,从这个矩阵中看出行秩等于列秩,因此原来的矩阵行秩也等于列秩。

第二个证明来自北大数学系几何与代数教研室前代数小组编《高等代数》
证明:考虑线性方程组AX=0,首先证明如果未知数的个数超过A的行秩,那么它有非零解。设m*n阶矩阵A的行秩为r,考虑方程组AX=0,它由m个方程n个未知数组成。从A的行向量中选取r个线性无关的行向量,重新组合成矩阵B,那么方程组AX=0和BX=0同解。这时,如果B的列数大于行数,那么方程组BX=0必有非零解,从而AX=0也有非零解。
接着证明行秩等于列秩。设m*n阶矩阵A的行秩为r,列秩为s。考虑A的任意r+1个列向量组成的矩阵C,因为C的行秩不大于r(因为C的行向量都是A的行向量的一部分分量组成的),所以CX=0有非零解,这说明这r+1个列向量线性相关。所以A的列秩最大为r,即s<=r。同理可证r<=s,因此s=r。

有了行秩等于列秩的性质,完全可以用行秩或列秩定义矩阵的秩了。编写教材的人和老师们都认为,只要能够顺利定义出矩阵的秩,这个证明就足以满足初学时的需要了,既没有必要又没有条件再将它深入地挖掘下去。

但是它仍然让我困惑,即使把书上的这个证明看得明明白白,也不理解为什么行秩等于列秩。因为向量是个几何的概念,现在这个证明中看不出一点几何上向量的影子,这两个例子都依赖于线性方程组理论,都离不开高斯消元法,都是代数上的推导。虽然从代数上推导出了这个结果,但是在几何上我依然无法接受这个结果。矩阵的行向量和列向量“从图形上”到底是什么关系?可不可以让我一下子就能看出来它们的秩是相等的?尽管经过了行列变换之后行列秩相等是显然的,但这个过程中却把原来的行列向量给变得面目全非了。

更有甚者,有些教材上竟然用矩阵的子式和行列式理论推导行秩等于列秩,由于这种证明过于复杂,这里就不列出了。

直到最近的一次偶然机会,又让我想起了这个问题。一开始,发现它和对偶空间与对偶映射有关系。
记得当初学习线性代数时,直到最后才接触了一些有关对偶空间和对偶映射的知识,教材还写得十分抽象,以至于我们都囫囵吞枣地过来了,根本没有什么印象。后来的泛函,因为高等代数理解不深人,对泛函也没有留下什么印象。最近有同事让我讲线性代数,有很多次问我关于矩阵转置的意义的问题。他曾经学习线性代数时对很多问题不理解,其中就有矩阵转置到底对应几何上的什么东西,为什么要转置?其实我也没考虑过这个问题,只知道这是代数的特殊需要,当需要把行向量变成列向量的时候就需要考虑转置,它完全是代数上的处理方式。至于在几何上代表什么意义,我也曾困惑过,但一直没考虑清楚。然而现在比大一那个时候多了一个学习的更加有效的途径,那就是网络。在wiki百科中,我查到了一个观点:

在标准正交基底下,如果一个线性映射对应于矩阵A,那么A的转置恰好对应这个线性映射的转置映射,A的共轭转置恰好对应这个线性映射的对偶映射。

在有限维空间中对偶映射还有一个更直观的定义:
设 \( T\) 是从 \( U\) 到 \( V\) 的线性映射,则 \( T\) 的对偶映射 \( T^*\) 是从 \( V\) 到 \( U\) 的满足 \( \langle Tu,v\rangle=\langle u,T^*v\rangle\) 的线性映射。
这是很好理解的,即使不知道什么是对偶空间及对偶映射,单单从矩阵乘法的性质中也很容易看出A和A的共轭转置之间的这种关系。

这样就把A的共轭转置和A之间的关系赋予了几何的意义,因为内积正好包含向量的角度信息,并且当一组非零向量两两内积为0时,它们线性无关。
A和A的共轭转置的列向量的秩分别对应于 T 和 T* 的值域的维度,能不能就此证明它们相等?从而至少可以证明实数矩阵行秩等于列秩。这就是下面的:

定理1:线性映射 \( T\) 的值域和其对偶映射 \( T^*\) 的值域有相同的维数。
证明:设 T 是从 U 到 V 的线性映射,则 T 的对偶映射 T* 是从 V 到 U 的线性映射。设 T 与 T* 的值域的维数分别为r,s,假设s<r,则在 T* 值域中可以找一组基底:
\( T^*v_1,T^*v_2,\dots,T^*v_s\),考虑 \( TT^*v_1,TT^*v_2,\dots,TT^*v_s\),这个向量组的秩≤s<r,因此可以在 \( T\) 的值域中(维数为r)找到 \( v_{s+1}=Tu_{s+1}\not=0\) 使得 \( \langle v_{s+1},TT^*v_i\rangle=\langle T^*v_{s+1},T^*v_i\rangle=0, i=1,2,\dots,s\)。又因为 \( \langle u_{s+1},T^*Tu_{s+1}\rangle=\langle Tu_{s+1},Tu_{s+1}\rangle\not=0\) 故 \( T^*Tu_{s+1}\not=0\) 即 \( T^*v_{s+1}\not=0\)。这样我们在 \( T^*\) 的值域中找到了与向量 \( T^*v_1,T^*v_2,\dots,T^*v_s\) 都垂直的非零向量,与这个向量组是 \( T^*\) 值域的基底矛盾。因此s≥r。
同理可证s≤r。故s=r。证毕。

这样,A 与 A 的共轭转置的列秩相等,从而实数矩阵的行秩等于列秩。
为了把它应用于证明复数矩阵行秩与列秩相等,还需要下面的命题:

命题1:若复数值向量a1,a2,…,an线性无关,那么他们的共轭向量也线性无关。
证明:以 a1,a2,…,an 为系数矩阵的方程组 k1a1+k2a2+…+knan=0 两边取共轭即得到一个以a1,a2,…,an 的共轭为系数的线性方程组,这两个方程组同时有或没有非零解。证毕。

这样就彻底完全地证明出了矩阵的行秩与列秩相等。这个证明的思路中就明显地带有几何的启示,因此我觉得它更能让我看到矩阵行向量和列向量的本质。然而虽然这个证明带有很强的几何色彩,但终究还是觉得有些抽象,还是没有道出行列向量之间的关系来。

经过对这个问题持续的思考,和对方程组 AX=0 从不同的角度去解释,发现如果我们竖着看 AX,我们看到一个线性映射,它列向量的秩是它值域的维数;然而如果我们横着看 AX=0,又可得到 A 的每个行向量与 X 的内积是0(这里以实数矩阵为例,至于复数矩阵则可以利用上面的“命题1”),也就是说,A的每个行向量和 AX=0 的解都垂直,用映射的观点说,就是 A 的每个行向量都在线性映射的零空间的正交补空间中。又 AX=0 的所有解的集合(零空间)是垂直于 A 的每个行向量的向量构成的集合,那么零空间和行空间应该互为正交补空间,它们的维数之和是定义域的维数。那么事情就清楚了,根据秩-零度定理,dim rangeT+dim nullT是 T 定义域的维数,而行空间维数又与零空间维数互补,因此行空间维数等于值域维数,即行秩等于列秩。

应该说,这才是行向量和列向量真正的本质关系,可惜的是,直到毕业的三年多之后我才自己发现了这个关系。

其实,如果考虑对偶映射,也可以轻而易举地得出结论:T* 的值域恰是 T 的零空间的正交补。根据秩-零度定理也立即可以得出 T* 和 T 值域维数相等。前面在证明“定理1”时没有用到它们值域和零空间的关系还有秩-零度定理,这里用了这两个定理之后,分析过程其实和上段分析 AX=0 方程组的过程本质上是一样的。

那时在网络上还查找到了一个利用了矩阵乘积的现代观点证明行秩等于列秩的文章,是在台湾博客“线代启示录”中看到的,抄录如下(注意在台湾,把竖着的叫行,把横着的叫列,与我们恰好相反):

假設 \( m\times n\) 階矩陣 \( A\) 的行秩為 \( c\),列秩為 \( r\)。可知 \( A\) 包含 \( c\) 個 \( m\)—維線性獨立的行向量,它們足以擴張 \( A\) 的行空間。將這些行向量收集起來組成一個 \( m\times c\) 階矩陣 \( B\),那麼 \( A\) 的任何一個行 \( \mathbf{a}_j (j=1,2,\ldots,n)\) 都可以唯一表示為 \( B\) 的行向量 \( \mathbf{b}_1,\mathbf{b}_2,\ldots,\mathbf{b}_c\) 之線性組合,如下:

\( \mathbf{a}_j=d_{1j}\mathbf{b}_1+d_{2j}\mathbf{b}_2+\cdots+d_{cj}\mathbf{b}_c\)

\( =\begin{bmatrix}\mathbf{b}_1&\mathbf{b}_2&\cdots&\mathbf{b}_c\end{bmatrix}\begin{bmatrix}d_{1j}\\d_{2j}\\\vdots\\d_{cj}\end{bmatrix}=B\mathbf{d}_j\)

將這 \( n\) 個式子的線性組合權重合併為一個 \( c\times n\) 階矩陣 \( D=[d_{ij}] \),並利用以行為計算單元的矩陣乘法規則,就有

\( A=\begin{bmatrix}\mathbf{a}_1&\mathbf{a}_2&\cdots&\mathbf{a}_n\end{bmatrix}=B\begin{bmatrix}\mathbf{d}_1&\mathbf{d}_2&\cdots&\mathbf{d}_n\end{bmatrix}=BD\)

接著再考慮矩陣\( A\) 的第 \( i\) 列,以 \( \mathrm{row}_i(A)\) 表示,利用以列為計算單元的矩陣乘法規則,於是有

\( \mathrm{row}_{i}(A)=\mathrm{row}_{i}(BD)=b_{i1}\mathrm{row}_1(D)+b_{i2}\mathrm{row}_2(D)+\cdots+b_{ic}\mathrm{row}_{c}(D)\)

矩陣 \( A\) 的每一列都可以寫為 D 的列向量之線性組合,因此 \( A\) 的列空間維度不大於 D 的列向量總數,即 \( r\le c\),也就是說 \( A\) 的列空間維度不大於 \( A\) 的行空間維度。

運用同樣的推論方式於 \( A^T\),可推知 \( A^T\) 的列空間維度不大於 \( A^T\) 的行空間維度,但 \( A^T\) 的列空間即為 A 的行空間而 \( A^T\) 的行空間就是 \( A\) 的列空間,得知 \( c\le r\)。綜合以上結果,證得 \( r=c\),矩陣的行秩等於列秩。這個證明方法表面看似平凡無奇,但它只利用矩陣乘法運算便將幾個重要的線性代數概念——線性組合、基底和擴張連結在一起,非常值得初學者細細品味。

这个证明虽然也是代数上的分析,但其巧妙的让人称奇的地方,就是把一个矩阵分解成了两个矩阵的乘积,其中左边的因子是列慢秩的,然后利用对两个矩阵乘积的不同的解释,把左面的列秩(也就是A的列秩)和右面的行秩联系起来了。

本来,有关矩阵列秩与行秩关系的问题讨论到这里也可以算是比较圆满了。但是,在写这篇文章的时候,又无意间提出下面的一个问题:

为什么如果矩阵A只有两行,哪怕它有100列,它的列向量的秩也最多是2?

现在来看,这是个非常简单的问题,因为它的100个列向量都是二维的向量,这些二维向量再多,也至多可以找出两个线性无关的向量。这是由向量空间的维数定理保证的:“有限维向量空间中任何极大线性无关组包含向量个数相同。”因此,一个矩阵,它的列秩不超过行数,行秩不超过列数。
那么,为了完成“列秩等于行秩”的证明,只需把列秩和行秩的大小范围估计得更精确一些,从“列秩小于等于行数”、“行秩小于等于列数”精确到“列秩小于等于行秩”、“行秩小于等于列秩”。我们设想,如果一个 m*n 阶矩阵,它的行秩为 r,那么它的列向量虽然表面上看每个都是 m 维的,但实际上这些 m 维向量被限制在了一个 r 维的子空间中,实际属于 r 维向量。为了看清楚这一点,我们可以有两条思路:
第一条,既然 A 的行空间维数为 r,那么可以找到 r 个线性无关的行向量为基底,矩阵的 m 个行向量都可以用这 r 个向量线性表示,用矩阵的语言就是

\( A_{m\times n}=B_{m\times r}D_{r\times n}\)

其中 D 就是从 A 的行向量中选取的线性无关行向量,B 的每一行是 A 的行向量按D中行向量线性表示的系数(坐标)。那么,接下来还是两条路:第一,按维数定理,D 的列秩不超过其行数 r,且 A 的值域维数不大于 D 的值域维数(因为 A 的维数就是把 D 的值域再用 B 映射到 m 维空间,值域的维数是递减的),因此 A 的列秩不大于 r,这实质上是北大《线性代数》中的证明;第二,B 的列秩不超过 B 的列数 r,这样就变成了“线代启示录”的证明,因此“线代启示录”上的证明思路也就是如此。
第二条,我们可以实际地找出 \( A\) 列空间的基底。因为 \( A\) 行秩为 \( r\),即可以选取 \( r\) 个行向量 \( a_1,a_2,\dots,a_r\),使得其它行向量都可以用这 \( r\) 个行向量线性表示,不妨记为 \( a_{r+i}=f_i(a_1,a_2,\dots,a_r)\),那么就代表 \( A\) 的列向量的坐标都具有如下形式:

\( \begin{bmatrix}x_1\\x_2\\\vdots\\x_r\\f_1(x_1,x_2,\dots,x_r)\\\vdots\\f_{m-r}(x_1,x_2,\dots,x_r)\end{bmatrix}\)

显然只有前 r 个坐标是可以自由变化的,这样的向量的全体构成一个子空间,它的基底是清楚的。因此,这是个 r 维子空间。根据维数定理,这样的向量不管多少个,秩不大于r。

可见,一个简单的事实,可以从多种角度进行的解释,但有些看似动机不同的解释往往实质上又相同,它们之间也有着千丝万缕的联系。因为线性代数的这个特点,使得不同的线性代数的教材的写法有很大的不同。同样一个事实,既可以从线性映射的角度去解释,又可以从矩阵分析的角度解释,还可以从线性方程组,或行列式角度去证明。线性代数教材的编写其实很随意,既可以像北大版那样把线性方程组作为基础,其它诸如线性变换、维数定理等等内容都通过方程组理论来证明,也可以像《Linear Algebra Done Right》那样完全地从抽象的向量空间和线性映射的角度分析。它们动机虽然不同但是要认识的对象是同构的。

但是,如果当初满足于这个定理的书本上的证明,我是不可能对它挖掘得这么深,也不可能认识到这些东西的。这里我还是要对以北大版《高等代数》为代表的教材提一些意见。

可能大部分人都认为,线性方程组是线性代数中最易懂最易理解的部分,学生又有中学解多元一次方程组的基础知识,线性方程组又可以引申出线性代数的诸多内容,因此是最适合用于大学一年级学生入线代之门的内容。但是这样做有两个问题:

一个是如果只提方程组,学生无法想象它的几何形象,学生学习时头脑中形成的往往只是变动的符号,不利于深入理解线性代数,更不利于发挥想象力去主动发现知识。如果说当学生学到线性空间、线性变换的时候自然会学习到这些几何观念,那么在线性方程组之后,线性空间和线性变换之前,还要学习矩阵理论,同样是没有几何直观,并且比方程组更难理解,到了线性空间的时候学生已经云里雾里了,哪里还有信心去学习接下来的东西?李炯生版《线性代数》的前言部分说,“研究线性空间以及线性空间关于线性变换的分解即构成了线性代数的几何理论,而研究短阵在各种关系下的分类问题则是线性代数的代数理论。”那么到底是先代数后几何,还是先几何后代数,还是二者同时进行?如果先代数后几何,就像在没有学习平面几何的时候学习解析几何,并且要预先学习曲线方程的性质,不见曲线只见方程,等把方程的性质在代数上讨论清楚了,再带你认识它们实质上的几何形象,再用这些方程的性质简单推导出几何的性质。但这是一个非常糟糕的学习方式。更糟糕的是一些理工科专业线性代数学得更浅,甚至只学到矩阵部分,只记住了矩阵的运算等莫名奇妙的符号在头脑中搬来搬去,至于为什么那么计算,学过之后考高分的学生也不知道。这里有孟岩的三篇csdn博文为证,尤其是博文开头几段话,道出了一般理工科学生的疑问。
《理解矩阵(一)》
《理解矩阵(二)》
《理解矩阵(三)》
另一个问题是,这样的组织缺少发展理论框架的动机,为什么要引入线性相关,线性无关,为什么要讨论矩阵?为什么有了消元法还要讨论行列式和 Cramer 法则?如果都是以解方程为目的,这些内容统统没有动机,只要一个消元法,最后能够写出通解形式,就够了。似乎矩阵、向量空间等内容都是方程组问题生发出来的,研究它们又有什么用途?这些问题开始不讲清楚,学生厌学,到后续课程真正用到这些知识的时候后悔莫及。

因此,我主张不论是编写教材,还是老师讲授,学生学习,都应该起点底,观点高,让学生可以从各个不同方向去“围攻”一个问题,从各种不同的角度去看待一个知识,即使只是为了讲代数,几何方面的直观思想和动机也要讲清楚,甚至这些更为重要。不妨在讲解线性方程组的时候就开始讲讲方程组中蕴含的向量空间、线性变换等高级内容的道理,即不光讲高斯消元法等方程的传统内容,还要用线性变换那样的几何观点解释方程组解的结构等等问题,并用三维的几何图形(不妨用电脑中的数学软件或flash动画,至少是图片)来展示线性代数中那些概念背后的几何形象,使学生一开始就有丰富的几何代数经验,一开始就发现这部分数学的魅力。

子空间和的维数定理与容斥原理

两个有限维子空间的和的维数定理:
dim(U1+U2)=dimU1+dimU2-dim(U1 ∩ U2)
两个有限集合元素个数的容斥原理:
card(U1∪U2)=cardU1+cardU2-card(U1 ∩ U2)

子空间的和类比于集合的并,那么维数定理和容斥原理形式上及其相似。为什么会有如此的巧合?
可以看到子空间的基底构成的集合在维数定理中扮演一个很重要的转换作用:选择U1 ∩ U2的基底并分别扩充到U1和U2的基底之后,设U1和U2的基底构成的集合分别为A1和A2,那么U1+U2, U1 ∩ U2的基底就分别对应A1∪A2和A1∩ A2。因此两个公式相似也就不足为奇。

那么是否可以把维数定理推广到多个子空间的情形呢?考虑三个子空间的情形,类比于三个集合的容斥原理
card(U1∪U2∪U3)=cardU1+cardU2+cardU3-card(U1 ∩ U2)-card(U2 ∩ U3)-card(U1 ∩ U3)+card(U1 ∩ U2∩ U3)
是否也有类似的三个子空间和的维数定理
dim(U1+U2+U3)=dimU1+dimU2+dimU3-dim(U1 ∩ U2)-dim(U2 ∩ U3)-dim(U1 ∩ U3)+dim(U1 ∩ U2∩ U3)
成立呢?

循着它们之间的类比关系,我们可以先选取U1 ∩ U2∩ U3的基底,然后分别扩充到U1 ∩ U2、U2 ∩ U3和U1 ∩ U3的基底,再接着分别在U1、U2、U3中扩充成U1、U2、U3各自的基底,这种类比关系似乎可以轻松延续。
沿着另一条路似乎也可以到达目的地:即通过将U1+U2+U3写成(U1+U2)+U3,并应用两个子空间的维数定理一步一步地证明三个子空间的情形。现在先看看这条路:
dim(U1+U2+U3)=dim(U1+U2)+dimU3-dim((U1+U2)∩ U3)=dimU1+dimU2+dimU3-dim(U1 ∩ U2)-dim((U1+U2)∩ U3)
如果类比容斥原理的式子能够成立,应该有
dim((U1+U2)∩ U3)=dim(U1 ∩ U3)+dim(U2 ∩ U3)-dim(U1 ∩ U2∩ U3)
会有这样的式子成立吗?考虑平面上两条坐标轴,和一条过原点但不与坐标轴重合的直线,这三个一维子空间任意两个的直和是整个二维空间,则
dim((U1+U2)∩ U3)=1,dim(U1 ∩ U3)+dim(U2 ∩ U3)-dim(U1 ∩ U2∩ U3)=0,
显然上面提出的三个子空间的维数猜想不成立。

为什么这时这种类比就不成功?我们先前的想法,先选取U1 ∩ U2∩ U3的基底,然后分别扩充到U1 ∩ U2、U2 ∩ U3和U1 ∩ U3的基底,再接着分别在U1、U2、U3中扩充成U1、U2、U3各自的基底,为什么这时得到的这些向量就不是U1+U2+U3的基底了?

参见《Linear Algebra Done Right第一章注记和部分习题》注记中提到的问题,V1,V2,…,Vn两两相交于{0},即基底的集合两两相交为空集并不能保证它们的和是直和,这个只有n=2时是个特例,因此只有两个子空间的维数定理,且可以与集合基数的容斥原理作类比,三个以上子空间的情况就变得更复杂。

但是,我们依然可以证明三个子空间和的维数不等式: \[\begin{aligned}\textrm{dim}(U_1+U_2+U_3)\leq&\textrm{dim}U_1+\textrm{dim}U_2+\textrm{dim}U_3-\textrm{dim}(U_1\cap U_2)-\textrm{dim}(U_2\cap U_3)\\&-\textrm{dim}(U_1\cap U_3)+\textrm{dim}(U_1\cap U_2\cap U_3)\end{aligned}\] 可以从上面讨论过的两个方向达到证明,但这里只列举一个证明。

证明:首先证明 U1∩U3+U2∩U3 是 (U1+U2)∩ U3 的子空间,从而 dim((U1+U2)∩ U3) ≥ dim(U1∩U3+U2∩U3)
设 v∈U1∩U3+U2∩U3,则存在 U1∩U3 中的元素 u 和 U2∩U3 中的元素 w 使得 v=u+w
而u+w∈U1+U2且u+w∈U3,因此 v=u+w∈(U1+U2)∩ U3
接下来就可以证明结论:
dim(U1+U2+U3)
= dimU1+dimU2+dimU3-dim(U1 ∩ U2)-dim((U1+U2)∩ U3)
≤ dimU1+dimU2+dimU3-dim(U1 ∩ U2)-dim(U1∩U3+U2∩U3)
= dimU1+dimU2+dimU3-dim(U1 ∩ U2)-dim(U1∩U3)-dim(U2∩U3)+dim(U1∩U2∩U3)
证毕。

容斥原理不仅可以用交集计算并集中元素的个数,还可以通过并集反过来计算交集的元素个数。例如:
card(U1 ∩ U2∩ U3) =cardU1+cardU2+cardU3-card(U1∪U2)-card(U2∪U3)-card(U1∪U3)+card(U1∪U2∪U3)
此公式和并集的容斥原理之间可以用余集的德-摩根定律进行转换。

那么有了三个子空间和的维数不等式,我们是否也可以转换出关于三个子空间交集维数的某个不等式呢?我们需要有可以与集合的余集相类比的子空间的关系。
如果你了解内积空间中子空间的正交补空间的概念,那么用正交补与有限集合的余集做类比应该是一个自然的想法。

一个子空间 \( U\) 的正交补空间 \( U^\perp \) 是垂直于U中所有向量的向量构成的子空间。容易证明,正交补满足如下性质:

1) \({U^\perp}^\perp=U\)
2) \( (U+V)^\perp =U^\perp \cap V^\perp\)
3) \( (U\cap V)^\perp =U^\perp + V^\perp\)
4) \( \textrm{dim}U^\perp=n-\textrm{dim}U\)

证明:现只证明2)和3):对于2),因 \( (U+V)\supset U\),故 \( (U+V)^\perp\subset U^\perp\)。同理有 \( (U+V)^\perp\subset V^\perp\)。因此 \( (U+V)^\perp\subset U^\perp\cap V^\perp\)。
另一方向,\( \forall w\in U^\perp \cap V^\perp, \forall u+v\in U+V, w\perp u, w\perp v\),因此 \( w\perp (u+v)\),即 \( w\in (U+V)^\perp\),因此 \( (U+V)^\perp\supset U^\perp\cap V^\perp\)。故2)成立。
对于3),只需在2)中分别用U和V的正交补代替U和V,两边取正交补,再利用1)式即得证。

那么利用正交补(注意有限维向量空间都同构于某个内积空间)的性质,我们可以把上面的三个子空间的维数不等式翻转,得到它的对偶不等式: \[\begin{aligned}\textrm{dim}(U_1\cap U_2\cap U_3)\geq&\textrm{dim}U_1+\textrm{dim}U_2+\textrm{dim}U_3-\textrm{dim}(U_1+U_2)-\textrm{dim}(U_2+U_3)\\&-\textrm{dim}(U_1+U_3)+\textrm{dim}(U_1+U_2+U_3)\end{aligned}\]
证明:
\[\begin{aligned}\textrm{dim}(U_1\cap U_2\cap U_3)=&n-\textrm{dim}(U_1\cap U_2\cap U_3)^\perp\\=&n-\textrm{dim}(U_1^\perp+U_1^\perp+U_3^\perp)\\\geq&n-\textrm{dim}U_1^\perp-\textrm{dim}U_2^\perp-\textrm{dim}U_3^\perp\\&+\textrm{dim}U_1^\perp\cap U_2^\perp+\textrm{dim}U_2^\perp\cap U_3^\perp\\ &+\textrm{dim}U_1^\perp\cap U_3^\perp-\textrm{dim}U_1^\perp\cap U_2^\perp\cap U_3^\perp\\=&\textrm{dim}U_1+\textrm{dim}U_2+\textrm{dim}U_3-\textrm{dim}(U_1+U_2)\\&-\textrm{dim}(U_2+U_3)-\textrm{dim}(U_1+U_3)+\textrm{dim}(U_1+U_2+U_3) \end{aligned}\]

可惜的是,即使是这样的不等式,也不具备一般性,当子空间个数增加到四个之后,这样的不等式也不一定成立了。
设想三维空间的三个坐标平面,外加一个过原点但不过任何坐标轴的平面,这四个平面两两相交于一条直线,但任意三个平面只相交于原点。因此,有:
dim(U1+U2+U3+U4)=3
dimU1+dimU2+dimU3+dimU4-dim(U1 ∩ U2)-dim(U2 ∩ U3)-dim(U1 ∩ U3)-dim(U1 ∩ U4)-dim(U2 ∩ U4)-dim(U3 ∩ U4)+dim(U1 ∩ U2∩ U3)+…=2
所以关于维数的容斥原理或”容斥不等式”不适用于多于三个的子空间。