Linear Algebra Done Right第二章注记和部分习题

注记部分:

1 线性无关和子空间直和的联系

线性无关概念和子空间直和的概念有着很密切的联系,如下:

1)二者的概念同源,都是要将一个大的空间的向量唯一地分解成若干小的子空间中向量的和。
2)v1,v2,...,vn线性无关的充要条件是v1,v2,...,vn都不等于0且span(v1),span(v2),...,span(vn)的和是直和。
3)设有若干组向量:向量组u1,u2,...,ur,向量组v1,v2,...,vs,和向量组w1,w2,...,wt,每一组向量都线性无关,把它们放在一起还是线性无关吗?这显然是不一定的。但是怎样才能保证把它们放在一起也线性无关呢?有以下两个结果:
a)向量组u1,u2,...,ur,向量组v1,v2,...,vs,和向量组w1,w2,...,wt,每一组向量都线性无关,则向量组u1,...,ur,v1,...,vs,w1,...,wt线性无关当且仅当span(u1,u2,...,ur)+span(v1,v2,...,vs)+span(w1,w2,...,wt)是直和。
b)若U1+U2+...+Un是直和,那么分别从U1,U2,...,Un每个子空间中任意选出一组线性无关的向量,它们整体还是线性无关的。
可以说a)就是直和空间的维数定理和逆定理。但利用零向量的唯一分解性质也可以很容易地证明上述两个命题。

2 33页定理2.18(dim(U1 + U2) = dimU1 + dimU2 − dim(U1 ∩ U2))的证明思路问题

此定理很自然的思路是寻找各个子空间基底所包含向量的个数关系。因此前半部分比较自然,寻找U1 ∩ U2的基底u1, . . . , um,添加向量v1, . . . , vj使u1, . . . , um,v1, . . . , vj成为U1的基底,再添加w1, . . . , wk使u1, . . . , um,w1, . . . , wk成为U2的基底。
但在证明(u1, . . . , um, v1, . . . , vj,w1, . . . , wk)线性无关的过程中,设
a1u1 + ··· + amum + b1v1 + ··· + bjvj + c1w1 +· · ·+ckwk = 0
之后,怎么能想到要把c1w1 +· · ·+ckwk 和其它向量分别放在等式两边呢?

有了上一条注记中的两个命题a)和b),这个思路就比较明朗,证明多组线性无关的向量放在一起也是线性无关的,无非就是证明span(w1,w2,...,wk)+span(u1,u2,...,um)+span(v1,v2,...,vj)是直和。因为已知w1,...,wk,u1,...,um线性无关,只需证明span(w1,w2,...,wk,u1,u2,...,um) ∩span(v1,v2,...,vj)={0}(见第一章注记)
这就是把c1w1 +· · ·+ckwk放在等式另一边的证明思路。

如果一个人不知道此定理,现在要着手证明这个定理,他会是怎样的思路呢?
首先,他会先考虑两个子空间交于{0}的简单情形,并证明直和的维数等于维数的和,证法见上条评注中的命题a)。接着,考虑两个子空间的交集维数大于等于1的情形,他会考虑把U1+U2分解成几个子空间的直和,很自然的想法就是考虑U1 ∩ U2、U1去掉U1 ∩ U2的那一部分,和U2去掉U1 ∩ U2的那一部分应该可以构成直和(即找两个子空间W,V使得W+U1 ∩ U2=U1, V+U1 ∩ U2=U2,那么应有W⊕U1 ∩ U2⊕V=U1+U2)。
这就是整个证明的思路。证明过后又发现没有必要事先单独证明直和的情形了,因此把直和的维数定理作为此定理的推论。

3 维数定理和有限集合基数定理(容斥原理)

这部分论述见文章《子空间和的维数定理与容斥原理》

部分习题解答:

(略)

Linear Algebra Done Right第一章注记和部分习题

注记部分:

有关子空间和与直和的讨论:

如果 V_1, V_2是向量空间U的两个线性子空间,那么下面两个命题等价(见17页命题1.9):
1) V_1+V_2是直和;
2) V_1 \cap V_2=\{0\}
这种关系是否可以推广到多个子空间的情况呢?也就是说是否有n个子空间两两相交于零点,就说明它们的和是直和呢?

这是不一定的。设想三维空间中三条坐标轴,再加上另一条过原点但异于坐标轴的直线,三条坐标轴的直和就是整个三维空间,显然它们和第四条直线的和不可能是直和。但是可以对子空间的交集提出这样的要求:
对每个 k=2,3,4,\dots,n, (V_1+V_2+\dots+V_{k-1})\cap V_k=\{0\}
如果满足这个要求,那么它们的和就是直和。这个条件也是多个子空间的和是直和的充要条件。证明用数学归纳法很容易。
先把这样一个命题弄清楚了,后面的关于不同特征值的特征向量线性无关的证明思路就变得很容易。

还有一个看似更强的要求,但实际上与上面的那个要求是等价的:
 V_1,V_2,\dots,V_n中任意不重复地取出两组子空间来: V_{i1},V_{i2},\dots,V_{ir}  V_{j1},V_{j2},\dots,V_{js},其中 V_{ik}\not = V_{jl},都满足 (V_{i1}+V_{i2}+\dots+V_{ir})\cap (V_{j1}+V_{j2}+\dots+V_{js})=\{0\}
可以证明这个条件也是若干子空间的和是直和的充要条件。充分性可以利用上面的命题,必要性证明方法类似于命题1.9。

部分习题解答:

9 证明 V的两个子空间的并集也是 V的子空间当且仅当其中一个子空间包含于另一个子空间。
证明:必要性:设 U_1,U_2是要讨论的两个子空间,且 U_1\not \subset U_2,那么 \exists u_1 \in U_1, u_1 \not \in U_2 \forall u_2 \in U_2,因 U_1\cup U_2是子空间,故 u_1+u_2\in U_1\cup U_2。若 u_1+u_2\in U_2,则 u_1=u_1+u_2-u_2 \in U_2,矛盾。因此 u_1+u_2\in U_1,则 u_2=u_1+u_2-u_1 \in U_1。故 U_2 \subset U_1
充分性显然。

用向量的内积证明勾股定理——体会代数的威力

勾股定理是几何中一条非常重要的定理,如果少了它,几何中几乎所有关于长度的计算公式都将失效,我们再也无法通过两点的坐标计算它们之间的距离,无法计算一条曲线的长度,无法知道圆的方程是二次曲线,它还间接地影响三角函数和复数等众多领域,可以说如果没有勾股定理,数学中大部分的内容将不得不被砍掉。

勾股定理的证明有很多种,其中有一些证法很麻烦,有一些较简洁,我国的商高、赵爽和古希腊的欧几里德都是在直角三角形的三边上各画一个正方形,然后用割补法证明直角边的两个三角形面积之和等于斜边上的三角形面积。近现代出现了很多简化的证明,其中有很多以面积为工具,有些已相似形理论为工具,等等。近年来又出现了利用微积分方法的证明,但它们都没有逃脱几何的影子,在证明中都是直接地考察一个直角三角形的几何图形。

关于代数与几何的关系,初中生有时候在做零星的几何题时会有所体会,比如,用方程的方式求解一条线段的长度,或求解一个角,或证明两个值之间的关系,等等。这些代数的零散应用依然没有逃出几何的框架。

代数第一次大规模进军几何领域应该是笛卡尔的解析几何。有了平面或空间上的坐标系,每一个点都有了一个坐标,使用两个或三个数组成的数组就可以表示一个点,几何的问题就通过坐标转换成了代数中的方程或计算的问题。不管多么困难的几何问题,通过转换,原则上都是可以用代数方法解决的。
不过,勾股定理在这个过程中起到了一个更加基础的作用,坐标系中两点之间的距离公式就是由勾股定理得出的,因此无法在解析几何中用这个公式再证明勾股定理了。
可见,在高中的解析几何中,虽然代数方法已经可以在几何领域大显身手,但几何还是占据了十分重要的基础地位。

真正将几何代数化,我认为是在向量被引入数学之后。从此,代数思想占据了几何中更加基础的位置。从勾股定理的向量证法中可以很深地体会这一点。

记向量u和v的内积为<u,v>,表示u向v投影的长度与v长度的乘积,再根据投影后的u和v是同向还是异向取正号或负号。
显然u,v垂直时 <u,v>=<v,u>=0,
并且可以很容易地证明<u+v,w>=<u,w>+<v,w>,<u,v+w>=<u,v>+<u,w>,
还有,一个向量的长度的平方就是它和它自己的内积:||u||²=<u,u>。

有了这些简单得近乎显然的性质,就可以轻松地推出勾股定理:
设直角三角形两边对应向量分别为u,v,那么斜边的长度就等于||u+v||,那么
||u+v||²=<u+v,u+v>=<u,u+v>+<v,u+v>=<u,u>+<u,v>+<v,u>+<v,v>。
因为<u,u>=||u||²,<v,v>=||v||²,<u,v>=<v,u>=0,故得勾股定理:
当u,v两向量互相垂直时,||u+v||²=||u||²+||v||²。

我相信有一些人在第一次见到这个证明的时候,都和我一样地感到惊奇,没有画任何图形,甚至没有考虑图形上的任何细节和特征,轻描淡写地几步运算,竟然就这么容易地推出了几何中一条基本定理!它像魔法师的兔子一样跳到你面前,你即使知道了证明的过程,还是不理解它究竟是为什么可以这么证明。你期望看到魔术师帽子里的秘密,或者,也许你能发现下面隐藏着循环论证的错误也说不定呢,就像用解析几何证明勾股定理一样的错误。

也许,把它原原本本地还原为一个几何的证明会对我们的理解有帮助,看看在这奇迹的背后究竟发生了怎样的过程。

第一步,||u+v||²=<u+v,u+v>,这步没什么可说的。
第二步,<u+v,u+v>=<u,u+v>+<v,u+v>,
这步应用了内积的线性性质,是关键的一步。在图形上跟踪一下这个过程:
zrclip_001n8b37757.png
我们在一个直角三角形中画出斜边上的高,将u+v向自己的投影分解成u向u+v的投影和v到u+v的投影之和,在图中u和v向斜边(u+v)的投影分别是直角三角形斜边上的顶点到垂足和垂足到另一顶点的向量,即AD和DC。把这一步还原成几何的语言就是AC²=AC*(AD+CD)。
第三步,<u,u+v>=<u,u>+<u,v>=<u,u>=||u||²,和<v,u+v>=<v,u>+<v,v>=<v,v>=||v||²,
这一步中有意思的是这里,<u,u+v>既可以看成u向u+v投影之后再与u+v乘积,也可以看成u+v到u的投影与u的乘积,即u的长度平方,因此这步翻译成几何的语言就是AB²=AD*AC。同样地有<v,u+v>=||v||²等价于BC²=AC*DC。而这正是初中生都熟知的射影定理。
由AC²=AC*(AD+CD)和AB²=AD*AC、BC²=AC*DC立即可以得到勾股定理。

至此,它背后的秘密算是完全揭开了:内积的实质就是投影,内积是线性的,是因为投影映射是线性的,内积的交换律也是由投影下形成的相似三角形性质决定的,它的特例就是射影定理,因此,用内积证明勾股定理,其实质就是用射影定理证明勾股定理。

但是,我还是觉得很神奇,因为在用向量分析的时候,我们只是在计算,虽然它实质上是射影定理,但在用向量内积推导的过程中我丝毫没有觉察出它跟几何有什么联系,与绞尽脑汁的几何证明题相比,我似乎在不知不觉中就被带到了真理的地方。可见,用向量方法分析和直接用射影定理证明勾股定理,其思维方式上是有很大差别的。这就是代数思维和几何思维的不同之处。

为了使直线上的几何问题代数化,人们引入正数和负数,为了使平面和空间的几何问题代数化,人们引入坐标系,这些都内在蕴含了向量的思想,但是都没有明确地把向量的概念提出来。随着经典力学的发展,随着人们对力、加速度、速度和位移这些概念之间关系的深入研究,矢量这个概念逐渐被人们认识并加以抽象概括,形成了向量代数。用向量描述世界,比以前的数和几何对象有更高的概括性和统一性,现在,以向量空间和它们之间的变换为主要研究对象的线性代数已经在各个应用领域中发挥着无法替代的作用。

我们再看一下在物理的能量守恒观点下的勾股定理。设想你把一个石块从手中斜抛出去,石块初始速度为v0,v0可以分解为水平速度v1和竖直速度v2,按照向量的写法,有 v_0=v_1+v_2。石块的初始动能为 \frac{1}{2}mv_0^2,经过一段时间,石块竖直方向的速度变为零,只剩下水平速度v1,这时它的动能为 \frac{1}{2}mv_1^2,因此有 \frac{1}{2}m(v_0^2-v_1^2)的动能减少,而势能增加量恰好是 mgh=\frac{1}{2}mv_2^2,注意它们之间的关系,当且仅当 v_0^2=v_1^2+v_2^2时,总的机械能是守恒的。也许,上帝在创造世界的时候,为了能让他的能量守恒原则成立,不得不承认勾股定理,或者反过来,因为要创造一个满足勾股定理的世界而使这个世界上的能量守恒。
想一想在这个过程中是什么发挥了主要作用,其中主要的决定性因素就是水平与竖直方向上的运动互不干扰,可以说两个方向无关,真实物体的运动是两个无关方向上运动的线性叠加,这样重力做功才跟路径无关,机械能守恒。

可以说世界上有很多问题,看似很复杂,但实际上可以分解成一些彼此无关的因素的线性叠加。利用这个特性,当考虑整体比较麻烦时可以把它分解,分而治之,然后再回到整体;而当分析众多错综复杂的分量有困难时也可以先从整体入手。而向量恰好是整体与分量的对立统一,这就是向量代数的力量源泉。

4月27日有关余弦定理的补充:
评论中有人说这个证明中用到了一些内积的性质是依赖于余弦定理的,而余弦定理又是来源于勾股定理,因此还是循环论证了。
我的观点在下面评论答复中已经说过了,内积的那些性质(在文中列出的用来证明勾股定理的那些性质:实数欧几里得空间内积的交换律、双线性、垂直时内积是零)没有一条是必须依赖于余弦定理的。现在补充一点,即使不用那个"u,v垂直时<u,v>=0"逻辑上仍然讲得通。
利用双线性和交换性(这两条性质依赖于平行和相似),有余弦定理(因此,余弦定理本质上是内积的二次展开式,这也是为什么余弦定理和二次的牛顿二项展开式那么相似):
||u-v||²=<u-v,u-v>=<u,u>+<v,v>-<u,v>-<v,u>=||u||²+||v||²-2<u,v>
||u+v||²=<u+v,u+v>=<u,u>+<v,v>+<u,v>+<v,u>=||u||²+||v||²+2<u,v>
当u,v垂直时,利用矩形两对角线长度相等(此依赖于三角形全等),有||u+v||=||u-v||,则有
<u,v>=<v,u>=0,和勾股定理||u-v||²=||u+v||²=||u||²+||v||²
这倒是个一举多得的证法。

向量外积与行列式的本质关系

在三维空间中,两个向量a和b的外积a×b定义为这样的一个向量:
1) |a×b|=|a||b|sin<a,b> 其中sin<a,b>表示a和b两向量夹角的正弦。
2) 若|a×b|≠0,那么a×b的方向垂直于a和b所在平面并且使a,b,c满足右手螺旋定则。

设i,j,k是三维空间中成右手定则关系的标准正交基底,a和b在这组基底下的坐标分别为(a1,a2,a3)和(b1,b2,b3),那么a×b可以用行列式形式地表示为

这个公式的由来,在一般的教材中,是先推导出外积的几个重要性质:
1) a×b = -b×a
2) (a+b)×c = a×c+b×c
3) a×(b+c) = a×b+a×c
4) a×(kb)=(ka)×b=k(a×b)
5) i×j=k,j×k=i,k×i=j
然后,就可以利用这些性质对以下式子进行展开:
 \displaystyle \textbf{a}\times \textbf{b}=(a_1i+a_2j+a_3k)\times (b_1i+b_2j+b_3k)
最后化为上面的行列式表示。

但是,为什么外积可以如此规整地表示为一个行列式?难道只是巧合吗?一定有某些内在的原因。


 \displaystyle \textbf{c}=( \begin{vmatrix}a_2&a_3\\b_2&b_3\end{vmatrix},-\begin{vmatrix}a_1&a_3\\b_1&b_3\end{vmatrix},\begin{vmatrix}a_1&a_2\\b_1&b_2\end{vmatrix})

首先,注意到 c 的三个分量是那个三阶行列式中的三个子式,利用行列式展开法则,我们可以很容易地证明c垂直于a和b:
 \begin{aligned}\textbf{c}\cdot\textbf{a}&=a_1\begin{vmatrix}a_2&a_3\\ b_2&b_3\end{vmatrix}-a_2\begin{vmatrix}a_1&a_3\\ b_1&b_3\end{vmatrix}+a_3\begin{vmatrix}a_1&a_2\\ b_1&b_2\end{vmatrix}\\ &=\begin{vmatrix} a_1&a_2&a_3\\ a_1&a_2  &a_3\\ b_1&b_2&b_3\end{vmatrix}\\ &=0\end{aligned}

 \begin{aligned}\textbf{c}\cdot\textbf{b}&=b_1\begin{vmatrix}a_2&a_3\\ b_2&b_3\end{vmatrix}-b_2\begin{vmatrix}a_1&a_3\\ b_1&b_3\end{vmatrix}+b_3\begin{vmatrix}a_1&a_2\\ b_1&b_2\end{vmatrix}\\ &=\begin{vmatrix} b_1&b_2&b_3\\ a_1&a_2  &a_3\\ b_1&b_2&b_3\end{vmatrix}\\ &=0\end{aligned}

那么,为了证明c就是a×b,我们还需证明 |c|=|a||b|sin<a,b> ,以及a,b,c满足右手螺旋定则。

为了证明三个向量a=(a1,a2,a3),b=(b1,b2,b3),c=(c1,c2,c3)满足右手螺旋定则,只需验证行列式
| a1 a2 a3 |
| b1 b2 b3 |
| c1 c2 c3 |
的值是非负的。为此,我们将c的坐标代入,并把此行列式按c的那一行展开,得到行列式的值等于 |c| ² ,因此它确实是非负的。

下面证明|c|=|a||b|sin<a,b> 。考虑行列式
| a1 a2 a3 |
| b1 b2 b3 |
| c1 c2 c3 |
的几何意义,知道它是a,b,c三个向量组成的平行六面体的体积,前面我们已经知道它的数值等于 |c| ² 。又因为c垂直于a和b,那么下面的式子是成立的:
|c| ² =|a| |b| sin<a,b> |c| (因为体积等于底面积乘以高)
当c≠0时,我们直接可以得到 |c| =|a| |b| sin<a,b>。
当c=0时,我们任意取一个三维向量d=(d1,d2,d3),考虑行列式
| a1 a2 a3 |
| b1 b2 b3 |
| d1 d2 d3 |
因为它总是0,即不论d是什么向量,a,b,d总是线性相关。我们可以断定a,b线性相关,从而|a| |b| sin<a,b>=0,同样有|c| =|a| |b| sin<a,b>。

这样,没有用到外积的那些难以推导的性质,直接用行列式的性质,我们就证明了上面的外积表达式,而且这个证明更能揭示它们之间的本质联系。

因为有这样的本质联系,我们可以把三维空间中两个向量的外积推广到n维空间中的n-1个向量的情形。但是需要注意的是向量的顺序与定向的问题:如果规定
a1,a2, ...,an-1,a1×a2×...an-1取正向,那么必须在表示外积的行列式中把基底那一行写在最下面,然后按照基底那一行展开成各个分量。

在初级线性代数中,有几个概念之间有密切联系,这些概念是:
1)行列式,2)3个向量张成多面体的有向体积,3)2个向量的外积,4)3个向量的混合积
其实1,2,4直接相等,证明的途径多种多样,这里列出了一种,与一般的教科书稍有不同,即先承认1)等于2),再由此推出3)的表达式,最后推得4)等于1)。
其实承认1)等于2)之后,4)等于1)是很自然的(根据外积和混合积的定义),然后用类似上文的方法也可以推出3)的表达式。
如果开始像一般的线性代数书那样推导3)的表达式,那么4)等于1)就是显然的,从而可以证明1)等于2)。
这些内容都可以向高维空间推广,这里就不赘述了。

无限论题暂停公告

经过好几个月这个话题一直没有再更新,因为遇到了两个不太好过的坎儿。
引入无穷的概念对数学家们来说是习以为常的。但我觉得从数学哲学的角度还是有些疑问。无穷在数学中处于什么样的地位?是必不可少还是可以绕道而走?在一个原本有限的公理系统中人为地加入一些无穷的对象,并加入了关于无穷对象的公理之后,新的系统与原来的系统相比,客观性保持不变还是减少了?需要先对哥德尔定理和模型论有深入地了解才能思考这个问题。现在我还缺少这方面的背景知识,几次试探地继续写,自己都无法满意。
还有一个回避不了的问题是悖论。看清楚悖论产生的根源比知道如何解决悖论更重要(更准确地说,如果不理解它们是如何产生的,就无法理解它们是如何被解决的,充其量只能算是回避)。因此接下来的论题就是讨论为什么会产生这些悖论,它们到底是些什么东西。这方面的内容我觉得我看过的所有的书中说的都不清楚,我怀疑写这些书的人是否真正把这些悖论想清楚了,他们只是人云亦云。从罗素的论著中摘抄出只言片语,不求甚解地写到自己的书里了。我想真正把悖论看得清析一些,这方面我自己有一些想法,但不成熟。也不会轻易地写出来。

过了这两个坎儿,后面的内容就相对平坦了:计划要从非标准分析的角度重新认识无穷小和无穷大,讨论超实数的形态。虽然最初的非标准分析是从模型论中发展而来的,但后来出现了非标准分析的一些简易模型,这部分还是很好理解的。然后试探地在超实数系统下引入无限小数。因为有理数在超实数系统中并不稠密,也就是说无法找到一个有理数列去逼近一个非零的无穷小,所以一般的无限小数无法精确地表示每个超实数,它们只能精确到无穷小单子的级别,为了对无穷小单子内部进行刻画,需要某种“超级”无限小数。

写这些东西对我来说还是太费时,本来业余时间就少,有那么多重要的事情要做,那么多东西要学,不可能把有限的业余时间都花在写作上面。另外,对这些“没用”问题的思考也让我错过了另外一些更重要更有趣的内容,现在是想办法弥补一下的时候了。