概率处处有奇论——三门问题和男孩女孩问题

最近,在 mickeylili 的博客 上看到了两个问题,颇有概率奇论的味道,让我想起了当初学习概率的感觉:如履薄冰,甚至怀疑,概率这东西到底是不是一个确定的理论呢?这两个问题是这样:

第一个问题是有名的"三门问题", 亦称"蒙提霍尔问题":

三门问题出自美国电视游戏节目 Let's Make a Deal,问题的名字来自该节目的主持人 Monty Hall.

游戏玩法是:参赛者面对三扇关闭的门,其中一扇门的后面有汽车,另两扇门的后面各有一只山羊,选中后面有车的那扇门就可以赢得汽车,当参赛者选定一扇门,但未开启它时,知道门后情形的节目主持人会开启剩下两扇门的其中一扇,露出其中一只山羊,主持人其后会问参赛者要不要换另一扇仍然关闭的门。

问题是:参赛者换另一扇门会否改变参赛者赢得汽车的概率?

初看问题,会感觉自己陷入两难境地:主持人打开了一扇有山羊的门,给我留下了另外两扇,我不知道这两扇哪一扇后面会有汽车。我第一次选定的,和另外一扇未打开的门,似乎没有什么不同。换,或不换也似乎没有不同。再以概率的角度想,我开始选中有车的门的概率是 1/3,当主持人打开一扇有山羊的门之后,因为已经知道其中一只山羊藏在哪里了,那就相当于在这个条件下,我选中有车的门的"条件概率"变成了 1/2,而另一扇门有车的概率也是 1/2。想想觉得有道理。于是继续看后面答案。

后面给出两种分析,其一大意为,汽车在我选中的门后的概率为 1/3,在另外两扇门之一后面的概率是 2/3,既然另两扇门其一被打开,后面是山羊,那么这 2/3 的概率就集中到另一扇关着的门了,因此应该换门。
另一个大意为,下面三种情况等可能(概率均为 1/3):
我选山羊一号门,主持人选山羊二号,换门将赢得汽车;
我选山羊二号门,主持人选山羊一号,换门将赢得汽车;
我选汽车门,主持人选山羊一号或二号,换门失败。
三种情况有两种换门会赢得汽车,只有一种换门失败,因此换门赢得汽车的概率为 2/3。

老实说,看到这两种分析之后,我头脑里闪现的念头是,这两种分析都有漏洞,都是错的。对于第一种,两扇关着的门是一样的,为什么后面有车的概率一个不变,另一个就变成 2/3 了?为什么不都变成 1/2?难道就因为我选了和我没选的区别?对于第二种,我曾觉得似乎应该是四种情况:
我选山羊一号门,主持人选山羊二号,换门将赢得汽车;
我选山羊二号门,主持人选山羊一号,换门将赢得汽车;
我选汽车门,主持人选山羊一号,换门失败;
我选汽车门,主持人选山羊二号,换门失败。
两成功两失败,不能说换门就提高成功概率。

但是我又无法坚信自己的分析而否定文档的分析,这样我就陷入两难:到底是我错了,还是文档错了?

如果是数学的其它分支,如果两个人得到结果不一样,我们可以很容易验证,因为答案是确定的,大多数情况只要代入一个特殊值,或考虑一个特殊情况,马上就可以验证孰是孰非。但是一个事情发生的概率,你说是1/3,我说是1/2,怎么验证呢?毕竟概率这东西看不到摸不着,它就是可能性的大小,如果不是必然事件或不可能事件,这个可能性的大小是很难捉摸的。即使做实验,它也有可能发生有可能不发生,即使计算频率,而即使频率倾向于支持你的答案,理论上也无法完全否定我。这就是我当初讨厌概率的地方。我总是在想,到底概率这东西有没有意义?客观上存在一个叫概率的东西吗?

对这个问题第二次深入分析,最后文档中第二种分析说服了我。因为我首先看到的是,主持人知道所有门后面的情况,因此他只开有山羊的门。在这种情况下,如果我每次都换门,那么我换门之后得到的东西完全取决于我第一次选中的门。也就是说,既然主持人永远开羊门,那么 如果我开始选中了羊门,换了之后就是汽车;如果我开始选中车门,换了之后就是羊。因此,文档中例举的三个过程,只有第个一步骤是带有随机性的,后面的两个步骤:主持人开羊门,换门得结果,都是在第一步之后就确定下来的。因此,第一步选中羊,等价于换门后得到汽车,其概率显然是 2/3;而第一步选中汽车,也等价于换门后是羊,其概率为 1/3。而如果我坚持不换门,那么第一步选中羊,等价于第三步打开这个羊门,其概率显然是 2/3;而第一步选中汽车,也等价于第三步打开得汽车,其概率为 1/3。

那么到底怎么样利用条件概率来分析这个问题?我先前的分析为什么不对?经过简单的搜索,我发现这个问题还有不同的提法,例如,如果主持人不知道门后的情况,他也是随机地开门,那么在他恰好开了羊门之后,我换或不换,中奖的概率就都是 1/2 了。

主持人开的都是羊门,为什么他知道或不知道门后的情况会影响到我得奖的概率呢?按照日常生活经验是无法理解的。

经过分析,我认为,如果主持人在我选定之后随机地开其余两扇门,然后如果我每次都换门,那么这个过程就相当于把三个不同的门随机排列,假设三个门分别为羊一,羊二,车,那么三个门排列的次序有以下几种等可能情况:
羊一,羊二,车;
羊二,羊一,车;
车,羊一,羊二;
车,羊二,羊一;
羊一,车,羊二;
羊二,车,羊一。
如果已知第二项是羊,那就相当于发生了上面前四种情况之一,在这个条件下,换门中奖的概率为 1/2。同理,不换门中奖的概率也是 1/2,这个问题与条件概率的理论吻合得正好。

如果主持人知道门后的情况而故意不开车门,那么,上面的最后两种排列就演变成了前两种排列,即六种排列演变成:
羊一,羊二,车;
羊二,羊一,车;
车,羊一,羊二;
车,羊二,羊一;
羊一,羊二,车;
羊二,羊一,车;
这样六种情况等可能,那么有四种情况换门得奖,两种情况换门失败。

如果用条件概率公式

P(A_1A_2A_3)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)

来解释,设 A1 表示我第一次选到羊,A2 表示主持人开了个羊门,A3 表示我换门之后得到车,那么要想换门之后得奖,这三件事必须顺次发生。在主持人知道门后情况的时候,P(A_2)=P(A_2|A_1)=1,否则 P(A_2)=\frac{2}{3}, P(A_2|A_1)=\frac{1}{2}。而 P(A_3|A_1A_2)=1 在两种情况下都成立。那么主持人知情时,有

P(A_1A_2A_3)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)=\frac{2}{3}

而当主持人不知情时,有

P(A_1A_2A_3)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)=\frac{1}{3}

但是注意这里已经知道主持人开了羊门,即 A2 已经发生,因此这里求的实际上是

P(A_1A_2A_3|A_2)=P(A_1A_2A_3)/P(A_2)=\frac{1}{2}

这与上面的例举吻合完好。

由此,文档中的第一种分析就有些问题了,因为第一种分析没有用到主持人知情这个条件,它可以完全不加改变地应用到主持人不知情而恰巧开启羊门的情况,同样得到这时换门的胜算更大。而实际上这时换不换门得奖的概率是一样的。

第二个问题是关于生男生女的概率问题,这个问题出现在有关条件概率的内容后面。首先讨论了这样的问题:人的生育过程决定,每次生育,生男孩和生女孩的概率基本一样。那么一个家庭有两个孩子,以下四种情况就有等可能的机会出现:男男,男女,女男,女女。现在已知一个家庭至少有一个女孩,那么另一个也是女孩的概率是多少。因为已知至少有一个女孩,排除了第一种男男的可能性,在剩下三种可能当中,最后一种是符合要求的组合,因此这个概率是 1/3。

现在问题变化一下,已知一个朋友家里有两个孩子,你去了他家,开门的是女孩,现在问另一个你还没见到的孩子是女孩的概率。

如果受到上一题目影响,开门的是女儿,但是不知道开门的是老大还是老二,因此我们只能由此推断出,他家至少有一个女孩,那么另一个孩子是女孩的概率就是 1/3。

但是,我又明显感觉到这里面有问题,因为,如果这个推理正确,那么,假设一位母亲怀了双胞胎,排除同卵的情形,临产时先生出个女孩,那么护士是否可以说,老二是女孩的概率是 1/3?这和上面排列推断出的概率不同,因为已知老大是女孩的情况下,老二是男是女依然各占一半。再设想,抛开两个孩子出生顺序,只是假设一个屋子里有两个人,每个人是男是女概率各占一半,那么第一次出来个女的,问屋子里剩下的那个人是女的概率?这样根据出屋顺序,也有四种可能:男男,男女,女男,女女。第一个是女的,排除两种情况:男男、男女。则剩下个女的可能性是 1/2。

那么问题出在哪里?难道"我见到一个孩子是女孩"和"已知一个孩子是女孩"不一样?

因为这个问题在文档中以思考题出现,文档中没有答案,所以我也不知道正确答案到底是哪个。经过分析,我认为,之所以出现 1/3 这个数,是因为我们始终坚持认为出生时的四种排列顺序(男男,男女,女男,女女)是等可能出现的。这是正确的。而"我去他家,见到开门的孩子是女孩",相当于做了另一个随机试验,再一次引入一个随机事件,即"两个孩子,随机地见到一个,是女孩",这就跟"确定至少有一个女孩"有所不同了。如果用试验模拟"随机见到女孩"的过程,那么这个试验大概如下:

从一堆红球白球里随机地抽出两个放在黑盒子里,每次抽取红球和白球的概率都是1/2;然后再从黑盒子里任意掏出一球,发现是白球,问剩下的球是白球的概率。

将黑盒子里两球编号,那么两球有四种情况等可能出现:M1=1红2红,M2=1白2白,M3=1红2白,M4=1白2红。然后在每种情况下分析第二次随机试验。设 A 事件为,"第一次摸出白球",B 事件为"剩下那个是白球"。问题归结为求 P(B|A)。首先,P(AB)=1/4(因为 AB 发生等价于上面的 M2)。那么接下来只要求出 P(A) 即可。而根据全概率公式,

P(A)=P(A|M_1)P(M_1)+P(A|M_2)P(M_2)+P(A|M_3)P(M_3)+P(A|M_4)P(M_4)=\frac{1}{2}

因此最后结果为

P(B|A)=P(AB)/P(A)=\frac{1}{2}

这样,在一段时间的努力下,两个险些毁三观的问题终于没有逃脱出概率论的框架。

关于概率的定义

概率,是研究不确定的事物,而数学的特点是精确,用数学的方法研究概率,就是给不确定性以精确的描述,这两种特性的矛盾在我初学概率的时候给我提出了很多的疑问。

比如,某件事发生的概率是1/2,到底应该怎样理解,应该怎样定义这个概率?如果说,概率是实验次数无限增大时频率的极限,那么由于每次实验结果都是随机的,你如何证明这种极限的存在性?如果经过大量次数的实验,此事发生的频率总是接近1/2,那也无法精确地定义它的概率就是1/2,因为你无法确定它不是别的与1/2很接近的数,比如501/1000。如果说,概率是所有可能结果中,此结果所占的比例,那问题又有了,如何确定所有结果中,每一个都是等可能的?另外,你如何知道经过很多次试验它的频率就一定接近于这个比例呢?

上面讨论的问题分两类,一类是古典概率中等可能性的确定,一类是概率定义的严格化。下面分别讨论这两个问题。

一、古典概率中等可能性的确定

在古典概率中,抛一枚硬币,出现正反两面有相同的可能性,那么抛两枚硬币,可能出现的结果有正正、正反、反正、反反四种结果。这四种结果也是等可能的。但是,抛两枚硬币结果的等可能性,是否依赖于抛一枚硬币结果的等可能性?也就是说,只有在抛每一枚硬币时,出现每一面的机会均等的时候,才能保证抛两枚硬币时四种结果是等可能的。从直观上这样想是合理的,但是如果可以从理论上推导出这种蕴含关系不是更好吗?
如果上面这个问题从直观上不得不接受,那么下面这个问题就稍微难接受一些:将三个不同的球随机地抽取出来进行排列,共六种排列方法,这六种方法等可能。为什么?因为假定每次抽取球的时候都是从剩下的球堆里随机地抽取。但是,每一步抽取,剩下的球都少一只,也就意味着下一次抽取时,已被抽出的球没有可能再次被抽取,而剩下的球每一颗被抽到的概率都增大了。这样就造成了每颗球处境的不同,也意味着每一次抽球的情况都有变化。但是为什么最后的结果是平等的呢?
再如,陈希孺《概率论与数理统计》例1.1分赌注问题,甲胜两局乙胜一局,如果接下来一局甲又胜,那么没必要再赌一局,这样,继续比赛的结果就应该是三种:甲,乙甲,乙乙。为什么不是三种结果等可能?
在n个不同的数之中随机可重复地取出r个数进行组合,共有 \binom{n+r-1}{r} 种方式,那么每一种方式是等可能的吗?比如,在1,2两个数中随机可重复抽取两个做组合,共三种可能:{1,2}, {1,1}, {2,2}。那么出现 {1,2} 的概率是1/3吗?仔细分析可知这是错的,组合 {1,2} 出现的概率应是1/2,另外两种组合的概率各是1/4。

可见,第一,等可能性绝不是自然就成立的,需要进行分析;第二,多次试验的复合结果的等可能性应该蕴含在每次试验结果的等可能中,应该由后者推出前者。

推导可重复排列或不重复排列各个结果之间的等可能性可以用概率的乘法公式:

P(A_1A_2\dots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)\dots P(A_n|A_1\dots A_{n-1})

这个公式的解释是,一个由 n 个事件组合而成的事件,它的概率等于第一个事件的概率乘以第二个事件在第一个事件出现时的条件概率,再乘以第三个事件在前两个事件出现是的条件概率,等等。具体应用到抛 n 个硬币和排列 n 个球的问题中:
在抛硬币时,假设各次试验之间毫无影响,那么每次试验出现正或反的概率为 1/2。因此,第 i 次出现正或反的概率是 1/2,那么抛 n 枚硬币出现每一个组合结果的概率为

P(A_1A_2\dots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)\dots P(A_n|A_1\dots A_{n-1})=(\frac{1}{2})^n

在排列小球问题中,容易算出

P(A_i|A_1A_2\dots A_{i-1})=\frac{1}{i}

因此出现每一种结果的概率自然是  1/n!
分赌注享问题中也可以这样详细讨论。
在可重复排列中,因为步骤的顺序不重要,不能用这个公式计算每种结果的概率。但是,我们可以这样算:比如,三个数 1,2,3 中可重复抽取三次,组合成 {1,1,2} 的概率,首先,需要三次中抽出两次 1,其概率为  \binom{3}{2}(\frac{1}{3})^2\frac{2}{3} 。在这个事件出现的情况下,再计算有一次抽取 2 的概率,因为三次中两次抽了1,只剩下一次,可能抽取2或3,各有 1/2 的可能性,所以最后结果为这两个概率的乘积,即 1/9。这与下面的方法计算结果是一样的:n 个数可重复取 r 个排列的方法数为 n^r,在某种组合中假设共出现 k1 次 1,k2 次 2,... kn 次 n ( ki=0,1,2,...,r 且 k1+k2+...+kn=r),那么出现这种组合的方法数为

\frac{r!}{k_1!k_2!\dots k_n!}

故出现这种组合的概率为

\frac{r!}{n^r k_1!k_2!\dots k_n!}

可见这个问题中的等可能性是藏在排列中的。

二、概率的严格定义

频率的稳定性表明,大量的不确定事件中可以蕴含一种确定性。概率就是刻画这种不确定当中的确定性。概,就是大概,概率就是刻画可能性的大小,就是在大量重复试验中我们可以期待某种结果出现的大致比例。首先,它作为一个数学概念,必须要有一个严格的定义,必须要知道到底哪一个数可以作为某件事的概率。但是,任何有限次试验,某种事件出现的频率只能在某个范围内波动,并不是完全固定的,这样就给以频率定义概率带来麻烦。所以,在数学上,采取的是迂回定义的方式,既首先给概率一个精确的定义,给每一个事件按某种方式赋予一个数值,然后证明,在大量重复试验下,事件出现的频率按某种方式接近这个数值。至于这个频率最终总是接近于概率的问题,会在后续关于大数定理的讨论中加以分析。

另,读了两章第三版的《概率论基础》,还是觉得这本书的表述更严谨,例子又多,例子组织得更好,又有一本配套的学习指导,尤其是其中的教学札记讲述得很精彩,所以决定还是以这本书为基础去讨论问题。但是不可否认的是陈希孺的书中对概念的直观阐述也很有启发性,比如第一章习题中针对条件概率的一些问题,将是下一篇文章的主题之一。

一端有吸收壁的随机游动

在李贤平《概率论基础》第三版,第88页起,讨论了直线上两种情况的随机游动:无限制随机游动和两端带有吸收壁的随机游动。在 0 和 a+b 处带有吸收壁的随机游动中,质点每次向正或负方向移动的概率分别为 p 和 q,那么初始位置在 a 点的质点最终被 0 处吸收壁吸住的概率:
p=q=\frac{1}{2} 时,为

\frac{b}{a+b}


p\not=q 时,为

\frac{(\frac{q}{p})^a-(\frac{q}{p})^{a+b}}{1-(\frac{q}{p})^{a+b}}

那么,还剩下一种情况没有讨论,就是只在 0 点处放置吸收壁,在另一端无限制,然后讨论质点被吸收壁吸住的概率。

一种可能的思路是,在上面两端吸收壁的结果中,令 b \to +\infty,从而得到以下结果:
p=q=\frac{1}{2} 时,被吸收的概率为1;当 q>p 时,结果也是1;当 q<p 时,结果为  (\frac{q}{p})^a。 但是,这种方法可能引起我们的担心,因为,我们求得两端吸壁的结果时,所列差分方程的的解依赖于 0 和 a+b 处给出的初值,而现在,b被无穷大代替,而无穷大又不是个具体的数,你不能说,质点在无穷大处怎样。 可以如下解释这个疑问:首先,将吸壁由 b 点移动到 b+1,则质点若被 b+1 处吸壁吸收,必首先经过 b 点,也就是质点被b+1 处吸收,这个事件蕴含质点被 b 吸收,那么它的概率就应该变小,从而质点被 0 点吸收的概率就是增大的。当只有0点有吸壁时,质点被0点吸收的概率就应该大于所有两端有吸壁的情况,因此是上面算式的极限情况。 这样说还是有些牵强。如果我们借鉴书上的处理方式,我们也可以列出差分方程来: 记 p_n 为质点初始位置为 n 时,其被 0 处吸壁吸住的概率。则显然 p_0=1。 如果质点在 n+1 处,那么它要经过两步才能被吸收:首先要经过一系列游走到达 n,由于另一端一直到无穷远处都无障碍,这个过程和它从 1 点到达 0 点而被吸收的过程没什么两样,因此它发生的概率为 p_1;之后要从 n 点到达 0 点被吸收,它的概率为 p_n。因此,有

p_{n+1}=p_1p_n

p_n={p_1}^n

接下来求 p_1。注意到书上列的差分方程

p_n=pp_{n+1}+qp_{n-1}

在这里依然有效,将上面 p_n 代入,得到

p_1=p{p_1}^2+q

求得 p_1=1p_1=\frac{q}{p}。 当 p=q=\frac{1}{2} 时,p_n=1;当 q>p 时,由于概率不可能大于1,故同样有 p_n=1;当 q<p 时,结果为  p_n=(\frac{q}{p})^n。 这个结果与上面取极限的结果一致。 对应于赌徒输光理论,如果对方有用不完的赌注,则当你的赌技没有对方高,或者你们两人旗鼓相当的时候,你的赌注必定全输光;而即使你的赌技比对方高,你仍有一定的几率输光赌注。但是,你也有机会赢得任意多的钱,只要你有足够的本。

概率论与数理统计笔记(前言)

虽然大学毕业之后做了很多和数学不相干的工作,但是正如我的留学动机信中所说,从高中到大学几年的训练,数学已经成为了一种母语,在我做过的所有事情,学过的所有东西当中,我还是更习惯于处理数学问题,只要有一问题可思考,随手弄来纸笔,画下一些公式图形,思维就处于"放松的活跃状态"。其它诸如编程,文本,语言学之类,都是后来习得,做起来多少有些"说外语,无法淋漓尽致"的感觉。因此,两年前就决定来留学。

这次决定更深入地了解一些数学的应用,不论是在经济金融等社会科学中,还是在工程技术中,概率统计是绕不过去的。正好来年需要,就趁这个假期好好温习一下。

大学学概率的时候我正忙着追问数学基础,总感觉如果不把数学的逻辑基础弄清楚,平时的推理都担惊受怕。对于概率,一是遇到了贝特朗奇论无法理解,对它的准确性产生怀疑,二是初学概率时总感觉它要么是高中排列组合的延伸,要么是测度论的应用,总之暂且放下对我的数学基础考察也没什么要紧。再加上看了几本概率书,没有解决那些根本上的困惑,因此不重视,只是最后考试之前突击,考试之后就忘掉了。以至于后来谁要是问我半点跟概率有关的问题,我都得明确地回答他:"概率统计忘掉了。"

这次经朋友推荐,读了陈希孺的《概率论与数理统计》,忽然就觉得理解了很多,甚至茅塞顿开的感觉,关键原因在于,他不是简单地介绍概念罗列公式和定理,而是重在揭示这些东西背后的概率统计思想。这让我不禁感慨,自从初学概率到现在七八年,今天才开始入门!曾经觉得概率统计无非是其它更基础数学分支推演出来的东西,今天才理解,概率的思想绝不是任何其它数学部分所蕴涵的。以数学的角度看统计,只能看到一个逻辑框架,是概率语言的语法,但真正核心的东西,是思想,是语义。难怪很多学校的统计学要独立设置成一个专业。

但是毕竟它是为非数学系准备的入门书籍,讲述道理虽然深入浅出,但涉及到一些基本概念就缺乏一种深刻性,比如概率的确切定义,概率在什么样的样本集上可以定义,试验、事件、基本事件在数学上如何表述,这些内容都无法解释清楚。这就还需要一本数学系用书作为补充。大学时看过李贤平的《概率论基础》,那时是第二版,我对它第二版的表述印象不好,最近找到第三版,发现改进了许多。因此这一系列笔记就是以这两本书为基础。

这么多年学习数学,一个最深的体会,就是学习新东西就像盲人进入一间陌生的屋子,别人能间接告诉你哪个东西在哪里,什么样子,这样你也无法熟悉屋子里的一切。只有你自己摸索一番,自己勾勒出屋子的全貌,你才能在这个屋子里行动自如。所以,最好的方法还是自己构建知识体系。