关于概率的定义

概率,是研究不确定的事物,而数学的特点是精确,用数学的方法研究概率,就是给不确定性以精确的描述,这两种特性的矛盾在我初学概率的时候给我提出了很多的疑问。

比如,某件事发生的概率是1/2,到底应该怎样理解,应该怎样定义这个概率?如果说,概率是实验次数无限增大时频率的极限,那么由于每次实验结果都是随机的,你如何证明这种极限的存在性?如果经过大量次数的实验,此事发生的频率总是接近1/2,那也无法精确地定义它的概率就是1/2,因为你无法确定它不是别的与1/2很接近的数,比如501/1000。如果说,概率是所有可能结果中,此结果所占的比例,那问题又有了,如何确定所有结果中,每一个都是等可能的?另外,你如何知道经过很多次试验它的频率就一定接近于这个比例呢?

上面讨论的问题分两类,一类是古典概率中等可能性的确定,一类是概率定义的严格化。下面分别讨论这两个问题。

一、古典概率中等可能性的确定

在古典概率中,抛一枚硬币,出现正反两面有相同的可能性,那么抛两枚硬币,可能出现的结果有正正、正反、反正、反反四种结果。这四种结果也是等可能的。但是,抛两枚硬币结果的等可能性,是否依赖于抛一枚硬币结果的等可能性?也就是说,只有在抛每一枚硬币时,出现每一面的机会均等的时候,才能保证抛两枚硬币时四种结果是等可能的。从直观上这样想是合理的,但是如果可以从理论上推导出这种蕴含关系不是更好吗?
如果上面这个问题从直观上不得不接受,那么下面这个问题就稍微难接受一些:将三个不同的球随机地抽取出来进行排列,共六种排列方法,这六种方法等可能。为什么?因为假定每次抽取球的时候都是从剩下的球堆里随机地抽取。但是,每一步抽取,剩下的球都少一只,也就意味着下一次抽取时,已被抽出的球没有可能再次被抽取,而剩下的球每一颗被抽到的概率都增大了。这样就造成了每颗球处境的不同,也意味着每一次抽球的情况都有变化。但是为什么最后的结果是平等的呢?
再如,陈希孺《概率论与数理统计》例1.1分赌注问题,甲胜两局乙胜一局,如果接下来一局甲又胜,那么没必要再赌一局,这样,继续比赛的结果就应该是三种:甲,乙甲,乙乙。为什么不是三种结果等可能?
在n个不同的数之中随机可重复地取出r个数进行组合,共有 \binom{n+r-1}{r} 种方式,那么每一种方式是等可能的吗?比如,在1,2两个数中随机可重复抽取两个做组合,共三种可能:{1,2}, {1,1}, {2,2}。那么出现 {1,2} 的概率是1/3吗?仔细分析可知这是错的,组合 {1,2} 出现的概率应是1/2,另外两种组合的概率各是1/4。

可见,第一,等可能性绝不是自然就成立的,需要进行分析;第二,多次试验的复合结果的等可能性应该蕴含在每次试验结果的等可能中,应该由后者推出前者。

推导可重复排列或不重复排列各个结果之间的等可能性可以用概率的乘法公式:

P(A_1A_2\dots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)\dots P(A_n|A_1\dots A_{n-1})

这个公式的解释是,一个由 n 个事件组合而成的事件,它的概率等于第一个事件的概率乘以第二个事件在第一个事件出现时的条件概率,再乘以第三个事件在前两个事件出现是的条件概率,等等。具体应用到抛 n 个硬币和排列 n 个球的问题中:
在抛硬币时,假设各次试验之间毫无影响,那么每次试验出现正或反的概率为 1/2。因此,第 i 次出现正或反的概率是 1/2,那么抛 n 枚硬币出现每一个组合结果的概率为

P(A_1A_2\dots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)\dots P(A_n|A_1\dots A_{n-1})=(\frac{1}{2})^n

在排列小球问题中,容易算出

P(A_i|A_1A_2\dots A_{i-1})=\frac{1}{i}

因此出现每一种结果的概率自然是  1/n!
分赌注享问题中也可以这样详细讨论。
在可重复排列中,因为步骤的顺序不重要,不能用这个公式计算每种结果的概率。但是,我们可以这样算:比如,三个数 1,2,3 中可重复抽取三次,组合成 {1,1,2} 的概率,首先,需要三次中抽出两次 1,其概率为  \binom{3}{2}(\frac{1}{3})^2\frac{2}{3} 。在这个事件出现的情况下,再计算有一次抽取 2 的概率,因为三次中两次抽了1,只剩下一次,可能抽取2或3,各有 1/2 的可能性,所以最后结果为这两个概率的乘积,即 1/9。这与下面的方法计算结果是一样的:n 个数可重复取 r 个排列的方法数为 n^r,在某种组合中假设共出现 k1 次 1,k2 次 2,... kn 次 n ( ki=0,1,2,...,r 且 k1+k2+...+kn=r),那么出现这种组合的方法数为

\frac{r!}{k_1!k_2!\dots k_n!}

故出现这种组合的概率为

\frac{r!}{n^r k_1!k_2!\dots k_n!}

可见这个问题中的等可能性是藏在排列中的。

二、概率的严格定义

频率的稳定性表明,大量的不确定事件中可以蕴含一种确定性。概率就是刻画这种不确定当中的确定性。概,就是大概,概率就是刻画可能性的大小,就是在大量重复试验中我们可以期待某种结果出现的大致比例。首先,它作为一个数学概念,必须要有一个严格的定义,必须要知道到底哪一个数可以作为某件事的概率。但是,任何有限次试验,某种事件出现的频率只能在某个范围内波动,并不是完全固定的,这样就给以频率定义概率带来麻烦。所以,在数学上,采取的是迂回定义的方式,既首先给概率一个精确的定义,给每一个事件按某种方式赋予一个数值,然后证明,在大量重复试验下,事件出现的频率按某种方式接近这个数值。至于这个频率最终总是接近于概率的问题,会在后续关于大数定理的讨论中加以分析。

另,读了两章第三版的《概率论基础》,还是觉得这本书的表述更严谨,例子又多,例子组织得更好,又有一本配套的学习指导,尤其是其中的教学札记讲述得很精彩,所以决定还是以这本书为基础去讨论问题。但是不可否认的是陈希孺的书中对概念的直观阐述也很有启发性,比如第一章习题中针对条件概率的一些问题,将是下一篇文章的主题之一。

一端有吸收壁的随机游动

在李贤平《概率论基础》第三版,第88页起,讨论了直线上两种情况的随机游动:无限制随机游动和两端带有吸收壁的随机游动。在 0 和 a+b 处带有吸收壁的随机游动中,质点每次向正或负方向移动的概率分别为 p 和 q,那么初始位置在 a 点的质点最终被 0 处吸收壁吸住的概率:
p=q=\frac{1}{2} 时,为

\frac{b}{a+b}


p\not=q 时,为

\frac{(\frac{q}{p})^a-(\frac{q}{p})^{a+b}}{1-(\frac{q}{p})^{a+b}}

那么,还剩下一种情况没有讨论,就是只在 0 点处放置吸收壁,在另一端无限制,然后讨论质点被吸收壁吸住的概率。

一种可能的思路是,在上面两端吸收壁的结果中,令 b \to +\infty,从而得到以下结果:
p=q=\frac{1}{2} 时,被吸收的概率为1;当 q>p 时,结果也是1;当 q<p 时,结果为  (\frac{q}{p})^a。 但是,这种方法可能引起我们的担心,因为,我们求得两端吸壁的结果时,所列差分方程的的解依赖于 0 和 a+b 处给出的初值,而现在,b被无穷大代替,而无穷大又不是个具体的数,你不能说,质点在无穷大处怎样。 可以如下解释这个疑问:首先,将吸壁由 b 点移动到 b+1,则质点若被 b+1 处吸壁吸收,必首先经过 b 点,也就是质点被b+1 处吸收,这个事件蕴含质点被 b 吸收,那么它的概率就应该变小,从而质点被 0 点吸收的概率就是增大的。当只有0点有吸壁时,质点被0点吸收的概率就应该大于所有两端有吸壁的情况,因此是上面算式的极限情况。 这样说还是有些牵强。如果我们借鉴书上的处理方式,我们也可以列出差分方程来: 记 p_n 为质点初始位置为 n 时,其被 0 处吸壁吸住的概率。则显然 p_0=1。 如果质点在 n+1 处,那么它要经过两步才能被吸收:首先要经过一系列游走到达 n,由于另一端一直到无穷远处都无障碍,这个过程和它从 1 点到达 0 点而被吸收的过程没什么两样,因此它发生的概率为 p_1;之后要从 n 点到达 0 点被吸收,它的概率为 p_n。因此,有

p_{n+1}=p_1p_n

p_n={p_1}^n

接下来求 p_1。注意到书上列的差分方程

p_n=pp_{n+1}+qp_{n-1}

在这里依然有效,将上面 p_n 代入,得到

p_1=p{p_1}^2+q

求得 p_1=1p_1=\frac{q}{p}。 当 p=q=\frac{1}{2} 时,p_n=1;当 q>p 时,由于概率不可能大于1,故同样有 p_n=1;当 q<p 时,结果为  p_n=(\frac{q}{p})^n。 这个结果与上面取极限的结果一致。 对应于赌徒输光理论,如果对方有用不完的赌注,则当你的赌技没有对方高,或者你们两人旗鼓相当的时候,你的赌注必定全输光;而即使你的赌技比对方高,你仍有一定的几率输光赌注。但是,你也有机会赢得任意多的钱,只要你有足够的本。

概率论与数理统计笔记(前言)

虽然大学毕业之后做了很多和数学不相干的工作,但是正如我的留学动机信中所说,从高中到大学几年的训练,数学已经成为了一种母语,在我做过的所有事情,学过的所有东西当中,我还是更习惯于处理数学问题,只要有一问题可思考,随手弄来纸笔,画下一些公式图形,思维就处于"放松的活跃状态"。其它诸如编程,文本,语言学之类,都是后来习得,做起来多少有些"说外语,无法淋漓尽致"的感觉。因此,两年前就决定来留学。

这次决定更深入地了解一些数学的应用,不论是在经济金融等社会科学中,还是在工程技术中,概率统计是绕不过去的。正好来年需要,就趁这个假期好好温习一下。

大学学概率的时候我正忙着追问数学基础,总感觉如果不把数学的逻辑基础弄清楚,平时的推理都担惊受怕。对于概率,一是遇到了贝特朗奇论无法理解,对它的准确性产生怀疑,二是初学概率时总感觉它要么是高中排列组合的延伸,要么是测度论的应用,总之暂且放下对我的数学基础考察也没什么要紧。再加上看了几本概率书,没有解决那些根本上的困惑,因此不重视,只是最后考试之前突击,考试之后就忘掉了。以至于后来谁要是问我半点跟概率有关的问题,我都得明确地回答他:"概率统计忘掉了。"

这次经朋友推荐,读了陈希孺的《概率论与数理统计》,忽然就觉得理解了很多,甚至茅塞顿开的感觉,关键原因在于,他不是简单地介绍概念罗列公式和定理,而是重在揭示这些东西背后的概率统计思想。这让我不禁感慨,自从初学概率到现在七八年,今天才开始入门!曾经觉得概率统计无非是其它更基础数学分支推演出来的东西,今天才理解,概率的思想绝不是任何其它数学部分所蕴涵的。以数学的角度看统计,只能看到一个逻辑框架,是概率语言的语法,但真正核心的东西,是思想,是语义。难怪很多学校的统计学要独立设置成一个专业。

但是毕竟它是为非数学系准备的入门书籍,讲述道理虽然深入浅出,但涉及到一些基本概念就缺乏一种深刻性,比如概率的确切定义,概率在什么样的样本集上可以定义,试验、事件、基本事件在数学上如何表述,这些内容都无法解释清楚。这就还需要一本数学系用书作为补充。大学时看过李贤平的《概率论基础》,那时是第二版,我对它第二版的表述印象不好,最近找到第三版,发现改进了许多。因此这一系列笔记就是以这两本书为基础。

这么多年学习数学,一个最深的体会,就是学习新东西就像盲人进入一间陌生的屋子,别人能间接告诉你哪个东西在哪里,什么样子,这样你也无法熟悉屋子里的一切。只有你自己摸索一番,自己勾勒出屋子的全貌,你才能在这个屋子里行动自如。所以,最好的方法还是自己构建知识体系。

新空间,新开始

为了学习法语,这个博客自从两年多以前就一直没怎么动过,当然数学方面也一直没怎么长进,原来在这里写下的计划也一直停滞不前。现在,因为我要继续上数学方面的硕士,我觉得还是有必要纪录这方面的东西。

原来的那个72松站点在我没有预知的情况下就消失了,不过好在我以前写的文章都保存住了,只是损失了2011年之后的部分评论。我后来有试图把博客建立在wordpress.com,但那里的环境跟以前不一样,尤其是 latex 环境,好多公式都显示不出来,它还无法自己配置插件。因此我还是下决心自己弄个个人空间自己搭建个平台。经过两天的奋战,这里终于和以前一样了。

因为在导入文章的时候 latex 公式里所有的反斜杠 \ 都不见了,所以有些文章我是重新手动添加的 \ 。有些地方难免会遗漏或弄错。如果您觉得某个公式看上去不正确,很可能就是这个原因,请在评论中指出,谢谢。