作者 | 刘嘉
你好,欢迎来到我的概率论课。我是刘嘉。
上一模块,我们重点讲了概率论的四块基石——随机、概率、独立性和概率计算,也了解了概率度量的三种方式——定义法、频率法和迭代法。现在,我们对概率论这座大厦已经有了基本的认知。
从这一讲开始,我们进入课程的第二模块,我会详细讲讲上面度量概率的第二种方法——频率法,也就是利用频率度量概率。
频率法非常重要,不仅囊括了概率论中最重要的结论,还是现代统计学的基础,所以请认真学习这一讲。
概率就是对发生频率的计算
关于频率法,前面讲度量概率的三种方法的时候大概讲过,我再带你复习一遍。
要理解频率法,我们得先理解“频率”这个词。这很好理解。频率,就是某个随机事件在整体事件中出现的比例。一个随机事件出现的次数除以整体事件的次数,得到的值就是这个随机事件发生的频率。
频率法就认为,在有足够多的数据的情况下,随机事件发生的频率会无限接近它真实的概率。
比如,很多人认为飞机是一种危险的交通工具,到底有多危险呢?衡量飞机的危险性,最直接的方法就是计算失事率嘛。我们用过去这么多年飞机失事的次数,除以飞机总的飞行次数,得出的就是飞机失事的频率。频率法认为,这个飞机失事的频率,就是未来飞机失事的概率。
再比如,要预测江苏考生明年高考考上清华大学的概率。我们把历史的数据收集来,对于每一年来说,用清华大学在江苏省的录取人数,除以那一年整个江苏省的考生人数,就是那一年的录取率。把最近几年的录取率平均一下,就可以大致得出一名江苏考生明年高考考上清华的概率。
总之,在频率法的眼中,概率是可以靠随机事件发生的频率来计算出的。
进一步说,频率法理解这个世界的底层逻辑是,一个随机事件的发生,是存在一个真实的、客观的概率的。只要我们做的试验足够多,或者掌握的数据足够多,计算出来随机事件发生的频率,就是可以无限接近这个真实的、客观的概率。
频率法在试验上被验证
说起来似乎很好理解,就是当数据足够多时,一件事发生的概率可以用它发生的频率来度量。但不知道你有没有这样的疑问:概率和频率压根不是一个东西,完完全全的俩概念。我们用频率来度量概率,真的靠谱吗?
好问题。我们不妨做试验检验一下。把定义法中常见的抛硬币的例子放到频率法中,去检验一下频率法是否真的可行。
我们知道,在定义法中,硬币正面朝上的概率是50%。假设现在我们不知道50%这个事情,我就抛硬币,正面朝上的频率是不是真的也是50%呢?
要不,你跟着我一起抛硬币试试?
我抛一次,结果正面朝上。正面朝上的次数除以抛硬币的总次数,结果是100%,和50%差得太远了。这样可以吗?好像不行。这就是单独的一次随机事件,好像还谈不上频率,频率总要多抛几次。
那我们来抛10次。我刚刚抛出7次正面、3次反面,正面朝上的频率是70%,那正面出现的概率就是70%吗?这离50%还是差得有点远。能用抛了10次的这个频率,来度量硬币正面朝上的概率吗?看来还是不行。不过好像和只抛一次相比,离50%近一些了。要不我们再多抛几次?
其实,不用我们再抛了。这个世界,有很多数学家抛了几千几万次硬币,并把结果记录了下来。结果显示,当抛了成千上万次后,硬币正面朝上的频率确实会非常接近于50%。也就是说,大量的试验证明,频率法是靠谱的。
他们枯燥的、一次又一次地抛硬币,并记录结果,就是为了验证频率法和定义法,并给这些所谓的“显而易见的结论”建立信心。每当看到这些乏味的数字的记录,我都能鲜活地感受到他们对探索这个世界的满满的热情。
频率法在数学上被证明
当然,抛去这种对他们热情的感动,以数学的视角来看,试验结果再怎么和我们的猜测一致,也仅仅是经验,它怎么就能证明频率法一定正确呢?
我们抛几千、几万次是这样,但会不会是有特殊情况没有遇到呢?万一抛几十万、几百万次就不是这样了呢?退一步说,就算频率法对抛硬币有效,它对其他随机事件的概率也有效吗?
这可不行。数学要的不是经验,而是完完全全的证明。数学和很多学科最大的差异,也正在于此。
你兴致勃勃地说你用10000个试验验证了你的猜测,数学家往往会很冷静的杠一句:“你能证明吗?”
比如,你观察到“两点之间直线最短”,但你能保证所有的两点之间,都是直线的距离最短吗?这些问题靠有限的试验回答不了,而只能靠证明,靠逻辑推演。数学证明才是数学意义上的确信。现在你大概明白,为什么数学皇冠上的明珠往往都是对那些伟大猜想的证明了吧?比如哥德巴赫猜想、黎曼猜想等。
当我们通过试验验证了频率法可行之后,一众数学家就出场了,他们确实通过数学上的证明,彻底证实了这个结论。
其中,第一个对频率和概率这个关系进行证明的,是雅各布·伯努利,一个十七世纪的瑞士数学家,也是那个时代最有才华的数学家之一。
记住这个名字,雅各布·伯努利,他花了20年的时间,证明了这个“不言自明”或者说“显而易见”的结论——随着试验数据不断累积,频率和概率的差距会越来越小。也就是说,只要重复的试验或者观测的数据足够多,随机事件发生的频率就会无限接近它的概率。这就是我们现在常说的“大数定律”。
证明过程我就不讲了,你需要知道的是:正因为在数学上证明了大数定律,我们才从根本上确认了用频率度量概率是合理的。换句话说,频率法是确定靠谱的。
再深入一点,大数定律也证明了:在相同环境、重复试验的条件下,用历史数据预测未来是可行的,也是合理的。这就是统计学的根基,也是很多使用统计学方法进行研究的学科的根基。
所以你看,大数定律是不是很重要?当年雅各布也意识到自己的证明很重要,所以将它称之为“黄金定理”。
“足够多”到底是多少
如果你认真听肯定会发现,我在说大数定律的时候,都会加一句限定——“重复的次数足够多、积累的数据足够多”。可问题是,“足够多”到底是多少呢?
事实上,大数定律是一个数学上“无限”的概念,类似于“无穷大”“无穷小”,是永远也无法触达的。在现实中,无限,臣妾真的做不到啊。
所以,为了让这么有用的大数定律在现实中真正发挥作用,就必须做一些限制条件,让需要重复的次数,或者采集的数据量变成有限的。
对于这个问题,数学家专门设置了两个概念:一个叫“精度误差”,另一个叫“置信度”。听着很高大上,但我一解释你就能明白。
大数定律告诉我们,数据或者试验越多,频率就会越接近概率。当然,只是接近,在真实概率上下浮动。这种浮动的范围就是“精度误差”。比如,前面那些数学家们抛硬币的结果,并不是刚好等于理想的50%,这个和理想值之间的差距,就是精度误差。假如你抛出正面朝上的频率是在47%-53%之间,那么精度误差就是+-3%。
针对这+-3%的误差率,我做100组试验,或者统计学上叫100组样本,如果有95组样本算出来的频率,正好在这个精度误差的范围之内,我们就称之为95%的“置信度”。
你现在不理解也没有关系,这两个都是统计学的概念。你只需要理解一点——通过这两个限定,容忍一定错误的发生,我们在用频率度量概率时,可以大幅减少试验的次数或者采集的数据量。
比如,99.9%的置信度和2%的精度误差,就可以把重复的次数从无限降低到7000次左右;如果把置信度下降到95%,重复次数可以降低到2500次左右;如果再放宽点标准,把精度误差从2%变成3%,试验次数可以下降到1000次左右。
今天,95%的置信度已经成为许多学科,比如经济学和医学的实际参考标准。民意调查也常常将95%的置信度和3%的精度误差结合在一起,选择调查人数。本质原因就是我们刚才说的,在保证实用性,也就是概率相对准确的情况下,大幅度降低试验或者样本采集的数量。
你看,当我们试图通过频率来测量概率的时候,数学上完全理想的效果是无法达到的。我们必须在保证概率的精度,和减少工作量之间进行取舍。
现实中,几乎所有的数据调查和统计结果,一方面,都是基于用频率来测量概率这个底层逻辑;另一方面,也都要进行相应程度的妥协。
划重点
1.频率法认为,概率就是对发生频率的计算。只要试验数量或者观测数据足够多,随机事件发生的频率就会接近它的概率。
2.大数定律不是基于试验的归纳,而是经过了严格的数学证明。
3.现实中使用频率法,往往无法获得无限多的数据,所以需要增加一些限定条件,来降低需要的数据量。
这一讲的思考题是:你最近遇到过要用频率度量的概率问题吗?这些度量有标注限定条件吗?
欢迎把你的想法写在留言区。
下节预告
下一讲,我们来详细看看大数定律这个概率论中的黄金定理。
我是刘嘉,我们下一讲再见。