概率論,不只是數(shù)學(xué)作業(yè)中投骰子的問題,而是切實(shí)可以預(yù)測未來的東西,指導(dǎo)我們應(yīng)對諸如災(zāi)難預(yù)警、疾病檢測等現(xiàn)實(shí)問題——它就是數(shù)學(xué)家手中的水晶球。本文譯自紐約市立大學(xué)約克學(xué)院數(shù)學(xué)與計(jì)算機(jī)系榮譽(yù)教授Joseph Malkevitch所撰寫Mathematics and Crystal Balls一文,將分為兩篇推送。
撰文 | Joseph Malkevitch (紐約市立大學(xué)約克學(xué)院數(shù)學(xué)與計(jì)算機(jī)系榮譽(yù)教授)
編譯 | 施昊
人們都想希望能夠預(yù)見未來,比如想知道明天的天氣如何;想知道我們是否為自己將來的退休生活儲備了足夠的積蓄;想知道我們與朋友的友誼將如何發(fā)展;或者是知道在大學(xué)里學(xué)什么課程能夠給我們帶來快樂。事實(shí)上,使用數(shù)學(xué)工具可能會比用水晶球更有效的預(yù)測未來。我們都喜歡歲月安好,并盡可能避免不愉快的時(shí)光。然而,人們做的每一件事都可能產(chǎn)生負(fù)面結(jié)果,因此我們一直在尋找一些方法來規(guī)避這些風(fēng)險(xiǎn)。而數(shù)學(xué)往往能幫助我們。
水晶球丨圖片來源:iStock
災(zāi)難預(yù)測帶來的麻煩
對于那些想過上“無憂無慮”生活的人來說,很少有地方不會遭受“外界”危險(xiǎn)的侵襲。比如說,在美國,一些地區(qū)容易遭受龍卷風(fēng)、大雪侵襲;其他地方有洪災(zāi)、颶風(fēng),和地震等災(zāi)害。在這些由于“大自然的行為”導(dǎo)致受災(zāi)的地區(qū),如果我們能夠作出災(zāi)難預(yù)測,使得沒有人員傷亡,財(cái)產(chǎn)損失降到最小,那就太好了。如今,人們已經(jīng)開發(fā)了一些數(shù)學(xué)模型以協(xié)助處理各類自然災(zāi)害。我們所依賴的最常見的預(yù)測模型就是越來越準(zhǔn)確的一周天氣預(yù)報(bào)。這些預(yù)報(bào)是科學(xué)家基于衛(wèi)星、陸基監(jiān)測以及傳感器系統(tǒng)的數(shù)據(jù)給出的。另一方面,這些預(yù)測還依賴于以偏微分方程理論和求解這些方程的數(shù)值方法為基礎(chǔ)建立的大氣模型——計(jì)算能力和理論的突飛猛進(jìn)使這些報(bào)告更加可靠。
一個有趣例子發(fā)生在2009年的意大利。一群意大利地質(zhì)學(xué)家和一個政府官員,因被指控未能對2009年意大利拉奎拉地震給出恰當(dāng)?shù)木娑艿搅藢徟校舜蔚卣鹪斐?09人死亡。世界各地的地質(zhì)學(xué)家憂心忡忡,他們理解,盡管在試圖預(yù)警方面的技術(shù)我們?nèi)〉昧撕艽蟮倪M(jìn)步,但是預(yù)測,得到的僅僅是有概率發(fā)生而非確定發(fā)生。經(jīng)過審判,7人被判犯有過失殺人罪,處以六年徒刑。讓全世界科學(xué)家長舒一口氣的是,在2014年,上訴法院釋放了這些地質(zhì)學(xué)家,并為政府官員減刑。但是那些死者的親屬還是在法庭上譴責(zé)政府為自己脫罪的行為。
拉奎拉地震,當(dāng)?shù)卣k公室也被毀壞丨圖片來源:wiki
當(dāng)一個大風(fēng)暴來臨時(shí),天氣預(yù)報(bào)員如果沒能夠?qū)撛谖kU(xiǎn)發(fā)出足夠嚴(yán)重的警告,他們應(yīng)該受到指責(zé)嗎?有時(shí)候因?yàn)轭A(yù)報(bào)原因,可能被大風(fēng)暴破壞的運(yùn)輸系統(tǒng)被搶先關(guān)閉,這會給許多人造成了巨大的后勤和經(jīng)濟(jì)問題。如果風(fēng)暴沒有如期而至——這樣的事情時(shí)有發(fā)生,對于許多人來說反而是略有失落的。但反過來說,當(dāng)人們可能獲救的時(shí)候,有些人反應(yīng)不夠強(qiáng)烈,這就涉及到“意大利地震”事件中的問題。當(dāng)然了,與天氣預(yù)報(bào)相比,地震的預(yù)測要落后太多了。
另一個例子是傳染病。有些傳染?。ɡ缌鞲校磕甓紩餍校灿兄芷谛缘膸啄炅餍幸淮?。對于小孩來說,得了百日咳或者麻疹可能會導(dǎo)致死亡;而對于老人來說,他們不知道年輕時(shí)接種的一些疫苗還是否有效。此外,如果這時(shí)流感出現(xiàn),老年人可能會受更嚴(yán)重的影響。因?yàn)檩^于年輕人得了流感可能沒有大礙,可老人得了流感會導(dǎo)致肺炎或者患上其他危及生命的疾病。那么,父母應(yīng)該給孩子接種疫苗嗎?老人們應(yīng)該接種流感疫苗嗎?
雖然一些人有過敏反應(yīng),但是從長期的疫苗接種史來看,疫苗極大的延長了人們的壽命,改善了生活的質(zhì)量。
風(fēng)險(xiǎn)行為
最近,美國強(qiáng)力球(Power Ball)彩票推出了16億美元的驚人巨獎!從業(yè)者對彩票和賭場賭博有信心的一個重大原因是,數(shù)學(xué)告訴他們只要有很多的消費(fèi)者,這些“產(chǎn)業(yè)”就會蓬勃發(fā)展。如果一個人擁有一個能幫助他選擇正確彩票的水晶球,他會賺得盆滿缽滿。
無論是作為個人還是團(tuán)體的一部分,思考未來時(shí),人們總是對未來抱有期望——有時(shí)候是美好的期望,有時(shí)候則顯得不那么吸引人。對于理解未來能帶給我們什么,數(shù)學(xué)的一個貢獻(xiàn)就在于帶來了“期望值(expected value)”的概念。當(dāng)時(shí)數(shù)學(xué)家們使用這一術(shù)語時(shí),他們腦中有一個極其精確的定義,但這個定義有許多微妙之處。人們對未來感到緊張的一個原因是他們不確定將來會發(fā)生什么。未來涉及隨機(jī)性和概率(chance,danomness,stochasticness, probability)。為了理解期望值的含義,我們首先要談一下概率論。
我們經(jīng)常會聽到類似如下關(guān)于未來的表達(dá):
下雨的概率70%;
這個地點(diǎn)再次發(fā)生地震的概率是一百萬分之一;
拋一對均勻的骰子,兩個骰子的點(diǎn)數(shù)之和等于7的可能性是1/6;
這種陳述是什么意思呢?要回答這個問題,我們不得不回到數(shù)學(xué)的兩大支柱——基礎(chǔ)數(shù)學(xué)和應(yīng)用數(shù)學(xué)。基礎(chǔ)數(shù)學(xué)建立了基于定義和公理(規(guī)則系統(tǒng))的思想和概念體系,然后從這些構(gòu)造中推導(dǎo)出數(shù)學(xué)事實(shí)和定理。應(yīng)用數(shù)學(xué)則采用這些數(shù)學(xué)并試圖用它們來洞察世界。后文我將嘗試以相對非正式的方式進(jìn)行講述,盡量避免“繁瑣”的數(shù)學(xué)符號和“正式”的定義。
首先,概率既適用于有限結(jié)果的定義域上,也能被用在無窮的結(jié)果的定義域上。為了能夠幫助理解這句話,這里有不同的例子來解釋。比如有限結(jié)果的定義域:
蘇珊女士想要一對雙胞胎,她的孩子出生順序一共有四種可能——兩個男孩先后出生;兩個女孩先后出生;先是女孩后是男孩;先是男孩后是女孩。我們只考慮這四種可能順序。
對于無窮的結(jié)果定義域,例如,我們可能會捕到一條正在去美國西部某條河流產(chǎn)卵的鮭魚,并對這條鮭魚進(jìn)行稱重。稱重的可能結(jié)果是鮭魚所能達(dá)到的體重范圍之間的一個實(shí)數(shù)——可能是無窮多個重量中的一個。
從數(shù)學(xué)的角度來看,我們能夠模擬這些可能性,通過想象從某個“實(shí)驗(yàn)”或者實(shí)際觀察的結(jié)果組成集合M。集合M可以是有限的,也可以是無窮的。對于有限結(jié)果集合M中的每一個結(jié)果m,我們將會分配一個實(shí)數(shù)給它,稱為結(jié)果m的概率,記作P(m)。這些實(shí)數(shù)不能以完全任意的方式分配,它們必須遵循特定的屬性或公理:
A:P(m)的取值范圍在0到1之間,包括0和1。
B:所有在M中m對應(yīng)的P(m)的和,加起來要等于1。
請注意,如果m出現(xiàn)的概率是P(m),那么互補(bǔ)事件m’ 的概率,即m將不發(fā)生的概率是1-P(m)。也就是說,如果硬幣可以是正面或反面,反面的概率是2/5,那么正面的概率是3/5。
另外,因?yàn)槲覀冎挥杏邢薜慕Y(jié)果,所以我們不需要任何與極限(微積分)有關(guān)的想法來做計(jì)算。
對于有無窮結(jié)果的集合M,我們要求上文列出來的兩個條件依舊成立。如果在P(m)中存在最小的值,對于所有的結(jié)果而言,他們的概率和就不可能是1了。因?yàn)闊o論多么小的有限數(shù),相加無限次,總會有一個大于1的和。因此,處理無窮集合上的概率有其他的精妙之法。
但值得注意的是,我們能夠找到一個無窮集合,在這個無窮集合上每個單獨(dú)事件結(jié)果的概率可以是非零的。這是可行的,因?yàn)榇嬖跓o窮的正數(shù)數(shù)列,數(shù)列總和是1。
當(dāng)我們在使用數(shù)學(xué)時(shí),我們必須將數(shù)學(xué)概念從一個混沌的、未有定義的術(shù)語與公理的世界中抽離,并闡釋它們的意義。
如果給出一個數(shù)據(jù)集,比如說30天內(nèi)你的體重(可能是每天早上同一時(shí)間測量的)。人們往往會觀察這些數(shù)字的波動——這些數(shù)大概不會相同。如果你想要了解這些數(shù)字的“規(guī)律”,一個方法就是去計(jì)算一些典型值,如“平均值”,這是一個非常具有吸引力的數(shù)。平均值通常是把所有的數(shù)值加起來除以試驗(yàn)的次數(shù)而得的。
使用單個數(shù)字來代表一個龐大的數(shù)據(jù)集的問題在于,表達(dá)不同東西的數(shù)字集往往會有相同的單個數(shù)字作為它們的代表。比如5,5,5,5,5,5的平均值是5,而 -3,-3,-3,13,13,13的平均值也是5。在科學(xué)和統(tǒng)計(jì)學(xué)中使用數(shù)字的早期發(fā)展之一是,人們認(rèn)識到,多次“獨(dú)立”地測量同一數(shù)字可能比一次只測量一個數(shù)字更可靠。由于測量裝置和“人為”過程,無論如何,測量都不可避免地產(chǎn)生一些誤差,但是人們可以使測量盡可能可靠。
與隨機(jī)值的均值相似的是一個叫“期望值”的量。假設(shè)在某個游戲中,你有3/10的機(jī)會贏3美元,7/10的機(jī)會贏4美元。通過將結(jié)果與結(jié)果的概率進(jìn)行加權(quán),你可以看到如果你玩這樣的游戲?qū)捌骄壁A得多少錢。在上述情形下,期望值是你3/10的時(shí)間中你會得到3美元,7/10的時(shí)間中你會得到4美元,因此
期望值= 3(3/10)+ 4(7/10)= (9/10)+ (28/10)= 37/10 = 3.70。
如果你需要支付3.75美元才能玩這個游戲,那么平均每玩一次,你就會損失5分錢。在你贏了3美元的時(shí)候,你其實(shí)損失了75美分;而贏了4美元的時(shí)候你才會賺取25美分。但是因?yàn)檩斱A的頻率不同,結(jié)果的概率不一樣,你平均會損失5美分。注意,3.70不是游戲的結(jié)果,也不是概率。
條件概率
有時(shí), “實(shí)驗(yàn)”的實(shí)施方式會影響事件發(fā)生的概率。
盒內(nèi)有兩個黑球和兩個白球,考慮以下兩種不同的方案::
方案A: 攪動盒子,打亂球。從盒子中選擇一個球,然后放回第一個球,繼續(xù)攪動,取出第二個球。
方案B: 攪動盒子,打亂球。從盒子里選出第一個球,緊接著選出第二個球。
毫無疑問,你拿到兩個黑球的概率取決于你用了哪一種方案。在方案B中,如果你第一個抽出來是白球,那根本不可能拿到兩個黑球。
對于方案A,你只有在第一次抽到黑球,并且第二次抽到的也是黑球時(shí),你才能拿到兩個黑球。因此抽到BB(B代表你抽到了黑球)的概率可以通過計(jì)算P(BB)=(1/2)(1/2)=1/4。而在方案B中計(jì)算抽到兩個黑球的概率,我們需要分析情況:
第一個抽到的球是黑色,第二球也是黑色。因此第一個球是黑色的可能性是2/4=1/2?,F(xiàn)在既然還剩下3個球:兩個白球,一個黑球。黑球被抽到的可能性是1/3??紤]到這一點(diǎn),我們可以看到兩個黑色球被抽出的概率是(1/2)(1/3)= 1/6。
這個簡單的問題與概率論中最基礎(chǔ)卻又最精妙的問題有關(guān),即條件概率。這個概念可以追溯到研究隨機(jī)性的最早時(shí)期。如果我們用現(xiàn)代符號來表示,P(A|B)表示在B發(fā)生的情況下A發(fā)生的概率。舉個例子,當(dāng)我們從盒子中取出兩個球,給定第一個球是白色的,那么第二個球是黑色的概率就是2/3。我們也可以把P(A|B)看成是P(A∩B)/P(B) = P(第一個球是黑的,第二個球是黑的)/(P(第二個球是黑的)=(1/3)/(1/2)=2/3
如何“定義”或考慮P(X|Y)的值?換句話說,我們求的是如果Y發(fā)生了后X發(fā)生的概率,P(X|Y)是X和Y同時(shí)發(fā)生的概率除以Y發(fā)生的概率。注意,在這個計(jì)算中,P(Y)是作為分母的。對于計(jì)算P(Y|X),我們計(jì)算Y和X同時(shí)發(fā)生的概率(與X和Y發(fā)生的概率一樣),但是我們除以的是P(X)。我們是找“X發(fā)生的部分”對“Y和X同時(shí)發(fā)生的”影響。
貝葉斯定理
很多人會混淆P(A|B)和P(B|A) 這兩個條件概率,它們通常不一樣。比如說,如果事件A表示一個藥物測試是陽性,事件B表示病人有這種病。那么患上這種病的病人做藥物測試是陽性的概率,和做藥物測試是陽性的人得這種病的概率,兩者是完全不同的。
醫(yī)學(xué)檢測可能非常準(zhǔn)確,但當(dāng)一種疾病相對罕見時(shí),僅僅因?yàn)闄z測結(jié)果是陽性,這并不意味著這個人一定患有這種疾病。一個例子將有助于揭示相關(guān)問題。
假設(shè)一種疾病(D)非常罕見,一般人群發(fā)病率0.005,表示1000個人中有5個人患這種病。假設(shè)疾病D的診斷測試是驗(yàn)血。當(dāng)人真患有疾病D時(shí),返回一個患有疾病D指標(biāo)陽性的概率是0.99。但是不妙的是,當(dāng)人沒有患疾病D時(shí)候,檢測也可能會出現(xiàn)陽性結(jié)果(即患?。?,概率為0.05,相對較低。注意0.99和0.05不能相加,因?yàn)檫@兩個不是互補(bǔ)事件。
這里面給出了三個不同的數(shù)字,我們將用這些數(shù)字通過一些概率的“法則”推導(dǎo)出一些其他數(shù)字。讓我們引入一些符號來理清思路。符號既有好處也是壞處。這些符號能讓人概念更清楚,因?yàn)橛泻芏嘞嗨频饬x不同的概念。為了區(qū)分它們,必須用到大量的符號。
T表示檢測結(jié)果為陽性的事件,無論人是否患??;
P(D)表示某個人患病的概率;
P(T|D)表示一個人在患病時(shí)檢測為陽性的概率;
P(T|D')表示一個人即使沒有患病也能檢測出陽性的概率;
根據(jù)以上信息,我們可以寫下這三種不同概率的值:
P (D) = 0.005
P (T | D) = 0.99
P(T | D ')= 0.05
當(dāng)檢測結(jié)果為為陽性時(shí),患者很想知道自己患病的幾率,但請注意,答案不是上面給出的數(shù)字之一!不過,我們可以通過概率論來推斷出這個數(shù)字。
除了其他的概率工具之外,我們還將利用一個被稱為貝葉斯定理或貝葉斯公式的“事實(shí)”,這個結(jié)果是由托馬斯·貝葉斯(Thomas Bayes,1702-1761)提出的,但并未在他生前發(fā)表。如今,因?yàn)椤柏惾~斯推理(Bayesian inference)”和“貝葉斯統(tǒng)計(jì)(Bayesian statistics)”等術(shù)語在統(tǒng)計(jì)學(xué)上的應(yīng)用,貝葉斯享有盛名。
托馬斯·貝葉斯
貝葉斯的得出的結(jié)果如下面霓虹所示:
貝葉斯定理丨圖片來源:wiki
盡管我們可能只知道P(B|A),但這個結(jié)果允許我們計(jì)算與問題P(B|A)相關(guān)的其他條件概率。
回到上面的診斷情況,讓我們看看我們能推斷出什么。
首先使用補(bǔ)事件的概念,以及事件和補(bǔ)事件的概率之和為1,我們有:
P(D') = 1-P(D) = 1-.0005 = 0.995 (某人不會患病的概率)
P(T'|D) = 1-P(T|D) = 1-0.99 = 0.01(某人患病但未檢測到陽性的概率)
P(T'|D') = 1-P(T|D') = 1-0.05 = 0.95(某人沒有患病也沒有被檢測出陽性的概率)
現(xiàn)在,讓我們看看一些其他值得關(guān)注的概率。比如,無論是否患上疾病得到陽性反饋的概率,以及無論患病與否得到陰性反饋的概率。得到陽性反饋的概率有兩種方式,一種是患病得到陽性檢測結(jié)果;另外一種是不患病得到陽性檢測結(jié)果。我們可以用符號來表示:
P(T) = P(T|D)P(D) + P(T|D')P(D') = (0.99)(0.005) + (0.05)(0.995) = 0.00495 +0.04975 = 0.0547
P(T ')= P(T ' | D)P(D)+ P(T ' | D ')P(D ')=(0. 01)(0.005)+(0.95)(0.995)=0.9453(這里我們把一個人患病但是沒有檢測陽性的概率,和沒患病也沒有檢測出陽性的概率相加。)
我們需要檢查計(jì)算的正確性。按理說,0.0547+0.9453加起來應(yīng)該等于1,而且確實(shí)相加等于1!可能這些數(shù)字看起有點(diǎn)讓人吃驚——得到陽性檢測結(jié)果的概率相當(dāng)?shù)男。@正恰恰反映了很少人患這種疾病。
然而,到目前為止,我們還沒有得到我們真正感興趣的數(shù)字——如果一個人檢測成陽性,那么他患病的可能性是多少?如果一個人被檢測成陽性他需要感到很害怕嗎?這就是我們需要用到貝葉斯結(jié)果的地方。
P(D|T) = (P(T|D))(P(D))/P(T) = (0.99)(0.005)/(0.0547) = 0.0904936 ≈0.0905
因此,即使測試檢測到這種疾病的概率很高,也只有一小部分檢測陽性的人確實(shí)患病。因?yàn)檫@種病很罕見才導(dǎo)致的這種結(jié)果。通常情況下,疑似患者會做另一個獨(dú)立的測試,看看是否真患病,以免不必要的治療。
貝葉斯的結(jié)果也可以用來得到另外三個條件概率,其中兩個也可以通過使用“一個事件和它的互補(bǔ)事件的概率和為1”這個事實(shí)得到。
P(D ' | T)= 0.9095(檢測陽性而未患病的概率)
P(D ' | T ')= 0.99995(檢測陰性而未患病的概率)
P(D | T ')= 0.00005(檢測陰性而患病的概率)
最后這個數(shù)字可以用貝葉斯的結(jié)果來計(jì)算,如下所示:
P(D | T ')=(P(T ' | D))(P(D))/ P(T ')= 0.01(0.005)/ 0.9453 = 0.00005
是的,盡管這里的符號和計(jì)算紛繁復(fù)雜,但是這些可以幫助病人和他的醫(yī)生正確看待罕見病檢測中得到陽性結(jié)果意味著什么。
(未完待續(xù))
參考文獻(xiàn)
[1] Beniston, M,, From Turbulence to Climate: Numerical Investigations of the Atmosphere with a Hierarchy of Models, Springer, Berlin, 1998.
[2] Daston, L., Classical Probability During the Enlightenment, Princeton U. Press, Princeton, 1988.
[3] Falk, R., and M. Bar-Hillel, Probabilistic dependence between events. The Two-Year College Mathematics Journal. 14 (1983) 240-7.
[4] Falk, R., Conditional probabilities: insights and difficulties. In Proceedings of the Second International Conference on Teaching Statistics 1986, pp 292-297.
[5] Falk, R., Misconceptions of statistical significance. Journal of structural learning. March, 1986.
[6] Gelman, A. and J. Carlin, H. Stern, D. Rubin, Bayesian Data Analysis (2nd edition), Chapman & Hall/CRC, Philadelphia, 2003
[7] Hacking, I., The Emergence of Probability, Cambridge U. Press, New York, 2006.
[8] Hald, A., A History of Mathematical Statistics from 1750 to 1930, Wiley, New York, 1998.
[9] Hald, A., A History of Probability and Statistics and Their Applications Before 1750., Wiley, New York, 2003.
[10] Mayo, D., Experimental Knowledge, University of Chicago Press, Chicago, 1996.
[11] Mayo, D., Error and Inference: Recent Exchanges on Experimental Reasoning, Reliability, and the Objectivity and Rationality of Science, Cambridge University Press, New York, 2010.
[12] Roulstone, I. and J. Norbury, Invisible in the Storm: the role of mathematics in understanding weather, Princeton U. Press, Princeton, 2013.
[13] Stigler, S., The History of Statistics: The Measurement of Uncertainty Before 1900, Harvard U. Press, Cambridge, 1990.
[14] van Plato, J., Creating Modern Probability: Its Mathematics, Physics and Philosophy in Historical Perspective, Cambridge U. Press, New York, 1994.