Thursday, December 9, 2021

艾睿:他们为什么预测得比CIA还准?

(今日美政,12/06/2021

        2011 年,美国政府为了提高自己情报部门对事件的预测能力,举行了一次比赛。参赛队伍中,有一支小队,完全由业余人士组成,他们除了互联网上的公开信息,没有任何特别信息来源。他们将对阵受过严格训练,能看到内部资料的 CIA 分析人员。这些小组们被要求对一些非常现实的问题做出预判,比如说,叙利亚内战何时结束,希腊会不会退出欧盟等问题做出预判。结果,这一支小队预测的准确性大大超过任何其他小队,甚至比 CIA 专业分析师的小队准确率高了 25% -30%

        这一结果令美国政府非常惊讶,是什么导致了这支业余人士组成的小队竟然比能够看到专业情报的情报分析师更能准确地预测复杂事物的未来呢?秘密在于这支小队的领头人,是宾夕法尼亚大学的心理学教授 Phil Tetlock。事实上,这支小队的成员,并非是随机挑选的,而是由 Tetlock 教授根据自己的认知学理论严格选择出来的,具有某种思维倾向和思维能力的人。这些人,被 Tetlock 教授称为是 “超级预测者”。

        Tetlock 教授长期对人类认知的研究中,他发现我们对一件复杂事物的预测能力,往往和我们的专业知识无关。这是什么意思呢?如果我们只是预测一件物理现象级的未来,比如说一个小球在某种力量下如何运动,那么专业人士完全秒杀非专业人士的盲目瞎猜。但是如果是预测某个复杂系统的运作结果,比如股票明天的走势,经济是否会出现通胀等这一类的问题,专业人士的准确率几乎为 50%,按 Tetlock 教授的话来说,和一只黑猩猩投骰子预测的结果没有什么两样。也就是说,这些专家学者们对复杂系统输出的预测,似乎和普通人是一样的,他们的学识,对复杂事物的背景知识,甚至他们长年累月的分析经验,似乎并不能帮助他们提高自己的预测能力。这是为什么呢?

        这里需要注意一点,我们平时有这种印象,专家们的预测更准确。这往往是另一个现象的结果。这个现象叫解释权。当一件事情发生了之后,专家们因为具有更广博的背景知识,因此他们可以将这一结果反向解释为符合了自己的预期。这是一件非常有趣的事情。比如说在戈尔巴乔夫上台之初,没有任何人预测到了苏联会解体。而苏联一旦解体之后,无论左派还是右派的学者,都认为自己最初对戈尔巴乔夫的预判,都实现了,事实上那些预测是相互矛盾的。请注意,专家学者们本身给出的预测,就是模糊的。这有点像算命先生,无论结果是什么,我的预测都有办法解释得通。专家学者和普通人的区别,更多的是在这里,这给了公众一种印象,他们的预测更为准确。我相信常看股评的人,对这一现象不会陌生。股市无论如何表现,都基本上能符合这些专业人士们划出的几条线。

        但是在科学的,严格的条件控制下,我们可以看到,对于复杂事物的预测,专家学者们从总体上来说,准确度并不比普通人的平均水平更高。

        Tetlock 说,事实上,我们总是混淆了两种性质不同的认知。一种是知识本身,一种是判断能力。这两种并不总是一致的。知识本身,会带给我们更多的预测未来的参数,但是,知识也有副作用,这个副作用表现为两个方面。

        第一,知识会带给我们某种态度。比如说,我们越是学习历史,我们就越会认为历史前进的方向是线性的,即过去的方向可以指导未来。最典型的是,我们普遍都认为:民主一定是未来,民主必胜。这是因为从人类历史的过去来看,主权归于民众是一种更为稳态的社会结构,权力的制衡和和平交接,使政治稳定不走极端更为可能。因此我们很容易形成一种观念,即越是倾向于民主的政治形态,这个国家的未来就会越强大和光明。 Tetlock 教授提到了“刺猬与狐狸”的比喻。这一比喻来自古希腊,但主要由以赛亚伯林的介绍,而流行于政治哲学学术界。在这个分类中,刺猬型的学者执着于一个固定的观念,他们试图用一个观念来解释一切。比如说黑格尔试图用“精神现象”解释一切,马克思则认为资本主义必然存在某种内在矛盾性,他用这一矛盾性去解释资本主义所有的问题。但狐狸型学者则不执着于某一种“真理”,他们试图从不同的理论体系去看问题,找出更合理的解释。这里稍微提一下,一些中国学者认为刺猬和狐狸的区别仅仅是“刺猬知道一件大事,而狐狸知道很多小事”,好像刺猬代表专家,而狐狸则代表杂学家,这是一个误解。刺猬和狐狸的根本区别,是说刺猬对理论有巨大的偏好,任何事情都要依赖自己喜欢的那个理论去解释;而狐狸则对各种理论采取功利主义态度,哪个更好用,就用哪个,同时注意到他们之间的矛盾和相互补充关系。

        好,说到这里,你一定猜到了。这个分析能力比 CIA 专业人士还强大的团队,是 Tetlock 教授精心挑选的全部为狐狸型思维方式的人。知识本身,很容易让我们成为刺猬,因为我们是如此喜欢自己的学识,信服自己喜欢的理论,越是专业的人,越可能走进一个刺猬的陷阱。而狐狸型人才虽然在某个课题上是业余选手,但他们懂得去对比不同理论对于同一现象的不同解释。

        他们有一种特征性的表达法:总是爱用转折词,比如说 A 理论认为这件事很可能发生,但 B 理论看上去也有些道理,不过 C 理论认为他们都是胡扯等等等等。这使得这些狐狸型的分析者,他们更倾向于用事实去筛选更合适的理论,而不是用理论去筛选更符合理论的事实。这是这些狐狸们胜出的关键。

        Tetlock 教授告诉我们,我们普通人绝大多数都是刺猬。为什么呢?因为刺猬这种思维方式更符合我们的本能。我们的动物本能特别强调确定性,我们讨厌任何的不确定性。这是因为在动物界,不确定性往往意味着危险。刺猬型的思维很容易给我们一个安心的答案,而狐狸型的思维往往会告诉我们,根据 A 理论来说,这是对的,但根据 B 理论,这可能就是错的。狐狸型思维最多告诉你,A 理论正确的可能性有 60%,而 B 理论正确的可能性只有 25% 等等。但我们的本能是如此地憎恶不确定性。

        我举一个例子:在预测 2020 年大选,川普是否能赢得连任时。我一开始也认为川普一定会获得连任。因为我们直观上感觉到支持他的民众非常热情。但不断地有民调显示川普的赢面不高。这时候你必须来选择,到底民调是假的,还是确实支持川普的群众虽然很热情,但讨厌他的人更多?这时候我们要开始选择不同的预测模型了。是看现场的山呼海啸,还是看民调数据?我的预测开始转变,是来自赌场开出的赌盘,押注拜登会胜出的人越来越多,而这些投注者都是认真的,这相当于是在用真金白银来投票,他们比参与民调的人要严肃得多。因此我最终更倾向于采用这一数据为参考,认为拜登的赢面更大一些。但是,如果你一开始就是一个刺猬,你认为“获得人民热情支持的人就一定会获胜”,则就可能忽视掉了很多其他的信号,导致预测失败。

        Tetlock 教授告诉我们一个相对简单实用的判断谁更可能是一个好的预测者的预测(这是关于预测能力的预测),当你看到这个人采取了很多相互矛盾的理论去预测一件事,他的预测中充满了“但是,不过,也不一定”,他给出的预测只是一个概率上的大小。那么这种时候,他的预测准确度,可能比可以斩钉截铁说出预测结果的人,更靠谱。我相信大家在生活里会有这种经验,越是一个经验丰富的医生,他给出的诊断越是模棱两可,“大概是,可能是,更像是…. 而越是年轻的医生则越反而告诉你一个比较明确的诊断。前者就是狐狸,他见过太多的例外,使得他只能给出概率性的判断;而后者则是刺猬,书本上告诉他这种表现可以诊断为什么什么疾病,他就照做了。年轻医生缺乏见到很多例外的经验。

        知识的另一个副作用是:我们会变得更习惯于在我们的知识范围内去预测一件事 Tetlock 教授举了一个很有趣的例子。说有一对夫妇,你如何去预测他们在未来五年里的离婚率?这会出现这样一种有趣的分别。越是了解他们的人,预测准确率可能越低。他们会倾向于从内部信息去判断未来。比如,据我的了解,这对夫妇感情是不是很好啊?他们是不是爱好兴趣相同啊?等等这些信息,成为了熟悉这对夫妇的人判断的依据。我们往往会认为,内部消息更准确。CIA 的专业情报分析人士,也一样,他们更有赖于内部情报去判断未来。

        但不熟悉内部的人士,则会将这一事件和类似事件去对比。通过外部对比来获得预测。比如回到那对夫妇是否离婚的问题。不熟悉他们关系的人,则会动用他们的外部属性去做预测。比如这个社区中,这个年龄段,这个收入阶层,这个受教育程度的夫妇,他们的离婚率是多少。通过外部比较,来判断他们离婚的概率,这一准确度却比前者要高。这可能是因为前者过于强调事件的特殊性,而忽略了可以通过其外部和其他事物的相似性来找到判断概率的依据。

        刺猬和狐狸还有一个区别在于。一旦成为刺猬就会变得越来越刺猬。这是因为我们的知识越多,就越能为自己的预测失败找到理由。我们越会去认为:我之所有预测失败,只是因为我忽略了另一个内部信息点。如果下一次我知道了这个信息点,我的理论就会变得更好。而狐狸呢?则会更倾向于去对比更广泛的理论,他们会检测更多的理论,看看是否能找到更合适的预测框架。换句话说,刺猬提高自己预测能力的速度很慢;而狐狸一旦发现自己错了,则能较快修正自己,更容易提高自己的预测能力。

        Tetlock 显然并不是想告诉我们专业知识在预测中是无用的。事实上 CIA 接纳了 Tetlock 教授的新的认知方式和思维方式的训练,受训的对象依然是 CIA 的专业情报分析人员们。这使得他们的预测能力在近十年中,提高了 10% 以上。Tetlock 教授想告诉我们的是一种更为实用的,更为谦逊的,和效果更好的思维方式。我们不应该执着于某种“信仰”,某种绝对真理,用某种特定的偏好来看待事物。更多的情况下,做一只承认事实,承认我们自己的理论会都不会完美,采用功利主义的态度来看待我们自己的知识和理论的狐狸,预测的效果,会好很多。