14
第四部分 · 如何查漏补缺、填补知识空白

证真偏差和盲法分析

别再劝自己客观了——让自己看不见

第 14 章 · 约 55 分钟 · 《第三个千年思维》读书会
先做题

四张卡片

每张卡片一面是字母,一面是数字。你看到的是:

A
K
2
7

要验证一句话:「一面是元音,则另一面是偶数」

你必须翻开哪几张? 快速答,写在纸上。

第14章 · 证真偏差和盲法分析

正确答案:A 和 7

  • A:看背面是不是偶数。是 → 暂时支持;不是 → 直接推翻
  • 7:看背面是不是元音。是 → 直接推翻
  • 2:它背面是什么都没用——规则没说「偶数背面一定是元音」
  • K:更没用
014-008

难的地方不在逻辑

「A 和 7」这个答案,你听完立刻就能理解,而且完全同意。

难的从来不是理解,是你刚才根本没想到要翻 7。

因为你的脑子里有一个默认动作:去找能证明它对的东西。

证真偏差有两个方向

证真偏差

只去找支持自己观点的证据。
(沃森卡片:只想翻 A)

这是的——你没有立场,只是用了一个省力的默认动作。

失证偏差

不利于自己假设的证据,更严苛地审视、拼命想拆穿它。

这是的——带有动机:你要确保自己偏爱的那个结论赢。

两个方向都普遍存在。

014-009
第14章 · 证真偏差和盲法分析

罗伯特的一次翻车(他本人讲出来当例子)

意大利的毒品政策,1975 / 1990 / 1993 三次变动

1990 年重新把持有毒品定为非法,1993 年又合法化。

他画了与毒品相关的死亡数据,看到的是:

80 年代中期开始稳步上升 → 1990 年入罪后,死亡率下降1993 年合法化后,又开始攀升。

表面看,结论很清楚:严惩持有,能降低死亡率。

但罗伯特很惊讶——因为他在 1993 年发表过一份全面分析报告,结论是:合法化对毒品使用的影响几乎不可察觉。

014-010
第14章 · 证真偏差和盲法分析

然后他做了什么

没有改口,而是继续查

他发现同一时期还有两个欧洲国家在记录毒品相关死亡数据:西班牙与意大利在大致同一时间实施了合法化,但之后再没把它定为违法。

三个国家的政策路径完全不同,但毒品相关死亡率都在 1991 年前后出现短暂攀升。

于是「合法化导致死亡率上升」这个假设被推翻了。

他松了一口气——1993 年那个结论还站得住。

014-011
第14章 · 证真偏差和盲法分析

书问他:这算良好的科学实践吗

✗ 结果对了就行

他最后还是得出了正确的结论,1993 年的论点也保住了。

✓ 不算。罗伯特自己(很尴尬地)承认

  • 犯了冷证真偏差:积极寻找支持自身观点的证据,而不是相反的证据
  • 犯了热证真偏差在对最初结果感到不满之后,他才开始引入新数据、做进一步论证

换句话说:让他继续查下去的,不是科学方法,是不甘心。

014-012
第14章 · 证真偏差和盲法分析

二、连物理学也逃不掉

一个很反直觉的案例

50 还是 100

宇宙膨胀率的争论,持续了将近 20 年:

一个团队连续发表论文,支持 50 千米/秒/兆秒差距。
另一个团队连续发表论文,支持 100 千米/秒/兆秒差距。

两个团队都由杰出科学家组成,都提供了令人信服的论据和强有力的数据。

而且——光看一篇论文的结论,你就能知道它出自哪个团队。

014-013

那问题出在哪

老办法

以前一次科学分析可能就做 12 次测量,加起来除以 12,完事。
这种情况下,无意识偏差的空间很小。

现代办法

数据量大到必须导进计算机,写一大堆程序来分析。
而中间要做大量筛选数据调试程序的工作。

而这两件事都有坑

数据:设备没充分预热、成人数据里混进了几个青少年……这些都要剔除。
程序:有一定复杂度的程序必然藏有难以察觉的漏洞。有的无伤大雅,有的一改结果全变。

014-015
第14章 · 证真偏差和盲法分析

关键的那一句话

人们确实愿意去识别和剔除不可信的数据、发现和修复程序的漏洞,直到获得一个符合预期的答案。

只有在结果出乎意料时,人们才会去查不良数据或程序漏洞。

一旦得到了看似合理的结果,探究就到此为止。

014-016

一个一模一样的日常版

我们都有过向经验丰富的前辈寻求建议的经历。如果对方提供的答案令你不甚满意,你会不会转头去问更多人,直到某个值得信赖的人终于说出了你心里想听的话,才肯罢休?

这跟那些一看到预期结果就不再查程序漏洞的科学家,有什么不同?

014-018

三、解法:你切我选

不是更客观,是没机会不客观

原理来自一个很日常的地方

小时候分蛋糕,为了公平,我们用「你切我选」

切蛋糕的人不知道自己会拿到哪一块,所以他在切的时候必须公平。

不是因为他品德好,是因为那个结构让他没法不公平。

014-021

换到科学里,长这样

你是一个要筛数据、修程序漏洞的科学家。你看到了一个意外的结果,但不确定问题出在哪。

如果在分析彻底做完、准备发布之前,你刻意不让自己知道筛除和除错的最终成效呢?

不管你满不满意,都不知道。

于是做每一个微小决定时,你都不得不坦诚。偏差就没有产生的空间。

这个办法叫盲法分析

014-023

具体怎么做

书给了一个可以直接照搬的做法

关键结果取决于大量测量值的平均值,怎么办?

  1. 在测量开始之前,请一位朋友(第三方)在每个数据点上加一个数,并保密
  2. 于是真实的平均值被藏起来了——你自己也不知道
  3. 你照常筛数据、修程序,照常审查「偏差较大的数据点」并剔除它们
  4. 等你自己认为分析彻底完成了,再让朋友公布那些添加数
  5. 减掉,得出真实平均值
014-024
第14章 · 证真偏差和盲法分析

索尔团队自己做过一次复盘

转向新问题后,他们用了盲法分析

一开始觉得是多此一举——平白增加许多工作量。

然后他们重新分析了:

  • 其他团队的早期测量结果 → 发现了显著的偏差迹象,得到的结果就是他们希望看到的那个
  • 自己团队的早期测量数据也发现了类似的迹象

书的原话:尽管他们认为自己团队(以及其他团队)在研究中已经十分谨慎,研究结果仍不可避免地受到了这种偏差的影响。

014-025
第14章 · 证真偏差和盲法分析

四、三个更有戏的案例

一个比一个有想象力

LIGO:往自己的数据里放假信号

引力波探测,40 年努力

他们面对双重挑战:怕漏掉极罕见的真信号,又怕把噪声当成引力波(因为噪声看起来和真信号一模一样,而且出现频率更高)。

于是团队同意玩一个盲法游戏:

成立一个特别小组,专门随机向探测器系统投放「很像引力波」的干扰信号,有时微弱难辨,有时十分强烈。

而最关键的一条是——

只有在其他成员完成详尽分析、写完论文、并承诺「只要信号为真就直接发表」之后,特别小组才揭晓真伪。

014-027
第14章 · 证真偏差和盲法分析

然后发生了两件事

第一件:索尔首次听说这个机制时,整个团队已经在分析和写论文上奔忙了数月。

结果特别小组揭示:他们分析的信号是假的。整个团队白忙一场。

第二件:数年后,他们又探测到一个疑似信号。这次他们笃定是假的——因为它的强度异常显著,远超探测器正常运作的阈值。

结果它是真的。人类历史上第一次成功探测到引力波。

014-028

盲法走出实验室之后

葡萄酒盲品

想真知道哪款最合自己口味,就别看价格和品牌。

职业扑克玩家怎么复盘

刻意不提牌局的最终输赢。 因为一旦说了输赢,人会从结果倒推过程——好结果就被当成好决策。

交响乐团面试

让应聘者藏在幕布后面。这个改动显著提升了女性音乐家入选的概率

招聘去标识

欧洲越来越多用人单位要求:筛简历之前,把年龄、性别、种族、受教育水平等信息模糊掉。

014-034
第14章 · 证真偏差和盲法分析

但书也说了:盲法不是灵丹妙药

✗ 「把能隐去的都隐去,总没错」

书的例子:美国许多司法管辖区推行「禁止询问犯罪记录」政策——雇主申请表上不许设「有无犯罪史」这一栏。

结果:一些研究表明,这可能让雇主把少数族裔身份当成犯罪史的替代指标反而加剧了就业歧视。

✓ 真正的判据

不是「隐去了多少信息」,是——

信息隐去之后,判断依据被换成了什么?

如果换成的那个东西更糟,盲法就是负收益。

014-035
第14章 · 证真偏差和盲法分析

五、P 值操纵

一个可以现场玩的游戏

FiveThirtyEight 做过一个在线游戏

议题:民主党和共和党,谁执政对经济更有利?

用的是真实数据集。你可以自由选择:

  • 自变量怎么定义(谁执政):看州长?还是看总统?
  • 因变量怎么定义(经济好不好):用 GDP?就业率?通胀率?股价?还是四个加起来?

而你定义变量的方式,直接决定最后能不能做出「统计显著」。

通过巧妙地设定变量,你可以让任何一个政党显得对经济更有利。

014-038
第14章 · 证真偏差和盲法分析

这才是最危险的部分

一旦你找到一个「我看好的党执政对经济更有利」的分析——

你会立刻产生后见之明,开始为「我当初为什么这样设定变量」寻找合理解释。

这个自证的过程会进一步强化你的信念。

最后,你会比最开始更坚信:这个政党确实更有利于国家经济。

014-038

在得出满意的变量定义之前,你需要暂时隐藏党派信息,确保分析过程不受个人主观偏好的干扰。随后,你应接受和遵循其结果,不管它是否符合你的预期。

不过,得到事与愿违的结果是人生之常态。

014-039

指纹专家

一个让人震惊的案例

指纹鉴定长期被当作证明犯罪确凿无疑的证据。而指纹专家长久以来遵循一套传统的做法,即便到了近代也没有采用盲法分析。

结果:他们在一些鉴定上形成了强烈偏向。

后来引入盲测——

多名备受尊敬的指纹专家,推翻了自己之前的鉴定结果,包括那些他们曾经鉴定无误的指纹。

各大科学机构随后纷纷发布报告,建议对这类法律证据重新校准

014-041
第14章 · 证真偏差和盲法分析

六、开放科学

从一个人的技巧,变成一套制度

书列了一整套,四个最有用

预注册

研究开始之前,就把方法、待检验的假设、分析计划公开存档。越来越多的顶级期刊要求这么做。

多实验室复现

多个实验室同时对同一个假设做独立验证。

多分析师项目

给几个独立团队同一份数据,请他们验证同一个假设。
这两个都是在不同团队的证真偏差之间做三角测量——指望所有团队的偏差不会全指向同一个方向。

对抗性合作

两个立场对立的研究者(或团队)共同设计、实施、并发表实验。

014-046
第14章 · 证真偏差和盲法分析

最后,书给了一个可以当众喊出来的仪式

我们必须立即停止研究(或思考这个问题,或选择后续的行动),因为眼下的做法可能导致结果出现偏差。我们应该在选定全部数据、并审查完所有决策程序之后再查看结果!

014-051
给自己做一次盲法

现在,回到你手头那个正在纠结的决定

不管它是「该不该吃他汀」「该不该投这笔广告」「孩子该选什么专业」——

你刚才是不是在找支持某个选项的数据?找到第一个满意的就停了?

试一次这个动作:

  1. 先写下你希望哪个选项是对的
  2. 把它盖住,重新去找数据
  3. 找完之后,再看第 1 步写的是什么
第14章 · 证真偏差和盲法分析

本章最容易被记岔的一处

✗ 「我知道有证真偏差,所以我以后会注意」

这一章从头到尾没打算让你更努力。

✓ 书的方法是绕过意志力

罗伯特在完全诚实、毫无恶意的情况下照样中招。
索尔团队在自认为十分谨慎的情况下照样中招。

这两个案例都说明:靠决心防不住它。

所以解法全都是同一个形状:

设计成「你不知道自己会拿到哪一块」——让偏差没有产生的空间,而不是让你去克服它。

第14章 · 证真偏差和盲法分析

这一章,回顾

  • 沃森四卡片:不足 5% 的人答对。难的不是逻辑,是「去找反面证据」不是默认动作
  • 证真偏差(只找支持的)和失证偏差(更严苛地审视不支持的)是两个方向,都普遍存在
  • 罗伯特翻车:让他继续查下去的不是科学方法,是不甘心
  • 连宇宙膨胀率这种跟政治经济毫无关系的领域,两个团队也能各看各的
  • 机制是「见好就收」——只有结果出乎意料时才去查数据问题和程序漏洞
  • 解法是「你切我选」:不是更客观,是没机会不客观
  • LIGO 往自己数据里放假信号;交响乐团拉上幕布,女性录取率显著上升
  • 盲法不是灵丹妙药:隐去信息后,判断依据会被换成什么?
  • 开放科学:预注册 / 多实验室 / 多分析师 / 对抗性合作
第14章 · 证真偏差和盲法分析

下周就能用的五件事

  1. 听到一个让你满意的答案,问自己:我是不是到此为止了
  2. 做重要判断前,先写下你希望哪个选项是对的,然后再去找数据
  3. 复盘一件事时,先不谈结果,只谈过程好不好
  4. 想客观比较两个方案?请朋友把信息去掉标识再给你看
  5. 遇到一个「充分使用了盲法、预注册」的专家,多信他一点
第14章 · 证真偏差和盲法分析

到这里,个体层面的工具讲完了

第 1 到 14 章讲的都是:一个人怎么更准确地认识现实、怎么不被自己骗。

但真实世界的问题,大多不是一个 人在解决。

一群人凑在一起,是会比一个人更聪明,还是会把每个人的偏差放大成一场灾难?

第五部分 · 群策群力思维的力量
第 15 章:群体的智慧与疯狂

快捷键

→ ↓ 空格下一页
← ↑上一页
Home / End首页 / 末页
N讲稿面板
O缩略图总览
F全屏
P讲义模式(可打印)
Esc关闭浮层
?本帮助