别再劝自己客观了——让自己看不见
每张卡片一面是字母,一面是数字。你看到的是:
你必须翻开哪几张? 快速答,写在纸上。
「A 和 7」这个答案,你听完立刻就能理解,而且完全同意。
难的从来不是理解,是你刚才根本没想到要翻 7。
因为你的脑子里有一个默认动作:去找能证明它对的东西。
只去找支持自己观点的证据。
(沃森卡片:只想翻 A)
这是冷的——你没有立场,只是用了一个省力的默认动作。
对不利于自己假设的证据,更严苛地审视、拼命想拆穿它。
这是热的——带有动机:你要确保自己偏爱的那个结论赢。
两个方向都普遍存在。
意大利的毒品政策,1975 / 1990 / 1993 三次变动
1990 年重新把持有毒品定为非法,1993 年又合法化。
他画了与毒品相关的死亡数据,看到的是:
80 年代中期开始稳步上升 → 1990 年入罪后,死亡率下降 → 1993 年合法化后,又开始攀升。
表面看,结论很清楚:严惩持有,能降低死亡率。
但罗伯特很惊讶——因为他在 1993 年发表过一份全面分析报告,结论是:合法化对毒品使用的影响几乎不可察觉。
他没有改口,而是继续查。
他发现同一时期还有两个欧洲国家在记录毒品相关死亡数据:西班牙与意大利在大致同一时间实施了合法化,但之后再没把它定为违法。
三个国家的政策路径完全不同,但毒品相关死亡率都在 1991 年前后出现短暂攀升。
于是「合法化导致死亡率上升」这个假设被推翻了。
他松了一口气——1993 年那个结论还站得住。
他最后还是得出了正确的结论,1993 年的论点也保住了。
换句话说:让他继续查下去的,不是科学方法,是不甘心。
一个很反直觉的案例
宇宙膨胀率的争论,持续了将近 20 年:
一个团队连续发表论文,支持 50 千米/秒/兆秒差距。
另一个团队连续发表论文,支持 100 千米/秒/兆秒差距。
两个团队都由杰出科学家组成,都提供了令人信服的论据和强有力的数据。
而且——光看一篇论文的结论,你就能知道它出自哪个团队。
以前一次科学分析可能就做 12 次测量,加起来除以 12,完事。
这种情况下,无意识偏差的空间很小。
数据量大到必须导进计算机,写一大堆程序来分析。
而中间要做大量筛选数据和调试程序的工作。
数据:设备没充分预热、成人数据里混进了几个青少年……这些都要剔除。
程序:有一定复杂度的程序必然藏有难以察觉的漏洞。有的无伤大雅,有的一改结果全变。
人们确实愿意去识别和剔除不可信的数据、发现和修复程序的漏洞,直到获得一个符合预期的答案。
只有在结果出乎意料时,人们才会去查不良数据或程序漏洞。
一旦得到了看似合理的结果,探究就到此为止。
我们都有过向经验丰富的前辈寻求建议的经历。如果对方提供的答案令你不甚满意,你会不会转头去问更多人,直到某个值得信赖的人终于说出了你心里想听的话,才肯罢休?
这跟那些一看到预期结果就不再查程序漏洞的科学家,有什么不同?
不是更客观,是没机会不客观
小时候分蛋糕,为了公平,我们用「你切我选」。
切蛋糕的人不知道自己会拿到哪一块,所以他在切的时候必须公平。
不是因为他品德好,是因为那个结构让他没法不公平。
你是一个要筛数据、修程序漏洞的科学家。你看到了一个意外的结果,但不确定问题出在哪。
如果在分析彻底做完、准备发布之前,你刻意不让自己知道筛除和除错的最终成效呢?
不管你满不满意,都不知道。
于是做每一个微小决定时,你都不得不坦诚。偏差就没有产生的空间。
这个办法叫盲法分析。
书给了一个可以直接照搬的做法
关键结果取决于大量测量值的平均值,怎么办?
转向新问题后,他们用了盲法分析
一开始觉得是多此一举——平白增加许多工作量。
然后他们重新分析了:
书的原话:尽管他们认为自己团队(以及其他团队)在研究中已经十分谨慎,研究结果仍不可避免地受到了这种偏差的影响。
一个比一个有想象力
引力波探测,40 年努力
他们面对双重挑战:怕漏掉极罕见的真信号,又怕把噪声当成引力波(因为噪声看起来和真信号一模一样,而且出现频率更高)。
于是团队同意玩一个盲法游戏:
成立一个特别小组,专门随机向探测器系统投放「很像引力波」的干扰信号,有时微弱难辨,有时十分强烈。
而最关键的一条是——
只有在其他成员完成详尽分析、写完论文、并承诺「只要信号为真就直接发表」之后,特别小组才揭晓真伪。
第一件:索尔首次听说这个机制时,整个团队已经在分析和写论文上奔忙了数月。
结果特别小组揭示:他们分析的信号是假的。整个团队白忙一场。
第二件:数年后,他们又探测到一个疑似信号。这次他们笃定是假的——因为它的强度异常显著,远超探测器正常运作的阈值。
结果它是真的。人类历史上第一次成功探测到引力波。
想真知道哪款最合自己口味,就别看价格和品牌。
刻意不提牌局的最终输赢。 因为一旦说了输赢,人会从结果倒推过程——好结果就被当成好决策。
让应聘者藏在幕布后面。这个改动显著提升了女性音乐家入选的概率。
欧洲越来越多用人单位要求:筛简历之前,把年龄、性别、种族、受教育水平等信息模糊掉。
书的例子:美国许多司法管辖区推行「禁止询问犯罪记录」政策——雇主申请表上不许设「有无犯罪史」这一栏。
结果:一些研究表明,这可能让雇主把少数族裔身份当成犯罪史的替代指标,反而加剧了就业歧视。
不是「隐去了多少信息」,是——
信息隐去之后,判断依据被换成了什么?
如果换成的那个东西更糟,盲法就是负收益。
一个可以现场玩的游戏
议题:民主党和共和党,谁执政对经济更有利?
用的是真实数据集。你可以自由选择:
而你定义变量的方式,直接决定最后能不能做出「统计显著」。
通过巧妙地设定变量,你可以让任何一个政党显得对经济更有利。
一旦你找到一个「我看好的党执政对经济更有利」的分析——
你会立刻产生后见之明,开始为「我当初为什么这样设定变量」寻找合理解释。
这个自证的过程会进一步强化你的信念。
最后,你会比最开始更坚信:这个政党确实更有利于国家经济。
在得出满意的变量定义之前,你需要暂时隐藏党派信息,确保分析过程不受个人主观偏好的干扰。随后,你应接受和遵循其结果,不管它是否符合你的预期。
不过,得到事与愿违的结果是人生之常态。
一个让人震惊的案例
指纹鉴定长期被当作证明犯罪确凿无疑的证据。而指纹专家长久以来遵循一套传统的做法,即便到了近代也没有采用盲法分析。
结果:他们在一些鉴定上形成了强烈偏向。
后来引入盲测——
多名备受尊敬的指纹专家,推翻了自己之前的鉴定结果,包括那些他们曾经鉴定无误的指纹。
各大科学机构随后纷纷发布报告,建议对这类法律证据重新校准。
从一个人的技巧,变成一套制度
研究开始之前,就把方法、待检验的假设、分析计划公开存档。越来越多的顶级期刊要求这么做。
多个实验室同时对同一个假设做独立验证。
给几个独立团队同一份数据,请他们验证同一个假设。
这两个都是在不同团队的证真偏差之间做三角测量——指望所有团队的偏差不会全指向同一个方向。
两个立场对立的研究者(或团队)共同设计、实施、并发表实验。
我们必须立即停止研究(或思考这个问题,或选择后续的行动),因为眼下的做法可能导致结果出现偏差。我们应该在选定全部数据、并审查完所有决策程序之后再查看结果!
不管它是「该不该吃他汀」「该不该投这笔广告」「孩子该选什么专业」——
你刚才是不是在找支持某个选项的数据?找到第一个满意的就停了?
试一次这个动作:
这一章从头到尾没打算让你更努力。
罗伯特在完全诚实、毫无恶意的情况下照样中招。
索尔团队在自认为十分谨慎的情况下照样中招。
这两个案例都说明:靠决心防不住它。
所以解法全都是同一个形状:
设计成「你不知道自己会拿到哪一块」——让偏差没有产生的空间,而不是让你去克服它。
但真实世界的问题,大多不是一个 人在解决。
一群人凑在一起,是会比一个人更聪明,还是会把每个人的偏差放大成一场灾难?
第五部分 · 群策群力思维的力量
第 15 章:群体的智慧与疯狂
| → ↓ 空格 | 下一页 |
| ← ↑ | 上一页 |
| Home / End | 首页 / 末页 |
| N | 讲稿面板 |
| O | 缩略图总览 |
| F | 全屏 |
| P | 讲义模式(可打印) |
| Esc | 关闭浮层 |
| ? | 本帮助 |