09
第二部分 · 理解不确定性

统计不确定性和系统不确定性

有一种误差,你量一万次它还在

第 9 章 · 约 55 分钟 · 《第三个千年思维》读书会

你要带孩子去迪士尼

大部分游乐设施要求身高 40 英寸

你翻出抽屉深处那把旧卷尺,给孩子量。

量出来刚好卡在线上。你手有点抖,一会儿觉得够了,一会儿觉得不够。

于是你想:多量几次取个平均,总能抹平手抖吧。

然后你想起来——

这把卷尺,好像被你塞在裤兜里丢进过洗衣机。

009-001
第9章 · 统计不确定性和系统不确定性

两种噪声,性质完全不同

手抖

每次量出来的数在真值附近随机上下跳

多量几次取平均,误差会互相抵消,越来越接近真相。

统计不确定性

卷尺缩了 3 毫米

每次量出来的数都朝同一个方向偏

量十次、量一百次、量一万次——那 3 毫米永远都在。

系统不确定性

009-002
第9章 · 统计不确定性和系统不确定性

一张图记住它:飞镖靶

又准又精 统计误差小 · 系统误差小
精,但不准 统计小 · 系统大 ← 缩水的卷尺
准,但不精 统计大 · 系统小 ← 抖的手
又不准又不精 两个都大
009-032
第9章 · 统计不确定性和系统不确定性

同一对概念,四个学科四套词

物理学家

统计不确定性 / 系统不确定性

社会心理学家

信度 / 效度

统计学家(一)

精确度 / 准确度

统计学家(二)

方差 / 偏差

009-003
第9章 · 统计不确定性和系统不确定性

二、酒店里的体重秤

一个所有人都经历过的版本

出差一个月,秤了一个月

酒店的秤

第一家:咦,比预想轻了 3 磅,这台秤怕是坏了。
第二家:哎呀,这台显示我重了 2 磅。

你想:这么多家酒店的秤,总不至于全部偏轻或全部偏重吧?

那把它们平均一下,应该就接近真实体重了。 —— 这个想法是对的。

家里的秤

回到家,你用自己的秤。它一直显示你比真实体重轻 5 磅,而你不知道。

你先以为是长途飞行脱水。结果连称一个月,还是轻 5 磅。

不管你称多少次,它都会一直轻 5 磅。

你为自己减掉的 5 磅欢欣鼓舞——你一两肉都没掉。

009-005
第9章 · 统计不确定性和系统不确定性

三、那系统偏差怎么办

三步,第三步最有想象力

对付系统不确定性的三步

  1. 想象它可能怎么骗你。 卷尺会不会被人拉长过?大家会不会都无意识地挑显示偏轻的秤,所以连朋友家的秤也偏低?
  2. 找办法把它测出来。 换一把更可靠的卷尺、换一台更可靠的秤,对比结果
  3. 或者——换一种测法,让这个偏差变得无关紧要
009-010
第9章 · 统计不确定性和系统不确定性

莎拉在跑第三圈

一英里训练 = 绕跑道四圈。教练要测第三圈的用时

做法很朴素:莎拉跨过起跑线,按下秒表;再跨过一次,按停秒表

麻烦在于:这位教练反应总是慢半拍,永远比实际时间晚按。

这是系统误差——多测几次取平均,消不掉

但是……

009-011
第9章 · 统计不确定性和系统不确定性

他按了两次同一个按钮

开始慢半拍,结束慢半拍。

两个偏差方向相同、大小相同——在相减的那一刻,自己抵消了。

这不是运气。这正是科学家在设计测量时不懈追求的东西。

009-013

四、选票上名字的顺序

一个 5% 的系统偏差

同一批候选人,两种呈现方式

看到名单

(纸质选票)

对候选人一无所知时,人更倾向于投给排在第一位的那个。

排首位的候选人,通常能多拿约 5% 的选票

听到名单

(电话民调,调查员依次念出候选人)

结果完全反过来——

最后一个被提到的候选人,会获得更高的支持率。

009-016
第9章 · 统计不确定性和系统不确定性

加州试过一个办法,治标不治本

✗ 「随机排序不就公平了?」

加州州议员竞选发现了姓名排序的偏差,于是:先把候选人随机排名,再打印纸质选票。

每个人都有均等的机会排在第一位,听起来很公平。

✓ 我们要的不是「公平的误测」

书的原话是:如果你对「公平」的理解有些荒诞,会觉得这很公平。

但目标不是让每个人有均等机会享受那 5% 的错误,目标是把那 5% 的错误去掉。

正确做法是加州在州议员和国会议员选举里用的:选票以县为单位印制,候选人姓名按加州的 58 个县轮流调整
这样,排序偏差在各县之间互相平均掉——和你在出差时用很多家酒店的秤取平均,是同一个动作。

009-018
第9章 · 统计不确定性和系统不确定性

五、一个世纪的气温

本章赌注最大的案例

好消息:恒定不变的偏差会自己抵消

假设全世界的测温员都在下午最热的时候记录当天气温。

这当然有偏差——测出来的数会整体偏高。

但只要这个偏差一百年没变,它就不会影响我们对「气温变化了多少」的判断。

——和莎拉的教练两次都慢半拍,是同一个道理。

009-021

三个会变的偏差源

测站的地理分布变了

20 世纪初,气温记录者大部分来自欧洲和北美,数据严重偏向这两块。到了世纪中期,非洲、南美、亚洲的资料越来越多,分布才趋于均衡。

城市化 + 热岛效应

从世纪初到中后期,城市人口持续扩大,来自城市及周边的数据越来越多。而城市地区的气温本来就高于周边农村

测温的时间变了

20 世纪初,美国国家气象局建议在日落前后采集数据。到了世纪末,美国大部分地区把测温工作转到了早晨(那时气温相对更低)。

009-022
第9章 · 统计不确定性和系统不确定性

城市化那一条,被专门查过

有研究团队做了对照研究——索尔本人参与了这个项目

做法:把一个世纪以来城市周边地区农村地区的气温变化拿来对比。

结果:两者的差异,远没有达到令人担忧的全球温室效应的量级

所以:城市化不是这条曲线的关键偏差源。 这一条被排除了。

009-023

最难的一条:海水温度

20 世纪初的做法

从船上扔下一个水桶,装满海水拉上来,测桶里的水温。

二战前后,改了

在船只发动机冷却水的进水口放温度计。

两种方法测出来的数必然不一样——进水口的水来自海平面以下更深处。

那偏差有多大?

没人知道。 当时做记录的人从没想过将来有人要拿这些数据做百年对比,所以没做过交叉校准。今天连当时用的船都难以追溯了。

009-025
第9章 · 统计不确定性和系统不确定性

科学家对付这些偏差的三种策略

一 · 在测量中直接消掉

设计成两头抵消的形式(莎拉的教练),或者轮换(加州的 58 个县)。

二 · 把它测出来,转成统计不确定性

量出这个系统效应有多大,它就从「未知的定向偏移」变成了「一个带误差棒的修正量」——而误差棒是可以平均的。

三 · 证明它不够大

像城市热岛那一条:测完发现量级不足以影响结论,就可以把它放下

009-028
第9章 · 统计不确定性和系统不确定性

而且确定性的门槛,还要看后果

书举了一对很有意思的对照:

考虑到全球气温变化可能带来的严峻后果——也许只有 75% 的把握,就该果断采取行动。

而当我们判断「资源的全球性转移会重创全球经济」时——可能要有 95% 的把握才会动手。

同一批科学,两个不同的阈值。 因为两边的错误代价不一样。

009-026

六、两件能让人安心的事

系统偏差听起来无解,但并不是

第一件:三角测量

一次市长选举的民调

你担心第 15 页那两个系统偏差:纸面看名单,第一位占便宜;电话听名单,最后一位占便宜。

做法:把调查拆成两半——一半打电话,一半在网上以书面形式做。

这两种方法各自带一种系统偏差,而且方向相反。

  • 两边结果一致 → 这两个偏差的影响都不大
  • 两边结果明显不同 → 用差异的大小,反过来估算出偏差有多大
009-040
第9章 · 统计不确定性和系统不确定性

第二件:去找那个会质疑你的人

如果你想发掘出可能扭曲测量结果的系统不确定性,或许就需要去主动接触那些会质疑测量结果的人(尽管这会令你很痛苦)。

书说得更重:科学家互相审视、严厉抨击彼此成果的传统,在寻找系统偏差这件事上的重要性,

甚至超过了科学家为此接受的所有专业训练。

009-029

一个很扎心的日常版本

老板对你写的东西做批判性修改、驳回你的建议时——

你能清清楚楚地意识到:这里有偏差,得改。

而当老板对你递交的任何东西都照单全收时——

你对偏差浑然不觉。你开始产生一种错误的自我评价:我值得更好的位置。

然后你据此做出了跳槽的决定。

书里的例子
009-029
第9章 · 统计不确定性和系统不确定性

本章最容易被记岔的一处

✗ 「多做几次实验就靠谱了」

「重复实验」「样本量大」被当成了数据可信的万能护身符。

✓ 样本量对系统偏差完全无效

家里那台秤称一万次,还是轻 5 磅。

书的原话:我们获得了一个令人满意且可复现的结果,但它始终与事实相差 5 磅

可复现 ≠ 正确。

对系统偏差有效的只有三招:抵消、测出来、证明它不够大——每一招都要动脑子,没有一招靠加数据量。

第9章 · 统计不确定性和系统不确定性

这一章,回顾

  • 两种误差:手抖(统计,平均能消)和缩水的卷尺(系统,平均消不掉)
  • 飞镖靶四象限:扎得很密但全偏在一边,是最危险的那一格
  • 家里那台秤称一万次还是轻 5 磅。可复现 ≠ 正确
  • 对付系统偏差三招:抵消 / 测出来 / 证明它不够大。没有一招靠加数据量
  • 莎拉的教练两次都慢半拍,误差自己抵消了——随机对照实验用的是同一招
  • 选票排序偏差约 5%。随机排序是「公平的误测」;按 58 个县轮换才对
  • 气温百年曲线:恒定的偏差无害,会变的偏差才要命(测站分布、城市化、测温时间、水桶改进水口)
  • 两件保命的事:三角测量,和主动去找会质疑你的人
第9章 · 统计不确定性和系统不确定性

下周就能用的四件事

  1. 拿到一个「多次测量都一致」的结论,先问:有没有可能是同一个偏差重复了很多次
  2. 看到一条跨年份的趋势线,问:这中间,测量方式变过吗
  3. 设计任何一次评估,先想一想:能不能设计成两头抵消的形式(前后测、对照组、轮换)
  4. 如果最近没有人反驳过你,那不是好消息。去找一个会挑刺的人
第9章 · 统计不确定性和系统不确定性

第二部分讲完了

概率、校准、信号与噪声、错误权衡、两类误差——

我们把「不确定」这件事,从一个让人焦虑的词,拆成了一套可以动手的工具

但你可能会觉得有点丧:世界这么复杂,认知这么有限,

我们真的还能解决什么大问题吗?

书接下来的回答,是全书语气最强硬的一部分。

第三部分 · 激进的「敢做能为」科学观
第 10 章:科学乐观主义

快捷键

→ ↓ 空格下一页
← ↑上一页
Home / End首页 / 末页
N讲稿面板
O缩略图总览
F全屏
P讲义模式(可打印)
Esc关闭浮层
?本帮助