纽约时报：从 AI 末日论到创立 Anthropic，Dario Amodei 的信念从何而来？

作者：纽约时报

编译：佳欢，ChainCatcher

Dario Amodei 是 AI 行业最坚定的安全倡导者之一。他相信这项技术可能帮助人类攻克疾病、加速科学进步，也可能在失控后给人类带来灾难。

这种信念很早就影响了他的选择。在 OpenAI 工作期间，他试图将自己的安全理念融入 AI 开发，也与同事围绕伦理监督和 GPT 项目发生分歧。离开 OpenAI 后，他与妹妹及其他同事共同创立了 Anthropic。

在支持者看来，Dario 正试图以负责任的方式开发 AI；在批评者眼中，他对安全的强调，也引出了另一个问题：谁有权决定 AI 应该如何发展，又由谁来划定它的边界？

《纽约时报》采访了 Dario 的同学、朋友、老师和前同事，回溯他的成长经历和思想来源。Dario 本人拒绝接受此次采访。以下为正文。

2007 年的一个晚上，在普林斯顿大学读博的 Dario Amodei 接待了一位来访的朋友。他刚读完计算机科学家 Ray Kurzweil 于 2005 年出版的《奇点临近》，迫不及待地与朋友分享书中的观点。

Kurzweil 在书中预测，人工智能最终会超越人脑，迎来一个被称为“奇点”的时刻。Dario 一边用手指绕着头发，一边告诉朋友 Colin Heckman，这一时刻可能在他们有生之年到来。

“他着迷了。”与 Dario 在旧金山读同一所高中的 Heckman 说，“他说，AI 必须以正确的方式被创造出来，否则我们就完了。”

当时 24 岁的 Dario 还是一名物理学博士生，正处于大量吸收信息的阶段。他沉迷于阅读《加速的未来》（Accelerating Future）和《克服偏见》（Overcoming Bias）等相对小众的博客，博主们在其中讨论 AI 毁灭人类的可能性。

他还深入研究了 GiveWell 的在线论坛。GiveWell 是一家致力于最大化慈善捐赠效果的机构，知识分子们在论坛上讨论如何为慈善事业赚取最多的钱。

我们采访了 Dario 的二十多位同学、朋友、老师和同事。他们的讲述显示，这些书籍、博客和在线社区至今仍在影响着他，也为理解这位 43 岁的 Anthropic 首席执行官如何看待 AI 提供了线索。Anthropic 预计将在本月上市，这可能成为全球规模最大的公开上市之一。

他的朋友和同事说，Dario 世界观的核心，是两种相互交织的思想。它们都坚信，数学推理可以改变人类的未来。

一种是“理性主义”，强调以冷静、理性的方式看待世界。自学成才的 AI 研究员 Eliezer Yudkowsky 等人信奉这一思想，并认为 AI 将变得足够强大，最终可能摧毁社会。

另一种是与理性主义共同发展的“有效利他主义”，它试图通过精确的数学计算，最大化社会福祉。

他的朋友和同事说，在 Dario 那里，这两种思潮融合成了一种坚定的信念：AI 可能极其危险，只有他和志同道合的技术专家才值得被托付开发这项技术。这促使他努力赶在那些不关心人类安全的人之前创造 AI，也激发了他控制这项技术的愿望。

Dario 在 9 月发表的一篇呼吁放缓 AI 发展的文章中写道：“只有以正确的方式构建这项技术，我们才能获得它带来的好处。只要我们能善用争取到的时间，就值得以格外审慎的态度把事情做对。”

这些思想成为 Anthropic 的基础。2021 年，Dario 与妹妹 Daniela Amodei 以及另外五人共同创立了这家公司。他们都曾与理性主义和有效利他主义社群有过接触。随着公司成长，他们的观点也越来越受到关注，而 Dario 一直公开且不遗余力地推动这些观点。

图注：Anthropic 联合创始人 Daniela Amodei，摄于 2023 年的旧金山办公室。她与哥哥 Dario 关系亲密。

Dario 也参与了地缘政治议题的讨论。他表示，美国应该限制向中国销售芯片，以削弱中国在 AI 领域的竞争能力。他呼吁对 AI 进行监管，防止这项技术失控。在与美国国防部的争议中，他还表示，AI 不应用于对美国人进行大规模监控，也不应被用于自主武器。

“他确实认为，我们面临着巨大的生存风险。”Nathan Avery 说。Avery 曾与 Dario 一起参加高中越野跑比赛，多年来两人有过许多深入交谈，尽管如今已渐渐疏远。“他觉得自己需要让自己处于一个能够对此采取行动的位置。”

Dario 是一位亿万富翁，随着 Anthropic 公开上市，他的身家预计还将增长。他通过公司代表拒绝接受此次采访。

他的想法为他赢得了支持者，尤其是在部分 AI 安全领域的从业者中。这些人认为，Dario 正以负责任的方式开发 AI。

但这也让他在硅谷和华盛顿树敌，批评者包括 Meta 的马克·扎克伯格和英伟达的黄仁勋。他们抨击他是“末日论者”，试图将 AI 领域的权力集中到自己手中。9 月，美国国防部在社交媒体上发文称：“美国主义，而非有效利他主义。”

Dario 似乎意识到自己的想法激怒了一些人，因此试图公开将自己的信念与理性主义和有效利他主义区分开来。2023 年，他在《纽约时报》的播客《Hard Fork》中表示，自己不认为自己是一名有效利他主义者。

“我认同其中的一些想法。”他说，但他反对“把人们划分成不同的部落”。

“Dario，放轻松！”

Dario 和妹妹 Daniela 在旧金山的米申区长大。他们的父亲 Riccardo Amodei 是一名皮革工匠，母亲 Elena Engel 负责管理公共图书馆的翻新工程。离婚文件显示，两人于 1991 年分居。

在洛顿另类学校读八年级时，Dario 已经表现得十分出众。1997 年，他和一位同学被评为“最有可能取得成功的人”，两人在毕业纪念册的照片中手持美元钞票。

在旧金山顶尖公立高中洛威尔高中就读时，Dario 如饥似渴地学习，还在加州大学伯克利分校上课。同学们说，他会思考功利主义等思想。功利主义主张，人们应该为尽可能多的生命创造最大的幸福。他也担心千年虫问题（当时一些计算机程序只用两位数字记录年份，进入 2000 年后，程序可能将“00”误认为 1900 年）可能导致全球计算机系统瘫痪。

时任洛威尔高中物理老师的 Richard Shapiro 说，Dario 经常觉得自己考试没发挥好。

“我会冲他喊：‘Dario，放轻松！’”Shapiro 说。

2001 年，Dario 进入帕萨迪纳的加州理工学院，但他经常回旧金山看望朋友和家人。一次回家时，他和 Avery、Heckman 一起去了一家寿司店，三人讨论起功利主义。Dario 是素食者，但他认为吃螃蟹没问题，因为螃蟹是无脊椎动物。

用餐期间，Heckman 提出了一个思想实验：如果一个人不停地杀鸡，那么，为了阻止更多鸡被杀，在什么情况下杀掉这个人才说得通？

Avery 回忆，Dario 轻笑了一声，随后说，从功利主义的角度看，当鸡的数量达到一定程度，它们的生命可能比一个人的生命更重要。

朋友们说，Dario 曾表示自己是无神论者，但他仍有坚定的信念。2003 年，他开车带 Avery 和其他人前往旧金山，参加反对美国入侵伊拉克的抗议活动。

第二年，Dario 转入位于硅谷中心的斯坦福大学。这次转学也让他离妹妹更近了，当时 Daniela 正在附近读高中。

2023 年，他在一档播客中谈到妹妹时说：“我们一直想一起拯救世界。”

对时间和生命的思考

2006 年从斯坦福大学毕业后，Dario 进入普林斯顿大学攻读物理学博士学位，最终专注于将物理学应用于生物学和计算神经科学。这一年，他患有丙型肝炎的父亲去世。

Dario 全身心投入视网膜细胞研究，并开始对开发能够加速科学进步的技术产生兴趣。

曾与 Dario 交往、并与他共同创办科学讨论小组的 Jade Wang 说，两人经常讨论这样一个问题：那些毕生研究某一种疾病的科学家，如果转而为整个领域开发技术或方法，是否能产生更大的影响。

她说，Dario 提到了自己的父亲：在能够让大多数丙肝患者得到治疗的药物问世之前，他的父亲就去世了。

图注：《奇点临近》作者 Ray Kurzweil。Dario 对他有关人工智能的著作很感兴趣。

那时，Dario 已经开始认同 Kurzweil 和理性主义领袖 Yudkowsky 的著作。他尤其对 Kurzweil 的一个观点感兴趣：先进技术有可能帮助人类突破自身的自然限制。这种思想被称为“超人类主义”。

2007 年 Heckman 到普林斯顿拜访时，Dario 告诉他，奇点将在 2040 年前到来，人类有一天可能会将思想与机器融合。

Heckman 回忆说，Dario 当时表示：“随着时间推移，我们会成为新的超级智能 AI，或者 AI 与人类的混合体。”

Dario 对这种思想如此着迷，以至于他鼓励朋友和妹妹参加 Yudkowsky 的奇点研究所举办的年度会议。该组织现名为机器智能研究所。

在《纽约时报》看到的一封 2008 年电子邮件中，Dario 告诉朋友，Yudkowsky 是“我遇到过的思想最深刻的人之一”，并且“明确地试图促成一个有利于人类的奇点”。

Yudkowsky 在给《纽约时报》的电子邮件中表示，Dario“目前不会征求或采纳我的建议，我也不记得他曾经这样做过”。

图注：自学成才的 AI 研究员 Eliezer Yudkowsky。Dario 开始认同他的著作。Yudkowsky 认为，AI 将变得足够强大，足以摧毁社会。

大约在同一时期，Dario 还开始与火箭公司 SpaceX 的创始人埃隆·马斯克通信。两名了解两人交流情况的人士说，Dario 曾告诉朋友，他很欣赏这位科技巨头，也考虑过为他工作，但最终没有加入这家太空初创公司。

2008 年，Dario 在阅读经济学家 Tyler Cowen 的博客时接触到了 GiveWell。Cowen 在博客中说，这家机构提供了有关慈善组织的“有趣建议”。

Dario 开始活跃于 GiveWell 的邮件列表和论坛，讨论如何以有效利他主义的方式开展慈善和科学工作。《纽约时报》看到的一封电子邮件显示，2010 年，他写道，自己正在“考虑从事金融行业，这样我就能比现在捐出更多的钱”。

同年，Dario 在 GiveWell 的一篇博客文章中讨论了自己决定捐出 1 万美元的事。他正在两个捐赠对象之间做选择：一个是专注于预防成人结核病的“遏制结核病伙伴关系”，另一个是帮助非洲村庄儿童接种疫苗的 VillageReach。

Dario 写道，“遏制结核病伙伴关系”的“成本效益”更高，因为该组织服务的是成年人，而“成年人比婴儿拥有更深刻、更有意义的体验”。他补充道：“我认为，一个成年人的死亡可能比一个婴儿的死亡严重两到三倍。”

但在进一步比较两家机构执行项目的方式后，Dario 最终改变了主意，认为 VillageReach 的工作更有效。

2011 年，他开始在斯坦福大学从事博士后研究，研究癌细胞。朋友们说，在个人生活中，他尝试服用抗衰老补充剂，坚持严格的游泳计划，并对减少热量摄入产生兴趣。一些研究表明，减少热量摄入可以延长实验室小鼠的寿命。

“他经常谈论时间的有限性，以及时间是唯一不可再生的资源。”Avery 说。他补充道，Dario“对时间近乎苛刻”。

两位认识他的人士说，2014 年，Dario 被诊断出睾丸癌，这进一步加深了他的这种感受。他接受了化疗，最终完全康复。

到那时，他已经与 GiveWell 的创始人之一 Holden Karnofsky 建立了密切关系。GiveWell 开始与 Good Ventures 合作。后者是 Facebook 联合创始人 Dustin Moskovitz 及其妻子 Cari Tuna 的慈善机构，资助有效利他主义相关事业。

Dario 开始为双方的合作项目 GiveWell Labs 提供生命科学资助方面的建议。

图注：GiveWell 创始人之一 Holden Karnofsky（右），摄于 2012 年。Dario 曾活跃于 GiveWell 的在线论坛。

当时，Karnofsky 正在与 Daniela 交往。两人搬进了旧金山的一处合租房，后来住在这里的人还包括 Dario、理论物理学家 Jared Kaplan，以及大学辍学者 Christopher Olah。Dario 曾辅导 Olah 数学。

三名曾到访这处住所的人士说，室友们讨论 Yudkowsky 的文章，探索理性主义和有效利他主义。他们还会参加内华达州沙漠中的年度反主流文化聚会“火人节”，有时会穿上动物服装。

Kaplan 和 Olah 后来与 Amodei 兄妹共同创立了 Anthropic。2025 年，Karnofsky 也开始为这家公司工作。

从百度、谷歌到 OpenAI

2010 年代初，机器学习取得进展，推动科技公司重新加大对 AI 的投资。机器学习让计算机通过分析数据，从中学习如何完成任务。

中国互联网巨头百度是投身其中的公司之一。百度在加利福尼亚州桑尼维尔开设了一间实验室，并从谷歌聘请 AI 先驱吴恩达担任首席科学家。

Dario 于 2014 年加入百度，很快就因在办公室通宵工作和直言不讳地表达观点而出名。

图注：曾在谷歌和百度工作的 AI 先驱吴恩达。Dario 曾加入百度，从事 AI 研究。

曾在百度与 Dario 共事的研究员 Gregory Diamos 说：“Dario 几乎每次有机会都会非常激烈地争论。”

即便在这一轮 AI 发展的早期，Dario 就已经对这项技术的潜在危险感到担忧。Diamos 回忆说，2015 年，Dario 告诉同事，AI 可能很快就会达到或超过人脑的能力，因此开发 AI 的公司不应回避技术失控的可能性。

同年，Dario 加入谷歌的 AI 实验室 Google Brain，专注于 AI 安全。他与其他五位研究员，包括他的室友 Olah，于 2016 年发表了论文《人工智能安全中的具体问题》，阐述了如果开发方式不当，AI 可能出现的异常行为。

2016 年，Dario 加入了一个新的 AI 项目：非营利组织 OpenAI。他领导了 OpenAI 的安全团队，以及另一个研究“规模定律”的团队。规模定律描述的是，随着模型规模、训练数据和计算资源增加，AI 模型的表现可能随之提升。

在 OpenAI：理念、权力与分歧

七位曾与 Dario 共事的人士说，在 OpenAI 工作期间，他对开发 AI 的正确方式的信念更加坚定。他更频繁地谈论 AI 的力量和潜在危害，并采取行动将自己的想法融入这项技术的开发过程。

例如，2016 年 11 月，唐纳德·特朗普当选美国总统三天后，Dario 在 OpenAI 的内部通讯应用中写道，他担心美国正在滑向威权主义。

《纽约时报》看到的消息显示，他表示自己“无法心安理得地在一个威权国家研究具有强大军事用途的技术”。

内部消息显示，Dario 还写道，投资人彼得·蒂尔因向特朗普的竞选活动捐款 125 万美元而“在道德上应受谴责”，OpenAI 不应再接受他的钱。（蒂尔创办的风险投资公司 Founders Fund 后来投资了 Anthropic。）

Dario 还帮助 OpenAI 与认同其想法的资助方达成了一项合作。三名熟悉这项安排的人士说，2017 年，他帮助 OpenAI 与 Karnofsky 运营的慈善机构建立联系，而他本人是该机构的技术顾问。

Karnofsky 的机构如今名为 Coefficient Giving，向 OpenAI 捐赠了 3000 万美元。Karnofsky 也加入了 OpenAI 董事会。

图注：2017 年在 OpenAI 工作的 Dario，以及 2019 年在 OpenAI 工作的 Daniela。

同年晚些时候，Karnofsky 与 Daniela 结婚。根据两人的婚礼网站，宾客们收到了毛绒玩具，安排“不同角色之间最浪漫的配对”的人还会获得奖励。

Dario 戴着一个熊猫头套参加了婚礼，婚宴的着装要求是“滑稽正装”。在《纽约时报》看到的一张照片中，他穿着这身装扮，与戴着长颈鹿头套的 Olah 以及当时的女友 Cami Clark 一起出镜。他与 Clark 于 2022 年结婚。

2018 年，Daniela 加入 OpenAI，最终成为负责安全与政策的副总裁。一些员工很快开始对这对兄妹日益增长的影响力提出质疑。

三名了解相关讨论的人士说，同年 12 月，OpenAI 研究员 Joshua Achiam 告诉首席执行官 Sam Altman，任命 Dario 为公司的首席伦理官并不明智。Achiam 提到了 Amodei 兄妹日益增长的权力，并表示对 AI 的监督应该由持有不同观点的人共同承担。

当 Achiam 坚持应该任命一位外部专家担任首席伦理官时，Dario 与他当面对质。知情人士说，Dario 提高了声音，表示没有人比自己更适合这个职位。

2018 年，Amodei 兄妹接手了公司一个名为 GPT 的项目。GPT 是“生成式预训练 Transformer”的缩写。

六位曾在该公司工作的人士说，他们探索了一种安全技术，旨在通过人类指令教会 AI 完成任务。

这种做法后来成为 Dario 职业生涯的鲜明特点：让 AI 更接近潜在的危险，再用安全技术对其进行测试。

OpenAI 总裁 Greg Brockman 希望参与 GPT 项目，但遭到 Amodei 兄妹抵制。两名了解公司情况的人士说，Dario 多次告诉 Altman，如果他不让 Brockman 远离这项工作，自己就会离开。

一名了解 Altman 想法的人士说，Altman 认为这些最后通牒太过分，因此拒绝了兄妹俩的要求。

2020 年 12 月，Amodei 兄妹和其他同事离开 OpenAI。四周后，他们创立了 Anthropic。

图注：今年 5 月，在旧金山举行的 Anthropic 开发者大会上，Amodei 兄妹与公司首席产品官 Ami Vora（左）同台。