ai安全

ChainCatcher 消息，Anthropic 最近向美国国会议员提交一份 AI 安全法案草案，遭美国 AI 安全派质疑。草案对政府紧急叫停危险模型设置较高门槛，风险须涉及生物武器、网络攻击或 AI 失控等情形，并可能造成超过 50 人死亡或重伤，或超过 10 亿美元损失；部分条款还可能限制州政府监管权限。AI 安全组织 Encode AI 战略负责人 Nathan Calvin 随后梳理 Anthropic 过去一年的决定。今年 2 月，公司修改原本严格的安全政策：过去承诺若安全措施跟不上模型能力就暂停训练或发布，新政策不再要求公司在更高风险阶段独自停止研发，理由是竞争对手可能趁机超车。同期公司投入巨额算力、组建芯片团队，并让 Claude 承担更多 AI 研发任务。10 月 21 日，Anthropic CEO Dario Amodei 在 X 上发长文反驳。他承认公司犯过一些错误，但坚持争夺最先进 AI 能力并未违背安全使命，并称公司奉行向上竞赛，只有保持在技术最前沿，才有能力推动行业提高安全标准。他列举九项曾让公司付出商业代价的安全决定，包括将 Mythos 级模型限制开放数月，以及严格限制生物学相关请求。公司 10 月 19 日更新的安全路线图称，现有政策主要针对危险模型部署，未来可能需要直接限制研发速度，并计划在 2027 年 1 月 15 日前提出相关政策方案，或解释为何没有提出。

ChainCatcher 消息，OpenAI 首席执行官奥特曼上周向员工介绍了三种安全开发超级 AI 的方案。第一种是建立类似国际原子能机构的全球监管组织，检查先进模型并审计安全措施。知情人士称，奥特曼倾向于这条路线。第二种效仿欧洲核子研究中心，让各大 AI 实验室合并到一个组织，或通过统一机构共同研发，而不是继续各自竞速。第三种最极端，被他称为「Eliezer 方案」：一家 AI 公司率先实现递归自我改进，再凭借压倒性经济实力控制算力，使其他开发者无法追赶。奥特曼用「熔毁其他所有公司的 GPU」描述这一设想，同时表示该方案非常糟糕，只是为了把可能性讲全。「熔毁 GPU」的设想来自 AI 安全研究者 Eliezer Yudkowsky。他在 2021 年提出思想实验，让超级 AI 制造能够自我复制的纳米机器以熔毁全球 GPU，并表示这只是说明干预力度的极端例子，并非主张执行的方案。OpenAI 在 2023 年提出过建立「AI 版国际原子能机构」，Google DeepMind 负责人 Hassabis 也曾主张设立「AI 版 CERN」。目前 OpenAI、Google 和 Anthropic 计划在今年底或明年初成立联合安全标准组织，但在模型安全测试责任归属上存在分歧。奥特曼希望为 AI 研发设定速度限制，同时表示 OpenAI 眼下不能把竞争优势让给对手。

ChainCatcher 消息，据彭博社报道，纽约市审计长 Mark Levine 周三致信人工智能公司 Anthropic 首席执行官 Dario Amodei，呼吁公司在充分应对人工智能安全、治理及发展速度相关风险前暂缓 IPO，优先处理该技术带来的风险。Levine 负责监督资产规模超过 3250 亿美元的公共养老金。他认为，特朗普政府与包括 Anthropic 在内的人工智能企业达成的具有道德约束力的安全协议仍不足。他敦促 Anthropic 建立相应治理机制，具体披露如何实施适当审计及控制措施、措施覆盖范围和预计时间表，并解释这些措施能否以及如何回应 Amodei 此前放缓人工智能模型能力发展速度的呼吁。Anthropic 计划最早于下月上市，募资规模可能达到或超过 SpaceX 此前创纪录的 IPO。公司周三在总部与部分投资者会面，并披露今年第三季度营收为 168 亿美元。Anthropic 未立即回应置评请求。

ChainCatcher 消息，据 Anthropic 官网消息，Anthropic 宣布在新加坡开设亚太地区第五个办公室，并与新加坡数字发展与信息部签署谅解备忘录，双方将在 AI 安全、模型评估、负责任 AI 采用等领域展开合作。 新加坡是 Claude 全球最活跃市场之一，目前已有 GovTech Singapore、DBS、Grab、GIC 等超过千家政府机构及企业部署 Claude。其中 GovTech Singapore 逾 1500 名工程师已采用 Claude Code 推进政府系统现代化，Grab 借助 Claude 驱动的销售助手每季度节省约 4 万小时人力。

ChainCatcher 消息，字节跳动 Seed 近日发出内部邮件，宣布成立 Seed Model-Alignment&Preparedness 部门，由严林负责，并向 Seed 负责人吴永辉汇报。原 Responsible AI 团队及部分 Chat 团队成员将转入新部门。该部门旨在加强安全与对齐方向投入。对齐的核心是让模型行为与人类意图和安全约束保持一致，以提升 Agent Model 安全能力，并防范化学、生物、放射、核等前沿能力风险。

ChainCatcher 消息，据 Ark Invest Tracker 报道，Ark Invest 表示 AI 黑客攻击正波及一切。风险远不止比特币，因为 AI 使软件漏洞更容易被发现和利用。比特币和硬件钱包可能最先受到冲击，但社交媒体、税务和银行网站也可能面临同样威胁。信任一个大品牌，仍意味着信任该公司在 AI 日益强大时不会犯错。ARK 预计大型托管机构也将成为目标，AI 可能以前所未有的速度发现并利用漏洞。

ChainCatcher 消息，华尔街日报报道，加州伯克利一处名为 Constellation 的联合办公空间内，一小群人工智能研究人员正讨论如何避免灾难性人工智能风险。接近该空间的人士称，Anthropic 员工也在其中拥有办公空间。报道称，Anthropic 研究员 Jacob Coxon 本月辞职，使“失控的人工智能发展可能终结人类”这一说法受到美国公众关注。报道称，相关人工智能安全圈人士已担忧这一问题十多年。他们曾在湾区合租屋打磨论点，并在伯克利和巴哈马的会议上交换预测，讨论过购买偏远岛屿、囤积碘片或迁往沙漠电磁屏蔽地堡等想法。2022 年一次活动的酒单上，还有以 “Death With Dignity” 命名的鸡尾酒，指向一篇认为人类已注定失败的文章。华尔街日报称，这类所谓末日论者是 OpenAI 和 Anthropic 最早的一批员工，两家公司均以防范人工智能危险为创立原则。他们持续产生影响，部分人员和项目资金来自与有效利他主义相关的网络，其中包括已倒闭加密交易所 FTX 前首席执行官 Sam Bankman-Fried；报道称他正在服 25 年刑期。

ChainCatcher 消息，Axios 报道，特朗普盟友正把人工智能公司 Anthropic 首席执行官 Dario Amodei 作为人工智能“末日论”代表人物及有效利他主义运动创始人之一加以攻击。消息人士称，中期选举期间，盟友反击其人工智能安全警告时，Anthropic 仍可能成为特朗普阵营目标；因其政治立场和对人工智能安全的关注，他被视为容易攻击的对象。这对投资者而言令人担忧，因为公司正准备一场预期创纪录的首次公开募股。报道称，本周白宫内部开始流传一份备忘录，试图把有效利他主义描绘成脱离美国主流的边缘、邪教式群体，Axios 称已取得该文件。备忘录由一名不在白宫任职的特朗普政治顾问撰写，称有效利他主义“建立了人工智能末日管道”，并把 Amodei 放在该运动的基础位置，同时提到其妹、Anthropic 总裁 Daniela Amodei，将这些关系称为“Anthropic 结点”。一名接近政府的消息人士说，Amodei 体现了一种与总统“美国优先”议程相悖的意识形态和全球主义创新路径。Anthropic 一直在与有效利他主义保持距离。Daniela Amodei 在 2025 年《连线》报道中表示不认同这一术语。Dario Amodei 在采访中坚称自己不是该运动成员，并宣传过人工智能的益处。

ChainCatcher 消息，据媒体援引知情人士报道，Anthropic 和 OpenAI 曾考虑签署一份具有法律约束力的协议，以相互对对方的大模型进行压力测试。今年早些时候，两家公司及其律师团队曾就此计划展开讨论，竞争对手可对彼此最新可用模型进行深度测试，以寻找潜在风险或安全漏洞。此类测试仅适用于已商业化的模型，且双方约定不得留存对方的数据。该报道并未明确双方最终是否达成此类协议。近来，在顶尖 AI 实验室之间推行某种形式的同行评审的想法受到关注。SpaceX 首席执行官埃隆·马斯克上周建议，美国领先的几家大模型公司以及部分中国 AI 公司应当允许竞争对手进行交叉测试。马斯克表示：所有 AI 公司都有一套测试工具，让每家公司都用别家的测试工具跑一遍，可能是确保自身安全所能做的最好的事。本月早些时候，Anthropic 研究员 Jacob Coxon 宣布辞职并警告领先人工智能公司在没有适当防护措施的情况下加速开发。随后 Anthropic CEO 达里奥·阿莫代伊发文呼吁行业放缓 AI 开发步伐并引入第三方评估机制。Anthropic 上周五宣布与埃森哲建立合作，由埃森哲担任第三方评估机构，对其前沿 AI 模型进行安全合规性评估。

ChainCatcher 消息，Bitcoin News 在 X 平台发文表示，Bitcoin Core 开发者 Niklas Gögge 警告，近期 AI 驱动的漏洞扫描正在改变比特币安全形势，大型语言模型已显著降低漏洞发现成本，攻击者可能仅需数百美元计算成本就能发现灾难性漏洞。针对 Bitcoin Core，Project Loupe、Bitcoin Red Team 及个人贡献者已生成超过 1000 份报告，但截至目前尚未发现高危或严重漏洞。Gögge 表示，依赖更强模型在攻击者之前发现漏洞并非可持续的安全策略，开发者应通过自动化测试、模糊测试和基于属性的测试构建能够提前阻止整类漏洞的测试基础设施。Bitcoin Core 关键组件已累计完成超过 100 年的 CPU 模糊测试，并进行了数十年的比特币节点网络模拟。

ChainCatcher 消息，Anthropic CEO Dario Amodei 最近主张，让 METR 这类第三方评估机构长期进驻前沿 AI 公司，获得接近员工级别的权限，检查安全措施、事故和模型训练过程。但《纽约邮报》调查发现，METR 和 Anthropic 所在的 AI 安全圈关系远比普通外部审计更近。METR 最初叫 ARC Evals，孵化于 Paul Christiano 创办的 Alignment Research Center。Christiano 曾和 Amodei 在 OpenAI 共事，《纽约邮报》称两人还做过室友；他后来成为 Anthropic Long-Term Benefit Trust 最初五名受托人之一。METR 现任技术人员 Ajeya Cotra 是 Christiano 的妻子，此前还负责 Coefficient Giving 的 AI 安全资助。今年 METR 评估 Anthropic、OpenAI、Google 和 Meta 时，当时还没有适用的人员利益冲突政策，也没有进行正式的回避流程。METR 披露，直接参与项目的员工和合作者中，至少 6 人与 AI 公司员工存在密切私人关系。METR 表示不接受前沿 AI 公司及其员工的资金，做风险评估也不收费，不过这些公司会免费提供大量模型 Token。

ChainCatcher 消息，OpenAI 首席执行官 Sam Altman 表示，他相信人工智能公司能够安全地发展该技术，而不会对广大民众造成重大伤害。Altman 周二在旧金山 Dreamforce 大会上与 Salesforce 首席执行官 Marc Benioff 的讨论中称：我非常有信心，我们公司——我们整个行业——有能力安全地做到这一点。

ChainCatcher 消息，扎克伯格发文称，每个实验室都有责任和激励以所需速度安全训练模型，并有能力自行采取行动。人们不会使用与自己不对齐、不按要求行事的智能体，实验室因此有强烈自然激励提升模型对齐。信任和对齐正迅速成为区分智能体与模型的最重要能力，任何不聚焦对齐的实验室都将落后。 扎克伯格表示，实验室若模型造成伤害将面临重大责任，因此也有强烈激励加以防范。Meta 将 Muse 推迟数月发布以聚焦安全和安保，并未要求其他实验室先行效仿，只是将其作为日常工作的一部分。聘请独立评估者和顾问是行业最佳实践，MSL 已在多个领域这样做。将大部分算力用于服务人们而非竞相递归自我改进，是确保安全开发该技术的最佳方式之一，Meta 已作出这一承诺。