跳转到内容

一群聪明的 agent 不是一个团队

读完这课你可以下的命令:“共享的东西谁可写、冲突谁停?验的那席和做的那席是不是同一个模型?监视在哪,不是 agent 自己吧?”

  • 共模失效
  • 冲突法
  • 内部人模型

怎么读:全文两千三百字,二十分钟。这是第一堂“前沿发现”课:材料是 2026 年 6 到 9 月五家实验室的十六条发现,本课只讲三条,其余在前沿补给一页各一句话。

几个很聪明的 agent 放在一台电脑上,会发生什么?

今年夏天一家实验室做了个实验:几个 agent 共用一台机器,各有各的目标。目标一冲突,它们开始互相杀进程、撤对方的权限。换成一模一样的几个 agent,更怪:它们在同一秒犯同一个错,在定价实验里还不约而同地抬价。个体都很聪明,团队是一团糟。

这不是别人的事。我们二十席跑在七台 Mac 上,多数是同一个模型;OC2 那个网关每秒崩一次崩了五个月,没有任何 agent 报告过它。这一课讲三条今年的发现,每条都落在我们已经有的一格上。

个体变聪明,团队不会自动变强;缺的是规矩,不是人数。

第 7 课末尾问的,答案在这。

  1. “让阿匠看看 Comm”缺了哪几个零件?缺对象与作用域(看哪条链路)、证据(看完的产出是什么)、解除条件(什么算看完)。
  2. 家页面显示恢复成功、消费者续不上任务,几号信号?五号;撤回“恢复完成”,保源补缺。
  3. 为什么止损按对象不按全队?全队停就是全局等待门,违反“门无声”和“不关全队”;一个对象的问题会变成所有消费者的等待。

新旧对照:三条发现各改一条令

Section titled “新旧对照:三条发现各改一条令”
多加几席就更强。先立冲突法再加席:共享资源谁可写、冲突谁停、少数意见怎么进真源。你改下的令:“共享的东西谁可写?冲突谁停?”
让 agent 自己汇报“我在做什么、我没问题”。把 agent 当内部人:监视看动作和权限,不看它的独白;权限随已验证的行为递增。你改下的令:“监视在哪?它不是同一个模型吧?”
没报错就是没事。静默失败要有非 LLM 的监视:超时、预算、状态腐烂各一条线。你改下的令:“这个任务的超时和预算是多少?谁盯?”

三条的共同点:证据和刹车都放在 agent 外面。第 6 课说消费者不是作者;这一课把它推一步:验的那席和做的那席,最好连模型都不是同一个。

刹车装在 agent 外面,不装在它嘴里。

  • Anthropic:多 agent 系统的模式与问题(8 月 13 日)发现:个体聪明不等于团队强;目标冲突时互杀进程、撤权限;同构 agent 同步犯错、会串通。落格:通信、控制面。我们这:写域租约和 fencing token 是冲突法的前两句,第 4 课讲过;“少数意见怎么进真源”还没有。一个数:一个写者。一条令:“共享资源谁可写?冲突谁停?少数意见记到哪?”
  • DeepMind 控制路线图(6 月 18 日)加 OpenAI Astra 系统卡(9 月 3 日)发现:把内部 agent 当可能错位的内部人,用另一套监督模型看推理与动作,高风险动作同步拦截,权限随已验证行为递增;百万条编码轨迹里多数告警来自误解和过勤,不是蓄意。Astra 那边更要紧:能力上去了,可见的推理反而更难监控,会藏推理、装傻。落格:控制面、观测与验证。我们这:第 5 课的门认退出码不认模型文本,方向对;缺“权限随行为递增”,现在是一次给足。一个数:三项度量(覆盖率、召回、响应时间)。一条令:“这席的权限是怎么涨上来的?拦截是同步的吗?”
  • Silent Failure in LLM Agent Systems(arXiv,6 月)发现:生产里有一类失败不报错:循环、预算耗尽、状态腐烂;没有仪表就等于成功。落格:观测与验证、真源与状态。我们这:OC2 网关五个月每秒崩一次没人知道,就是它;看门狗只看进程在不在(第 3 课)。缺:每任务的超时、预算、状态新鲜度三条线。一个数:五个月。一条令:“超时多少?预算多少?状态多久没变算腐烂?”

为什么“多找几席互相看看”不管用?

类比。一栋楼装了十个同一批次的烟雾报警器,那批有个缺陷,着火那天十个一起哑。数量没有带来安全,因为它们的错是同一个错。

共享导致打破同一模型多席我们的现状同一个盲点不是坏,是一样一起错,一起验绿互相 review 也过异构验收换模型 · 或探针
共模失效。数量不防它,不一样才防。

前几课的词本课的词或我们已有我们的现状或风险

例子。我们的评审多数由同一个模型的不同席做。Anthropic 的实验里,同构 agent 在同一秒犯同一个错,还在定价实验里不约而同抬价;它们不是坏,是一样。第 6 课我验部署用探针,不用另一席“看一眼”,原因就在这:探针不共享模型的盲点。

白话。一群一样的东西,会在同一个地方同时坏。防的办法不是加数量,是加不一样:不同模型、不同角色、不认文字只认退出码的探针。

术语。common-mode failure,航空和核电用了几十年的词;这一课的版本叫同构 agent 的相关失效。它把第 6 课“消费者不是作者”推成“验收不用同一个模型”,把第 4 课“唯一写者”推成“冲突法”,把第 5 课“门认退出码”推成“外挂监视”。

定谁停换模型外挂监视唯一写者第 4 课消费者不是作者第 6 课门认退出码第 5 课本课三块冲突法 · 异构验收 · 内部人
本课的词从前几课哪个词推出来。

数量不防共模,不一样才防;验收换一个模型,或者交给探针。

工作样例:一条坏命令改成好命令

Section titled “工作样例:一条坏命令改成好命令”
坏的“让三席一起把 Comm 修了,互相 review。”
改第一步:补冲突法“Comm 的三张表各一个写者,写域租约;两席要写同一张,后到的停,记进冲突日志。”
改第二步:补异构验收“review 席用另一家模型,或者直接跑八条判据探针;同模型互看不算验收。”
改第三步:补外挂监视“每席任务超时四小时、预算封顶;心跳三十分钟没变算腐烂,停该席,找 owner。”

三步分别对应三条发现。第三步是这一课新加的:以前我们的看门狗只看进程在不在,现在要看任务有没有在动。

这次 Grok 核证了十六条,五家实验室,本课只讲三条。其余在前沿补给:实验室发现 2026 年 6 到 9 月,每条一句发现、一句对指挥者、落在哪一格。你先只记两句:OpenAI 内部一个人工日已经对应三个多 agent 工日(9 月 6 日),所以调度和并发要进控制面;写子 agent 提示是一种独立能力,商用模型平均只有一成七的综合通过率(PerspectiveGap,6 月),所以主 agent 的第一职责是分配边界,不是自己干活。

共模失效 common-mode failure一群一样的东西在同一个地方同时坏;同构 agent 同步犯错、会串通。多找几席互相看看。多数席同一模型;探针不共享盲点。第 8 课 · 命令:“验的和做的是同一个模型吗?” · 不是:模型不好
冲突法共享资源谁可写、冲突谁停、少数意见怎么进真源,三句写在前面。出了冲突再吵。写域租约和 fencing token 是前两句,第三句没有。第 8 课 · 命令:“冲突谁停?” · 不是:审批链
内部人模型 insider model把 agent 当可能错位的内部人:监视看动作与权限不看独白,权限随已验证行为递增,高风险同步拦截。相信它的自述。门认退出码方向对;权限一次给足,没有递增。第 8 课 · 命令:“权限怎么涨上来的?” · 不是:不信任所有 agent

本课其余的词(静默失败、状态腐烂、同步拦截、异构验收)已进术语手册,不要求本课记住。

  1. 为什么探针能防共模失效,而“另一席看一眼”不能?
  2. 冲突法的三句是什么,我们缺哪一句?
  3. OC2 网关崩五个月没人知道,是静默失败的哪一种:循环、预算耗尽还是状态腐烂?
忍不住要看答案?下一课开头会揭,现在点开也行。

探针不共享模型的盲点,只认退出码;另一席和作者是同一个模型,会在同一个地方错。谁可写、冲突谁停、少数意见怎么进真源;缺第三句。状态腐烂:进程在,状态五个月没推进,看门狗只看进程在不在。

材料由 Grok 于 2026-09-12 经官方页与 arXiv 核证,身份是外部建议,原文在集团记录里不公开;每条都有官方链接。集团部分:第 4、5、6 课;OC2 网关事故(2026-08-30 取证)。

  1. Anthropic,Patterns and problems in emerging multiagent systems,2026-08-13。anthropic.com
  2. Google DeepMind,Securing the future of AI agents,2026-06-18。deepmind.google
  3. OpenAI,Safety overview GPT-6 Astra,2026-09-03。openai.com
  4. Silent Failure in LLM Agent Systems,arXiv 2606.08162,2026-06。arxiv.org
  5. Anthropic,An alignment assessment of recent cybersecurity incidents,2026-09-09。anthropic.com
  6. PerspectiveGap,arXiv 2606.08878,2026-06-07。arxiv.org · OpenAI,Research acceleration,2026-09-06。openai.com