给失控 AI 智能体装"急刹车":OpenAI 35 秒熔断机制上线

   发布时间:2026-11-10 13:50 作者:CHINAZ

AI 智能体一旦跑偏,人类还能不能拉得住缰绳?OpenAI 在 11 月 10 日给出了一道新保险——名为"控制室"的系统已在内部研究设施上线,专门用来掐断有风险的 AI 任务,最快能在 35 秒内叫停一只失控的智能体。

从"报警"升级到"断供"

传统监控只会给可疑行为贴标签,而控制室走的是主动阻断路线。它把智能体训练、评估和数据处理等任务负载接入中央服务,由系统拍板某项任务能否继续吐出内容。研究员启动任务前,必须向控制室申领唯一任务 ID,这个身份标识会跟随每一次发给推理引擎的请求;引擎在跑之前得先问控制室:"这活儿能不能干?"

一旦研究员或监控系统喊停,控制室就会拒绝下一次推理请求,让引擎不再为该项任务输出任何模型结果。换句话说,危险动作不是被记录,而是被当场切断。

35 秒延迟,目标归零

OpenAI 透露,从收到停止指令到彻底拦下任务,最长耗时 35 秒。这道时差来自推理授权请求的缓存层,公司正设法把它压到零。与此同时,所有前沿强化学习任务都配了独立的模型监控器,负责盯行为、发现问题就拉响警报。

让 AI 自己看着 AI 跑、再设一道人工可触发的急停开关,OpenAI 这套组合拳,折射出行业对"失控智能体"风险的警惕正从纸面预案走向工程落地。

 
 
更多>同类内容
全站最新
热门内容
 
智快科技微信账号
微信群

微信扫一扫
加微信拉群
电动汽车群
科技数码群