OpenAI组建Preparedness团队 致力于评估和减轻人工智能灾难性风险

   发布时间:2023-12-19 11:11

【智快网】12月19日消息,针对人工智能(AI)模型的安全性,OpenAI宣布成立了新的Preparedness团队,该团队旨在评估和减轻与人工智能相关的“灾难性风险”。

Preparedness团队由麻省理工学院可部署机器学习中心主任亚历山大·马德里(Aleksander Madry)领导,其任务是跟踪、评估、预测和防范由人工智能模型引发的潜在灾难性风险。据悉,OpenAI在今年10月份首次宣布了Preparedness团队的组建计划,而此举是公司在应对人工智能风险方面的又一重要举措。

与此前有关人事的变动不同,OpenAI在宣布新团队的同时表示,已经放弃寻找信任和安全部门主管戴夫·威尔纳(Dave Willner)的继任者,而是决定拆分该部门,分别成立了三个独立的团队来应对人工智能风险。这三个团队分别是“安全系统”(Safety Systems)团队、“超级对齐”(Superalignment)团队以及Preparedness团队。

据智快网了解,这一组织架构的调整旨在更全面地应对人工智能的安全挑战。其中,“安全系统”团队专注于高级人工智能模型和人工通用智能的安全部署,致力于减少对当前模型和产品的滥用,比如ChatGPT。而“超级对齐”团队的任务是为公司未来拥有的超级智能模型奠定安全基础。而Preparedness团队则负责绘制前沿模型的新风险,并对其进行全面的安全评估。

OpenAI还计划建立一个专门的团队,以监督技术工作,并构建一个安全决策的运作结构。Preparedness团队将推动技术工作,检查前沿模型能力的极限,进行评估,并撰写相关报告。公司还将设立一个跨职能的安全咨询小组,负责审查所有报告,并将其提交给公司领导层和董事会。在这一新机构中,尽管领导层是决策者,但董事会有权推翻其决策。

OpenAI成立于2015年,由特斯拉CEO埃隆·马斯克、Y Combinator总裁阿尔特曼、PayPal联合创始人彼得·蒂尔等硅谷科技大亨共同创立,专注于人工智能技术应用领域。公司的CEO萨姆·奥尔特曼是人工智能领域的知名预言家,经常对人工智能的潜在风险表示担忧。今年5月,奥尔特曼和其他知名人工智能研究人员发表声明,呼吁全球将减轻人工智能带来的灭绝性风险作为优先事项。

今年9月,OpenAI推出了“红队网络”(Red Teaming Network),并邀请各领域专家加入以提高其人工智能模型的安全性。签约的专家将通过协助评估和减轻模型风险,为OpenAI人工智能系统的稳健性提供关键支持。这一系列举措表明OpenAI正积极应对人工智能带来的潜在挑战,强调了公司对技术安全性的高度重视。

 
 
更多>同类内容
全站最新
热门内容
本栏最新
 
智快科技微信账号
ITBear微信账号

微信扫一扫
加微信拉群
电动汽车群
科技数码群