搜索
首页科技周边人工智能OpenAI指引允许董事会限制CEO发布新模型,以防范AI风险
OpenAI指引允许董事会限制CEO发布新模型,以防范AI风险Dec 19, 2023 am 11:32 AM
ai风险防范ceo控制模型发布制止

为了避免人工智能(AI)可能带来的巨大风险,OpenAI决定授予董事会更大的权力来监管安全事务,并对上个月刚刚在内部争斗中获胜的CEO Sam Altman进行严格的监督

OpenAI在美东时间12月18日周一发布了一系列指南,旨在跟踪、评估、预测和防范日益强大的人工智能(AI)模型带来的灾难性风险。OpenAI将"灾难性风险"定义为可能导致数千亿美元的经济损失,或导致多人严重伤害或死亡的任何风险

这篇27页的指引被称为“准备框架”,其中提到,即使公司的高层管理人员,包括CEO或由领导层指定的人员认为即将发布的AI模型是安全的,公司董事会仍然有权选择推迟该模型的发布。这意味着,尽管OpenAI的CEO负责日常工作的决策,但董事会将了解风险的发现,并有权否决CEO的决定

OpenAI的准备框架建议除了对公司领导层和董事会权限的规定外,还使用了矩阵方法来记录多个类别的前沿AI模型所带来的风险水平。这些风险包括行为不端者使用AI模型创建恶意软件、发起社会工程攻击,或者传播有害的核武器或生物武器信息

具体来说,OpenAI 在网络安全、CBRN(化学、生物、放射、核威胁)、说服和模型自主四个类别上设定了风险阈值。在实施风险缓解措施之前和之后,OpenAI 将每种风险分为低、中、高或严重四个级别

OpenAI指引允许董事会限制CEO发布新模型,以防范AI风险

OpenAI规定,只有在风险缓解后评级为“中”或以下级别的AI模型才可以进行部署,只有在风险缓解后评级为“高”或以下的模型才能继续进行开发,如果无法将风险降低到严重以下级别,公司将停止开发模型。对于在风险缓解之前评定为高风险或严重风险的模型,OpenAI还将采取额外的安全措施

OpenAI将安全问题处理人员分为三个团队。安全系统团队专注于减轻和解决当前产品(如GPT-4)带来的风险。超对齐团队则关注未来系统超越人类能力可能带来的问题。此外,还有一个名为准备的新团队,由麻省理工学院(MIT)电气工程与计算机科学系(EECS)教授Aleksander Madry领导

新的团队将对强大的模型开发和实施进行评估。他们将专门负责监督与安全决策有关的技术工作和操作架构。他们将推动技术工作,审查前沿模型能力的限制,并进行评估和综合相关报告

Madry表示,他的团队将定期评估OpenAI尚未发布的最先进的人工智能模型的风险水平,并每月向OpenAI内部的安全顾问组织(SAG)提交报告。SAG将分析Madry团队的工作,并向CEO Altman和公司董事会提供建议

根据本周一公布的指引文件显示,Altman及其领导层可以根据这些报告来决定是否发布新的AI系统,但董事会保有推翻他们决定的权力

目前,Madry的团队只有四个人,但他正在努力招募更多的成员。预计团队成员将会达到15到20人的规模,与现有的安全团队和超对齐团队的人数相当

Madry希望其他人工智能公司能够以类似的方式评估其模型的风险,并认为这可能成为监管的典范

以上是OpenAI指引允许董事会限制CEO发布新模型,以防范AI风险的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:搜狐。如有侵权,请联系admin@php.cn删除
什么是模型上下文协议(MCP)?什么是模型上下文协议(MCP)?Mar 03, 2025 pm 07:09 PM

模型上下文协议(MCP):AI和数据的通用连接器 我们都熟悉AI在日常编码中的作用。 REPLIT,GitHub副词,黑匣子AI和光标IDE只是AI如何简化我们的工作流程的几个示例。 但是想象一下

使用OmniparSer V2和Omnitool建立本地视觉代理使用OmniparSer V2和Omnitool建立本地视觉代理Mar 03, 2025 pm 07:08 PM

Microsoft的OmniparSer V2和Omnitool:用AI彻底改变GUI自动化 想象一下AI不仅理解,而且像经验丰富的专业人员一样与Windows 11界面进行互动。 Microsoft的OmniparSer V2和Omnitool使它成为RE

我尝试了使用光标AI编码的Vibe编码,这太神奇了!我尝试了使用光标AI编码的Vibe编码,这太神奇了!Mar 20, 2025 pm 03:34 PM

Vibe编码通过让我们使用自然语言而不是无尽的代码行创建应用程序来重塑软件开发的世界。受Andrej Karpathy等有远见的人的启发,这种创新的方法使Dev

跑道Act-One指南:我拍摄了自己的测试跑道Act-One指南:我拍摄了自己的测试Mar 03, 2025 am 09:42 AM

这篇博客文章分享了我测试跑道ML的新ACT ONE动画工具的经验,涵盖其Web界面和Python API。虽然有希望,但我的结果比预期的不那么令人印象深刻。 想探索生成的AI吗? 在P中学习使用LLM

补充代理:带有实际示例的指南补充代理:带有实际示例的指南Mar 04, 2025 am 10:52 AM

革命性应用程序开发:深入研究替代代理 厌倦了使用复杂的开发环境和晦涩的配置文件搏斗? Replit Agent旨在简化将想法转换为功能应用程序的过程。 这个AI-P

2025年2月的Genai推出前5名:GPT-4.5,Grok-3等!2025年2月的Genai推出前5名:GPT-4.5,Grok-3等!Mar 22, 2025 am 10:58 AM

2025年2月,Generative AI又是一个改变游戏规则的月份,为我们带来了一些最令人期待的模型升级和开创性的新功能。从Xai的Grok 3和Anthropic的Claude 3.7十四行诗到Openai的G

如何使用Yolo V12进行对象检测?如何使用Yolo V12进行对象检测?Mar 22, 2025 am 11:07 AM

Yolo(您只看一次)一直是领先的实时对象检测框架,每次迭代都在以前的版本上改善。最新版本Yolo V12引入了进步,可显着提高准确性

Elon Musk&Sam Altman冲突超过5000亿美元的星际之门项目Elon Musk&Sam Altman冲突超过5000亿美元的星际之门项目Mar 08, 2025 am 11:15 AM

这项耗资5000亿美元的星际之门AI项目由OpenAI,Softbank,Oracle和Nvidia等科技巨头支持,并得到美国政府的支持,旨在巩固美国AI的领导力。 这项雄心勃勃

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )专业的PHP集成开发工具

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境