搜索
首页科技周边人工智能OpenAI指引允许董事会限制CEO发布新模型,以防范AI风险

OpenAI指引允许董事会限制CEO发布新模型,以防范AI风险

Dec 19, 2023 am 11:32 AM
ai风险防范ceo控制模型发布制止

为了避免人工智能(AI)可能带来的巨大风险,OpenAI决定授予董事会更大的权力来监管安全事务,并对上个月刚刚在内部争斗中获胜的CEO Sam Altman进行严格的监督

OpenAI在美东时间12月18日周一发布了一系列指南,旨在跟踪、评估、预测和防范日益强大的人工智能(AI)模型带来的灾难性风险。OpenAI将"灾难性风险"定义为可能导致数千亿美元的经济损失,或导致多人严重伤害或死亡的任何风险

这篇27页的指引被称为“准备框架”,其中提到,即使公司的高层管理人员,包括CEO或由领导层指定的人员认为即将发布的AI模型是安全的,公司董事会仍然有权选择推迟该模型的发布。这意味着,尽管OpenAI的CEO负责日常工作的决策,但董事会将了解风险的发现,并有权否决CEO的决定

OpenAI的准备框架建议除了对公司领导层和董事会权限的规定外,还使用了矩阵方法来记录多个类别的前沿AI模型所带来的风险水平。这些风险包括行为不端者使用AI模型创建恶意软件、发起社会工程攻击,或者传播有害的核武器或生物武器信息

具体来说,OpenAI 在网络安全、CBRN(化学、生物、放射、核威胁)、说服和模型自主四个类别上设定了风险阈值。在实施风险缓解措施之前和之后,OpenAI 将每种风险分为低、中、高或严重四个级别

OpenAI指引允许董事会限制CEO发布新模型,以防范AI风险

OpenAI规定,只有在风险缓解后评级为“中”或以下级别的AI模型才可以进行部署,只有在风险缓解后评级为“高”或以下的模型才能继续进行开发,如果无法将风险降低到严重以下级别,公司将停止开发模型。对于在风险缓解之前评定为高风险或严重风险的模型,OpenAI还将采取额外的安全措施

OpenAI将安全问题处理人员分为三个团队。安全系统团队专注于减轻和解决当前产品(如GPT-4)带来的风险。超对齐团队则关注未来系统超越人类能力可能带来的问题。此外,还有一个名为准备的新团队,由麻省理工学院(MIT)电气工程与计算机科学系(EECS)教授Aleksander Madry领导

新的团队将对强大的模型开发和实施进行评估。他们将专门负责监督与安全决策有关的技术工作和操作架构。他们将推动技术工作,审查前沿模型能力的限制,并进行评估和综合相关报告

Madry表示,他的团队将定期评估OpenAI尚未发布的最先进的人工智能模型的风险水平,并每月向OpenAI内部的安全顾问组织(SAG)提交报告。SAG将分析Madry团队的工作,并向CEO Altman和公司董事会提供建议

根据本周一公布的指引文件显示,Altman及其领导层可以根据这些报告来决定是否发布新的AI系统,但董事会保有推翻他们决定的权力

目前,Madry的团队只有四个人,但他正在努力招募更多的成员。预计团队成员将会达到15到20人的规模,与现有的安全团队和超对齐团队的人数相当

Madry希望其他人工智能公司能够以类似的方式评估其模型的风险,并认为这可能成为监管的典范

以上是OpenAI指引允许董事会限制CEO发布新模型,以防范AI风险的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:搜狐。如有侵权,请联系admin@php.cn删除
拥抱面部是否7B型号奥林匹克赛车击败克劳德3.7?拥抱面部是否7B型号奥林匹克赛车击败克劳德3.7?Apr 23, 2025 am 11:49 AM

拥抱Face的OlympicCoder-7B:强大的开源代码推理模型 开发以代码为中心的语言模型的竞赛正在加剧,拥抱面孔与强大的竞争者一起参加了比赛:OlympicCoder-7B,一种产品

4个新的双子座功能您可以错过4个新的双子座功能您可以错过Apr 23, 2025 am 11:48 AM

你们当中有多少人希望AI可以做更多的事情,而不仅仅是回答问题?我知道我有,最近,我对它的变化感到惊讶。 AI聊天机器人不仅要聊天,还关心创建,研究

Camunda为经纪人AI编排编写了新的分数Camunda为经纪人AI编排编写了新的分数Apr 23, 2025 am 11:46 AM

随着智能AI开始融入企业软件平台和应用程序的各个层面(我们必须强调的是,既有强大的核心工具,也有一些不太可靠的模拟工具),我们需要一套新的基础设施能力来管理这些智能体。 总部位于德国柏林的流程编排公司Camunda认为,它可以帮助智能AI发挥其应有的作用,并与新的数字工作场所中的准确业务目标和规则保持一致。该公司目前提供智能编排功能,旨在帮助组织建模、部署和管理AI智能体。 从实际的软件工程角度来看,这意味着什么? 确定性与非确定性流程的融合 该公司表示,关键在于允许用户(通常是数据科学家、软件

策划的企业AI体验是否有价值?策划的企业AI体验是否有价值?Apr 23, 2025 am 11:45 AM

参加Google Cloud Next '25,我渴望看到Google如何区分其AI产品。 有关代理空间(此处讨论)和客户体验套件(此处讨论)的最新公告很有希望,强调了商业价值

如何为抹布找到最佳的多语言嵌入模型?如何为抹布找到最佳的多语言嵌入模型?Apr 23, 2025 am 11:44 AM

为您的检索增强发电(RAG)系统选择最佳的多语言嵌入模型 在当今的相互联系的世界中,建立有效的多语言AI系统至关重要。 强大的多语言嵌入模型对于RE至关重要

麝香:奥斯汀的机器人需要每10,000英里进行干预麝香:奥斯汀的机器人需要每10,000英里进行干预Apr 23, 2025 am 11:42 AM

特斯拉的Austin Robotaxi发射:仔细观察Musk的主张 埃隆·马斯克(Elon Musk)最近宣布,特斯拉即将在德克萨斯州奥斯汀推出的Robotaxi发射,最初出于安全原因部署了一支小型10-20辆汽车,并有快速扩张的计划。 h

AI震惊的枢轴:从工作工具到数字治疗师和生活教练AI震惊的枢轴:从工作工具到数字治疗师和生活教练Apr 23, 2025 am 11:41 AM

人工智能的应用方式可能出乎意料。最初,我们很多人可能认为它主要用于代劳创意和技术任务,例如编写代码和创作内容。 然而,哈佛商业评论最近报道的一项调查表明情况并非如此。大多数用户寻求人工智能的并非是代劳工作,而是支持、组织,甚至是友谊! 报告称,人工智能应用案例的首位是治疗和陪伴。这表明其全天候可用性以及提供匿名、诚实建议和反馈的能力非常有价值。 另一方面,营销任务(例如撰写博客、创建社交媒体帖子或广告文案)在流行用途列表中的排名要低得多。 这是为什么呢?让我们看看研究结果及其对我们人类如何继续将

公司竞争AI代理的采用公司竞争AI代理的采用Apr 23, 2025 am 11:40 AM

AI代理商的兴起正在改变业务格局。 与云革命相比,预计AI代理的影响呈指数增长,有望彻底改变知识工作。 模拟人类决策的能力

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

mPDF

mPDF

mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

VSCode Windows 64位 下载

VSCode Windows 64位 下载

微软推出的免费、功能强大的一款IDE编辑器

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )专业的PHP集成开发工具

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境