为了避免人工智能(AI)可能带来的巨大风险,OpenAI决定授予董事会更大的权力来监管安全事务,并对上个月刚刚在内部争斗中获胜的CEO Sam Altman进行严格的监督
OpenAI在美东时间12月18日周一发布了一系列指南,旨在跟踪、评估、预测和防范日益强大的人工智能(AI)模型带来的灾难性风险。OpenAI将"灾难性风险"定义为可能导致数千亿美元的经济损失,或导致多人严重伤害或死亡的任何风险
这篇27页的指引被称为“准备框架”,其中提到,即使公司的高层管理人员,包括CEO或由领导层指定的人员认为即将发布的AI模型是安全的,公司董事会仍然有权选择推迟该模型的发布。这意味着,尽管OpenAI的CEO负责日常工作的决策,但董事会将了解风险的发现,并有权否决CEO的决定
OpenAI的准备框架建议除了对公司领导层和董事会权限的规定外,还使用了矩阵方法来记录多个类别的前沿AI模型所带来的风险水平。这些风险包括行为不端者使用AI模型创建恶意软件、发起社会工程攻击,或者传播有害的核武器或生物武器信息
具体来说,OpenAI 在网络安全、CBRN(化学、生物、放射、核威胁)、说服和模型自主四个类别上设定了风险阈值。在实施风险缓解措施之前和之后,OpenAI 将每种风险分为低、中、高或严重四个级别
OpenAI规定,只有在风险缓解后评级为“中”或以下级别的AI模型才可以进行部署,只有在风险缓解后评级为“高”或以下的模型才能继续进行开发,如果无法将风险降低到严重以下级别,公司将停止开发模型。对于在风险缓解之前评定为高风险或严重风险的模型,OpenAI还将采取额外的安全措施
OpenAI将安全问题处理人员分为三个团队。安全系统团队专注于减轻和解决当前产品(如GPT-4)带来的风险。超对齐团队则关注未来系统超越人类能力可能带来的问题。此外,还有一个名为准备的新团队,由麻省理工学院(MIT)电气工程与计算机科学系(EECS)教授Aleksander Madry领导
新的团队将对强大的模型开发和实施进行评估。他们将专门负责监督与安全决策有关的技术工作和操作架构。他们将推动技术工作,审查前沿模型能力的限制,并进行评估和综合相关报告
Madry表示,他的团队将定期评估OpenAI尚未发布的最先进的人工智能模型的风险水平,并每月向OpenAI内部的安全顾问组织(SAG)提交报告。SAG将分析Madry团队的工作,并向CEO Altman和公司董事会提供建议
根据本周一公布的指引文件显示,Altman及其领导层可以根据这些报告来决定是否发布新的AI系统,但董事会保有推翻他们决定的权力
目前,Madry的团队只有四个人,但他正在努力招募更多的成员。预计团队成员将会达到15到20人的规模,与现有的安全团队和超对齐团队的人数相当
Madry希望其他人工智能公司能够以类似的方式评估其模型的风险,并认为这可能成为监管的典范
以上是OpenAI指引允许董事会限制CEO发布新模型,以防范AI风险的详细内容。更多信息请关注PHP中文网其他相关文章!

拥抱Face的OlympicCoder-7B:强大的开源代码推理模型 开发以代码为中心的语言模型的竞赛正在加剧,拥抱面孔与强大的竞争者一起参加了比赛:OlympicCoder-7B,一种产品

你们当中有多少人希望AI可以做更多的事情,而不仅仅是回答问题?我知道我有,最近,我对它的变化感到惊讶。 AI聊天机器人不仅要聊天,还关心创建,研究

随着智能AI开始融入企业软件平台和应用程序的各个层面(我们必须强调的是,既有强大的核心工具,也有一些不太可靠的模拟工具),我们需要一套新的基础设施能力来管理这些智能体。 总部位于德国柏林的流程编排公司Camunda认为,它可以帮助智能AI发挥其应有的作用,并与新的数字工作场所中的准确业务目标和规则保持一致。该公司目前提供智能编排功能,旨在帮助组织建模、部署和管理AI智能体。 从实际的软件工程角度来看,这意味着什么? 确定性与非确定性流程的融合 该公司表示,关键在于允许用户(通常是数据科学家、软件

参加Google Cloud Next '25,我渴望看到Google如何区分其AI产品。 有关代理空间(此处讨论)和客户体验套件(此处讨论)的最新公告很有希望,强调了商业价值

为您的检索增强发电(RAG)系统选择最佳的多语言嵌入模型 在当今的相互联系的世界中,建立有效的多语言AI系统至关重要。 强大的多语言嵌入模型对于RE至关重要

特斯拉的Austin Robotaxi发射:仔细观察Musk的主张 埃隆·马斯克(Elon Musk)最近宣布,特斯拉即将在德克萨斯州奥斯汀推出的Robotaxi发射,最初出于安全原因部署了一支小型10-20辆汽车,并有快速扩张的计划。 h

人工智能的应用方式可能出乎意料。最初,我们很多人可能认为它主要用于代劳创意和技术任务,例如编写代码和创作内容。 然而,哈佛商业评论最近报道的一项调查表明情况并非如此。大多数用户寻求人工智能的并非是代劳工作,而是支持、组织,甚至是友谊! 报告称,人工智能应用案例的首位是治疗和陪伴。这表明其全天候可用性以及提供匿名、诚实建议和反馈的能力非常有价值。 另一方面,营销任务(例如撰写博客、创建社交媒体帖子或广告文案)在流行用途列表中的排名要低得多。 这是为什么呢?让我们看看研究结果及其对我们人类如何继续将


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

mPDF
mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

VSCode Windows 64位 下载
微软推出的免费、功能强大的一款IDE编辑器

记事本++7.3.1
好用且免费的代码编辑器

PhpStorm Mac 版本
最新(2018.2.1 )专业的PHP集成开发工具

ZendStudio 13.5.1 Mac
功能强大的PHP集成开发环境