成立人工智能安全工作组，MLCommons宣布迈出重要一步

人工智能基准组织MLCommons宣布成立人工智能安全（AIS：AI Safety）工作组。AIS将开发一个平台和来自许多贡献者的测试库，以支持不同用例的人工智能安全基准。

人工智能系统为社会提供了巨大利益的潜力，但它们并非没有风险，如有害性、错误信息和偏见。与其他复杂技术一样，社会需要行业标准的安全测试来实现效益，同时将风险降至最低。

新平台将允许用户选择测试库中的基准，并将这些基准的结果汇总为有用且易于理解的分数。这类似于其他行业的标准，例如汽车安全测试评级和能源星级评分

这项工作的当务之急是支持更严格、更可靠的人工智能安全测试技术的快速发展。AIS工作组将利用其成员和更大的人工智能社区的技术和运营专业知识，帮助指导和创建人工智能安全基准技术。

埃因霍温理工大学机器学习（ML）副教授Joaquin Vanschoren表示：“广泛的人工智能社区正在制定的安全基准具有开放性和动态性，这为制定和实现共同目标创造了真正的激励。”“如果任何人看到未解决的安全问题，他们都可以提出新的测试。我们有一些世界上最聪明的人聚在一起实际解决这些问题，使用基准意味着我们将清楚地了解哪些人工智能模型最能解决安全问题。”

重写后的内容：重点是开发大型语言模型（LLM）的安全基准，并以斯坦福大学基础模型研究中心（CRFM）和语言模型整体评估（HELM）的研究人员的开创性工作为基础。除了在HELM框架上建立并纳入许多安全相关测试外，工作组还希望一些公司将其内部用于专有目的的人工智能安全测试公开化，并与MLCommons社区分享，以加快创新步伐

基础模型研究中心主任Percy Liang表示：“我们开发HELM这一模块化评估框架已经有大约2年的时间了。我很高兴能与MLCommons合作，利用HELM进行人工智能安全评估，这是我思考了7年的课题，随着强大的基础模型的兴起，这一课题变得极其紧迫。“

AIS工作组认为，随着测试的成熟，标准的人工智能安全基准将成为人工智能安全方法的重要组成部分。这与负责任的人工智能技术发展和基于风险的政策框架相一致，例如几家科技公司于2023年7月向美国白宫做出的关于安全、安保和信任的自愿承诺、NIST的人工智能风险管理框架以及欧盟即将出台的《人工智能法》。

MLCommons致力于支持行业和学术界的广泛利益相关者，共同开发共享的数据、工具和基准，以更加高效地构建和测试人工智能系统。MLCommons执行董事David Kanter表示：“我们非常高兴能够与会员们合作。明年，我们将着重于构建和推广人工智能安全基准，首先从开源模型入手，旨在在初步方法验证后将这些基准广泛应用于其他LLM。”

首次参与AIS工作组的包括一个由人工智能专家组成的多学科小组，包括：Anthropic、Coactive AI、Google、Inflection、Intel、Meta、Microsoft、NVIDIA、OpenAI、高通，以及埃因霍温理工大学的学者Joaquin Vanstoren、斯坦福大学的Percy Liang和芝加哥大学的Bo·Li。学术界和产业界的研究人员和工程师以及民间社会和公共部门的领域专家均可参加工作组。点击阅读原文，了解如何参与AIS工作组。

关于MLCommons

MLCommons是一个世界领先的组织，致力于构建人工智能基准。它是一个开放的工程联盟，旨在通过基准和数据的使用，帮助每个人更好地进行机器学习。MLCommons的起源可以追溯到2018年的MLPerf基准，这个基准迅速发展成为一系列行业指标，用于衡量机器学习性能，并提高机器学习技术的透明度。MLCommons与125多个成员、全球技术提供商、学者和研究人员合作，专注于通过基准和指标、公共数据集和最佳实践来共同构建整个机器学习行业的工具

以上是成立人工智能安全工作组，MLCommons宣布迈出重要一步的详细内容。更多信息请关注PHP中文网其他相关文章！