OWASP发布大语言模型网络安全与治理清单

冬浩同学_5716

冬浩同学_5716

2024-04-17

1220人浏览

转载

当前人工智能技术面临的最大风险是大语言模型(llm)和生成式人工智能技术的发展和应用速度已经远远超过了安全和治理的速度。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

OWASP发布大语言模型网络安全与治理清单

OpenAI、Anthropic、谷歌和微软等公司的生成式人工智能和大语言模型产品的使用正呈指数级增长。与此同时,开源大语言模型方案也在高速成长,HuggingFace等开源人工智能社区提供了大量开源模型、数据集和AI应用。

为了推动人工智能的发展步伐,OWASP、OpenSSF、CISA等行业组织正在积极开发和提供人工智能安全与治理关键资产,例如OWASP AI Exchange、AI安全和隐私指南以及大语言模型十大风险清单(LLMTop10)。

最近,OWASP发布了大语言模型网络安全与治理清单,填补了生成式人工智能安全治理的空白,具体内容如下:

OWASP对AI类型与威胁的定义

OWASP的语言模型网络安全与治理清单对人工智能、机器学习、生成式人工智能和大语言模型之间的区别给出了定义。

例如,OWASP对生成式人工智能的定义是:一种专注于创建新数据的机器学习,而大语言模型是一种用于处理和生成类人类产生的“自然内容”的人工智能模型——它们根据所提供的输入进行预测,并且输出是类似人类产生的“自然内容”。

关于之前发布的“大语言模型十大威胁清单”,OWASP认为它可帮助网络安全从业者跟上快速发展的AI技术,识别关键威胁并确保企业拥有基本的安全控制措施来保护和支持使用生成式人工智能和大语言模型的业务。然而OWASP认为该清单并不详尽,并且需要根据生成式人工智能的发展不断完善。

OWASP将AI安全威胁分为以下五种:

OWASP发布大语言模型网络安全与治理清单

OWASP的大语言模型安全治理策略部署分为六步:

OWASP发布大语言模型网络安全与治理清单

以下是OWASP大语言模型网路安全与治理清单:

1.对手风险

大语言模型的对手风险不仅涉及竞争对手,还涉及攻击者,其关注点不仅是攻击态势,还包括商业态势。这包括了解竞争对手如何使用人工智能来推动业务成果,以及更新内部流程和政策(例如事件响应计划(IRP)),以应对生成式人工智能攻击和事件。

2.威胁建模

威胁建模是一种日益流行的安全技术,随着安全设计系统理念的推广而获得越来越多的关注,得到了美国网络安全和基础设施安全局(CISA)等权威机构的认可。威胁建模需要思考攻击者如何利用大型语言模型和生成式人工智能来加速漏洞利用,企业检测恶意大型语言模型的能力,以及组织是否能够保护大型语言模型和生成式人工智能平台与内部系统和环境的连接。

3.人工智能资产清单

“你无法保护未知的资产”这句格言也适用于生成式人工智能和大语言模型领域。OWASP清单的这部分内容涉及对内部开发的人工智能解决方案以及外部工具和平台进行人工智能资产清单编制。

OWASP强调,企业不仅要了解内部使用了哪些工具和服务,还要了解其所有权,即谁对这些工具和服务的使用负责。清单还建议将人工智能组件包含在软件材料清单(SBOM)中,并记录人工智能数据源及其各自的敏感性。

除了对现有人工智能工具进行清单编制之外,企业还应该建立一个安全流程将未来的AI工具和服务添加到清单中。

4.人工智能安全和隐私意识培训

人们常说“人是最大的安全漏洞”,企业只有将人工智能安全和隐私培训合理集成到其生成式人工智能和大语言模型的应用过程中,才能极大缓解人的风险。

这包括帮助员工了解现有生成式人工智能/大语言模型计划、技术及其功能,以及关键的安全注意事项,例如数据泄漏。此外,建立信任和透明的安全文化至关重要。

响应式人工智能写作助手网站模板
响应式人工智能写作助手网站模板

响应式人工智能写作助手网站模板是一款适合人工智能写作助手服务网站模板下载。提示:本模板调用到谷歌字体库,可能会出现页面打开比较缓慢。

下载

企业内部的信任和透明文化也有助于避免影子AI威胁,否则,员工将“偷偷“使用影子AI而不告诉IT和安全团队。

5.人工智能项目的商业论证

就像云计算一样,大多数企业实际上并没有为生成式人工智能和大语言模型等新技术应用制定连贯的战略性商业论证,很容易盲目跟风,陷入炒作。没有合理的商业论证,企业的人工智能应用很可能会产生糟糕结果并增加风险。

6.治理

没有治理,企业就无法建立人工智能的责任机制和明确目标。OWASP清单建议企业为人工智能应用制定RACI图表(责任分配矩阵),记录并分配风险责任和治理任务,建立全企业范围的人工智能政策和流程。

7.法律

随着人工智能技术的飞速发展,其法律影响不容低估,并可能在给企业带来财务和声誉的重大风险。

人工智能法务涉及一系列活动,例如人工智能产品质保、人工智能最终用户许可协议(EULA)、使用人工智能工具开发的代码的所有权、知识产权风险和合同赔偿条款等。简而言之,请确保企业的法律团队或专家了解企业使用生成式人工智能和大语言模型时应该开展的各种配套法律活动。

8.监管

人工智能监管法规也在迅速发展,例如欧盟的人工智能法案,其他国家和地区的法规也将很快出台。企业应该了解所在国家的人工智能合规要求,例如员工监控,并清楚地了解其人工智能供应商如何存储和删除数据以及如何监管其使用。

9.使用或实施大语言模型解决方案

使用大型语言模型解决方案需要考虑特定的风险和控制措施。OWASP清单列出了诸如访问控制、训练管道安全、映射数据工作流以及了解大型语言模型模型和供应链中存在的或潜在的漏洞等项目。此外,还需要对供应商进行第三方审计、渗透测试甚至代码审查,这些工作既要初始进行,也要持续进行。

10.测试、评估、验证和确认(TEVV)

TEVV流程是NIST在其人工智能框架中特别推荐的流程。这涉及在整个人工智能模型生命周期中建立持续的测试、评估、验证和验证,以及提供有关人工智能模型功能、安全性和可靠性的执行指标。

11.模型卡和风险卡

为了合乎道德地部署大语言模型,OWASP清单要求企业使用模型和风险卡,这些卡可用于让用户理解和信任人工智能系统,并公开解决偏见和隐私等潜在的负面后果。

这些卡片可以包含模型详细信息、架构、训练数据方法和性能指标等项目。还强调考虑负责任的人工智能所需要考虑的因素以及对公平和透明度的关注。

12RAG:大语言模型优化

检索增强生成(RAG)是一种优化大语言模型从特定来源检索相关数据能力的方法。它是优化预训练模型或根据新数据重新训练现有模型提高性能的方法之一。OWASP建议企业实施RAG,以最大限度地提高大语言模型的价值和有效性。

13.AI红队

最后,OWASP清单强调了人工智能红队的重要性,后者模拟人工智能系统的对抗性攻击,以识别漏洞并验证现有的控制和防御。OWASP强调,红队应该是生成式人工智能和大语言模型的综合安全解决方案不可或缺的一部分。

值得注意的是,企业还需要清楚地了解外部生成式人工智能和大语言模型供应商的红队服务和系统要求与能力,以避免违反政策,甚至陷入法律麻烦。

相关专题

更多
Java 网络安全
Java 网络安全

本专题聚焦 Java 在网络安全与加密通信中的应用,系统讲解常见加密算法(MD5、SHA、AES、RSA)、数字签名、HTTPS证书配置、令牌认证(JWT、OAuth2)及常见安全漏洞防护(XSS、SQL注入、CSRF)。通过实战项目(如安全登录系统、加密文件传输工具),帮助学习者掌握 Java 安全开发与加密技术的实战能力。

2025.10.13

5625

12

PHP 安全与防护
PHP 安全与防护

本专题聚焦于PHP开发中的安全问题与防御措施,详细讲解SQL注入、XSS攻击、CSRF攻击、文件包含漏洞等常见安全风险及其修复方法。通过结合实际案例,帮助开发者理解漏洞成因,掌握输入验证、会话安全、加密存储与安全编码规范,全面提升PHP网站的安全防护水平。

2025.11.04

475

21

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

20

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

20

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

20

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

20

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

20

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

20

16

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

180

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WPS AI手册
WPS AI手册

共0课时 | 0人学习

豆包AI手册
豆包AI手册

共0课时 | 0人学习

OpenClaw
OpenClaw

共0课时 | 0人学习