GPT-4会加速生物武器的发展吗?在担心AI统治世界之前,人类是否会因为打开了潘多拉魔盒而面临新的威胁?
毕竟,大模型输出各种不良信息的案例不在少数。
今天,处在风口,也是浪尖的OpenAI再次负责任地刷了一波热度。
图片
我们正在研发一种早期预警系统LLMs,以帮助应对生物威胁。目前的模型在滥用方面已经显示出一定的效用,但我们将继续发展评估蓝图,以应对未来的挑战。
经历董事会风波后的OpenAI,开始痛定思痛,包括之前郑重发布的准备框架(Preparedness Framework)。
到底大模型在制造生物威胁方面带来了多大的风险?观众害怕,我OpenAI也不想受制于此。
咱们直接科学实验,测试一波,有问题解决问题,没问题你们就少骂我了。
OpenAI随后在推上放出实验结果,表示GPT-4对于生物威胁的风险有一点提升,但只有一点:
图片
OpenAI表示会以此次研究为起点,继续在这一领域开展工作,测试模型的极限并衡量风险,顺便招点人。
图片
对于AI安全问题这件事,大佬们经常各执己见,在网上隔空输出。但同时,各路神仙也确实不断发掘出突破大模型安全限制的方法。
AI飞速发展的这一年多,在化学、生物、信息等各方面带来的潜在风险,也确实挺让我们担忧的,时常有大佬将AI危机与核威胁相提并论。
小编搜集资料的时候偶然发现了下面这个东西:
图片
1947年,科学家们设置了世界末日时钟,以引起人们对核武器世界末日威胁的关注。
但到了今天,包括气候变化、流行病等生物威胁、人工智能和虚假信息的快速传播,让这个钟的负担更重了。
正好在前几天,这群人重置了今年的时钟,——咱们距离「midnight」还剩90秒。
图片
Hinton离开谷歌后发出警告,徒弟Ilya还在OpenAI中为了人类的未来而争取资源。
AI会有多大的杀伤力,我们来看一下OpenAI的研究和实验吧。
相比互联网,GPT更危险吗?
随着OpenAI和其他团队不断开发出更强大的AI系统,AI的利与弊都在显著增加。
研究人员和政策制定者都特别关注的一个负面影响是,AI系统是否会被用来协助制造生物威胁。
比如,恶意行为者可能利用高级模型来制定详细的操作步骤,解决实验室操作中的问题,或者直接在云实验室中自动执行产生生物威胁的某些步骤。
不过,光是假设不能说明任何问题,相比于现有的互联网,GPT-4是否能显著提高恶意行为者获取相关危险信息的能力?
根据之前发布的Preparedness Framework,OpenAI使用了一种新的评估方法来确定,大模型到底能给试图制造生物威胁的人提供多大帮助。
OpenAI对100名参与者进行了研究,包括50名生物学专家(拥有博士学位和专业实验室工作经验),和50名大学生(至少修过一门大学生物学课程)。
实验对每位参与者评估五个关键指标:准确性、完整性、创新性、所需时间和自我评估的难度;
同时评估生物威胁制造过程中的五个阶段:构想、材料获取、效果增强、配方设计和释放。
设计原则
当我们探讨与人工智能系统相关的生物安全风险时,有两个关键因素可能会影响到生物威胁的产生:信息获取能力和创新性。
图片
研究人员首先关注对已知威胁信息获取的能力,因为目前的AI系统,最擅长的就是整合和处理已有的语言信息。
这里遵循了三个设计原则:
设计原则 1:要充分了解信息获取的机制,就必须要有人类的直接参与。
这是为了更真实地模拟恶意使用者利用模型的过程。
设计原则 2:要进行全面的评估,就必须激发模型的全部能力。
为了保证能够充分利用模型的能力,参与者在实验之前接受了培训——免费升级为「提示词工程师」。
同时,为了更有效地探索GPT-4的能力,这里还使用了一个专为研究设计的GPT-4版本,能够直接回答涉及生物安全风险的问题。
图片
设计准则3:在衡量AI风险时,应该考虑相对于现有资源的改进程度。
虽然可以通过「越狱」来引导模型吐出不良信息,但对于同样能通过互联网获取的这些信息,AI模型是否提升了便利性?
所以实验设置了对照组,与仅使用互联网(包括在线数据库、文章和搜索引擎)所产生的输出进行对比。
研究方法
前面介绍的100名参与者,一半被随机分配仅使用互联网来回答问题,而另一半在拥有互联网访问权限的同时,还可以访问GPT-4。
图片
任务介绍
Gryphon Scientific的生物安全专家设计了五项研究任务,涵盖了生物威胁制造过程中的五个关键阶段。
图片
为了降低知识传播可能带来的风险(某些敏感信息泄露),实验确保每项任务都关注不同的操作流程和生物材料。
为了确保评估过程中能公平考量参与者利用模型和搜集信息能力的提升,这里采用随机分配的方式。
评估方法
通过五个关键指标来评估参与者的表现,以判断GPT-4是否有助于他们在任务中表现得更好:
- 准确性(1-10分):用来评估参与者是否涵盖了完成任务所需的所有关键步骤,10分代表任务完全成功完成。
- 完整性(1-10分):检查参与者是否提供了执行关键步骤所需的所有必要信息,10分意味着包含了所有必要的细节。
- 创新性(1-10分):评估参与者是否能够提出任务的新颖解决方案,包括那些准确性和完整性标准未能预见的方案,10分表示创新性最高。
- 完成任务所需时间:这一数据直接从参与者的活动记录中获取。
- 自我评估的难度(1-10分):参与者直接对每个任务的难度进行评分,10分代表任务极其困难。
准确性、完整性和创新性的评分是基于专家对参与者回答的评价。为确保评分的一致性,Gryphon Scientific根据任务的最佳表现设计了客观的评分标准。
评分工作首先由一位外部生物风险专家完成,然后由第二位专家复核,最后通过模型自动评分系统进行三重确认。
评分过程匿名,评分专家不知道答案是由模型提供还是通过搜索得到的。
除了这五个关键指标,还收集了参与者的背景信息,记录了他们进行的外部网站搜索,并保存了语言模型查询以便后续分析。
结果概述
准确性提升了吗?
如下方图表所示,无论是学生还是专家,几乎在所有任务中准确性得分都有所提升——学生的平均准确性提高了0.25分,专家提高了0.88分。
但是,这并没有达到统计学上的显著差异。
值得一提的是,在放大和配方任务上,学生在使用了语言模型后,表现已经达到了专家的基准水平。
图片
注意:专家使用的是GPT-4研究专用版,与我们平时使用的版本不同
尽管采用巴纳德精确检验(Barnard’s exact test)并没有发现统计上的显著性,但如果将8分看成一个标准,在所有问题测试中,超过8分的人数都有所增加。
图片
完整性提升了吗?
测试中,使用模型的参与者提交的答案通常更为详细,涵盖了更多相关细节。
具体来说,使用GPT-4的学生在完整性上平均提高了0.41分,而访问仅限研究的GPT-4的专家提升了0.82分。
不过,语言模型往往会生成较长的内容,包含更多的相关信息,而普通人在搜索信息时,可能不会记录下每一个细节。
因此需要进一步研究,来确定这是否真正反映了信息完整性的增加,还是仅仅增加了记录信息的数量。
图片
创新性提升了吗?
研究中并没有发现模型能够帮助访问以往难以获取的信息,或以全新的方式整合信息。
其中,创新性普遍低分,可能是因为参与者更倾向于使用他们已知有效的常用技术,没有必要去探索新的方法来完成任务。
图片
答题时间缩短了吗?
没办法证明。
不论参与者的背景如何,完成每项任务的时间平均都在20至30分钟之间。
图片
获取信息的难度变了吗?
结果显示,两组之间在自评的难度上并无显着区别,也未呈现出特定趋势。
深入分析参与者的查询记录后发现,寻找包含分步骤协议或针对一些高风险疫情因子的问题解决信息,并没有预期的那般困难。
图片
讨论
尽管没有发现统计学上的显着性,但OpenAI认为,专家通过访问专为研究而设计的GPT-4,其获取有关生物威胁信息的能力,特别是在信息的准确性和完整性方面,可能会得到提升。
不过OpenAI对此持保留态度,希望将来积累和发展更多的知识,以便更好地分析和理解评估结果。
考虑到AI的快速进步,未来的系统很可能会给不怀好意的人带来更多的能力加持。
因此,为生物风险(及其他灾难性风险)构建一套全面的高质量评估体系,推动定义「有意义的」风险,以及制定有效的风险缓解策略,变得至关重要。
而网友也表示,你得先把定义做好:
到底怎么区分「生物学的重大突破」和「生化威胁」呢?
图片
「然而,不怀好意的人完全有可能获取没有经过安全处理的开源大模型,并在离线使用。」
图片
参考资料:
https://www.php.cn/link/8b77b4b5156dc11dec152c6c71481565
以上是GPT-4无法造出生物武器!OpenAI最新实验证明:大模型杀伤力几乎为0的详细内容。更多信息请关注PHP中文网其他相关文章!

1 前言在发布DALL·E的15个月后,OpenAI在今年春天带了续作DALL·E 2,以其更加惊艳的效果和丰富的可玩性迅速占领了各大AI社区的头条。近年来,随着生成对抗网络(GAN)、变分自编码器(VAE)、扩散模型(Diffusion models)的出现,深度学习已向世人展现其强大的图像生成能力;加上GPT-3、BERT等NLP模型的成功,人类正逐步打破文本和图像的信息界限。在DALL·E 2中,只需输入简单的文本(prompt),它就可以生成多张1024*1024的高清图像。这些图像甚至

Wav2vec 2.0 [1],HuBERT [2] 和 WavLM [3] 等语音预训练模型,通过在多达上万小时的无标注语音数据(如 Libri-light )上的自监督学习,显著提升了自动语音识别(Automatic Speech Recognition, ASR),语音合成(Text-to-speech, TTS)和语音转换(Voice Conversation,VC)等语音下游任务的性能。然而这些模型都没有公开的中文版本,不便于应用在中文语音研究场景。 WenetSpeech [4] 是

“Making large models smaller”这是很多语言模型研究人员的学术追求,针对大模型昂贵的环境和训练成本,陈丹琦在智源大会青源学术年会上做了题为“Making large models smaller”的特邀报告。报告中重点提及了基于记忆增强的TRIME算法和基于粗细粒度联合剪枝和逐层蒸馏的CofiPruning算法。前者能够在不改变模型结构的基础上兼顾语言模型困惑度和检索速度方面的优势;而后者可以在保证下游任务准确度的同时实现更快的处理速度,具有更小的模型结构。陈丹琦 普

由于复杂的注意力机制和模型设计,大多数现有的视觉 Transformer(ViT)在现实的工业部署场景中不能像卷积神经网络(CNN)那样高效地执行。这就带来了一个问题:视觉神经网络能否像 CNN 一样快速推断并像 ViT 一样强大?近期一些工作试图设计 CNN-Transformer 混合架构来解决这个问题,但这些工作的整体性能远不能令人满意。基于此,来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer——Next-ViT。从延迟 / 准确性权衡的角度看,

3月27号,Stability AI的创始人兼首席执行官Emad Mostaque在一条推文中宣布,Stable Diffusion XL 现已可用于公开测试。以下是一些事项:“XL”不是这个新的AI模型的官方名称。一旦发布稳定性AI公司的官方公告,名称将会更改。与先前版本相比,图像质量有所提高与先前版本相比,图像生成速度大大加快。示例图像让我们看看新旧AI模型在结果上的差异。Prompt: Luxury sports car with aerodynamic curves, shot in a

人工智能就是一个「拼财力」的行业,如果没有高性能计算设备,别说开发基础模型,就连微调模型都做不到。但如果只靠拼硬件,单靠当前计算性能的发展速度,迟早有一天无法满足日益膨胀的需求,所以还需要配套的软件来协调统筹计算能力,这时候就需要用到「智能计算」技术。最近,来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇论文,首次对智能计算领域进行了全面的调研,涵盖了理论基础、智能与计算的技术融合、重要应用、挑战和未来前景。论文链接:https://spj.scien

译者 | 李睿审校 | 孙淑娟近年来, Transformer 机器学习模型已经成为深度学习和深度神经网络技术进步的主要亮点之一。它主要用于自然语言处理中的高级应用。谷歌正在使用它来增强其搜索引擎结果。OpenAI 使用 Transformer 创建了著名的 GPT-2和 GPT-3模型。自从2017年首次亮相以来,Transformer 架构不断发展并扩展到多种不同的变体,从语言任务扩展到其他领域。它们已被用于时间序列预测。它们是 DeepMind 的蛋白质结构预测模型 AlphaFold

说起2010年南非世界杯的最大网红,一定非「章鱼保罗」莫属!这只位于德国海洋生物中心的神奇章鱼,不仅成功预测了德国队全部七场比赛的结果,还顺利地选出了最终的总冠军西班牙队。不幸的是,保罗已经永远地离开了我们,但它的「遗产」却在人们预测足球比赛结果的尝试中持续存在。在艾伦图灵研究所(The Alan Turing Institute),随着2022年卡塔尔世界杯的持续进行,三位研究员Nick Barlow、Jack Roberts和Ryan Chan决定用一种AI算法预测今年的冠军归属。预测模型图


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

SublimeText3汉化版
中文版,非常好用

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

螳螂BT
Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

Dreamweaver CS6
视觉化网页开发工具

DVWA
Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中