在自然语言处理中,有很多信息其实是重复的。
如果能将提示词进行有效地压缩,某种程度上也相当于扩大了模型支持上下文的长度。
现有的信息熵方法是通过删除某些词或短语来减少这种冗余。
然而,基于信息熵的计算仅涵盖了文本的单向上下文,可能会忽略压缩所需的关键信息;而且,信息熵的计算方式并非完全符合压缩提示词的实际目的。
为了迎接这些挑战,清华大学和微软的研究人员共同提出了一项全新的数据处理流程,名为LLMLingua-2。其旨在从大型语言模型(LLM)中提取知识,通过压缩提示词实现信息的精炼,同时确保关键信息不会丢失。
项目在GitHub上已经斩获3.1k星
结果显示,LLMLingua-2可以将文本长度大幅缩减至最初的20%,有效减少了处理时间和成本。
此外,与前一版本LLMLingua以及其他类似技术相比,LLMLingua 2的处理速度提高了3到6倍。
论文地址:https://arxiv.org/abs/2403.12968
在这个过程中,原始文本首先被输入模型。
模型会评估每个词的重要性,决定是保留还是删除,同时也会考虑到词语之间的关系。
最终,模型会选择那些评分最高的词汇组成一个更简短的提示词。
团队在包括MeetingBank、LongBench、ZeroScrolls、GSM8K和BBH在内的多个数据集上测试了LLMLingua-2模型。
尽管这个模型体积不大,但它在基准测试中取得了显著的性能提升,并且证明了其在不同的大语言模型(从GPT-3.5到Mistral-7B)和语种(从英语到中文)上具有出色的泛化能力。
系统提示:
作为一名杰出的语言学家,你擅长将较长的文段压缩成简短的表达方式,方法是去除那些不重要的词汇,同时尽可能多地保留信息。
用户提示:
请将给定的文本压缩成简短的表达形式,使得你(GPT-4)能够尽可能准确地还原原文。不同于常规的文本压缩,我需要你遵循以下五个条件:
1. 只移除那些不重要的词汇。
2. 保持原始词汇的顺序不变。
3. 保持原始词汇不变。
4. 不使用任何缩写或表情符号。
5. 不添加任何新的词汇或符号。
请尽可能地压缩原文,同时保留尽可能多的信息。如果你明白了,请对以下文本进行压缩:{待压缩文本}
压缩后的文本是:[...]
结果显示,在问答、摘要撰写和逻辑推理等多种语言任务中,LLMLingua-2都显著优于原有的LLMLingua模型和其他选择性上下文策略。
值得一提的是,这种压缩方法对于不同的大语言模型(从GPT-3.5到Mistral-7B)和不同的语言(从英语到中文)同样有效。
而且,只需两行代码,就可以实现LLMLingua-2的部署。
目前,该模型已经被集成到了广泛使用的RAG框架LangChain和LlamaIndex当中。
实现方法
为了克服现有基于信息熵的文本压缩方法所面临的问题,LLMLingua-2采取了一种创新的数据提炼策略。
这一策略通过从GPT-4这样的大语言模型中抽取精华信息,实现了在不损失关键内容和避免添加错误信息的前提下,对文本进行高效压缩。
提示设计
要想充分利用GPT-4的文本压缩潜力,关键在于如何设定精确的压缩指令。
也就是在压缩文本时,指导GPT-4仅移除那些在原始文本中不那么重要的词汇,同时避免在此过程中引入任何新的词汇。
这样做的目的是为了确保压缩后的文本尽可能地保持原文的真实性和完整性。
标注与筛选
研究人员利用了从GPT-4等大语言模型中提炼出的知识,开发了一种新颖的数据标注算法。
这个算法能够对原文中的每一个词汇进行标注,明确指出在压缩过程中哪些词汇是必须保留的。
为了保证所构建数据集的高质量,他们还设计了两种质量监控机制,专门用来识别并排除那些品质不佳的数据样本。
压缩器
最后,研究人员将文本压缩的问题转化为了一个对每个词汇(Token)进行分类的任务,并采用了强大的Transformer作为特征提取器。
这个工具能够理解文本的前后关系,从而精确地抓取对于文本压缩至关重要的信息。
通过在精心构建的数据集上进行训练,研究人员的模型能够根据每个词汇的重要性,计算出一个概率值来决定这个词汇是应该被保留在最终的压缩文本中,还是应该被舍弃。
性能评估
研究人员在一系列任务上测试了LLMLingua-2的性能,这些任务包括上下文学习、文本摘要、对话生成、多文档和单文档问答、代码生成以及合成任务,既包括了域内的数据集也包括了域外的数据集。
测试结果显示,研究人员的方法在保持高性能的同时,减少了最小的性能损失,并且在任务不特定的文本压缩方法中表现突出。
- 域内测试(MeetingBank)
研究人员将LLMLingua-2在MeetingBank测试集上的表现与其他强大的基线方法进行了对比。
尽管他们的模型规模远小于基线中使用的LLaMa-2-7B,但在问答和文本摘要任务上,研究人员的方法不仅大幅提升了性能,而且与原始文本提示的表现相差无几。
- 域外测试(LongBench、GSM8K和BBH)
考虑到研究人员的模型仅在MeetingBank的会议记录数据上进行了训练,研究人员进一步探索了其在长文本、逻辑推理和上下文学习等不同场景下的泛化能力。
值得一提的是,尽管LLMLingua-2只在一个数据集上训练,但在域外的测试中,它的表现不仅与当前最先进的任务不特定压缩方法相媲美,甚至在某些情况下还有过之而无不及。
即使是研究人员的较小模型(BERT-base大小),也能达到与原始提示相当的性能,在某些情况下甚至略高于原始提示。
虽然研究人员的方法取得了可喜的成果,但与其他任务感知压缩方法(如Longbench上的LongLLMlingua)相比,研究人员的方法还存在不足。
研究人员将这种性能差距归因于它们从问题中获取的额外信息。不过,研究人员的模型具有与任务无关的特点,因此在不同场景中部署时,它是一种具有良好通用性的高效选择。
上表4列出了使用Mistral-7Bv0.1 4作为目标LLM的不同方法的结果。
与其他基线方法相比,研究人员的方法在性能上有明显的提升,展示了其在目标LLM上良好的泛化能力。
值得注意的是,LLMLingua-2的性能甚至优于原始提示。
研究人员推测,Mistral-7B在管理长上下文方面的能力可能不如GPT-3.5-Turbo。
研究人员的方法通过提供信息密度更高的短提示,有效提高了 Mistral7B 的最终推理性能。
上表5显示了不同系统在不同压缩比的V100-32G GPU上的延迟。
结果表明,与其他压缩方法相比,LLMLingua2的计算开销要小得多,可以实现1.6倍到2.9倍的端到端速度提升。
此外,研究人员的方法还能将GPU内存成本降低8倍,从而降低对硬件资源的需求。
上下文意识观察 研究人员观察到,随着压缩率的增加,LLMLingua-2可以有效地保持与完整上下文相关的信息量最大的单词。
这要归功于双向上下文感知特征提取器的采用,以及明确朝着及时压缩目标进行优化的策略。
研究人员观察到,随着压缩率的增加,LLMLingua-2可以有效地保持与完整上下文相关的信息量最大的单词。
这要归功于双向上下文感知特征提取器的采用,以及明确朝着及时压缩目标进行优化的策略。
最后研究人员让GPT-4 从 LLMLingua-2压缩提示中重构原始提示音。
结果表明,GPT-4可以有效地重建原始提示,这表明在LLMLingua-2压缩过程中并没有丢失基本信息。
以上是清华微软开源全新提示词压缩工具,长度骤降80%!GitHub怒砍3.1K星的详细内容。更多信息请关注PHP中文网其他相关文章!

微软宣布进一步扩展和 Meta 的 AI 合作伙伴关系,Meta 已选择 Azure 作为战略性云供应商,以帮助加速 AI 研发。在 2017 年,微软和 Meta(彼时还被称为 Facebook)共同发起了 ONNX(即 Open Neural Network Exchange),一个开放的深度学习开发工具生态系统,旨在让开发者能够在不同的 AI 框架之间移动深度学习模型。2018 年,微软宣布开源了 ONNX Runtime —— ONNX 格式模型的推理引擎。作为此次深化合作的一部分,Me

OTO 是业内首个自动化、一站式、用户友好且通用的神经网络训练与结构压缩框架。 在人工智能时代,如何部署和维护神经网络是产品化的关键问题考虑到节省运算成本,同时尽可能小地损失模型性能,压缩神经网络成为了 DNN 产品化的关键之一。DNN 压缩通常来说有三种方式,剪枝,知识蒸馏和量化。剪枝旨在识别并去除冗余结构,给 DNN 瘦身的同时尽可能地保持模型性能,是最为通用且有效的压缩方法。三种方法通常来讲可以相辅相成,共同作用来达到最佳的压缩效果。然而现存的剪枝方法大都只针对特定模型,特定任务,且需要很

ChatGPT在手,有问必答。你可知,与它每次对话的计算成本简直让人泪目。此前,分析师称ChatGPT回复一次,需要2美分。要知道,人工智能聊天机器人所需的算力背后烧的可是GPU。这恰恰让像英伟达这样的芯片公司豪赚了一把。2月23日,英伟达股价飙升,使其市值增加了700多亿美元,总市值超5800亿美元,大约是英特尔的5倍。在英伟达之外,AMD可以称得上是图形处理器行业的第二大厂商,市场份额约为20%。而英特尔持有不到1%的市场份额。ChatGPT在跑,英伟达在赚随着ChatGPT解锁潜在的应用案

随着OpenAI DALL-E和Midjourney的推出,AI艺术生成器开始变得越来越流行,它们接受文本提示并将其变成美丽的、通常是超现实的艺术品——如今,有两家大企业加入了这一行列。微软宣布,将通过Bing Image Creator把由DALL-E模型提供支持的AI图像生成功能引入Bing搜索引擎和Edge浏览器。创意软件开发商Adobe也透露,将通过名为Firefly的AI艺术生成产品来增强自己的工具。对于有权访问Bing聊天预览的用户来说,这一新的AI图像生成器已经可以在“创意”模式下

自然语言处理(NLP)模型读不懂人话、将文本理解为相反的意思,是业界顽疾了。 现在微软表示,开发出解决此弊的方法。微软开发AdaTest方法来测试NLP模型 可作为跨越各种应用基础的大型模型,或称平台模型的进展已经大大改善了AI处理自然语言的能力。但自然语言处理(NLP)模型仍然远不完美,有时会以令人尴尬的方式暴露缺陷。 例如有个顶级的商用模型,将葡萄牙语中的「我不推荐这道菜」翻译成英语中的「我非常推荐这道菜」。 这些失败之所以继续存在,部分原因是寻找和修复NLP模型中的错误很难,以至于严重的

大家好,我是菜鸟哥!最近逛G网,发现微软开源了一个项目叫「playwright-python」,作为一个兴起项目。Playwright 是针对 Python 语言的纯自动化工具,它可以通过单个API自动执行 Chromium,Firefox 和 WebKit 浏览器,连代码都不用写,就能实现自动化功能。虽然测试工具 selenium 具有完备的文档,但是其学习成本让一众小白们望而却步,对比之下 playwright-python 简直是小白们的神器。Playwright真的适用于Python吗?

微软必应完善文字生成图像能力,Adobe 今日也发布 Firefly,杀入生成式 AI 这场游戏。 昨晚实在是有些热闹。一边英伟达 GTC 正在进行中,一边谷歌正式开放了 Bard 的测试,这里微软必应也不甘寂寞。今日,微软正式宣布,必应搜索引擎接入了 OpenAI 的 DALL·E 模型,增加了 AI 生成图像的功能。也就是说,在接入 ChatGPT 之后,必应再次强化,Bing Image Creator 能够让用户用 DALL·E 模型生成图像。「对于拥有必应预览版权限的用户,Bing I

近日微软推出了Security Copilot,这款新工具旨在通过AI助手简化网络安全人员的工作,帮助他们应对安全威胁。 网络安全人员往往要管理很多工具,和来自多个来源的海量数据。近日微软宣布推出了Security Copilot,这款新工具旨在通过AI助手简化网络安全人员的工作,帮助他们应对安全威胁。Copilot利用基于OpenAI的GPT-4最新技术,让网络安全人员能够就当前影响环境的安全问题提问并获得答案,甚至可以直接整合公司内部的知识,为团队提供有用的信息,从现有信息中进行学习,将当前


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

Dreamweaver CS6
视觉化网页开发工具

ZendStudio 13.5.1 Mac
功能强大的PHP集成开发环境

安全考试浏览器
Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

PhpStorm Mac 版本
最新(2018.2.1 )专业的PHP集成开发工具