这种丝滑的操作流程简直是职场人的福音!
近日,来自中科院自动化所、港理工等机构的研究者们造出了一个「表格 AI 助手」SheetCopilot,该智能体能根据用户指令生成操纵表格的解决方案并在特定软件(如:Excel、GoogleSheets 等)上执行。SheetCopilot 可以快速连接多款表格处理软件,且支持多表操作、图表绘制和数据透视表生成,有望赋能多个领域的表格数据处理和可视化,并向实现通才智能助手迈出关键一步。
网站:https://sheetcopilot-demo.github.io/
论文:https://arxiv.org/abs/2305.19308
让我们首先通过以下示例来感受 SheetCopilot 如何显著提升工作效率。
假如你是一个刚入职小白,有一天老板要求你帮他分析销售数据。你拿到表格一看,上千行的数据眼花缭乱,一时不知从何下手,于是你边查边做。
首先,你尝试采用把各 Product 名称提取出来,然后用公式对各 Product 的收入求和。
搞了二十多分钟,SUMIF 一直报”#NAME?”的错误,遂放弃。
继续上网搜索,发现还有数据透视表(Pivot table)这么方便的工具,于是开始第二次挑战。
又花了二十多分钟,终于搞定。整个过程将近一个小时,效率不如人意。每次老板交给你新的表格处理任务时,你之前的经验没有什么用处,因此你只能从头开始查看网站并进行处理。
你的同事则使用 SheetCopilot,伸个懒腰的工夫就把各种奇怪的要求都完成了: )。
看到 SheetCopilot 如此丝滑,你也简单尝试了一下,画个图不在话下。
有了 SheetCopilot,你再也不用把鼠标滑过半张桌子的距离来选中超出屏幕的数据了,轻松让上千行数据在多张表之间辗转腾挪。
为什么提出 SheetCopilot
长久以来,人们一直渴望拥有即使没有专业经验也能熟练掌握复杂软件的能力。许多人都曾遇到过这样的情况:不知如何操作 PhotoShop 的繁琐界面,想要分析数据却不知道数据透视表这一高级功能,想要绘制齿轮却对 Solidworks 一无所知。
随着具有强大语言理解和生成能力的大型语言模型(LLM)的出现,这个愿景比以往任何时候都更接近现实。如果能够引导 LLM 掌握各种软件,就能够释放出 LLM 几乎无限的潜能,进而让人类的生产力达到前所未有的高度。
这篇文章指出电子表格(Spreadsheet)是进行这项研究的理想基础,因为它是一种常见的多功能生产工具。然而,表格操控面临着多样化的挑战,用户难以掌握足够的表格处理和编程技巧以应对变化多端的任务需求。
如果有一种通才 AI 智能体,它掌握丰富的软件操控技能,那么不仅办公效率能得到极大提升,企业产出也会大大加快。SheetCopilot 的出现正好契合了人们这样的远景。
SheetCopilot 有哪些亮点
1. 覆盖表格处理的典型需求
SheetCopilot 涵盖了表格操作的几乎所有典型任务,可以出色地完成各式图表生成任务。
销售数据分析
实验图表绘制
复杂公式计算
应用条件格式
2. 超越基于 VBA 的方法
SheetCopilot 优于用GPT-3.5 生成 VBA 代码并执行的方法,生成的解决方案的显著优于后者(见下图),这使得 SheetCopilot 有望成为数据处理人员未来强大的 AI 辅助工具。
不仅如此,相比于晦涩的 VBA 代码,SheetCopilot生成的解决方案包含通俗易懂的步骤,这免去了学习新编程语言并艰难调试的痛苦。
左图:冗长的 VBA 代码;右图:SheetCopilot简单易懂的解决方案。
3. 舒适的使用体验
SheetCopilot 在网络连接稳定的情况下,仅需约 10 步多表组合操作,即可在上千行数十列的表格中快速完成任务。这不仅解放了用户疲惫的双眼,还节省了查找网站并逐个尝试操作步骤所浪费的时间,同时也避免了学习 VBA 的成本。
方法原理
这篇文章将表格操控所需的核心功能抽象为一组虚拟 API(称为原子操作,见下图),用于生成解决方案,作为 LLM 与应用软件之间交互的桥梁。
最简单的方法是对 LLM 的一次查询(query)生成一个任务的所有步骤。然而,随着任务复杂度的增加,后序步骤更加依赖前序步骤的执行结果,导致这种开环控制难以得到正确结果。例如,如果无法确定筛选后可见数据的位置,LLM 就难以确定操作范围。
为了实现高效的闭环控制,SheetCopilot 根据软件状态反馈和外置原子操作知识库优化解决方案,提升了成功率和效率。
如何评测
该文提出了一个高质量评测基准。该基准的任务具有多样化的表述,并涉及丰富的原子操作,如下面词云所示:
此基准采用了如下有关成功率的指标(越高越好):
- Exec@1:生成的任务解决方案的执行成功率。
- Pass@1:任务通过率,即执行后能匹配上任意参考答案的解决方案的占比。
此基准还考虑如下效率指标(越低越好):
- A50:将符合任务要求的解决方案的步数除以参考答案最少步数,然后对所有计算结果取中位数。
- A90:计算方式同上,但取所有计算结果的 90 分位数。该指标反映动作数的极值分布。
实验结果
表 1:在 SheetCopilot 数据集上对比 GPT-3.5-Turbo、GPT-4、Claude 以及生成 VBA 的方法。
不出意料,GPT-4 符合任务要求的解决方案占比最高且效率最优,而 GPT-3.5-Turbo 则紧随其后,Claude 最次但也接近 GPT-3.5-Turbo。
一个值得关注的结果是,与将用户指令翻译成 VBA 代码并在 Excel 上执行的方法对比,SheetCopilot 取得了非常出色的成功率。这意味着 SheetCopilot 让软件智能控制离我们又近了一大步,让不会编程的用户能以日常交流的方式指挥计算机完成繁杂的工作。
我们再通过下面各个细分类别上的指标来看一看这三个 LLM 各自的优缺点。
GPT-3.5 和 GPT-4 轻而易举地解决了 Management(排序、筛选等表格管理操作)和 Entry & manipulation(数据输入与操纵)这两类任务,均取得了 100% 可执行率。此外,三个 LLM 在不同任务类别中各自表现出最佳效率,这一有趣的发现表明每个 LLM 都有其独特的优势,GPT-4 也难以完胜其它模型。
结语
SheetCopilot 借助 LLM成功地将感知、推理和决策通过文字接口构成了一个闭环,实现高效的电子表格操控,促进智能软件控制更上一层楼,也为对通才智能体感兴趣的研究者带来了新的灵感。
以上是管提需求,大模型解决问题:图表处理神器SheetCopilot上线的详细内容。更多信息请关注PHP中文网其他相关文章!

1 前言在发布DALL·E的15个月后,OpenAI在今年春天带了续作DALL·E 2,以其更加惊艳的效果和丰富的可玩性迅速占领了各大AI社区的头条。近年来,随着生成对抗网络(GAN)、变分自编码器(VAE)、扩散模型(Diffusion models)的出现,深度学习已向世人展现其强大的图像生成能力;加上GPT-3、BERT等NLP模型的成功,人类正逐步打破文本和图像的信息界限。在DALL·E 2中,只需输入简单的文本(prompt),它就可以生成多张1024*1024的高清图像。这些图像甚至

“Making large models smaller”这是很多语言模型研究人员的学术追求,针对大模型昂贵的环境和训练成本,陈丹琦在智源大会青源学术年会上做了题为“Making large models smaller”的特邀报告。报告中重点提及了基于记忆增强的TRIME算法和基于粗细粒度联合剪枝和逐层蒸馏的CofiPruning算法。前者能够在不改变模型结构的基础上兼顾语言模型困惑度和检索速度方面的优势;而后者可以在保证下游任务准确度的同时实现更快的处理速度,具有更小的模型结构。陈丹琦 普

Wav2vec 2.0 [1],HuBERT [2] 和 WavLM [3] 等语音预训练模型,通过在多达上万小时的无标注语音数据(如 Libri-light )上的自监督学习,显著提升了自动语音识别(Automatic Speech Recognition, ASR),语音合成(Text-to-speech, TTS)和语音转换(Voice Conversation,VC)等语音下游任务的性能。然而这些模型都没有公开的中文版本,不便于应用在中文语音研究场景。 WenetSpeech [4] 是

由于复杂的注意力机制和模型设计,大多数现有的视觉 Transformer(ViT)在现实的工业部署场景中不能像卷积神经网络(CNN)那样高效地执行。这就带来了一个问题:视觉神经网络能否像 CNN 一样快速推断并像 ViT 一样强大?近期一些工作试图设计 CNN-Transformer 混合架构来解决这个问题,但这些工作的整体性能远不能令人满意。基于此,来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer——Next-ViT。从延迟 / 准确性权衡的角度看,

3月27号,Stability AI的创始人兼首席执行官Emad Mostaque在一条推文中宣布,Stable Diffusion XL 现已可用于公开测试。以下是一些事项:“XL”不是这个新的AI模型的官方名称。一旦发布稳定性AI公司的官方公告,名称将会更改。与先前版本相比,图像质量有所提高与先前版本相比,图像生成速度大大加快。示例图像让我们看看新旧AI模型在结果上的差异。Prompt: Luxury sports car with aerodynamic curves, shot in a

人工智能就是一个「拼财力」的行业,如果没有高性能计算设备,别说开发基础模型,就连微调模型都做不到。但如果只靠拼硬件,单靠当前计算性能的发展速度,迟早有一天无法满足日益膨胀的需求,所以还需要配套的软件来协调统筹计算能力,这时候就需要用到「智能计算」技术。最近,来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇论文,首次对智能计算领域进行了全面的调研,涵盖了理论基础、智能与计算的技术融合、重要应用、挑战和未来前景。论文链接:https://spj.scien

译者 | 李睿审校 | 孙淑娟近年来, Transformer 机器学习模型已经成为深度学习和深度神经网络技术进步的主要亮点之一。它主要用于自然语言处理中的高级应用。谷歌正在使用它来增强其搜索引擎结果。OpenAI 使用 Transformer 创建了著名的 GPT-2和 GPT-3模型。自从2017年首次亮相以来,Transformer 架构不断发展并扩展到多种不同的变体,从语言任务扩展到其他领域。它们已被用于时间序列预测。它们是 DeepMind 的蛋白质结构预测模型 AlphaFold

说起2010年南非世界杯的最大网红,一定非「章鱼保罗」莫属!这只位于德国海洋生物中心的神奇章鱼,不仅成功预测了德国队全部七场比赛的结果,还顺利地选出了最终的总冠军西班牙队。不幸的是,保罗已经永远地离开了我们,但它的「遗产」却在人们预测足球比赛结果的尝试中持续存在。在艾伦图灵研究所(The Alan Turing Institute),随着2022年卡塔尔世界杯的持续进行,三位研究员Nick Barlow、Jack Roberts和Ryan Chan决定用一种AI算法预测今年的冠军归属。预测模型图


热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

AI Hentai Generator
免费生成ai无尽的。

热门文章

热工具

PhpStorm Mac 版本
最新(2018.2.1 )专业的PHP集成开发工具

Dreamweaver Mac版
视觉化网页开发工具

SecLists
SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合,这些列表在安全评估过程中经常使用,都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表,帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上,他就可以访问到所需的每种类型的列表。

DVWA
Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

MinGW - 适用于 Windows 的极简 GNU
这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。