你只管提需求，大模型解决问题：图表处理神器 SheetCopilot 上线

导读：机器之心专栏　　机器之心编辑部　　各位表格大师终于可以跟那些繁琐的手动操作说再见了！近日，一款名叫 SheetCopilot 的智能体横空出世，让每个人只需要发号施令就可实

　　机器之心专栏

　　机器之心编辑部

　　各位表格大师终于可以跟那些繁琐的手动操作说再见了！近日，一款名叫 SheetCopilot 的智能体横空出世，让每个人只需要发号施令就可实现流畅的表格操控。

　　这种丝滑的操作流程简直是职场人的福音！

　　网站：https://sheetcopilot-demo.github.io/

　　论文：https://arxiv.org/abs/2305.19308

　　让我们首先通过以下示例来感受 SheetCopilot 如何显著提升工作效率。

　　假如你是一个刚入职小白，有一天老板要求你帮他分析销售数据。你拿到表格一看，上千行的数据眼花缭乱，一时不知从何下手，于是你边查边做。

　　首先，你尝试采用把各 Product 名称提取出来，然后用公式对各 Product 的收入求和。

　　不仅如此，相比于晦涩的 VBA 代码，SheetCopilot 生成的解决方案包含通俗易懂的步骤，这免去了学习新编程语言并艰难调试的痛苦。

　　左图：冗长的 VBA 代码；右图：SheetCopilot 简单易懂的解决方案。

　　3. 舒适的使用体验

　　SheetCopilot 在网络连接稳定的情况下，仅需约 10 步多表组合操作，即可在上千行数十列的表格中快速完成任务。这不仅解放了用户疲惫的双眼，还节省了查找网站并逐个尝试操作步骤所浪费的时间，同时也避免了学习 VBA 的成本。

　　方法原理

　　这篇文章将表格操控所需的核心功能抽象为一组虚拟 API（称为原子操作，见下图），用于生成解决方案，作为 LLM 与应用软件之间交互的桥梁。

　　最简单的方法是对 LLM 的一次查询（query）生成一个任务的所有步骤。然而，随着任务复杂度的增加，后序步骤更加依赖前序步骤的执行结果，导致这种开环控制难以得到正确结果。例如，如果无法确定筛选后可见数据的位置，LLM 就难以确定操作范围。

　　为了实现高效的闭环控制，SheetCopilot 根据软件状态反馈和外置原子操作知识库优化解决方案，提升了成功率和效率。

　　如何评测

　　该文提出了一个高质量评测基准。该基准的任务具有多样化的表述，并涉及丰富的原子操作，如下面词云所示：

　　此基准采用了如下有关成功率的指标（越高越好）：

　　Exec@1：生成的任务解决方案的执行成功率。

　　Pass@1：任务通过率，即执行后能匹配上任意参考答案的解决方案的占比。

　　此基准还考虑如下效率指标（越低越好）：

　　A50：将符合任务要求的解决方案的步数除以参考答案最少步数，然后对所有计算结果取中位数。

　　A90：计算方式同上，但取所有计算结果的 90 分位数。该指标反映动作数的极值分布。

　　实验结果

　　表 1：在 SheetCopilot 数据集上对比 GPT-3.5-Turbo、GPT-4、Claude 以及生成 VBA 的方法。

　　不出意料，GPT-4 符合任务要求的解决方案占比最高且效率最优，而 GPT-3.5-Turbo 则紧随其后，Claude 最次但也接近 GPT-3.5-Turbo。

　　一个值得关注的结果是，与将用户指令翻译成 VBA 代码并在 Excel 上执行的方法对比，SheetCopilot 取得了非常出色的成功率。这意味着 SheetCopilot 让软件智能控制离我们又近了一大步，让不会编程的用户能以日常交流的方式指挥计算机完成繁杂的工作。

　　我们再通过下面各个细分类别上的指标来看一看这三个 LLM 各自的优缺点。

　　GPT-3.5 和 GPT-4 轻而易举地解决了 Management（排序、筛选等表格管理操作）和 Entry &manipulation（数据输入与操纵）这两类任务，均取得了 100% 可执行率。此外，三个 LLM 在不同任务类别中各自表现出最佳效率，这一有趣的发现表明每个 LLM 都有其独特的优势，GPT-4 也难以完胜其它模型。

　　结语

　　SheetCopilot 借助 LLM 成功地将感知、推理和决策通过文字接口构成了一个闭环，实现高效的电子表格操控，促进智能软件控制更上一层楼，也为对通才智能体感兴趣的研究者带来了新的灵感。

　　 THE END

　　转载请联系本公众号获得授权

　　投稿或寻求报道：content@jiqizhixin.com