Anforderungen verwalten und große Modelle zur Lösung von Problemen nutzen: Das Diagrammverarbeitungsartefakt SheetCopilot ist online

Dieser reibungslose Ablauf ist für Profis einfach eine gute Nachricht!

Kürzlich haben Forscher des Instituts für Automatisierung, der Chinesischen Akademie der Wissenschaften, des Hong Kong Polytechnic und anderer Institutionen einen „Sheet-KI-Assistenten“ SheetCopilot entwickelt, der auf Software (wie Excel, GoogleSheets usw.) ausgeführt werden kann .). SheetCopilot kann sich schnell mit Software zur Verarbeitung mehrerer Tabellen verbinden und unterstützt Operationen mit mehreren Tabellen, das Zeichnen von Diagrammen und die Generierung von Pivot-Tabellen. Es wird erwartet, dass es die Verarbeitung und Visualisierung von Tabellendaten in mehreren Bereichen ermöglicht und einen wichtigen Schritt zur Realisierung eines allgemeinen intelligenten Assistenten darstellt.

Website: https://sheetcopilot-demo.github.io/

Papier: https://arxiv.org/abs/2305.19308

Los geht's durch Die folgenden Beispiele zeigen, wie SheetCopilot die Arbeitseffizienz deutlich verbessern kann.

Angenommen, Sie sind ein Neuling und eines Tages bittet Sie Ihr Chef, ihm bei der Analyse von Verkaufsdaten zu helfen. Wenn Sie das Formular erhalten und es betrachten, werden Sie von den Tausenden von Datenzeilen geblendet sein. Sie wissen nicht, wo Sie anfangen sollen, also überprüfen Sie es, während Sie fortfahren.

Zuerst versuchen Sie, die Namen jedes Produkts zu extrahieren, und verwenden dann eine Formel, um die Einnahmen jedes Produkts zu summieren.

Nachdem ich mehr als 20 Minuten daran gearbeitet hatte, meldete SUMIF immer wieder „#NAME?“-Fehler, also gab ich auf.

Ich suchte weiter online und fand heraus, dass es ein so praktisches Tool wie die Pivot-Tabelle gibt, also startete ich die zweite Herausforderung.

Es hat mehr als zwanzig Minuten gedauert und es war endlich geschafft. Der gesamte Vorgang dauerte fast eine Stunde und die Effizienz war nicht zufriedenstellend. Jedes Mal, wenn Ihr Chef Ihnen eine neue Aufgabe zur Formularbearbeitung gibt, nützt Ihnen Ihre bisherige Erfahrung wenig, sodass Sie die Website nur von Grund auf betrachten und bearbeiten können.

Ihr Kollege nutzt SheetCopilot und erledigt alle möglichen seltsamen Anfragen in nur wenigen Sekunden :).

Da SheetCopilot so reibungslos funktioniert, haben Sie es ausprobiert und es war einfach, ein Bild zu zeichnen.

Mit SheetCopilot müssen Sie nicht mehr mit der Maus über eine halbe Tabelle fahren, um Daten auszuwählen, die über den Bildschirm hinausgehen, und können problemlos Tausende von Datenzeilen zwischen mehreren Tabellen verschieben.

Warum SheetCopilot

Die Fähigkeit, komplexe Software auch ohne Berufserfahrung beherrschen zu können, ist seit langem ein Wunsch. Viele von uns waren in Situationen, in denen wir nicht wussten, wie man in der umständlichen Benutzeroberfläche von PhotoShop navigiert, Daten analysieren wollten, aber die erweiterte Funktion von PivotTables nicht kannten, Zahnräder zeichnen wollten, aber nichts über Solidworks wussten.

Mit dem Aufkommen großer Sprachmodelle (LLMs) mit leistungsstarken Sprachverständnis- und Generierungsfunktionen ist diese Vision näher an der Realität als je zuvor. Wenn LLM dazu angeleitet werden kann, verschiedene Software zu beherrschen, kann das nahezu unbegrenzte Potenzial von LLM freigesetzt werden, wodurch die menschliche Produktivität beispiellose Höhen erreichen kann.

In diesem Artikel wird darauf hingewiesen, dass Tabellenkalkulationen eine ideale Grundlage für die Durchführung dieser Recherche darstellen, da sie ein gängiges und vielseitiges Produktionswerkzeug sind. Die Tabellenmanipulation steht jedoch vor vielfältigen Herausforderungen, und es ist für Benutzer schwierig, ausreichende Tabellenverarbeitungs- und Programmierkenntnisse zu beherrschen, um den sich ständig ändernden Aufgabenanforderungen gerecht zu werden.

Wenn es einen generalistischen KI-Agenten gibt, der umfassende Fähigkeiten zur Softwaresteuerung beherrscht, wird nicht nur die Büroeffizienz erheblich verbessert, sondern auch die Unternehmensleistung erheblich beschleunigt. Das Aufkommen von SheetCopilot passt genau zur Vision der Menschen. Was sind die Highlights von SheetCopilot?

Verkaufsdatenanalyse

Experimentelle Diagrammzeichnung

Komplexe Formelberechnung

Bedingte Formatierung anwenden

2. Über die VBA-basierte Methode hinaus ist SheetCopilot der Methode zum Generieren und Ausführen von VBA-Code mit GPT überlegen. 3,5, Die generierte Lösung ist deutlich besser als letztere (siehe Abbildung unten), was SheetCopilot voraussichtlich in Zukunft zu einem leistungsstarken KI-Hilfstool für Datenverarbeitungspersonal werden lässt.

Darüber hinaus enthalten die von SheetCopilot generierten Lösungen im Vergleich zu obskurem VBA-Code leicht verständliche Schritte, wodurch das mühsame Erlernen einer neuen Programmiersprache und das schwierige Debuggen entfallen.

Links: langer VBA-Code; rechts: SheetCopilots einfache und leicht verständliche Lösung.

3. Komfortables Nutzungserlebnis

SheetCopilot Wenn die Netzwerkverbindung stabil ist, sind nur etwa 10 Schritte von Multi-Table-Kombinationsoperationen erforderlich, um Tabellen mit Tausenden von Zeilen und Dutzenden von Spalten zu kombinieren Erledigen Sie Aufgaben schnell. Dies entlastet nicht nur die müden Augen des Benutzers, sondern erspart auch die Zeit, die mit dem Auffinden der Website und dem Ausprobieren der einzelnen Schritte verschwendet wird, und vermeidet auch die Kosten für das Erlernen von VBA.

Methodenprinzip

Dieser Artikel abstrahiert die für die Tabellenmanipulation erforderlichen Kernfunktionen in eine Reihe virtueller APIs (sogenannte atomare Operationen, siehe Abbildung unten), die zur Generierung von Lösungen verwendet werden und als Brücke für die Interaktion zwischen LLM und Anwendung dienen Software.

Die einfachste Methode besteht darin, alle Schritte einer Aufgabe mit einer Abfrage an LLM zu generieren. Mit zunehmender Komplexität der Aufgabe werden nachfolgende Schritte jedoch stärker von den Ausführungsergebnissen vorheriger Schritte abhängig, was es für diese Art der Steuerung mit offenem Regelkreis schwierig macht, korrekte Ergebnisse zu erzielen. LLM hat beispielsweise Schwierigkeiten, den Umfang eines Vorgangs zu bestimmen, wenn es nicht bestimmen kann, wo die Daten nach dem Filtern sichtbar sein werden.

Um eine effiziente Regelung im geschlossenen Regelkreis zu erreichen, optimiert SheetCopilot Lösungen auf der Grundlage von Software-Status-Feedback und einer externen Wissensbasis für den atomaren Betrieb und verbessert so die Erfolgsquote und Effizienz.

So bewerten Sie

Dieser Artikel schlägt einen qualitativ hochwertigen Bewertungsmaßstab vor. Die Aufgaben dieses Benchmarks haben unterschiedliche Formulierungen und beinhalten umfangreiche atomare Operationen, wie in der Wortwolke unten gezeigt:

Dieser Benchmark verwendet die folgenden Metriken hinsichtlich der Erfolgsquote (höher ist besser):

• Exec @1: Die Ausführungserfolgsrate der generierten Aufgabenlösung.
• Pass@1: Erfolgsquote der Aufgabe, d. h. der Anteil der Lösungen, die nach der Ausführung mit jeder Referenzantwort übereinstimmen können.

Dieser Benchmark berücksichtigt auch die folgenden Effizienzmetriken (je niedriger, desto besser):

• A50: Teilen Sie die Anzahl der Schritte für eine Lösung, die die Aufgabenanforderungen erfüllt, durch die Mindestanzahl der Schritte für die Referenzantwort. und nehmen Sie dann den Median aller Berechnungsergebnisse.
• A90: Die Berechnungsmethode ist die gleiche wie oben, es wird jedoch das 90. Perzentil aller Berechnungsergebnisse herangezogen. Dieser Indikator spiegelt die Extremwertverteilung der Anzahl der Aktionen wider.

Experimentelle Ergebnisse

Tabelle 1: Vergleich von GPT-3.5-Turbo, GPT-4, Claude und Methoden zur Generierung von VBA im SheetCopilot-Datensatz.

Es überrascht nicht, dass GPT-4 den höchsten Anteil an Lösungen aufweist, die die Aufgabenanforderungen erfüllen, und die beste Effizienz aufweist, während GPT-3.5-Turbo knapp dahinter folgt und Claude auf dem niedrigsten Platz liegt, aber auch nahe an GPT-3.5 liegt. Turbo.

Ein bemerkenswertes Ergebnis ist, dass SheetCopilot im Vergleich zur Methode, Benutzeranweisungen in VBA-Code zu übersetzen und in Excel auszuführen, eine hervorragende Erfolgsquote erzielte. Dies bedeutet, dass SheetCopilot uns mit der intelligenten Softwaresteuerung einen großen Schritt näher kommt und es Benutzern, die nicht programmieren können, Computern zu befehlen, ermöglicht, komplexe Aufgaben durch tägliche Kommunikation zu erledigen.

Werfen wir einen Blick auf die Vor- und Nachteile jedes dieser drei LLMs anhand der Indikatoren in jeder Unterteilungskategorie unten.

GPT-3.5 und GPT-4 lösten problemlos die beiden Arten von Aufgaben: Verwaltung (Sortieren, Filtern und andere Tabellenverwaltungsvorgänge) und Eingabe und Manipulation (Dateneingabe und -manipulation), beide erreichten 100 % Ausführungsrate. Darüber hinaus zeigten die drei LLMs jeweils die beste Effizienz in verschiedenen Aufgabenkategorien. Dieses interessante Ergebnis zeigt, dass jedes LLM seine einzigartigen Vorteile hat und dass GPT-4 andere Modelle nicht übertreffen kann.

Fazit

SheetCopilot nutzt LLM, um über Textschnittstellen erfolgreich einen geschlossenen Kreislauf der Wahrnehmung, Argumentation und Entscheidungsfindung zu bilden, eine effiziente Tabellenkalkulationssteuerung zu erreichen, die intelligente Softwaresteuerung auf ein höheres Niveau zu bringen und auch eine Plattform für Interessierte bereitzustellen in generalistischen Agenten haben neue Inspiration gebracht.

Das obige ist der detaillierte Inhalt vonAnforderungen verwalten und große Modelle zur Lösung von Problemen nutzen: Das Diagrammverarbeitungsartefakt SheetCopilot ist online. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!