한 문장으로 데이터 분석을 완료하여 저장대학교의 새로운 대형 모델 데이터 도우미를 사용하면 수집이 필요하지 않습니다.

데이터를 처리하려면 이 AI 도구를 사용하세요!

대형 언어 모델(LLM)을 기반으로 보고 싶은 데이터를 한 문장으로 설명만 하고 나머지는 그대로 두면 됩니다!

처리, 분석, 시각화까지 모두 쉽게 할 수 있습니다. 수집을 직접 할 필요도 없습니다.

Pictures

이 LLM 기반 AI 데이터 도우미는 Data-Copilot이라고 하며 Zhejiang University 팀에서 개발했습니다.

해당 논문의 사전 인쇄본이 공개되었습니다.

다음 콘텐츠는 기여자가 제공하는 것입니다

금융, 기상, 에너지 등 다양한 산업에서는 매일 대량의 이질적인 데이터가 생성됩니다. 이러한 데이터를 효과적으로 관리, 처리, 표시할 수 있는 도구가 시급히 필요합니다.

DataCopilot은 다양한 사용자 쿼리, 계산, 예측, 시각화 및 기타 요구 사항을 충족하기 위해 대규모 언어 모델을 배포하여 대규모 데이터를 자율적으로 관리하고 처리합니다.

복잡한 작업 없이 DataCopilot에 보고 싶은 데이터를 알리기 위해 텍스트만 입력하면 됩니다. 직접 코드를 작성할 필요가 없습니다. DataCopilot은 원본 데이터를 사용자의 의도에 가장 잘 맞는 시각화 결과로 자동으로 변환합니다.

다양한 형태의 데이터 관련 작업을 포괄하는 보편적인 프레임워크를 달성하기 위해 연구팀은 Data-Copilot을 제안했습니다.

이 모델은 단순히 LLM 사용으로 인해 발생하는 데이터 유출 위험, 열악한 컴퓨팅 성능, 복잡한 작업 처리 불가능 등의 문제를 해결합니다.

Pictures

복잡한 요청을 받으면 Data-Copilot은 독립적인 인터페이스를 설계하고 예약하여 사용자의 의도에 맞는 워크플로를 구축합니다.

인간의 도움 없이 다양한 소스와 다양한 형식의 원시 데이터를 그래픽, 표, 텍스트와 같은 인간화된 출력으로 능숙하게 변환할 수 있습니다.

Pictures

Data-Copilot 프로젝트의 주요 기여는 다음과 같습니다.

• 다양한 분야와 다양한 사용자 요구의 데이터 소스를 연결하여 지루한 노동력과 전문 지식을 줄입니다.
• 데이터의 자율적인 관리, 처리, 분석, 예측 및 시각화를 달성하고 원시 데이터를 사용자 의도에 가장 잘 맞는 유익한 결과로 변환할 수 있습니다.
• Tools는 designer와 scheduler의 이중 ID를 가지며, 두 가지 프로세스, 즉 인터페이스 도구의 디자인 프로세스(디자이너)와 일정 프로세스(스케줄러)를 포함합니다.
• Data-Copilot 데모는 중국 금융 시장 데이터를 기반으로 구축되었습니다.

워크플로를 독립적으로 설계하고 실행합니다.

다음 예를 통해 Data-Copilot의 성능을 확인할 수도 있습니다.

모든 구성 주식의 연간 순이익 성장률은 얼마입니까? 올해 1분기 Shanghai Stock Exchange 50 지수

Data-Copilot 우리는 다음과 같은 워크플로우를 독립적으로 설계했습니다:

Pictures

이 복잡한 문제를 해결하기 위해 Data-Copilot은 loop_rank 인터페이스를 사용하여 다중 루프 쿼리를 구현합니다. .

Data-Copilot은 이 워크플로우를 실행한 후 다음과 같은 결과를 얻었습니다.

횡좌표는 각 부품 재고의 이름이고, 세로좌표는 1분기 순이익의 전년 대비 성장률입니다.

사진

일반 데이터 처리 프로세스 외에도 Data-Copilot은 다양한 워크플로우를 생성할 수 있습니다.

연구팀은 예측 모드와 병렬 모드의 두 가지 워크플로 모드에서 Data-Copilot을 테스트했습니다.

예측 워크플로

Data-Copilot은 알려진 데이터 이외의 부분도 예측할 수 있습니다. 예를 들어 다음 질문을 입력합니다.

다음 4분기에 중국의 분기별 GDP를 예측합니다.

Data-Copilot은 이 워크플로를 배포합니다.

과거 정보를 얻습니다. GDP 데이터 → 선형 회귀 모델을 사용하여 미래 예측 → 출력 테이블

그림

실행 후 결과는 다음과 같습니다.

Pictures

병렬 워크플로

지난 3년간 CATL과 Kweichow Moutai의 주가수익비율을 보고 싶습니다

해당 워크플로는 다음과 같습니다.

주가 데이터 가져오기 → 관련 지수 계산 → 차트 생성

그림

두 종목의 관련 작업이 동시에 병행되며, 최종 차트는 다음과 같습니다.

그림

주요 방법

Data-Copilot은 일반 인터페이스 디자인을 갖춘 대규모 언어 모델 시스템 인터페이스 스케줄링에는 두 가지 주요 단계가 있습니다.

• 인터페이스 디자인: 연구팀은 LLM이 소수의 시드 요청에서 충분한 요청을 자율적으로 생성할 수 있도록 자체 요청 프로세스를 설계했습니다. 그런 다음 LLM은 생성된 요청을 기반으로 인터페이스를 반복적으로 설계하고 최적화합니다. 이러한 인터페이스는 자연어를 사용하여 설명되므로 서로 다른 플랫폼 간에 쉽게 확장하고 전송할 수 있습니다.
• 인터페이스 예약: LLM은 사용자 요청을 받은 후 자체 설계한 인터페이스 설명과 상황에 맞는 데모를 기반으로 인터페이스 도구를 계획 및 호출하고 사용자 요구 사항을 충족하는 워크플로를 배포하며 결과를 여러 형식으로 사용자에게 제공합니다.

Data-Copilot은 자동으로 요청을 생성하고 인터페이스를 독립적으로 설계하여 사용자 요구 사항을 충족하고 결과를 여러 형식으로 사용자에게 표시함으로써 고도로 자동화된 데이터 처리 및 시각화를 달성합니다.

Pictures

인터페이스 디자인

위 그림과 같이 데이터 관리가 먼저 구현되어야 하며 첫 번째 단계에는 인터페이스 도구가 필요합니다.

Data-Copilot은 데이터 관리 도구로 수많은 인터페이스를 설계합니다. 인터페이스는 데이터 수집 및 처리와 같은 작업을 담당하는 자연어(기능 설명)와 코드(구현)로 구성된 모듈입니다.

• 먼저 LLM은 소수의 시드 요청을 사용하고 많은 요청을 독립적으로 생성(자체 요청으로 데이터 탐색)하여 다양한 응용 시나리오를 최대한 포괄합니다.
• 그런 다음 LLM은 이러한 요청에 해당하는 인터페이스를 설계하고(인터페이스 정의: 설명 및 매개변수만 포함) 각 반복에서 인터페이스 디자인을 점진적으로 최적화합니다(인터페이스 병합).
• 마지막으로 연구원들은 LLM의 강력한 코드 생성 기능을 사용하여 인터페이스 라이브러리의 각 인터페이스에 대한 특정 코드(인터페이스 구현)를 생성했습니다. 이 프로세스는 인터페이스 디자인을 특정 구현과 분리하여 대부분의 요청을 충족할 수 있는 다양한 인터페이스 도구 세트를 만듭니다.

아래 그림과 같이: Data-Copilot이 자체적으로 설계한 데이터 처리용 인터페이스 도구

그림

인터페이스 스케줄링

이전 단계에서 연구자들은 데이터 수집, 처리 및 시각화를 위한 다양한 도구를 얻었습니다. 공통 인터페이스 도구입니다. 각 인터페이스에는 명확하고 명시적인 기능 설명이 있습니다. 두 쿼리에 대한 위 그림에 표시된 것처럼 Data-Copilot은 실시간 요청에서 다양한 인터페이스를 계획하고 호출하여 데이터에서 결과까지 여러 형태의 워크플로를 구성합니다.

• Data-Copilot은 먼저 사용자의 요청을 정확하게 이해하기 위해 의도 분석을 수행합니다.
• 사용자의 의도가 정확하게 이해되면 Data-Copilot은 사용자의 요청을 처리하기 위한 합리적인 워크플로우를 계획합니다. Data-Copilot은 step={“arg”:””, “function”:””, “output”:””,”description”:””}과 같은 일정 예약의 각 단계를 나타내는 고정 형식 JSON을 생성합니다. .

인터페이스 설명과 예시에 따라 Data-Copilot은 각 단계 내에서 인터페이스 일정을 순차적으로 또는 병렬로 조정합니다.

Data-Copilot은 LLM을 데이터 관련 작업의 모든 단계에 통합하고 사용자 요청에 따라 원시 데이터를 사용자 친화적인 시각화 결과로 자동 변환함으로써 지루한 노동력과 전문 지식에 대한 의존도를 크게 줄입니다.

GitHub 프로젝트 페이지: https://github.com/zwq2018/Data-Copilot

문서 주소: https://arxiv.org/abs/2306.07209

HuggingFace DEMO: https://huggingface .co/spaces/zwq2018/Data-Copilot

위 내용은 한 문장으로 데이터 분석을 완료하여 저장대학교의 새로운 대형 모델 데이터 도우미를 사용하면 수집이 필요하지 않습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!