스탠포드의 20억 매개변수 최종 테스트 다중 모드 AI 에이전트 모델이 크게 업그레이드되어 휴대폰, 자동차, 로봇에서 사용할 수 있습니다.

Stanford University NEXA AI 팀의 세계 최초 초소형 다중 모드 AI 에이전트 모델Octopus V3은 에이전트를 더 스마트하고 빠르게 만들며 에너지 소비 및 비용을 절감합니다.

NEXA AI는 올해 4월 초 많은 기대를 모았던 Octopus V2를 출시했습니다. 이 모델은 함수 호출 성능에서 GPT-4를 능가하고 추론에 필요한 텍스트 양을 95% 줄였습니다. 엔드사이드 AI 애플리케이션에 대한 새로운 가능성. 특허 받은 핵심 기술인 '기능형 토큰'은 혁신적인 함수 호출 방식을 통해 추론에 필요한 텍스트 길이를 대폭 줄여줍니다.

이 방법을 사용하면 모델은 20억 개의 매개변수만으로 효율적인 학습을 달성할 수 있으며, 정확성과 지연 시간 측면에서 GPT-4를 능가하여 다양한 최종 장치의 배포 요구 사항에 적응할 수 있습니다.

Octopus V2는 LLM 커뮤니티에 출시된 이후 Hugging Face의 CTO인 Julien Chaumond, 잘 알려진 AI 뉴스레터 AI, 피규어 AI OPPO 창업자 브렛 애드콕(Brett Adcock), OPPO 엣지 인공지능 팀장 마노이 쿠마르(Manoj Kumar) 등 “디바이스 측 AI 기술의 새로운 시대를 창조한다”는 평가를 받고 있다.

잘 알려진 오픈 소스 AI 플랫폼 Hugging Face에서 Octopus V2는 12,000회 이상 다운로드되었습니다.

NEXA AI 팀은 한 달도 채 안 되어 차세대 멀티모달 AI Agent 모델 Octopus V3를 출시하여 스마트폰 및 기타 분야에서 이미지 처리 및 다국어 텍스트 처리 기능을 갖춘 추가적인 혁신을 보여주었습니다. 디바이스 사이드 디바이스가 진정한 AI 시대로 진입할 수 있는 길을 열어줍니다.

10억 개 미만의 매개변수를 갖춘 최초의 다중 모드 AI 에이전트 모델

Octopus+V3은 다중 모드 기능을 가질 뿐만 아니라 GPT-4V에 필적하는 함수 호출 성능에서 유사한 모델을 훨씬 능가합니다. +GPT4; 모델 매개변수의 수는 10억 개 미만이며 다중 언어 기능을 갖추고 있습니다.

즉, 기존의 대규모 언어 모델에 비해 크기가 더 작고 에너지 소비도 적습니다. Raspberry Pi와 같은 다양한 소형 장치에서 더 쉽게 실행할 수 있으며 빠르고 정확한 기능을 전송할 수 있습니다. .

이는 미래에 AI 에이전트가 스마트폰, AR/VR, 로봇, 스마트 자동차및 기타 최종 장치에서 널리 사용되어 사용자 상호 작용 경험을 더욱 원활하고 스마트하게 만들 수 있음을 의미합니다.

반면, V3에는 다중 모드 처리 기능이 있어 텍스트와 이미지 입력을 동시에 처리할 수 있고 다국어 기능도 결합되어 사용자 경험을 더욱 풍부하게 만들어줍니다.

예를 들어 인스타카트(Instacart) 쇼핑 앱에서 사용자는 AI 에이전트가 파인애플 사진과 간단한 대화 명령을 통해 자동으로 제품을 검색하도록 할 수 있어 효율성과 사용자 경험이 향상됩니다.

또 다른 예로 이메일 전송과 같은 시나리오에서 Octopus V3는 자동으로 정보를 추출하고 이미지를 기반으로 이메일 내용을 텍스트로 채워 사용자에게 더욱 지능적이고 편리한 서비스를 제공할 수 있습니다.

소프트웨어 상호 작용부터 스마트 자동차까지 기기 측 AI는 엄청난 잠재력을 가지고 있습니다.

이러한 특성을 바탕으로 Octopus V2와 V3는 풍부하고 다양한 응용 시나리오를 갖고 있으며 광범위한 응용 가능성을 가지고 있습니다.

위에서 언급한 휴대폰 시나리오 외에도 Octopus V2를 스마트 자동차에 적용하면 새로운 인터랙티브 경험을 가져올 수도 있습니다. 현재의 음성 어시스턴트는 자동차 소유자가 운전 중 일시적으로 목적지를 변경하거나 추가 정류장을 추가하는 등 더 복잡한 작업을 완료하는 데 도움을 주기 어려운 경우가 많습니다. Octopus V3를 적용한 후 AI 도우미는 비교적 모호하고 간단한 지침을 기반으로 해당 작업을 빠르고 정확하게 완료할 수 있습니다.

정보 검색부터 명령 기반 설계 완성까지 V2와 V3의 기능을 결합하여 사용자는 가상 장면에서 원활한 AI 경험을 얻을 수 있습니다. 커뮤니티 사용자의 VR 장면 데모에서는 간단한 음성 명령을 입력한 후 AI 에이전트 몇 번의 클릭만으로 사용자가 거실 디자인을 빠르게 완성하고, 소파를 교체하고, 조명 색상을 변경하는 등의 작업을 빠르게 수행할 수 있습니다. 사용자가 여행 안내를 입력하면 사용자는 빠르게 일본에 도착하며, AI Agent는 사용자가 해당 명소를 검색할 수 있도록 도와주고 간단한 대화 커뮤니케이션으로 풍부한 정보를 제공할 수도 있습니다.

데이터에 따르면 글로벌 대규모 언어 모델 시장이 빠르게 성장하고 있습니다. Granview Research 보고서에 따르면 전 세계 대형 언어 모델 시장 규모는 43억 5천만 달러로 추산되며, 2024년부터 2030년까지 연평균 성장률 35.9%로 성장할 것으로 예상됩니다. 마찬가지로 엣지 인공지능 시장도 호황을 누리고 있다. 글로벌 엣지 인공지능 시장은 2023년부터 2030년까지 연평균 성장률 21.0%로 성장해 2030년에는 664억7800만 달러에 이를 것으로 예상된다.

NEXA AI 팀은 스탠포드 대학의 뛰어난 연구원들이 설립했습니다.

설립자 겸 수석 과학자 Alex Chen(Chen Wei)은 스탠포드 대학에서 박사 학위를 취득하고 있으며 인공 지능 연구 분야에서 풍부한 경험을 갖고 있으며 Stanford Chinese Entrepreneurs Organization의 회장을 역임했습니다.

공동 창업자이자 최고 기술 책임자인 Zack Li(이志文) 역시 스탠포드 대학을 졸업했으며 Google 및 Amazon Lab126에서 4년 간 엔드사이드 AI 분야의 최전선 R&D 경험을 쌓기도 했습니다. 스탠포드의 중국인 기업가 협회 회장.

스탠포드 대학교 부교수이자 스탠포드 기술 기업가 정신 프로그램 부국장Charles (Chuck) Eesley는 컨설턴트로 팀에 지침과 지원을 제공합니다.

Δ왼쪽: Li Zhiyuan, 오른쪽: Chen Wei

현재 NEXA AI의 원천 기술은 특허 보호를 신청했습니다.

NEXA AI 창립팀은 엔드사이드 AI 기술 개발을 촉진하고 오픈 소스 모델을 통해 혁신적인 기술의 영향력을 높이며 사용자를 위한 더욱 스마트하고 효율적인 미래 생활을 만들기 위해 계속해서 노력할 것이라고 밝혔습니다. .

논문 주소: https://arxiv.org/abs/2404.11459

위 내용은 스탠포드의 20억 매개변수 최종 테스트 다중 모드 AI 에이전트 모델이 크게 업그레이드되어 휴대폰, 자동차, 로봇에서 사용할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!