라이브 현장은 충격적이다! OmAgent 프레임워크는 이제 오픈 소스입니다! 산업 응용이 완전히 꽃을 피웠습니다

자율주행을 최초로 제안하고 개발한 회사는 공교롭게도 그가 출시한 트랜스포머 모델도 오늘날의 대형 모델 개발의 기반을 마련했습니다.

자율주행은 개념에서 현실로 화려한 변신을 완료해 기존의 운전 방식을 완전히 재편했으며, 대형 모델 업계가 겪고 있는 일은 자율주행 기술 발전의 전설적인 여정과도 같습니다. -

최고의 R&D 팀은 이에 동참하기 위해 경쟁하고 있으며, 계속해서 가속화되고 앞서나가는 기술 제품 혁신, 계속해서 극한까지 추진되는 사용자 경험을 갖고 있습니다.

대형 모델 서킷에는 항상 선두에 서서 업계의 경계를 넓혀가는 회사가 있습니다.

왜 Lianhui Technology인가요?

업계에서 처음으로 대형 모델에 주목하기 시작했을 때 그들은 이미 다중 모드 대형 모델을 정착시키고 산업 정보 기술부로부터 대형 모델 테스트 001호 인증을 높은 점수로 획득했습니다.

마지막; 사람들이 '100개 모델 대결'에 주목한 해에는 자체 개발한 OmModel 다중 모드 대형 모델의 V3 버전을 출시했을 뿐만 아니라 국내 최초의 대형 모델 구동 자율 에이전트 애플리케이션도 출시했습니다.

올해 세계인공지능회의 기간 동안 다시 한 번 일련의 기술적 결과를 발표하여 대형 모델 기술 제품을 더 깊고 넓은 적용 수준으로 끌어올렸습니다.

Lianhui Technology의 기술 팀은 수석 과학자 Zhao Tiancheng 박사와 밀접한 관련이 있는 강력한 미래 지향적 사고를 가지고 있습니다. 이 학생은 국제 AI 분야의 최고 학자인 Maxine Eskenazi 밑에서 공부했으며 CMU LTI(Carnegie)에서 공부했습니다. Mellon University Language Institute), 석사 및 박사 학위를 취득한 재능있는 청년은 "AI 분야의 올바른 사람"이라고 할 수 있을 뿐만 아니라 더욱 드문 것은 Zhao Tiancheng이 독특한 통찰력을 가지고 있다는 것입니다. 기술개발과 전략기획을 담당합니다.

자오텐청(Zhao Tiancheng) 박사는 AI가 주도하는 4차 산업혁명에서는 자율지능이 변화의 핵심 변수가 될 것이라고 지적했습니다. 인간이 창의적 지능의 비밀을 처음으로 접하고 터득하면서 새로운 시대의 도래를 목격하게 될 것입니다 - 이 시대에는 기계, 소프트웨어, 심지어 시스템까지 전례 없는 자율적 의사결정 능력을 부여받게 되며, 다양한 작업 분야에서 널리 사용되어 전례 없는 효율성과 혁신을 실현합니다.

2024년은 지능형 에이전트의 원년입니다.

우리는 L2 수준에 있으며 점차 L3, L4로 이동하고 있습니다.

OmAgent가 왔습니다!

WAIC 기간 동안 Lianhui Technology는 2세대 다중 모달 에이전트 OmAgent를 공식 출시했습니다.

작년 같은 시기에 Lianhui Technology는 업계를 선도하며 중국에서 다중 모드 대형 모델로 구동되는 자율 에이전트의 첫 번째 배치를 출시했습니다. 모달 에이전트 OmAgent가 올해 있나요?

첫 번째는 인식 모듈의 새로운 업그레이드입니다.

AI 애플리케이션 구현을 통해 Lianhui Technology는 만물 인식 모델이 지능적 인식 및 처리 측면에서 큰 잠재력을 갖고 있지만 추론 속도의 병목 현상으로 인해 제한된다는 사실을 발견했습니다. 추론 속도 면에서 소형 모델의 장점과 비교하면 Idealab의 G-DINO와 Lianhui Technology의 OmDet은 속도 면에서 만족스럽지 못한 성능을 보여 엣지 컴퓨팅 장치에서의 적용이 크게 제한됩니다.

Lianhui Technology에서 출시한 최신 OmDet V2는 모든 사물 인식의 포괄적인 가속을 달성합니다. 이는 바닥부터 모든 사물 인식 모듈을 재구축하고 일련의 모델 가속 최적화 기술을 포함하는 EFH 고성능 융합 헤드를 출시합니다. 언어 벡터 캐싱, 경량 기능 인코딩 및 디코딩과 같은 기술은 모든 링크에 대한 EFH의 메커니즘 최적화의 이점을 제공합니다. G-DINO 및 Lianhui의 1세대 인식 모델과 비교하여 OmDet V2는 모든 링크에서 20배 이상 더 빠른 성능을 달성했습니다. .

이러한 개선은 OmDet V2가 미래의 엣지 AI와 구체화된 지능에 대한 새로운 가능성을 열어준다는 것을 의미합니다.

OmDet V2의 추론 속도와 정확한 분석 기능을 통해 단일 GPU는 500개의 비디오 스트림에 대한 실시간 전지적 분석을 수행할 수 있으며 이는 기술 성능의 새로운 혁신입니다. 동시에 이는 엣지 AI의 가능성을 열어준다는 의미이기도 합니다. OmDet V2는 모든 사물 인식 모델이 클라우드의 제약을 없애고 엣지 장치로 이동하여 다음과 같은 최첨단 애플리케이션에 대한 강력한 지능형 지원을 제공할 수 있도록 해줍니다. 휴머노이드 로봇과 홈 지능형 컴퓨팅 센터.

이러한 혁신은 대형 모델 제품의 개발 사고 방식을 재정의할 뿐만 아니라 보다 실시간이고 안전하며 개인 정보 보호에 중점을 둔 대형 모델 애플리케이션 환경을 구축하기 위한 기반을 마련합니다.

둘째는

사고력과 의사결정력의 향상입니다.

생각하는 능력이 있어야만 에이전트가 인식과 기억의 결과에 따라 자율적으로 결정을 내리고 행동할 수 있어 진정한 어시스턴트가 될 수 있습니다. 그러나 기존의 다중 모드 사고 모델에는 분명한 한계가 있습니다. 예를 들어 단일 그림을 기반으로만 생각하고 결정을 내릴 수 있으며 여러 관련 그림을 이해하고 처리할 수 없습니다.

이 문제를 해결하기 위해 Lianhui Technology는 다중 모달 모델의 기본 사전 학습을 기반으로 하는 대규모 생성 모델인 2세대 대형 사고 모델 OmChat V2를 새로 출시했습니다. 8B의 여러 버전을 제공할 뿐만 아니라, 40B 및 60B이지만 다양한 요구 사항에 적합합니다. 또한 비디오, 이미지와 텍스트 혼합, 텍스트 등과 같은 다양하고 복잡한 입력을 매우 잘 지원할 수 있으며 에이전트의 의사 결정 프로세스에 필요한 복잡한 시나리오에 완벽하게 적응할 수 있습니다.

OmChat V2는 최대 512K 및 500,000의 컨텍스트 길이를 지원합니다. 이는 Google Gemin-1.5에 이어 두 번째이며 GPT-4o 및 Microsoft LLaVa-1.5를 훨씬 초과하는 30분의 비디오 길이에 해당합니다.

OmChat V2의 평균 성능은 Mantis-Eval, Q-Bench, MileBench Real, MVBench 및 기타 테스트에서 업계 최고 수준입니다.

더 간단하고 직접적인 설명은 OmChat V2가 타이밍 관계를 정확하게 볼 수 있을 뿐만 아니라 다중 그래프 관계도 이해할 수 있다는 것입니다.

시간 순차 관계 판단 图 다중 맵 관계 이해

대형 모델과 스마트 기술의 땅에 진정으로 뛰어들 수 있도록 Lianhui Technology는 앞장서 ​​완성했습니다. 다양한 국내 GPU를 사용한 적응 및 성능 검증은 효율적인 희소 활성화 및 동적 전문가 방법을 통해 추론 효율성을 20배 향상시킵니다. 또한 Om OS 대형 모델 실행 플랫폼은 이종 다중 지역 대형 모델 분산 추론 플랫폼을 최초로 지원합니다. Jiutou Snake 추론은 컴퓨팅 파워 활용도를 3배 증가시킬 수 있습니다.

이와 관련하여 Lianhui Technology는 공식적으로 수많은 산업 응용 시나리오를 공개했습니다. ️

mAgent 프레임워크는 완전한 오픈 소스입니다!

Lianhui Technology는 다중 모달 에이전트 기술에서 여러 가지 획기적인 결과를 달성했습니다. 소스 오픈 여부에 관해 Zhao Tiancheng 박사는 항상 더 거시적이고 장기적인 관점에서 이를 바라보고 있습니다.

그는 다음과 같이 말했습니다: 우리는 더 많은 회사와 개발자의 참여를 장려하고 지식 공유 및 기술 혁신을 통해 더욱 개방적이고 풍부한 지능형 에이전트 생태계를 구축하여 전체 산업을 주도할 수 있기 때문에 OmAgent 프레임워크를 완전히 오픈 소스로 선택했습니다. 더 똑똑해지려고. ^{OmAgent 프레임워크에는 인식, 기억, 의사 결정과 같은 포괄적인 모듈이 포함될 뿐만 아니라 OmDet 및 OmChat과 같은 다양한 유형의 대규모 모델 기능도 통합되어 있어 기업과 개발자의 애플리케이션 개발을 크게 촉진하고 지능형 다양한 수준과 더 넓은 영역에서 역량을 강화할 수 있는 에이전트 기술}.

OmAgent를 통해 다양한 시나리오의 복잡한 문제를 빠르고 정확하게 해결할 수 있습니다. 예를 들어, 어떤 질문에 대한 답은 영화나 드라마에 늘 나와 있지만, OmAgent는 영화 전체에 대한 전체적인 이해를 통해 줄거리를 파악하고 이를 바탕으로 생각하고 답할 수 있습니다. 오리지널 영화 콘텐츠.

^1단계

Step 02

Step 03

Step 04

현재 OmAgent는 프레임워크는 완전한 오픈 소스입니다.

WAIC에서 Lianhui Technology는 OmAgent의 완전한 실시간 대화형 시연을 선보였습니다.

지능형 에이전트를 일상 업무와 생활에 더욱 빠르게 통합하기 위해 Lianhui는 업계 사용자를 위한 다중 모드 에이전트(우주 운영 에이전트 및 지식 서비스 에이전트)의 신제품 시리즈인 Om 을 공식 출시했습니다. "슈퍼 어시스턴트".

우주 작전 인텔리전스는 카메라, 픽업 등 IoT 장치와 다양한 접근 데이터 소스를 통해 우주의 물리적 환경을 종합적으로 인식하고 대형 모델의 사고 능력에 깊이 통합되어 다양한 정보를 정확하게 처리하고 분석합니다. -모달 데이터 정보 에이전트의 역할에 따라 설정된 목표 작업을 기반으로 운영상의 주요 문제 및 잠재적 기회에 대한 통찰력이 기억 및 학습과 결합되어 물리적 공간에 대한 사고, 계획 및 의사 결정을 가능하게 하여 사용자에게 강력한 조력자가 됩니다. 공간 관리에 있어서

적용 범위는 오프라인 매장, 비즈니스 홀, 컴퓨터실, 산업 단지, 문화 관광 명승지, 도시 블록 등 다양한 단일 공간과 체인 환경을 포괄하여 공간의 세련된 운영 및 관리를 달성합니다.

공간 운영 주체가 실제 물리적 세계를 운영하고 관리하는 것에 비해 지식 서비스 주체는 디지털 세계 관리와 디지털 자산의 가치 채굴에 더 중점을 두고 있습니다.

기업이 축적한 경험과 기술을 통합하여 사무, 생산, 운영 및 유지 관리, 마케팅, 교육, 고객 서비스 및 기타 시나리오에서 널리 사용되는 산업별 맞춤형 인공 지능 비서로 사용할 수 있습니다. , 특정 분야의 조직 및 개인, 비즈니스 프로세스 등을 구조화된 산업별 지식으로 지식관리, 지식검색, 지식Q&A, 지식생성 등의 핵심역량을 통해 사용자 의사결정의 질을 향상시키고 최적화합니다. 운영 프로세스를 개선하고 궁극적으로 무형의 지식 자산을 유형의 생산성으로 전환합니다.

2024년은 의심할 여지없이 지능형 에이전트의 첫 해가 될 것이며 지능형 에이전트는 대규모 모델을 구현하는 가장 좋은 방법이 되고 있습니다.

미래에 관해 Zhao Tiancheng 박사는 자신의 예측을 공개했습니다.

• 지능형 에이전트의 미래는 혼자 싸우는 것이 아니라 대형 모델을 결합하는 것이며, 특히 여러 유형의 대형 모델이 함께 작동할 때 잠재력이 발휘됩니다. 단일 대규모 언어 모델보다 훨씬 뛰어납니다.

• 상담원은 기존 챗봇의 경계를 무너뜨릴 것이며, 상담원의 애플리케이션 형태는 혁신을 거쳐 더욱 다양해지고 인간 활동의 모든 측면에 침투하게 될 것입니다.

• 엣지 AI의 부상으로 대형 모델은 더 이상 대형 서버에만 국한되지 않고 엣지로 이동하여 많은 소형 장치에 내장되어 진정한 유비쿼터스를 달성하게 될 것입니다.

위 내용은 라이브 현장은 충격적이다! OmAgent 프레임워크는 이제 오픈 소스입니다! 산업 응용이 완전히 꽃을 피웠습니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!