온라인 판매 중! 제1회 Heart of Machine AI 기술 포럼이 성공적으로 마무리되었습니다. 이러한 대규모 모델 기술 정보는 계속해서 볼 가치가 있습니다.
- PHPz앞으로
- 2023-09-14 09:49:02589검색
인공지능은 다양한 산업 분야의 AI 구현 모델을 완전히 변화시킬 대형 모델 시대에 진입했으며 다양한 산업 분야의 R&D 및 기술 실무자에게 새로운 AI 기술 요구 사항을 제시합니다.
대형 모델 기술의 업그레이드를 돕기 위해 '라마 2 대형 모델 알고리즘 및 응용 실습' 행사를 진행했습니다. 이번 AI 기술 포럼이 성공적으로 마무리되었습니다. 행사 당일 베이징 왕징포항센터 B타워 2층 다기능홀은 전국 10여개 도시에서 온 200여명의 참가자들로 가득 찼다. 4명의 대형 모델 기술 전문가의 지도 아래 라마 2의 기반이 되는 대형 모델 기술을 체계적으로 연구하고, 독자적인 대형 모델을 직접 제작하여 함께 대형 모델 기술의 업그레이드를 효율적으로 완료했습니다.
컨텐츠는 기대 이상으로 품질이 높았고, 설명은 훌륭하고 깊이 있었으며, 현장 Q&A 교환은 유익했고, 서비스는 포괄적이고 사려 깊었습니다... 참가자들은 다음과 같이 말했습니다. 이 행사는 폭넓은 찬사를 받았으며 기술 활동에 대한 더 많은 수준의 풍부함과 심층적인 콘텐츠 기대에 대한 열망을 표명했습니다.
또한, 도시 거리, 여행 일정 및 기타 이유로 인해 행사에 관심을 갖고 있던 많은 친구들이 아쉽게도 행사장에 올 수 없었습니다. 모든 사람의 학습 및 실습 요구에 부응하기 위해 이 사이트의 공식 지식 스테이션(https://vtizr.xet.tech/s/1GOWfs)은 이제 이 포럼의 라이브 비디오를 통해 온라인 상태가 되었습니다. 전체 비디오 세트의 가격은 699위안입니다(구매 후 지원되는 컨퍼런스 전후 학습 자료 패키지를 받으려면 이 웹사이트의 보조 ID: 13661489516를 추가하세요). 지금 강좌를 구매하고 대형 모델 기술을 업그레이드하는 여정을 시작하세요!
체계적인 설명: 최신 기술 진보 및 최첨단 적용 사례
Liu Pengfei, 상하이 자오퉁 대학교 Qingyuan 연구소 부교수이자 생성 인공 지능 연구 그룹(GAIR) 책임자
"모델 훈련은 충분히 철저하며 상대적으로 작은 모델에서도 매우 좋은 성능을 얻을 수 있습니다." 첫 번째 발표자인 Liu Pengfei는 자연어 사전 훈련, 생성 및 평가와 같은 연구 방향에 중점을 둡니다.
Llama 2는 최고 수준의 독창성, 가장 투명한 교육 기술 세부 사항 및 시장에서 최고의 평판을 갖춘 사전 교육된 언어 모델이며 연구 가치가 매우 높습니다. 이번에 Liu Pengfei는 "Llama 2 대형 모델의 기술적 해석"을 주제로 LLaMA 탄생 배경, 중요한 개념, Llama 2 훈련 기술 및 정렬 기술을 시작으로 관련된 기술 스택의 세부 사항을 깊이 있게 해석했습니다. Llama 2 및 Chat 버전에서는 데이터 소스 가중치 및 업샘플링과 같은 기술적 세부 사항을 포함한 최적화 실무 경험을 공유하고 대형 모델 개발의 어려움에 대해 논의했습니다
Old Liu Shuo NLP 기술 공개. 계정 작성자이자 오픈 소스 애호가인 Liu Huanyong
재작성: 기본 모델은 컴퓨팅 성능 및 알고리즘에 대한 요구 사항이 매우 높으므로 더 많은 산업 응용 분야에서 기본 모델을 기반으로 대규모 산업 모델을 구축하고 분야를 더욱 세분화하는 데 선택됩니다. . Liu Huanyong 연사는 "대규모 산업 모델을 기반으로 하는 기본 모델에는 수직 필드 데이터가 적어 환각이 발생하기 쉽고 효과가 만족스럽지 않습니다."라고 말했습니다. 최초의 오픈소스이자 상업적인 용도로 축적된 풍부한 산업 구현 사례는 매우 귀중합니다
그는 "실용적인 패러다임의 해석과 Llama 시리즈 오픈소스 모델 기반 산업 구현 사례” Llama 시리즈 모델 기반 도메인 미세 조정 모델 사례와 “LLama 시리즈 모델 기반 + 지식 기반 강화” 구현 사례를 해석했습니다. 산업 분야에서 모델을 미세 조정하는 데 필요한 컴퓨팅 성능 조건, 데이터 수량 및 품질 요구 사항, ROI 및 시나리오 및 기타 필요한 조건을 요약합니다. 업계에서 대규모 모델 구현의 형태는 다중 소스 이기종 데이터일 수 있음을 강조합니다. 문서 지능형 분석, 지식 기반 사양.
LinkSoul.AI의 CEO이자 중국 Llama 2 7B 프로젝트의 창시자인 Shi Yemin
대형 모델 기술의 발전과 함께 다중 모드 대형 모델은 점점 더 구체화된 지능과 더 나은 사용자 경험을 촉진하는 핵심이 되었습니다. 차세대 인공지능 기술의 핵심 요소가 될 것입니다. LLM 기반 변환은 현재 최고의 다중 모드 모델 솔루션 중 하나이며 훌륭한 연구와 실용적인 가치를 가지고 있습니다.
시예민은 "Llama 2 기반 다중 모드 대형 모델의 기술 및 실습"을 주제로 다중 모드 모델의 모드와 원리를 공유하고, 시각적 다중 모드 대형 모델과 대형 모델의 음성 다중 모드 개선 사례에 대해 심도 있게 논의했습니다. 그는 기존 모델이 어떻게 새로운 양식을 지원할 수 있는지, 그리고 새로운 기능을 고려할 때 주의해야 할 중요한 사항이 무엇인지 언급했습니다. 또한, 멀티모달 개선을 위한 여러 가지 솔루션을 소개하고, 교육 내용에서 주의해야 할 사항도 강조했다. Shi Yemin은 다중 모드 모델의 가장 큰 과제가 데이터에 있다고 믿습니다. 그는 모델을 기반으로 사진이나 그래픽 데이터를 생성하는 몇 가지 방법과 경로를 공유했습니다.
중국의 대규모 모델 전도사 Su Yang은 Llama 2 7B
의 기고자입니다.이번 행사 설문조사에서 참가자들이 가장 주목한 산업 응용 콘텐츠는 '정량화 및 미세 조정'이었습니다. 공유에서 Su Yang은 오픈소스 모델 생태와 Llama 생태의 현황, 주류 정량화 및 미세 조정 솔루션을 포함하여 "Llama 2 오픈 소스 모델 정량화 및 저비용 미세 조정 실습"의 특별 콘텐츠를 소개했습니다. 그리고 이 두 가지의 용이성
"미세 조정을 위해서는 맹목적으로 독창성을 추구하기보다는 오픈소스 업계에서 공유하는 Sota 솔루션을 사용하는 것이 좋습니다." 다양한 원칙을 따릅니다. 실제 모델 정량화 프로세스는 모든 차원에 적용되는 단순한 프로세스가 아닙니다. 가장 합리적인 정량화 또는 변환은 각 레이어와 열에서 수행되어야 합니다. 트레이닝 환경, 하드웨어 환경, 기본 시스템 환경에 대해 Su Yang님이 자세히 설명해 주셨습니다.
자세한 기술 해석과 사례 분석을 마친 후 시예민과 양수 선생님이 참석자들을 이끌어 대규모 모델 훈련, 정량화, 미세 조정 연습을 시작했습니다.
시예민은 기본 모델을 기반으로 처음부터 훈련하는 것과 오픈 소스 모델을 기반으로 한 어휘 확장 훈련, 그리고 해당 아키텍처, 모델 크기 등 두 가지 경로를 포함하여 기본 모델 선택, 훈련 기술 및 경험에 중점을 두었습니다. 상용화 여부, 어휘 확장 가능 여부, 테이블 등 조건 필터링, SFT 데이터 세트 등 관련 질문에 대한 답변 가능 여부.
Su Yang은 현장 참가자들을 이끌고 이미지 배포, 모델 로드, 데이터 세트 로드, QLoRA 매개변수 설정, SFT 매개변수 구성, 변환기 매개변수 패키지 사용 등을 포함한 일련의 작업을 완료했습니다. 미세 조정을 통해 대규모 프라이빗 모델이 성공적으로 운영되었으며 참가자들이 이번 행사의 내용을 더 잘 흡수할 수 있었습니다
앞으로도 업계 최신 동향과 개발자의 요구 사항에 지속적으로 관심을 갖고 추적해 나가겠습니다. 고품질의 대규모 기술 활동을 지속적으로 진행하여 개발자의 엔지니어링 실무와 혁신적인 응용 역량을 빠르게 향상시키고 대형 모델 시대를 준비할 수 있도록 지원합니다. 저희 AI 기술 포럼 활동에 지속적인 관심을 가져주신 모든 분들을 환영합니다
위 내용은 온라인 판매 중! 제1회 Heart of Machine AI 기술 포럼이 성공적으로 마무리되었습니다. 이러한 대규모 모델 기술 정보는 계속해서 볼 가치가 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!