'인기 AI 드로잉 회사의 오픈 소스 언어 모델, 최소 규모 30억 매개변수'

Stable Diffusion을 제작한 회사에서 대형 언어 모델도 제작했는데 효과가 꽤 좋습니다. 수요일에는 StableLM이 출시되어 기술계의 관심을 끌었습니다.

안정성 AI는 최근 탄력을 받고 있는 스타트업 기업으로, 오픈소스 AI 드로잉 도구인 Stable Diffusion으로 좋은 평가를 받고 있습니다. 수요일 릴리스에서 회사는 이제 개발자가 GitHub에서 사용하고 적응할 수 있는 대규모 언어 모델을 발표했습니다.

업계 벤치마크 ChatGPT와 마찬가지로 StableLM은 텍스트와 코드를 효율적으로 생성하도록 설계되었습니다. 이는 Wikipedia, Stack Exchange 및 PubMed를 포함한 다양한 소스의 정보를 포함하는 Pile이라는 더 큰 버전의 오픈 소스 데이터 세트에서 훈련되었으며, 용량은 825GB 및 1조 5천억 개의 토큰입니다.

Stability AI는 현재 사용 가능한 StableLM 모델 버전의 매개변수가 30억~70억개이며, 앞으로는 15억~650억개에 이르는 다양한 매개변수 모델을 사용할 수 있다고 밝혔습니다.

프로젝트 링크: https://github.com/stability-AI/stableLM/

현재 사람들의 테스트에 따르면, 7B 모델(8비트)을 실행하면, 12GB의 비디오 메모리를 사용해야 합니다.

Stability AI는 StableLM 질문 및 답변 예시도 공개했습니다.

StableLM은 이전에 Stability AI가 비영리 단체와 협력하여 개발한 오픈 소스 언어 모델을 기반으로 합니다. GPT-J, GPT-NeoX 및 Pythia를 포함한 EleutherAI 조직의 새로운 모델은 가능한 가장 큰 사용자 기반을 목표로 합니다. 이전에 Stable Diffusion에서 Stability AI는 텍스트-이미지 AI 기술을 공개 데모, 소프트웨어 베타, 모델 전체 다운로드 등 다양한 방식으로 제공했을 뿐만 아니라 개발자가 도구를 사용하고 다양한 통합을 수행할 수 있도록 했습니다.

OpenAI의 폐쇄적 성격에 비해 Stability AI는 항상 AI 연구 커뮤니티의 일원으로 자리매김해 왔습니다. StableLM에서는 지난달 출시된 Meta 오픈 소스 LLaMa 언어 모델과 동일한 상황을 보게 될 가능성이 높습니다. . 원본 모델을 기반으로 한 다수의 알고리즘은 더 작은 모델 크기에서 좋은 결과를 얻는 것처럼 보일 수 있습니다.

StableLM의 세밀하게 조정된 채팅 인터페이스.

또한 이제 모든 사람이 Hugging Face에서 호스팅되는 StableLM 미세 조정된 채팅 모델에서 AI와 채팅을 시도할 수 있습니다: https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat

모든 대형 언어 모델과 마찬가지로 StableLM 모델에도 여전히 '환상' 문제가 있습니다. 땅콩 버터 샌드위치 만드는 방법을 묻는다면 StableLM은 매우 복잡하고 터무니없는 레시피를 제공합니다. 또한 사람들이 동정 카드에 '재미있는 그림'을 추가할 것을 권장합니다.

안정성 AI는 사용하는 데이터 세트가 "기본 언어 모델을 '더 안전한' 텍스트 배포로 안내하는 데 도움이 되어야 하지만 미세 조정을 통해 모든 편견과 독성이 완화될 수는 없습니다"라고 경고합니다.

StableLM 모델이 이제 GitHub 저장소에 게시되었습니다. Stability AI는 크라우드 소싱 RLHF 이니셔티브를 시작하고 Open Assistant와 같은 커뮤니티와 협력하여 AI 채팅 도우미를 위한 오픈 소스 데이터 세트를 만드는 것 외에도 가까운 시일 내에 전체 기술 보고서를 발표할 것이라고 밝혔습니다.

위 내용은 '인기 AI 드로잉 회사의 오픈 소스 언어 모델, 최소 규모 30억 매개변수'의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!