2000년대 이후 4세대의 미친 오픈 소스 계획: 전체 인터넷을 대규모 모델 코퍼스로 변환하고 1억 개의 토큰을 내장하는 데 드는 비용은 단 1달러입니다.
- WBOY앞으로
- 2023-06-06 11:10:04970검색
Arxiv의 모든 논문을 토큰으로 변환하면 최대 14.1GB에 불과합니다.
이것은 최신 인기 오픈소스 프로젝트인 Alexander가 달성한 위업입니다.
사실 이것은 첫 번째 단계에 불과합니다.
그들은 궁극적으로 전체 인터넷을 토큰으로 바꾸고 싶어합니다. 즉, 모든 것을 ChatGPT와 같은 대형 모델이 세상을 이해하는 방식으로 변환하려는 것입니다.
이러한 데이터 세트가 탄생하면 GPT-4와 같은 대형 모델을 개발할 수 있는 강력한 새로운 도구가 될 것이며, 위에서는 천문학을, 아래에서는 지리를 이해할 수 있지 않을까요? !
뉴스가 나오자마자 곧바로 큰 관심을 끌었습니다.
네티즌들은 Epic이라고 칭찬했습니다. ㅋㅋㅋ 다음 주.
Arxiv
선택한 방식은 임베딩(Embedding)입니다. 간단히 말하면 현실 세계의 다양한 사물을 컴퓨터가 이해할 수 있는 벡터로 구현하는 것입니다.
가장 전형적인 예는 원본 이미지를 회색조 픽셀로 표현하는 것입니다.
이 기술의 가장 큰 특징은 인간이 인식하는 의미적 유사성을 표현할 수 있다는 점입니다. 예를 들어 같은 의미의 단어가 10개 있으면 키워드로 논문을 찾기가 어렵습니다. 하지만 임베딩이 가능하므로 검색, 클러스터링, 추천, 분류에 적합합니다.
개발팀에서는 실용성과 효율성을 고려하여 논문의 제목과 초록만 삽입하기로 결정했습니다.
다양한 모델을 테스트한 끝에 우리는 벌금 없이 작업 지침만 제공하여 다양한 작업
(예: 분류, 검색, 클러스터링, 텍스트 평가 등)에 적합한 InstructorXL 텍스트 임베딩 모델을 사용하기로 결정했습니다. -tuning및 Field
(예: 과학, 금융, 의학 등) 
》
한편으로는 엄청난 가치가 내재되어 있습니다. 세상의 많은 문제는 검색, 클러스터링, 추천 또는 분류에 불과하며 임베딩이 매우 뛰어난 기능을 발휘합니다. 그리고 앞서 언급했듯이 몇 가지 복잡한 퍼즐은 풀 수 있습니다. 반면에 비용은 일회성이며 매우 저렴합니다. 대부분의 경우 동일한 파일에 대해 두 번째 계산을 수행할 필요가 없습니다. 현재 가격은 1억 토큰당 1 USD입니다.
하지만 공개된 임베디드 데이터 세트를 찾지 못해서 이런 조직이 등장했습니다.
향후 더 많은 데이터 세트를 공개할 예정이며, 이러한 데이터 세트는 해당 사용자에 의해 선택됩니다. 공식 웹사이트의 공개 데이터 세트 외에도 나머지 오픈 소스 프로젝트도 투표 채널을 열었습니다.
그 뒤에는 평균 연령이 20세에 불과한 10대 팀이 있다는 점은 언급할 가치가 있습니다.
그리고 그들의 팀 이름도 매우 위압적입니다. Macrocosm(Macro World) Alliance.
충분히 확대하면 인간은 하나의 생명체가 됩니다.
공식 소개에 따르면 그들은 ChatGPT 및 기타 유사 제품용 플러그인을 구축하는 데 전념하고 있으며 학습, 교육 및 과학 연구를 돕기 위해 대형 모델을 기반으로 한 개인 연구 보조 장치도 개발하고 있습니다.
관심 있는 친구들은 아래 링크를 클릭해서 알아보세요~
https://alex.macrocosm.so/download
위 내용은 2000년대 이후 4세대의 미친 오픈 소스 계획: 전체 인터넷을 대규모 모델 코퍼스로 변환하고 1억 개의 토큰을 내장하는 데 드는 비용은 단 1달러입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!