별표가 10만개를 돌파했습니다! Auto-GPT 이후 Transformer는 새로운 이정표에 도달했습니다.
- WBOY앞으로
- 2023-05-21 21:34:041231검색
2017년 Google 팀은 "Attention Is All You Need"라는 논문에서 획기적인 NLP 아키텍처 Transformer를 제안했으며 그 이후로 계속 부정 행위를 해왔습니다.
수년에 걸쳐 이 아키텍처는 Microsoft, Google, Meta와 같은 대규모 기술 회사에서 인기를 끌었습니다. 전 세계를 석권한 ChatGPT도 Transformer를 기반으로 개발되었습니다.
그리고 바로 오늘 Transformer가 GitHub에서 별 100,000개를 초과했습니다!
원래 챗봇 프로그램이었던 Hugging Face는 Transformer 모델의 중심으로 유명해졌고, 단숨에 세계적으로 유명한 오픈 소스 커뮤니티가 되었습니다.
이 이정표를 기념하기 위해 Hugging Face에서는 Transformer 아키텍처를 기반으로 한 100개의 프로젝트도 요약했습니다.
Transformer가 기계 학습계를 폭발시켰습니다
2017년 6월 Google이 "Attention Is All You Need" 논문을 발표했을 때 아마도 이 딥 러닝 아키텍처 Transformer가 얼마나 많은 놀라움을 가져올지 예상한 사람은 아무도 없었을 것입니다.
Transformer는 탄생 이후 AI 분야의 초석 왕이 되었습니다. 2019년에는 Google도 이를 위해 특별히 특허를 출원했습니다.
Transformer가 NLP 분야에서 주류 위치를 차지하고 다른 분야로 넘어가기 시작하면서 이를 CV 분야에 도입하려는 노력이 점점 더 많아지기 시작했습니다.
많은 네티즌들은 Transformer가 이 획기적인 성과를 달성하는 것을 보고 매우 기뻐했습니다. ” GPT의 GitHub 스타 수가 pytorch를 넘어 큰 센세이션을 일으켰습니다.
네티즌들은 Auto-GPT가 Transformer와 어떻게 비교되는지 궁금하지 않을 수 없나요? 
실제로 Auto-GPT는 Transformer를 훨씬 능가하며 이미 130,000개의 별을 보유하고 있습니다. 
현재 Tensorflow에는 170,000개 이상의 별이 있습니다. Transformer는 이 두 프로젝트에 이어 별점 100,000점 이상의 세 번째 머신러닝 라이브러리임을 알 수 있습니다.
일부 네티즌들은 Transformers 라이브러리를 처음 사용할 때 "pytorch-pretrained-BERT"라고 불렸다고 회상했습니다. 
Transformers는 사전 훈련된 모델을 사용하기 위한 툴킷일 뿐만 아니라 Transformers 및 Hugging Face Hub를 중심으로 구축된 프로젝트 커뮤니티이기도 합니다.
아래 목록에서 Hugging Face는 Transformer를 기반으로 한 놀랍고 참신한 프로젝트 100개를 요약했습니다.
아래 소개할 상위 50개 프로젝트를 선정했습니다.
gpt4all
gpt4all은 오픈 소스 챗봇 생태계입니다. 코드, 스토리, 대화를 포함한 대규모의 깔끔한 어시스턴트 데이터 컬렉션에 대해 교육을 받았습니다. 보조 방식으로 학습할 수 있도록 LLaMA, GPT-J 등 오픈소스 대규모 언어 모델을 제공합니다.
키워드: 오픈 소스, LLaMa, GPT-J, 지시문, 도우미
recommenders
이 저장소에는 Jupiter 노트북 형식으로 제공되는 추천 시스템 구축에 대한 예제와 모범 사례가 포함되어 있습니다. 데이터 준비, 모델링, 평가, 모델 선택 및 최적화, 운영화 등 효과적인 추천 시스템을 구축하는 데 필요한 여러 측면을 다룹니다.
키워드: 추천 시스템, AzureML
lama-cleaner
Stable Diffusion 기술을 기반으로 한 이미지 복구 도구입니다. 이미지에서 원하지 않는 물체, 결함, 심지어 사람까지 지울 수 있고 이미지의 모든 것을 교체할 수 있습니다.
키워드: 패치, SD, Stable Diffusion
flair
FLAIR는 NER, 감정 분석, 품사 등 여러 중요한 작업을 변환할 수 있는 강력한 PyTorch 자연어 처리 프레임워크입니다. 주석, 텍스트 및 이중 임베딩 등
키워드: NLP, 텍스트 임베딩, 문서 임베딩, 생물 의학, NER, PoS, 감정 분석
mindsdb
MindsDB는 로우 코드 기계 학습 플랫폼입니다. 여러 ML 프레임워크를 데이터 스택에 "AI 테이블"로 자동 통합하여 애플리케이션에서 AI 통합을 단순화하고 모든 기술 수준의 개발자가 액세스할 수 있도록 합니다.
키워드: 데이터베이스, 로우 코드, AI 테이블
langchain
Langchain은 LLM 및 기타 지식 소스와 호환되는 애플리케이션 개발을 지원하도록 설계되었습니다. 라이브러리를 사용하면 애플리케이션에 대한 호출을 연결하여 여러 도구에서 시퀀스를 만들 수 있습니다.
키워드: LLM, 대규모 언어 모델, 에이전트, 체인
ParlAI
ParlAI는 개방형 도메인 채팅부터 작업 중심 대화, 시각적 질문 응답에 이르기까지 대화 모델을 공유, 훈련 및 테스트하기 위한 Python 프레임워크입니다. . 100개 이상의 데이터 세트, 사전 훈련된 많은 모델, 에이전트 세트 및 동일한 API에서 여러 통합을 제공합니다.
키워드: 대화, 챗봇, VQA, 데이터 세트, 에이전트
sentence-transformers
이 프레임워크는 문장, 단락 및 이미지의 밀집된 벡터 표현을 계산하는 간단한 방법을 제공합니다. 이러한 모델은 BERT/RoBERTa/XLM-RoBERTa와 같은 Transformer 기반 네트워크를 기반으로 하며 다양한 작업에서 SOTA를 달성했습니다. 유사한 텍스트가 서로 가까워지도록 텍스트를 벡터 공간에 삽입하고 코사인 유사성을 통해 효율적으로 찾을 수 있습니다.
키워드: 조밀한 벡터 표현, 텍스트 임베딩, 문장 임베딩
ludwig
Ludwig은 간단하고 유연한 데이터 기반 구성 시스템을 사용하여 기계 학습 파이프라인을 쉽게 정의하는 선언적 기계 학습 프레임워크입니다. Ludwig는 다양한 AI 작업을 대상으로 하며 데이터 기반 구성 시스템, 교육, 예측 및 평가 스크립트, 프로그래밍 API를 제공합니다.
키워드: 선언적, 데이터 기반, ML 프레임워크
InvokeAI
InvokeAI는 전문가, 예술가 및 매니아를 대상으로 하는 Stable Diffusion 모델용 엔진입니다. CLI는 물론 WebUI를 통해 최신 AI 기반 기술을 활용합니다.
키워드: Stable Diffusion, WebUI, CLI
PaddleNLP
PaddleNLP는 특히 중국어에 대한 사용하기 쉽고 강력한 NLP 라이브러리입니다. 여러 사전 훈련된 모델 동물원을 지원하고 연구부터 산업 응용까지 광범위한 NLP 작업을 지원합니다.
키워드: 자연어 처리, 중국어, 연구, 산업
stanza
스탠포드 대학 NLP 그룹의 공식 Python NLP 라이브러리입니다. 60개 이상의 언어로 광범위하고 정밀한 자연어 처리 도구 실행을 지원하며 Python에서 Java Stanford CoreNLP 소프트웨어에 대한 액세스를 지원합니다.
키워드: NLP, 다국어, CoreNLP
DeepPavlov
DeepPavlov는 오픈 소스 대화형 인공 지능 라이브러리입니다. 이는 즉시 제작 가능한 챗봇 및 복잡한 대화 시스템의 개발은 물론 NLP 분야, 특히 대화 시스템 연구를 위해 설계되었습니다.
키워드: 대화, 챗봇
alpaca-lora
Alpaca-lora에는 LoRA(저위 적응)를 사용하여 Stanford Alpaca 결과를 재현하는 코드가 포함되어 있습니다. 이 저장소는 교육(미세 조정) 및 생성 스크립트를 제공합니다.
키워드: LoRA, 매개변수 효율적인 미세 조정
imagen-pytorch
DALL-E2를 능가하는 Google의 폐쇄 소스 텍스트-이미지 신경망인 Imagen의 오픈 소스 구현입니다. imagen-pytorch는 텍스트-이미지 합성을 위한 새로운 SOTA입니다.
키워드: Imagen, Wenshengtu
adapter-transformers
adapter-transformers는 AdapterHub를 통합하여 어댑터를 가장 진보된 언어 모델에 통합하는 Transformers 라이브러리의 확장입니다. 사전 훈련된 어댑터 모듈의 저장소. 이는 Transformers를 즉시 대체할 수 있으며 Transformers 개발에 보조를 맞추기 위해 정기적으로 업데이트됩니다.
키워드: 어댑터, LoRA, 매개변수 효율적 미세 조정, Hub
NeMo
NVIDIA NeMo는 자동 음성 인식(ASR), 텍스트 음성 변환(TTS), 대규모 언어 모델 및 자연어 처리 연구원들이 만든 대화형 AI 툴킷. NeMo의 주요 목표는 업계 및 학계의 연구자들이 이전 작업(코드 및 사전 훈련된 모델)을 재활용하고 새 프로젝트를 더 쉽게 만들 수 있도록 돕는 것입니다.
키워드: 대화, ASR, TTS, LLM, NLP
Runhouse
Runhouse를 사용하면 Python의 코드와 데이터를 모든 컴퓨터 또는 기본 데이터로 보낼 수 있으며 기존 코드 및 환경과 계속 정상적으로 작동합니다. Runhouse 개발자는 다음을 언급했습니다.
원격 시스템을 우회하거나 원격 데이터를 조작할 수 있는 Python 인터프리터용 확장 패키지로 생각할 수 있습니다.
키워드: MLOps, 인프라, 데이터 스토리지, 모델링
MONAI
MONAI는 PyTorch 생태계의 일부이며 의료 영상 분야의 딥 러닝을 위한 PyTorch 기반의 오픈 소스 프레임워크입니다. 목표는 다음과 같습니다.
- 공통 기반으로 학술, 산업 및 임상 연구자의 공동 커뮤니티를 개발합니다.
- 의료 영상을 위한 엔드투엔드 교육 워크플로우인 SOTA를 생성합니다. - 딥러닝 모델 구축 및 평가를 위한 최적화 및 표준화 방법을 제공합니다.
키워드: 의료 영상, 훈련, 평가
simpletransformers
Simple Transformers를 사용하면 Transformer 모델을 빠르게 훈련하고 평가할 수 있습니다. 모델을 초기화하고 훈련하고 평가하는 데 단 3줄의 코드만 필요합니다. 다양한 NLP 작업을 지원합니다.키워드: 프레임워크, 단순성, NLP
JARVIS
JARVIS는 GPT-4를 포함한 LLM을 오픈 소스 기계 학습 커뮤니티의 다른 모델과 병합하여 최대 60개의 다운스트림 모델을 활용하여 수행하는 시스템입니다. LLM이 결정한 작업.키워드: LLM, Agent, HF Hub
transformers.js
키워드: Transformers, JavaScript, 브라우저
bumblebee
Bumblebee는 Elixir 언어용 신경망 라이브러리인 Axon을 기반으로 사전 훈련된 신경망 모델을 제공합니다. 여기에는 모델과의 통합이 포함되어 있어 누구나 단 몇 줄의 코드만으로 기계 학습 작업을 다운로드하고 수행할 수 있습니다.키워드: Elixir, Axon
argilla
Argilla는 고급 NLP 라벨링, 모니터링 및 작업 공간을 제공하는 오픈 소스 플랫폼입니다. Hugging Face, Stanza, FLAIR 등과 같은 많은 오픈 소스 생태계와 호환됩니다.키워드: NLP, 태그, 모니터링, 작업 공간
haystack
키워드: NLP, 프레임워크, LLM
spaCy
키워드: NLP, 건축
speechbrain
SpeechBrain은 PyTorch를 기반으로 하는 오픈 소스 통합 대화형 AI 툴킷입니다. 우리의 목표는 음성 인식, 화자 식별, 음성 향상, 음성 분리, 음성 인식, 다중 마이크를 포함한 최첨단 음성 기술을 쉽게 개발하는 데 사용할 수 있는 유연하고 사용자 친화적인 단일 툴킷을 만드는 것입니다. 신호 처리 및 기타 시스템.
키워드: 대화, 연설
skorch
Skorch는 PyTorch를 래핑하는 scikit-learn 호환성을 갖춘 신경망 라이브러리입니다. Transformers의 모델은 물론 토크나이저의 토크나이저도 지원합니다.
키워드: Scikit-Learning, PyTorch
bertviz
BertViz는 BERT, GPT2 또는 T5와 같은 Transformer 언어 모델에서 주의를 시각화하기 위한 대화형 도구입니다. 대부분의 Huggingface 모델을 지원하는 간단한 Python API를 통해 Jupiter 또는 Colab 노트북에서 실행할 수 있습니다.
키워드: 시각화, Transformers
mesh-transformer-jax
mesh-transformer-jax는 JAX에서 xmap/pjit 연산자를 사용하여 Transformers 모델 병렬 처리를 구현하는 하이쿠 라이브러리입니다.
이 라이브러리는 TPUv3에서 약 40B 매개변수로 확장되도록 설계되었습니다. GPT-J 모델을 훈련하는 데 사용되는 라이브러리입니다.
키워드: Haiku, 모델 병렬성, LLM, TPUdeepchem
OpenNRE
신경 관계 추출을 위한 오픈 소스 소프트웨어 패키지(NRE)입니다. 초보자부터 개발자, 연구원, 학생까지 다양한 사용자를 대상으로 합니다.
키워드: 신경관계 추출, 프레임워크
pycorrector
중국어 텍스트 오류 수정 도구입니다. 이 방법은 언어 모델 감지 오류, 병음 특징, 모양 특징을 활용하여 중국어 텍스트 오류를 수정합니다. 중국어 병음 및 획 입력 방법에 사용할 수 있습니다.
키워드: 중국어, 오류 수정 도구, 언어 모델, 병음
nlpaug
이 Python 라이브러리는 기계 학습 프로젝트를 위한 nlp를 향상시키는 데 도움이 될 수 있습니다. 모델 성능을 향상시키기 위해 합성 데이터를 생성하는 기능을 갖춘 경량 라이브러리이며 오디오 및 텍스트를 지원하며 여러 생태계(scikit-learn, pytorch, tensorflow)와 호환됩니다.
키워드: 데이터 증강, 합성 데이터 생성, 오디오, 자연어 처리
dream-textures
dream-textures는 Blender에 안정적인 확산 지원을 제공하도록 설계된 라이브러리입니다. 이미지 생성, 텍스처 투영, 인/아웃 페인팅, ControlNet 및 업그레이드와 같은 다양한 사용 사례를 지원합니다.
키워드: Stable-Diffusion, Blender
seldon-core
Seldon 코어는 ML 모델(Tensorflow, Pytorch, H2o 등) 또는 언어 래퍼(Python, Java 등)를 변환합니다. .) ) 프로덕션 REST/GRPC 마이크로서비스로 전환됩니다. Seldon은 수천 개의 프로덕션 기계 학습 모델로의 확장을 처리할 수 있으며 고급 지표, 요청 로그, 해석기, 이상치 감지기, A/B 테스트, 카나리아 등을 포함한 고급 기계 학습 기능을 제공합니다.
키워드: 마이크로서비스, 모델링, 언어 패키징
open_model_zoo
이 라이브러리에는 고성능 딥 러닝 추론 애플리케이션 개발을 가속화하기 위한 최적화된 딥 러닝 모델과 데모 세트가 포함되어 있습니다. 직접 교육하는 대신 무료로 사전 교육된 모델을 사용하여 개발 및 프로덕션 배포 프로세스 속도를 높이세요.
키워드: 최적화 모델, 데모
ml-stable-diffusion
ML-Stable-Diffusion은 Apple 칩 장치의 Core ML에 Stable Diffusion 지원을 제공하는 Apple의 저장소입니다. Hugging Face Hub에서 호스팅되는 안정적인 확산 체크포인트를 지원합니다.
키워드: Stable Diffusion, Apple Chip, Core ML
stable-dreamfusion
Stable-Dreamfusion은 Text to 3D 모델의 파이토치 구현입니다. Dreamfusion은 Stable Diffusion text to 2D model에서 제공됩니다. 힘.
키워드: 텍스트를 3D로, 안정적인 확산
txtai
Txtai는 의미 검색 및 언어 모델 기반 워크플로를 지원하는 오픈 소스 플랫폼입니다. Txtai는 벡터 인덱스와 관계형 데이터베이스를 결합한 임베디드 데이터베이스를 구축하여 SQL 최근접 이웃 검색을 지원합니다. 의미 체계 워크플로는 언어 모델을 통합 애플리케이션에 연결합니다.
키워드: 시맨틱 검색, LLM
djl
Deep Java Library(DJL)는 개발자가 쉽게 딥 러닝을 위한 고급 오픈 소스, 엔진 독립적인 Java 프레임워크입니다. 사용 . DJL은 다른 일반 Java 라이브러리와 같은 기본 Java 개발 경험과 기능을 제공합니다. DJL은 HuggingFace Tokenizer용 Java 바인딩과 HuggingFace 모델을 Java로 배포하기 위한 간단한 변환 툴킷을 제공합니다.
키워드: Java, 아키텍처
lm-evaluation-harness
이 프로젝트는 다양한 평가 작업에서 생성 언어 모델을 테스트하기 위한 통합 프레임워크를 제공합니다. 200개 이상의 작업을 지원하고 HF Transformers, GPT-NeoX, DeepSpeed 및 OpenAI API 등 다양한 생태계를 지원합니다.
키워드: LLM, 평가, 소수
gpt-neox
이 저장소에는 GPU에서 대규모 언어 모델을 훈련하기 위한 EleutherAI의 라이브러리가 문서화되어 있습니다. 프레임워크는 NVIDIA의 Megatron 언어 모델을 기반으로 하며 DeepSpeed의 기술과 몇 가지 새로운 최적화를 통해 향상되었습니다. 수십억 개의 매개변수를 사용하여 모델을 훈련하는 데 중점을 두고 있습니다.
키워드: training, LLM, Megatron, DeepSpeed
muzic
Muzic은 딥러닝과 인공지능을 통해 음악을 이해하고 생성할 수 있는 인공지능 음악 연구 프로젝트입니다. Muzic은 Microsoft Research Asia의 연구원들이 만들었습니다.
키워드 : 음악이해, 음악제조
dalle-flow
DALL · E Flow는 텍스트 프롬프트에서 HD 이미지를 생성하기 위한 대화형 작업 흐름입니다. DALL·E-Mega, GLID-3 XL 및 Stable Diffusion을 사용하여 후보 이미지를 생성한 다음 CLIP-as-service를 호출하여 후보 이미지를 정렬하라는 메시지를 표시합니다. 선호하는 후보는 확산을 위해 GLID-3 XL에 공급되며, 이는 종종 질감과 배경을 풍부하게 합니다. 마지막으로 후보는 SwinIR을 통해 1024x1024로 확장됩니다.
키워드: 고화질 이미지 생성, Stable Diffusion, DALL-E Mega, GLID-3 XL, CLIP, SwinIR
lightseq
LightSeq은 시퀀스를 위해 CUDA에서 구현됩니다. 처리 및 생성을 위한 훈련 및 추론 라이브러리입니다. BERT, GPT, Transformer 등과 같은 최신 NLP 및 CV 모델을 효율적으로 계산할 수 있습니다. 따라서 기계 번역, 텍스트 생성, 이미지 분류 및 기타 시퀀스 관련 작업에 유용합니다.
키워드: 훈련, 추론, 시퀀스 처리, 시퀀스 생성
LaTeX-OCR
이 프로젝트의 목표는 수학 공식의 이미지를 가져오는 학습 기반 시스템을 만드는 것입니다. 해당 LaTeX 코드를 반환합니다.
키워드: OCR, LaTeX, 수학 공식
open_clip
OpenCLIP은 OpenAI CLIP의 오픈 소스 구현입니다.
이 저장소의 목표는 대비적인 이미지-텍스트 감독을 통해 모델 학습을 활성화하고 배포 변화에 대한 견고성과 같은 속성을 연구하는 것입니다. 프로젝트의 시작점은 동일한 데이터 세트에 대해 훈련할 때 원래 CLIP 모델의 정확도와 일치하는 CLIP을 구현하는 것입니다.
특히, OpenAI의 1,500만 개 이미지 하위 집합 YFCC를 코드 기반으로 훈련한 ResNet-50 모델은 ImageNet에서 32.7%라는 최고 정확도를 달성했습니다.
키워드: CLIP, 오픈 소스, 비교, 이미지 텍스트
dalle-playground
Stable Diffusion 및 Dall-E mini를 사용하여 모든 텍스트 프롬프트에서 이미지를 생성하는 플레이그라운드입니다.
키워드: WebUI, Stable Diffusion, Dall-E mini
FedML
FedML은 분산형 데이터에 대한 보안 성능을 어디서나, 규모에 관계없이 안전하게 수행할 수 있는 연합 학습 및 분석 라이브러리입니다. 학습.
키워드: 연합 학습, 분석, 협업 기계 학습, 분산
위 내용은 별표가 10만개를 돌파했습니다! Auto-GPT 이후 Transformer는 새로운 이정표에 도달했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!