Llama 2의 "2차 창작" 프로젝트가 점점 더 하드코어하고 흥미로워지고 있다는 점을 말씀드리고 싶습니다.
Meta가 오픈 소스 대형 모델 Llama 2를 출시한 이후 이 모델을 둘러싼 "보조" 프로젝트가 더 많아졌습니다. Tesla의 전 AI 디렉터이자 OpenAI로 돌아온 Andrej Karpathy는 7월에 주말 시간을 활용하여 Llama 2에 관한 흥미로운 프로젝트 llama2.c를 만들었습니다. 이를 통해 사용자는 PyTorch 모델에서 baby Llama 2를 훈련할 수 있습니다. 그런 다음 추론을 위한 종속성 없이 거의 500줄의 순수 C 파일을 사용합니다. 
오늘 Karpathy llama2.c 프로젝트를 기반으로 다른 개발자가 Llama 2를 시작하는 데모 운영 체제와 Llama 2 추론을 위한 사용자 모드 도우미를 호출하는 커널 모듈을 만들었습니다. 이 프로젝트는 Llama 2 Everywhere, 줄여서 L2E라고 불립니다. 그러나 저자는 현재 시스템 요구 사항이 512MB RAM 및 x86_64(64비트) PC이며 사용성 개선이 필요하다고 밝혔습니다. 동시에 이 프로젝트에는 "Doom" 게임과 같은 부활절 달걀도 숨겨져 있지만 이를 찾으려면 퍼즐을 풀어야 합니다. 
프로젝트 주소: https://github.com/trholding/llama2.c
Andrej Karpathy도 이 새로운 프로젝트를 전달하면서 "독립적인 운영, 바이너리, 이식 가능 및 부팅 가능"이라는 특징을 가지고 있다고 말했습니다. 그는 자신의 llama2.c 프로젝트가 성공할 것으로 기대하고 있으며, 이 새로운 프로젝트는 상상력을 확장시킵니다. 
L2E는 각계각층의 네티즌들에게 인정을 받았고, 어떤 사람들은 이것이 정말 대단하다고 말했습니다. 기본적으로 오래된 노트북에서 시작할 수 있으며 CPU만으로 실행할 수 있습니다. 8G RAM이면 충분하고 16G이면 더 좋습니다. 
어떤 사람들은 이 프로젝트가 신을 위해 개발된 운영 체제인 TempleOS(고 천재 프로그래머 테리 데이비스가 단독으로 개발함)와 매우 유사하다고 생각하지만, 프로젝트 작성자는 자신이 단지 테리에게 바치는 헌사일 뿐이라고 말했습니다. 그리고 TempleOS. L2E는 Linux 커널과 일부 지식을 사용하여 운영 체제를 구축했는데, 이는 Terry가 처음부터 구축한 운영 체제와는 완전히 다릅니다. 
다음으로 L2E 프로젝트의 본래 의도와 데모, 특징에 대해 알아보겠습니다. 프로젝트 작성자는 L2E가 크롬북에서 출시하고 기업용 고밀도 유니커널에 배포하는 등 다양한 기기에서의 호환성을 보장하는 것을 목표로 한다고 밝혔습니다. 미래에 이 프로젝트는 적절한 하드웨어 요구 사항을 갖춘 다수의 네트워크 연결, 분산 및 자체 조정 소규모 전문 LLM을 활용하여 단일 대규모 LLM을 넘어 군중 지능을 발휘할 가능성이 있습니다. 현재 L2E의 주목할만한 사용 사례는 교과서, 오픈북, SlimPajama 코퍼스를 비롯한 다양한 텍스트 소스에서 소규모 모델을 교육하는 것입니다. 이러한 학습된 모델은 L2E를 사용하여 배포되어 오래된 학교 컴퓨터에서 부팅 가능한 인스턴스로 실행됩니다. 이 배포 옵션은 인터넷 연결이 제한되거나 사용할 수 없는 학교 도서관이나 교실에서 유용할 수 있습니다. 이 프로젝트의 궁극적인 목표는 다양한 환경에 적응하고 전 세계적으로 개인과 커뮤니티에 힘을 실어줄 수 있는 포괄적인 AI 생태계를 만드는 것입니다. 또한 다양한 하드웨어 원격 측정 데이터를 사용한 교육을 통해 모델이 센서 입력에서 수집된 통찰력을 기반으로 센서 입력을 해석하고 액추에이터를 제어하는 방법을 학습할 수 있기를 바랍니다. 이러한 연구 방향은 자동화, 우주, 로봇공학, 사물 인터넷 등의 분야에서 역할을 할 가능성이 높으며, L2E는 AI와 물리적 시스템 간의 격차를 해소하는 데 핵심적인 역할을 할 것입니다. 프로젝트 작성자는 Llama 2를 시작하는 몇 가지 예를 보여줍니다. 다음은 Linux 커널의 L2E 운영체제입니다. 이제 실제로 컴퓨터에서 Llama 2 모델을 시작하고 유추할 수 있습니다. 
또한 cat /dev/llama 및 "Sudo make me a 샌드위치!" > /dev/llama와 같은 echo 명령을 수행하거나 커널 매개변수 l2e.quest="의미는 무엇입니까? 인생의?". 
마지막으로 대기업 서버에서 가상 아기 라마 2 모델 1000개 세트를 실행하고 추론하는 것도 가능합니다. 
L2E는 이식성이 뛰어나며 Windows, GNU Linux, GNU/Systemd, NetBSD, OpenBSD 등과 같은 모든 x86_64 운영 체제에서 단일 실행 파일을 실행할 수 있습니다. 독립성은 ZipOS(cosmocc), INCBIN, strliteral을 통해 모델과 토크나이저를 내장하는 기능에 반영됩니다. L2E는 CPU/GPU에서 실행될 수 있습니다. 
위 내용은 TempleOS에 경의를 표하기 위해 개발자는 Llama 2를 시작하는 운영 체제를 만들었습니다. 네티즌: 8G 메모리가 있는 오래된 컴퓨터에서 실행할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
