유출된 Google 내부 문서에 따르면 Google과 OpenAI 모두 효과적인 보호 메커니즘이 부족하여 오픈 소스 커뮤니티에서 대규모 모델의 임계값을 지속적으로 낮추고 있습니다.

"우리에게는 해자가 없으며 OpenAI도 마찬가지입니다." 최근 유출된 문서에서 Google 내부 연구원은 이러한 견해를 밝혔습니다.

이 연구원은 표면적으로는 OpenAI와 Google이 대규모 AI 모델에서 서로를 쫓고 있는 것처럼 보이지만 제3자의 세력이 조용히 부상하고 있기 때문에 이 둘에서 진정한 승자가 나오지 않을 수도 있다고 믿습니다.

이 힘을 "오픈 소스"라고합니다. Meta의 LLaMA와 같은 오픈 소스 모델에 중점을 두고 전체 커뮤니티는 OpenAI 및 Google의 대규모 모델과 유사한 기능을 갖춘 모델을 빠르게 구축하고 있습니다. 더욱이 오픈 소스 모델은 반복성이 더 빠르고 사용자 정의가 가능하며 비공개입니다. , 사람들은 제한되지 않은 대안의 품질이 동일할 때 제한된 모델에 비용을 지불하지 않을 것입니다.”라고 저자는 썼습니다.

이 문서는 원래 공개 Discord 서버에서 익명의 사람이 공유한 것입니다. 재인쇄 권한이 있는 업계 매체인 SemiAnalytic은 이 문서의 진위를 확인했다고 밝혔습니다.

이 글은 트위터 등 소셜 플랫폼에서 많이 전달되었습니다. 그 중 오스틴에 있는 텍사스 대학의 알렉스 디마키스(Alex Dimakis) 교수는 다음과 같은 견해를 밝혔습니다.

• 오픈 소스 AI가 승리하고 있습니다. 저는 이것이 세계와 경쟁력 있는 생태계 구축을 위해 좋은 일이라는 점에 동의합니다. 그것은 또한 좋은 일이다. 아직 LLM 세계에는 이르지 못했지만 OpenClip이 openAI Clip을 이겼고 Stable Diffusion이 폐쇄형 모델보다 낫습니다.
• 거대한 모델이 필요하지 않고 고품질 데이터가 더 효과적이고 중요하며 API 뒤에 있는 알파카 모델은 해자를 더욱 약화시킵니다.
• 좋은 기본 모델과 하루 만에 매우 잘 실행되는 Lora와 같은 PEFT(Parameter Efficient Fine-Tuning) 알고리즘으로 시작할 수 있습니다. 드디어 알고리즘 혁신이 시작되었습니다!
• 대학과 오픈 소스 커뮤니티는 데이터 세트를 관리하고, 기본 모델을 교육하고, Stable Diffusion과 같은 미세 조정 커뮤니티를 구축하기 위해 더 많은 노력을 조직해야 합니다.

물론 모든 연구자가 기사의 견해에 동의하는 것은 아닙니다. 일부 사람들은 오픈 소스 모델이 실제로 OpenAI에 필적하는 대형 모델의 강력함과 다양성을 가질 수 있는지에 대해 회의적입니다.

그러나 학계의 입장에서는 오픈소스 파워의 부상은 언제나 좋은 일입니다. 즉, GPU가 1000개가 아니더라도 연구자들은 여전히 ​​할 일이 있다는 뜻입니다.

다음은 문서의 원본 텍스트입니다.

Google이나 OpenAI에는 해자가 없습니다

우리에게는 해자가 없고 OpenAI도 없습니다.

우리는 OpenAI의 역동성과 발전에 주목해 왔습니다. 다음 이정표를 통과할 사람은 누구일까요? 무엇 향후 계획?

그러나 불편한 진실은 우리가 이 군비 경쟁에서 승리할 준비가 되어 있지 않으며 OpenAI도 마찬가지라는 것입니다. 우리가 논쟁을 벌이는 동안 세 번째 세력이 혜택을 누리고 있습니다.

이 세력은 "오픈 소스 세력"입니다. 솔직히 말해서 그들은 우리를 앞지르고 있습니다. 우리가 '해결해야 할 중요한 문제'라고 생각했던 문제가 이제 해결되어 이제 사람들의 손에 달려 있습니다.

몇 가지 예를 들어보겠습니다.

• 휴대폰에서 실행할 수 있는 대규모 언어 모델: Pixel 6에서 초당 5개의 토큰으로 기본 모델을 실행할 수 있습니다.
• 확장 가능한 개인 AI: 노트북에서 개인화된 AI를 미세 조정하면서 저녁 시간을 보낼 수 있습니다.
• 책임 있는 출판: 이 문제는 "해결"되기보다는 "무시"됩니다. 일부 웹사이트는 어떠한 제한도 없이 전적으로 예술적인 모델이며, 텍스트도 예외는 아닙니다.
• 다중 모드: 현재 다중 모드 과학 QA SOTA는 1시간 이내에 교육됩니다.

우리 모델은 여전히 ​​품질 면에서 약간의 우위를 유지하고 있지만 그 격차는 놀라운 속도로 줄어들고 있습니다. 오픈 소스 모델은 동일한 조건에서 더 빠르고, 더 맞춤화 가능하며, 더 비공개적이고 더 강력합니다. 그들은 우리가 천만 달러와 540억 달러 매개변수로 수행하기 힘든 일을 1,000억 달러와 130억 달러 매개변수로 수행하고 있습니다. 그리고 몇 달이 아닌 몇 주 안에 이 작업을 수행할 수 있습니다. 이는 우리에게 깊은 의미를 갖습니다.

• 우리에게는 비밀 소스가 없습니다. 우리의 최선의 희망은 Google 외부의 다른 사람들로부터 배우고 협력하는 것입니다. 우리는 3P 통합 달성을 우선시해야 합니다.
• 무료, 무제한 대안의 품질이 비슷한 경우 사람들은 제한된 모델에 비용을 지불하지 않습니다. 우리는 우리의 부가가치가 어디에 있는지 고려해야 합니다.
• 거대한 모델 때문에 속도가 느려졌습니다. 장기적으로 가장 좋은 모델은 빠르게 반복할 수 있는 모델입니다. 이제 200억 개의 매개변수 미만 모델이 무엇을 할 수 있는지 알았으므로 처음부터 모델을 구축해야 합니다.

LLaMA에 의해 시작된 오픈소스 변화

3월 초 Meta의 LLaMA 모델이 대중에게 유출되면서 오픈소스 커뮤니티는 최초로 진정으로 유용한 기본 모델을 갖게 되었습니다. 이 모델에는 지침이나 대화 조정이 없으며 RLHF도 없습니다. 그럼에도 불구하고 오픈 소스 커뮤니티는 LLaMA의 중요성을 즉시 파악했습니다.

그 뒤를 이어 꾸준한 혁신의 흐름이 이어졌고, 단 며칠 간격으로 주요 개발이 이루어졌습니다(예: Raspberry Pi 4B에서 LLaMA 모델 실행, 노트북에서 LLaMA 명령 미세 조정, MacBook에서 LLaMA 실행, 등.) . 불과 한 달 후, 명령 미세 조정, 양자화, 품질 개선, 다중 양식, RLHF 등과 같은 변형이 모두 등장했으며 그 중 다수는 서로를 기반으로 했습니다.

무엇보다도 스케일링 문제를 해결했습니다. 이는 누구나 이 모델을 자유롭게 수정하고 최적화할 수 있다는 것을 의미합니다. 많은 새로운 아이디어는 평범한 사람들에게서 나옵니다. 교육과 실험의 기준이 주요 연구 기관에서 1인, 저녁, 강력한 노트북으로 이동했습니다.

LLM의 안정적인 확산 순간

이는 여러 면에서 누구에게도 놀라운 일이 아닙니다. 현재 오픈 소스 LLM의 르네상스는 이미지 생성의 르네상스 뒤를 잇고 있으며 많은 사람들이 이를 LLM의 안정적인 확산 순간이라고 부릅니다.

두 경우 모두 훨씬 저렴한 LoRA(하위 순위 적응) 미세 조정 메커니즘과 대규모 혁신을 통해 저비용의 대중 참여가 달성됩니다. 고품질 모델의 손쉬운 가용성은 전 세계의 개인과 기관이 아이디어 파이프라인을 배양하고 이를 반복하여 대기업을 빠르게 앞지르는 데 도움이 되었습니다.

이러한 기여는 이미지 생성 분야에서 매우 중요하며 Stable Diffusion을 Dall-E와 다른 경로로 설정합니다. 개방형 모델을 통해 Dall-E에는 없었던 제품 통합, 마켓플레이스, 사용자 인터페이스 및 혁신이 가능해졌습니다.

효과는 분명합니다. Stable Diffusion의 문화적 영향력은 OpenAI 솔루션에 비해 빠르게 지배적입니다. LLM이 비슷한 추세를 보일지 여부는 아직 알 수 없지만 광범위한 구조적 요소는 동일합니다.

Google이 놓친 것은 무엇입니까?

오픈 소스 프로젝트는 우리가 여전히 고심하고 있는 문제를 직접적으로 해결하는 혁신적인 방법이나 기술을 사용합니다. 오픈 소스 노력에 주의를 기울이면 동일한 실수를 방지하는 데 도움이 될 수 있습니다. 그 중에서도 LoRA는 매우 강력한 기술이므로 더욱 주목해야 할 기술입니다.

LoRA는 모델 업데이트를 하위 인수 분해로 제공하여 업데이트 행렬의 크기를 수천 배 줄일 수 있습니다. 이런 방식으로 모델 미세 조정에는 적은 비용과 시간만 필요합니다. 소비자급 하드웨어에서 개인화된 언어 모델 조정 시간을 몇 시간으로 줄이는 것은 특히 새롭고 다양한 지식을 거의 실시간으로 통합하려는 비전을 가진 사람들에게 중요합니다. 이 기술은 우리가 달성하려는 일부 프로젝트에 큰 영향을 미치지만 Google 내에서는 활용도가 낮습니다.

LoRA의 놀라운 힘

LoRA가 효과적인 이유 중 하나는 다른 형태의 조정과 마찬가지로 누적이 가능하다는 것입니다. 대화 및 추론과 같은 작업에 도움이 되도록 명령 미세 조정과 같은 개선 사항을 적용할 수 있습니다. 개별 미세 조정은 순위가 낮지만 합계는 그렇지 않지만 LoRA는 시간이 지남에 따라 모델에 대한 전체 순위 업데이트가 누적되도록 허용합니다.

즉, 더 새롭고 더 나은 데이터 세트와 테스트를 사용할 수 있게 되면 전체 운영 비용을 지불하지 않고도 모델을 저렴하게 업데이트할 수 있다는 의미입니다.

반대로, 대규모 모델을 처음부터 훈련하면 사전 훈련을 버릴 뿐만 아니라 이전의 모든 반복과 개선 사항도 버립니다. 오픈 소스 세계에서는 이러한 개선 사항이 빠르게 널리 퍼져 전체 재교육 비용이 엄청나게 높아졌습니다.

우리는 각각의 새로운 애플리케이션이나 아이디어가 실제로 완전히 새로운 모델을 필요로 하는지 진지하게 고려해야 합니다. 모델 가중치의 직접적인 재사용을 방지하는 상당한 아키텍처 개선이 있다면 이전 세대 기능을 최대한 보존하는 증류에 대한 보다 공격적인 접근 방식을 취해야 합니다.

대형 모델 vs. 소형 모델, 누가 더 경쟁력이 있나요?

가장 인기 있는 모델 크기의 LoRA 업데이트 비용은 매우 낮습니다(약 $100). 이는 아이디어가 있는 거의 모든 사람이 아이디어를 생성하고 배포할 수 있음을 의미합니다. 훈련이 하루도 안 걸리는 보통 속도에서는 미세 조정의 누적 효과가 초기 크기 단점을 빠르게 극복합니다. 실제로 이러한 모델은 엔지니어 시간 측면에서 가장 큰 모델보다 훨씬 빠르게 개선되고 있습니다. 그리고 최고의 모델은 이미 ChatGPT와 거의 구별할 수 없습니다. 따라서 가장 큰 모델 중 일부를 유지하는 데 집중하는 것은 실제로 우리에게 불리한 상황에 놓이게 됩니다.

데이터 품질이 데이터 크기보다 우선합니다

이러한 프로젝트 중 다수는 고도로 선별된 소규모 데이터 세트를 학습하여 시간을 절약합니다. 이는 데이터 확장 규칙의 유연성을 나타냅니다. 이 데이터세트는 데이터가 생각하는 대로 하지 않는다는 아이디어에서 출발했으며 Google 없이 학습하는 표준 방법으로 빠르게 자리잡고 있습니다. 이러한 데이터 세트는 합성 방법(예: 기존 모델에서 최상의 반사 필터링)을 사용하여 생성되고 다른 프로젝트에서 스크랩됩니다. 둘 다 Google에서 일반적으로 사용되지 않습니다. 다행스럽게도 이러한 고품질 데이터 세트는 오픈 소스이므로 무료로 사용할 수 있습니다.

오픈소스와의 경쟁은 종말을 고할 것입니다.

이러한 최근 발전은 비즈니스 전략에 매우 직접적인 영향을 미칩니다. 사용 제한이 없는 무료 고품질 대안이 있는데, 사용 제한이 있는 Google 제품에 누가 비용을 지불하겠습니까? 게다가 따라잡을 거라고 기대해서도 안 됩니다. 현대 인터넷은 오픈 소스에서 실행됩니다. 오픈 소스에는 우리가 복제할 수 없는 몇 가지 중요한 이점이 있기 때문입니다.

"그들에게 우리가 필요하다"보다 "우리에게 그들이 필요하다"

기술 비밀을 유지하는 것은 항상 깨지기 쉬운 제안입니다. 구글 연구원들은 연구를 위해 정기적으로 다른 회사를 방문하고 있으므로 우리가 알고 있는 모든 것을 알고 있다고 가정할 수 있습니다. 그리고 이 파이프라인이 열려 있는 한 계속해서 그렇게 할 것입니다.

그러나 LLM 분야의 최첨단 연구가 저렴해짐에 따라 기술 경쟁력을 유지하는 것이 점점 더 어려워지고 있습니다. 전 세계 연구 기관은 우리의 능력을 훨씬 넘어서는 폭 넓은 접근 방식으로 솔루션 공간을 탐색하기 위해 서로 배우고 있습니다. 우리는 우리 자신의 비밀을 지키기 위해 열심히 노력할 수 있지만 외부의 혁신으로 인해 그 가치가 희석되므로 서로에게서 배우도록 노력하십시오.

개인은 기업처럼 라이선스에 구속되지 않습니다.

대부분의 혁신은 Meta에서 유출된 모델 가중치를 기반으로 합니다. 진정한 개방형 모델이 점점 더 좋아짐에 따라 이러한 상황은 필연적으로 바뀔 것입니다. 그러나 요점은 기다릴 필요가 없다는 것입니다. "개인적 사용"을 통해 제공되는 법적 보호와 개별 기소의 비실용성은 개인이 이러한 기술이 뜨거울 때 사용할 수 있음을 의미합니다.

생태계 소유: 오픈 소스 작업이 당신을 위해 작동하도록 만드세요

역설적이게도 이 모든 것의 승자는 단 한 명뿐입니다. 유출된 모델은 모두 그들의 것이기 때문에 바로 Meta입니다. 대부분의 오픈 소스 혁신은 아키텍처를 기반으로 하기 때문에 자체 제품에 직접 통합되는 것을 막을 수 없습니다.

보시다시피 생태계를 갖는 가치는 아무리 강조해도 지나치지 않습니다. Google 자체는 이미 Chrome 및 Android와 같은 오픈 소스 제품에서 이 패러다임을 사용하고 있습니다. 혁신적인 작업을 인큐베이팅하기 위한 플랫폼을 구축함으로써 Google은 사고 리더이자 방향 설정자로서의 입지를 확고히 했으며, 자신보다 더 큰 아이디어를 구체화할 수 있는 능력을 얻었습니다.

모델을 더 엄격하게 제어할수록 개방형 대안을 만드는 것이 더 매력적입니다. Google과 OpenAI 모두 모델 사용 방식을 엄격하게 제어할 수 있는 방어적인 릴리스 모델을 사용하는 경향이 있습니다. 그러나 이 통제는 비현실적이다. 승인되지 않은 목적으로 LLM을 사용하려는 사람은 누구나 무료로 제공되는 모델 중에서 선택할 수 있습니다.

그러므로 구글은 오픈소스 커뮤니티의 선두주자로 자리매김하고 이를 무시하기보다는 보다 폭넓은 대화에 협력하여 앞장서야 합니다. 이는 작은 ULM 변형에 대한 모델 가중치를 공개하는 등 불편한 조치를 취하는 것을 의미할 수 있습니다. 이는 또한 반드시 자신의 모델에 대한 일부 제어권을 포기하는 것을 의미하지만 이러한 타협은 불가피합니다. 우리는 혁신을 주도하는 동시에 혁신을 통제할 수는 없습니다.

OpenAI의 미래는 어디에 있나요?

OpenAI의 현재 폐쇄 정책을 고려하면 이 모든 오픈 소스 논의는 불공평하게 느껴집니다. 그들이 기술을 공유할 의사가 없다면 왜 우리가 공유해야 합니까? 하지만 사실 우리는 OpenAI의 선임 연구원들을 계속해서 빼돌리면서 그들과 모든 것을 공유해 왔습니다. 우리가 흐름을 막을 때까지 비밀 유지는 논쟁의 여지가 있는 문제로 남을 것입니다.

마지막으로 OpenAI는 중요하지 않습니다. 그들은 오픈 소스 입장에서 우리와 동일한 실수를 저지르며, 그들의 우위를 유지하는 능력은 의심스러울 것입니다. OpenAI가 입장을 바꾸지 않는 한, 오픈 소스 대안이 결국 이를 앞지르게 될 것입니다. 적어도 이 점에 있어서는 이 조치를 취할 수 있습니다.

위 내용은 유출된 Google 내부 문서에 따르면 Google과 OpenAI 모두 효과적인 보호 메커니즘이 부족하여 오픈 소스 커뮤니티에서 대규모 모델의 임계값을 지속적으로 낮추고 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!