합성 데이터: 머신러닝의 미래

번역가 | Bugatti

리뷰어 | Sun Shujuan

데이터는 머신러닝 모델의 생명선이라고 할 수 있습니다. 하지만 이 귀중한 자원에 대한 접근이 제한되면 어떻게 될까요? 많은 프로젝트와 회사가 입증하기 시작하면서 합성 데이터가 훌륭하지는 않더라도 실행 가능한 옵션이 되는 시점입니다.

합성 데이터란 무엇인가요?

합성 데이터는 직접적인 측정을 통해 얻을 수 없는 인위적으로 생성된 정보입니다. "가짜" 데이터는 그 자체로 새롭거나 혁신적인 개념이 아닙니다. 이는 본질적으로 제대로 작동하기 위해 사용 가능하거나 필요한 정보가 부족한 모델에 대한 테스트 또는 교육 데이터를 생성하는 방법입니다.

과거에는 데이터가 부족하여 무작위로 생성된 데이터 포인트 세트를 사용하는 편리한 방법이 있었습니다. 이는 교육 및 테스트 목적으로는 충분할 수 있지만 무작위 데이터는 모든 종류의 예측 모델을 교육하려는 데이터가 아닙니다. 그것이 합성 데이터의 개념과 다른 점이며, 신뢰할 수 있다는 것입니다.

합성 데이터는 본질적으로 무작위 데이터를 영리하게 생성할 수 있는 독특한 개념입니다. 따라서 이 접근 방식은 테스트뿐만 아니라 더 복잡한 사용 사례에도 적용될 수 있습니다.

합성 데이터를 생성하는 방법은 무엇입니까?

합성 데이터가 생성되는 방식은 무작위 데이터와 다르지 않지만 더 복잡한 입력 세트를 통해서만 합성 데이터는 다른 목적을 제공하므로 고유한 요구 사항이 있습니다.

합성 방법은 사전에 입력되는 특정 기준을 기반으로 하며 이에 제한됩니다. 사실 무작위는 아닙니다. 이는 데이터 포인트의 가능한 범위, 분포 및 빈도를 결정하는 특정 분포 및 기준을 가진 샘플 데이터 세트를 기반으로 합니다. 대략적으로 말하면, 목표는 실제 데이터를 복제하여 기계 학습 모델을 교육하기에 충분히 큰 더 큰 데이터 세트를 채우는 것입니다.

이 접근 방식은 합성 데이터를 정제하기 위한 딥 러닝 방법을 탐색할 때 특히 중요합니다. 알고리즘은 합성 데이터를 생성하고 식별하는 능력에서 서로를 능가하는 것을 목표로 서로 경쟁할 수 있습니다. 실제로 여기서의 목표는 초현실적인 데이터를 생성하기 위해 인공 군비 경쟁에 참여하는 것입니다.

합성 데이터가 왜 필요한가요?

문명 발전에 필요한 귀중한 자원을 모을 수 없다면 이를 창출할 수 있는 방법을 찾겠습니다. 이제 이 원칙은 기계 학습과 인공 지능의 데이터 세계에도 동일하게 적용됩니다.

알고리즘을 훈련할 때 매우 큰 데이터 샘플 크기를 갖는 것이 중요합니다. 그렇지 않으면 알고리즘으로 식별된 패턴이 실제 적용에 비해 너무 단순할 수 있습니다. 이것은 실제로 매우 논리적입니다. 인간의 지능이 문제 해결을 위해 가장 쉬운 경로를 택하는 경우가 많듯이, 기계 학습과 인공 지능을 훈련할 때도 같은 일이 자주 발생합니다.

예를 들어, 고양이 이미지 세트에서 개를 정확하게 식별할 수 있는 객체 인식 알고리즘에 이를 적용해 보세요. 데이터의 양이 너무 적으면 AI는 식별하려는 개체의 필수 기능이 아닌 패턴에 의존할 위험이 있습니다. 이 경우 AI는 여전히 효과적일 수 있지만 처음 식별한 패턴을 따르지 않는 데이터를 발견하면 무너집니다.

합성 데이터는 AI 훈련에 어떻게 사용되나요?

그렇다면 해결책은 무엇인가요? 우리는 약간 다른 동물을 많이 그려 네트워크가 특정 픽셀의 위치뿐만 아니라 이미지의 기본 구조를 찾도록 했습니다. 하지만 백만 마리의 개를 손으로 그리는 것보다 분류 알고리즘을 훈련하는 데 사용할 수 있는 개 그리기 전용 시스템을 구축하는 것이 더 나을 것입니다. 이는 실제로 기계 학습을 훈련하기 위해 합성 데이터를 제공할 때 수행하는 작업입니다.

그러나 이 접근 방식에는 명백한 결함이 있습니다. 단순히 허공에서 데이터를 생성하는 것은 실제 세계를 나타내지 않으므로 실제 데이터를 만나면 알고리즘이 실패할 가능성이 높습니다. 해결책은 데이터의 하위 집합을 수집하고, 그 안에 있는 추세와 범위를 분석 및 식별한 다음, 해당 데이터를 사용하여 모든 데이터를 수집할 경우 데이터가 어떤 모습일지 나타낼 수 있는 대량의 무작위 데이터를 생성하는 것입니다. 우리 스스로.

이것이 합성데이터의 가치이기도 합니다. 더 이상 데이터를 끝없이 수집한 후 사용하기 전에 이를 정리하고 처리할 필요가 없습니다.

합성 데이터가 점점 더 우려되는 데이터 개인 정보 보호 문제를 해결할 수 있는 이유는 무엇입니까?

세계는 현재 특히 EU에서 매우 급격한 변화를 겪고 있습니다. 개인정보와 생성된 데이터가 점점 더 보호되고 있습니다. 머신러닝과 AI 분야에서 데이터 보호 강화는 오랜 숙제다. 제한된 데이터는 특히 B2C 솔루션의 경우 최종 사용자에게 가치를 수행하고 제공하기 위해 알고리즘을 교육하는 데 꼭 필요한 경우가 많습니다.

개인이 솔루션을 사용하기로 결정하고 데이터 사용을 승인하면 개인 정보 보호 문제가 해결되는 경우가 많습니다. 여기서 문제는 기꺼이 넘겨줄 만큼 충분한 가치를 제공하는 솔루션이 나올 때까지 사용자가 자신의 개인 데이터를 제공하도록 유도하기가 어렵다는 것입니다. 결과적으로 공급업체는 종종 닭고기와 달걀의 딜레마에 빠지게 됩니다.

합성 데이터가 솔루션이며 기업은 얼리 어답터를 통해 데이터 하위 집합에 액세스할 수 있습니다. 그런 다음 이 정보를 기초로 사용하여 기계 학습 및 AI 교육을 위한 충분한 데이터를 생성할 수 있습니다. 이 접근 방식을 사용하면 개인 데이터에 대한 시간과 비용이 많이 드는 필요성을 크게 줄일 수 있으며 실제 사용자를 위한 알고리즘을 개발할 수 있습니다.

의료, 은행, 법률과 같은 일부 산업의 경우 합성 데이터는 이전에는 사용할 수 없었던 대량의 데이터에 보다 쉽게 ​​액세스할 수 있는 방법을 제공하여 새롭고 고급 알고리즘이 자주 직면하는 제약을 제거합니다.

합성 데이터가 실제 데이터를 대체할 수 있나요?

실제 데이터의 문제점은 머신러닝이나 AI 알고리즘을 훈련할 목적으로 생성된 것이 아니라 우리 주변에서 일어나는 사건의 부산물일 뿐이라는 점입니다. 앞서 언급했듯이 이는 수집된 데이터의 가용성과 사용 용이성을 분명히 제한할 뿐만 아니라 데이터의 매개변수와 결과를 손상시킬 수 있는 결함(이상치)의 가능성도 제한합니다. 이것이 바로 사용자 정의하고 제어할 수 있는 합성 데이터가 모델을 교육할 때 더 효율적인 이유입니다.

그러나 합성 데이터는 교육 시나리오에 이상적이지만 자체 생성을 위해 필연적으로 항상 실제 데이터의 작은 부분에 의존합니다. 따라서 합성 데이터는 자신이 의존하는 원본 데이터를 결코 대체하지 않습니다. 보다 현실적으로는 알고리즘 교육에 필요한 실제 데이터의 양이 크게 줄어듭니다. 이 프로세스에는 테스트보다 훨씬 더 많은 데이터가 필요합니다. 일반적으로 데이터의 80%는 교육에 사용되고 나머지 20%는 테스트에 사용됩니다.

마지막으로, 합성 데이터는 실제 세계에서 데이터를 얻는 것보다 저렴한 비용으로 필요한 데이터를 얻는 더 빠르고 효율적인 방법을 제공하는 동시에 성가신 데이터 개인 정보 보호 문제를 줄입니다.

원제: ​​합성 데이터: 기계 학습의 미래​​​, 저자: Christian Lawaetz Halvorsen​

위 내용은 합성 데이터: 머신러닝의 미래의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!