대형 모델 시대에 NTU Zhou Zhihua는 소프트웨어 연구에 몰두하고 있으며 그의 최신 논문은 온라인에 있습니다.

머신러닝은 다양한 분야에서 큰 성공을 거두고 있으며, 고품질의 머신러닝 모델이 대거 등장하고 있습니다. 그러나 일반 사용자가 처음부터 새로운 모델을 구축하는 것은커녕 자신의 작업에 적합한 모델을 찾는 것이 쉽지 않습니다. 이 문제를 해결하기 위해 난징대학교 Zhou Zhihua 교수는 모델과 규정이라는 아이디어를 통해 사용자가 학습웨어 기반 시스템으로 불리는 '러닝웨어'라는 패러다임을 제안했습니다. 귀하의 요구 사항에 맞는 모델을 선택하고 배포하십시오. 이제 학습웨어 패러다임은 Beimingwu라는 첫 번째 오픈 소스 기본 플랫폼을 선보였습니다. 이 플랫폼은 사용자에게 풍부한 모델 라이브러리와 배포 도구를 제공하여 기계 학습 모델을 보다 쉽고 효율적으로 사용하고 사용자 지정할 수 있도록 해줍니다. Beimingwu를 통해 사용자는 기계 학습의 힘을 더 잘 활용하여 다양한 실제 문제를 해결할 수 있습니다.

클래식 기계 학습 패러다임에서 고성능 모델을 처음부터 훈련하려면 대량의 고품질 데이터, 전문가 경험 및 컴퓨팅 리소스가 필요하며 이는 의심할 여지 없이 시간이 많이 소요됩니다. , 노동 집약적이고 비용이 많이 드는 작업. 또한 기존 모델을 재사용하는 데에도 몇 가지 문제가 있습니다. 예를 들어, 특정 학습 모델을 다양한 환경에 적용하는 것은 어렵고, 학습 모델을 점진적으로 개선하는 과정에서 치명적인 망각이 발생할 수 있습니다. 따라서 우리는 이러한 문제를 해결하기 위해 보다 효율적이고 유연한 방법을 찾아야 합니다.

데이터 개인 정보 보호 및 소유권 문제는 개발자가 경험을 공유하는 것을 방해할 뿐만 아니라 데이터에 민감한 시나리오에 대규모 모델을 적용하는 기능도 제한합니다. 연구는 종종 이러한 문제에 중점을 두지만 실제로는 동시에 발생하여 서로 영향을 미치는 경우가 많습니다.

자연어 처리 및 컴퓨터 비전 분야에서는 주류 대형 모델 개발 패러다임이 놀라운 성과를 거두었음에도 불구하고 몇 가지 중요한 문제가 아직 해결되지 않았습니다. 이러한 문제에는 계획되지 않은 무제한 작업 및 시나리오, 환경의 지속적인 변화, 치명적인 망각, 높은 리소스 요구 사항, 개인 정보 보호 문제, 현지화된 배포 요구 사항, 개인화 및 사용자 지정 요구 사항이 포함됩니다. 따라서 각 잠재적 작업에 해당하는 대규모 모델을 구축하는 것은 비현실적인 솔루션입니다. 이러한 과제를 해결하려면 보다 유연하고 사용자 정의 가능한 모델 아키텍처를 채택하고 전이 학습 및 증분 학습과 같은 기술을 사용하여 다양한 작업 및 환경의 변화에 ​​적응하는 등 처리할 새로운 방법과 전략을 찾아야 합니다. 다양한 접근법과 전략을 통합해야만 이러한 복잡한 문제를 더 잘 해결할 수 있습니다.

머신러닝 과제를 해결하기 위해 난징대학교 Zhou Zhihua 교수는 2016년에 런웨어 개념을 제안했습니다. 그는 러닝웨어를 기반으로 새로운 패러다임을 창조하고, 러닝웨어 도크 시스템을 기본 플랫폼으로 제안했다. 이 시스템의 목표는 전 세계 개발자가 제출한 기계 학습 모델을 균일하게 수용하고 모델 기능을 사용하여 잠재 사용자의 작업 요구 사항에 따라 새로운 작업을 해결하는 것입니다. 이러한 혁신은 머신러닝 분야에 새로운 가능성과 기회를 제공합니다.

러닝웨어 패러다임의 핵심 디자인은 다음과 같습니다. 다양한 작업의 고품질 모델을 위해 학습웨어는 통일된 형식의 기본 단위입니다. Learningware는 모델 자체와 일부 표현에서 모델의 특성을 설명하는 사양으로 구성됩니다. 개발자는 자유롭게 모델을 제출할 수 있으며, 학습 도크 시스템은 사양 생성을 지원하고 학습 도크에 학습 소프트웨어를 저장합니다. 이 프로세스에서 개발자는 학습 데이터를 학습 도크에 공개할 필요가 없습니다. 앞으로 사용자는 러닝웨어 기반 시스템에 요구사항을 제출하고, 자신의 데이터를 러닝웨어 시스템에 유출하지 않고도 러닝웨어를 찾아서 재사용하여 자신의 머신러닝 작업을 해결할 수 있습니다. 이 설계를 통해 모델 공유 및 작업 해결이 더욱 효율적이고 편리하며 개인 정보 보호가 보장됩니다.

러닝웨어 패러다임을 위한 예비 과학 연구 플랫폼을 구축하기 위해 Zhou Zhihua 교수 팀은 최근 미래 러닝웨어 패러다임 연구를 위한 최초의 오픈 소스 러닝웨어 기반 시스템인 Beimingwu를 구축했습니다. 관련 논문이 출판되었으며 길이는 37페이지입니다.

기술 수준에서 Beimingwu 시스템은 확장 가능한 시스템 및 엔진 아키텍처 설계와 광범위한 엔지니어링 구현 및 최적화를 통해 미래 학술 소프트웨어 관련 알고리즘 및 시스템 연구의 기반을 마련했습니다. 또한 시스템은 전체 프로세스 기준 알고리즘을 통합하고 기본 알고리즘 평가 시나리오를 구축합니다. 이러한 기능을 통해 시스템은 학습웨어에 대한 지원을 제공할 수 있을 뿐만 아니라 수많은 학습웨어를 호스팅하고 학습웨어 생태계를 구축할 수 있는 가능성도 제공합니다.

• 논문 제목: Beimingwu: A Learnware Dock System

• 논문 주소: https://arxiv.org/pdf/2401.14427.pdf

• Beimingwu 홈페이지: https://bmwu .cloud /

• Beimingwu 오픈 소스 웨어하우스: https://www.gitlink.org.cn/beimingwu/beimingwu

• 핵심 엔진 오픈 소스 웨어하우스: https://www.gitlink.org.cn/beimingwu /learnware

이 기사에서 연구원의 기여는 다음과 같이 요약될 수 있습니다.

• 러닝웨어 패러다임을 기반으로 사용자가 새로운 작업을 해결할 수 있도록 모델 개발을 단순화합니다. 데이터 효율성을 달성하고 전문 지식이 필요하지 않으며 원본 데이터가 유출되지 않습니다.

• 완전하고 통합되고 확장 가능한 시스템을 제안합니다.

• 통합 사용자 인터페이스를 갖춘 오픈 소스 학습 소프트웨어 기반 시스템을 개발했습니다.

• 다양한 시나리오에서 전체 프로세스 기준 알고리즘 구현 및 평가에 사용됩니다.

Learningware 패러다임 개요

Learningware 패러다임은 2016년 Zhou Zhihua 교수팀이 제안했으며 2024년 논문 "Learnware: small models do big"에 요약되고 추가로 설계되었습니다. 이 패러다임의 단순화된 프로세스는 아래 그림 1에 나와 있습니다. 모든 유형 및 구조의 고품질 기계 학습 모델의 경우 해당 개발자 또는 소유자는 훈련된 모델을 학습웨어 기본 시스템(이전의 학습웨어 기본 시스템)에 자발적으로 제출할 수 있습니다. 부품 시장).

위에서 소개한 바와 같이 러닝웨어 패러다임은 성능이 좋은 기존 모델을 균일하게 수용, 구성 및 활용할 수 있는 러닝웨어 기반 시스템을 구축하여 모든 커뮤니티의 노력을 균일하게 활용하여 새로운 사용자 작업을 해결하고 동시에 일부 문제를 해결할 수 있도록 제안합니다. 훈련 데이터 및 훈련 기술 부족, 치명적인 망각, 지속적인 학습 달성의 어려움, 데이터 프라이버시 또는 독점화, 오픈 월드에서의 계획되지 않은 새로운 작업, 중복 및 낭비 훈련으로 인한 탄소 배출 등을 포함한 주요 우려 사항

최근 러닝웨어 패러다임과 그 핵심 아이디어가 점점 더 주목을 받고 있습니다. 그러나 핵심 질문이자 주요 과제는 다음과 같습니다. 학습 조각 기반 시스템이 수천 또는 심지어 수백만 개의 모델을 수용할 수 있다는 점을 고려할 때 새로운 사용자의 작업에 가장 유용한 학습 조각 또는 조각 세트를 식별하고 선택하는 방법은 무엇입니까? 분명히 실험을 위해 사용자 데이터를 시스템에 직접 제출하는 것은 비용이 많이 들고 사용자의 원본 데이터가 노출됩니다.

학습 패러다임의 핵심 설계는 프로토콜에 있습니다. 최근 연구는 주로 RKME(Reduced Kernel Mean Bedding) 프로토콜을 기반으로 합니다.

기존의 이론적, 실증적 분석 연구를 통해 프로토콜 기반 러닝웨어 식별의 효율성이 입증되었음에도 불구하고, 러닝웨어 기반 시스템의 구현은 여전히 ​​부족하며 다양한 지향의 실제 환경에 대처하기 위해서는 프로토콜 기반의 새로운 아키텍처 설계가 필요합니다. -세계적인 작업과 모델을 제공하고 사용자 작업 요구 사항에 따라 많은 학습 자료를 균일하게 검색하고 재사용합니다.

연구원들은 제출, 사용성 테스트, 구성, 관리, 식별, 배포 및 학습웨어 재사용을 포함한 전체 프로세스에 대한 지원을 제공하는 최초의 학습웨어 기반 시스템인 Beimingwu를 구축했습니다.

Beimingwu를 사용하여 학습 작업 해결

러닝웨어 패러다임의 최초 시스템 구현을 기반으로 Beimingwu는 새로운 작업을 위한 기계 학습 모델을 구축하는 프로세스를 크게 단순화합니다. 이제 학습웨어 패러다임의 프로세스에 따라 모델을 구축할 수 있습니다. 그리고 통합 학습 소프트웨어 구조, 통합 아키텍처 설계 및 통합 사용자 인터페이스의 이점을 활용하여 Beimingwu에 제출된 모든 모델은 통합 식별 및 재사용을 달성합니다.

흥미로운 점은 새로운 사용자 작업이 주어지면 Beimingwu에 이 작업을 해결할 수 있는 학습 소프트웨어가 있다면 사용자는 단 몇 줄의 코드만으로 고품질 모델을 쉽게 얻고 배포할 수 있다는 것입니다. 방대한 양의 데이터와 전문 지식을 보유하고 있으며, 본인의 Raw Data가 유출되지 않습니다.

아래 그림 2는 Beimingwu를 사용하여 학습 과제를 해결하는 코드 예제입니다.

아래 그림 3은 통계 사양 생성, 학습 조각 식별, 로딩 및 재사용을 포함하여 Beimingwu 사용의 전체 워크플로를 보여줍니다. 엔지니어링 구현 및 통합 인터페이스 설계를 기반으로 각 단계는 일련의 키 코드를 통해 실현될 수 있습니다.

학습 과제를 해결할 때 Beimingwu 기반의 학습 소프트웨어 패러다임을 사용하는 모델 개발 프로세스는 다음과 같은 중요한 이점이 있다고 말했습니다.

• 에는 많은 양의 데이터와 컴퓨팅 리소스가 필요하지 않습니다.

• 많은 기계 학습 전문 지식이 필요하지 않습니다.

• 다양한 모델에 대한 통합되고 간단한 로컬 배포를 제공합니다.

• 개인 정보 보호: 사용자의 원본 데이터를 유출하지 않습니다.

현재 Beimingwu는 초기 단계에서 오픈 소스 데이터 세트를 기반으로 구축된 학습 도구가 1,100개에 불과하므로 많은 시나리오를 다루지 않으며 수많은 구체적이고 보이지 않는 시나리오를 처리하는 능력이 여전히 제한적입니다. 확장 가능한 아키텍처 설계를 기반으로 Beimingwu는 러닝웨어 패러다임을 위한 연구 플랫폼으로 사용될 수 있으며, 러닝웨어 관련 연구를 위한 편리한 알고리즘 구현 및 실험 설계를 제공합니다.

동시에 기본 구현 및 확장 가능한 아키텍처 지원에 의존하여 지속적으로 제출되는 학습 자료와 지속적으로 개선되는 알고리즘은 시스템의 작업 해결 능력을 지속적으로 향상시키고 잘 훈련된 기존 모델의 시스템 재사용을 향상하여 그 이상으로 문제를 해결합니다. 개발자의 도달 범위 원래 대상에서 새로운 작업을 수행할 수 있는 능력입니다. 앞으로도 러닝웨어 기반 시스템의 지속적인 진화를 통해 점점 늘어나는 사용자 업무에 대해 치명적인 망각 현상 없이 대응하고 자연스럽게 평생학습이 가능해질 것이다.

Beimingwu Design

논문의 4장에서는 Beimingwu 시스템의 디자인을 소개합니다. 그림 4에 표시된 것처럼 전체 시스템에는 학습 소프트웨어 저장소, 시스템 엔진, 시스템 배경 및 사용자 인터페이스의 네 가지 수준이 포함됩니다. 본 섹션에서는 먼저 각 계층의 개요를 소개하고, 프로토콜 설계를 기반으로 시스템의 핵심 엔진을 소개하고, 마지막으로 시스템에 구현된 알고리즘을 소개합니다.

먼저 각 계층의 개요를 살펴보겠습니다.

Learningware Storage Layer. Beimingwu에서는 학습 자료가 압축 패키지로 저장됩니다. 이러한 압축 패키지에는 주로 모델 파일, 사양 파일, 모델 실행 환경 종속 파일, 학습 소프트웨어 구성 파일의 네 가지 유형의 파일이 포함됩니다.

이 학습 소프트웨어 압축 패키지는 학습 소프트웨어 데이터베이스에 의해 중앙에서 관리됩니다. 데이터베이스의 학습 항목 테이블에는 학습 항목 ID, 저장 경로, 학습 항목 상태(예: 미검증 및 검증)를 포함한 주요 정보가 저장됩니다. 이 데이터베이스는 Beimingwu의 후속 핵심 엔진이 학습 정보에 액세스할 수 있는 통합 인터페이스를 제공합니다.

또한 데이터베이스는 동일한 인터페이스를 사용하여 SQLite(개발 및 실험 환경에서 쉬운 설정에 적합) 또는 PostgreSQL(프로덕션 환경에서 안정적인 배포에 권장)을 사용하여 구축할 수 있습니다.

코어 엔진 레이어. Beimingwu의 단순성과 구조를 유지하기 위해 저자는 수많은 엔지니어링 세부 사항에서 핵심 구성 요소와 알고리즘을 분리했습니다. 이렇게 추출된 구성 요소는 이제 Beimingwu의 핵심 엔진인 학습 소프트웨어 Python 패키지로 사용할 수 있습니다.

시스템 핵심인 이 엔진은 학습웨어 제출, 사용성 테스트, 구성, 식별, 배포 및 재사용을 포함하여 학습웨어 패러다임의 모든 프로세스를 포괄합니다. 배경과 전경에 관계없이 독립적으로 실행되며 소프트웨어 관련 작업 학습 및 연구 실험을 위한 포괄적인 알고리즘 인터페이스를 제공합니다.

또한 사양은 엔진의 핵심 구성 요소로, 의미론적, 통계적 관점에서 각 모델을 표현하고, 학습 소프트웨어 시스템의 다양한 중요 구성 요소를 연결합니다. 개발자가 모델을 제출할 때 생성된 사양 외에도 엔진은 시스템 지식을 사용하여 소프트웨어 학습을 위한 새로운 시스템 사양을 생성할 수 있으므로 학습 소프트웨어 관리를 강화하고 기능을 더욱 특성화할 수 있습니다.

Hugging Face와 같은 기존 모델 관리 플랫폼은 모델을 수동적으로 수집하고 호스팅하므로 사용자가 모델의 기능과 작업 관련성을 스스로 결정할 수 있습니다. 반면 Beimingwu는 엔진을 사용하여 완전히 새로운 모델을 만듭니다. 시스템 아키텍처는 학습 자료를 사전에 관리합니다. 이러한 능동적 관리는 수집 및 저장에만 국한되지 않고 프로토콜에 따라 학습 자료를 구성하고 사용자 작업 요구 사항에 따라 관련 학습 자료를 일치시킬 수 있으며 해당 학습 소프트웨어 재사용 및 배포 방법을 제공합니다.

핵심 모듈 디자인은 다음과 같습니다:

시스템 백엔드 레이어. Beimingwu의 안정적인 배포를 위해 저자는 핵심 엔진 계층을 기반으로 시스템 백엔드를 개발했습니다. 여러 모듈의 설계와 대규모 엔지니어링 개발을 통해 Beimingwu는 이제 온라인으로 안정적으로 배포할 수 있는 능력을 갖추게 되었으며 프런트엔드와 클라이언트에 통합된 백엔드 응용 프로그램 인터페이스를 제공합니다.

시스템의 효율적이고 안정적인 운영을 보장하기 위해 저자는 비동기 학습 소프트웨어 검증, 여러 백엔드 노드에 걸친 높은 동시성, 인터페이스 수준 권한 관리, 백엔드를 포함하여 시스템 백엔드 계층에서 다양한 엔지니어링 최적화를 수행했습니다. 데이터베이스 읽기-쓰기 분리, 시스템 데이터 자동 백업.

사용자 인터페이스 레이어. Beimingwu 사용자의 사용을 용이하게 하기 위해 저자는 네트워크 기반 브라우저 프런트 엔드 및 명령줄 클라이언트를 포함하여 해당 사용자 인터페이스 계층을 개발했습니다.

웹 기반 프런트 엔드는 사용자 버전과 관리자 버전을 모두 제공하여 다양한 사용자 상호 작용 및 시스템 관리 페이지를 제공합니다. 또한 Beimingwu 시스템에 대한 원활한 액세스를 위해 다중 노드 배포를 지원합니다.

명령줄 클라이언트는 learningware Python 패키지와 통합되어 있습니다. 해당 인터페이스를 호출함으로써 사용자는 프런트 엔드를 통해 백엔드 온라인 API를 호출하여 학습 소프트웨어의 관련 모듈 및 알고리즘에 액세스할 수 있습니다.

실험 평가

섹션 5에서 저자는 사양 생성, 런웨어 식별 및 테이블, 이미지 및 텍스트 데이터에 대한 재사용을 위한 벤치마크 알고리즘을 평가하기 위해 다양한 유형의 기본 실험 시나리오를 구성합니다.

테이블 형식 데이터 실험

다양한 테이블 형식 데이터 세트에서 저자는 먼저 사용자 작업과 동일한 기능 공간을 갖는 러닝웨어 시스템에서 러닝웨어를 식별하고 재사용하는 성능을 평가합니다. 또한 테이블 형식 작업은 일반적으로 다양한 기능 공간에서 발생하므로 저자는 다양한 기능 공간에서 학습 아티팩트의 식별 및 재사용도 평가했습니다.

동질적 사례

동질적 사례에서 PFS 데이터세트의 53개 매장은 53명의 독립 사용자 역할을 합니다. 각 매장은 자체 테스트 데이터를 사용자 작업 데이터로 활용하고 통합된 기능 엔지니어링 접근 방식을 채택합니다. 그러면 이러한 사용자는 자신의 작업과 동일한 기능 공간을 공유하는 동종 학습 항목에 대한 기본 시스템을 검색할 수 있습니다.

사용자에게 레이블이 지정된 데이터가 없거나 레이블이 지정된 데이터의 양이 제한되어 있는 경우 저자는 다양한 기준 알고리즘을 비교했으며 전체 사용자의 평균 손실은 그림 6에 표시됩니다. 왼쪽 표는 시장에서 런웨어를 무작위로 선택하고 배포하는 것보다 데이터 없는 접근 방식이 훨씬 낫다는 것을 보여줍니다. 오른쪽 차트는 사용자가 제한된 훈련 데이터를 가지고 있는 경우 단일 또는 다중 런웨어를 식별하고 재사용하는 것이 사용자가 훈련한 것보다 낫다는 것을 보여줍니다. 모델. 더 나은 성능.

이종 사례

시장에 있는 소프트웨어와 사용자 작업 간의 유사성을 기반으로 이종 사례는 다양한 기능 엔지니어링과 다양한 작업 시나리오로 더 나눌 수 있습니다.

다양한 기능 엔지니어링 시나리오: 그림 7의 왼쪽에 표시된 결과는 사용자에게 주석 데이터가 부족하더라도 시스템의 학습 소프트웨어, 특히 여러 학습 소프트웨어를 재사용하는 AverageEnsemble 방법에서 강력한 성능을 보여줄 수 있음을 보여줍니다.

다양한 미션 시나리오. 그림 7의 오른쪽은 사용자가 학습한 모델의 손실 곡선과 여러 학습웨어 재사용 방법을 보여줍니다. 분명히, 이질적인 학습 구성 요소에 대한 실험적 검증은 사용자가 주석을 추가한 데이터의 양이 제한되어 있을 때 유익하고 사용자의 기능 공간에 더 잘 맞추는 데 도움이 됩니다.

이미지 및 텍스트 데이터 실험

또한 저자는 이미지 데이터 세트에 대한 시스템 기본 평가를 수행했습니다.

그림 8은 사용자가 주석이 달린 데이터가 부족하거나 제한된 양의 데이터(인스턴스 2000개 미만)만 있는 경우 학습 기반 시스템을 활용하면 좋은 성능을 얻을 수 있음을 보여줍니다.

마지막으로 저자는 벤치마크 텍스트 데이터 세트에서 시스템에 대한 기본 평가를 수행했습니다. 통합 특징 추출기를 통한 특징 공간 정렬.

결과는 그림 9에 나와 있습니다. 다시 말하지만, 주석 데이터가 제공되지 않는 경우에도 학습웨어 식별 및 재사용을 통해 달성한 성능은 시스템 내 최고의 학습웨어와 비슷합니다. 또한 학습 기반 시스템을 활용하면 모델을 처음부터 훈련하는 것에 비해 약 2000개의 샘플이 줄어듭니다.

자세한 연구 내용은 원문을 참고해주세요.

위 내용은 대형 모델 시대에 NTU Zhou Zhihua는 소프트웨어 연구에 몰두하고 있으며 그의 최신 논문은 온라인에 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!