머신러닝 시스템 아키텍처의 10가지 요소

지금은 AI 역량 강화 시대이며, 머신러닝은 AI를 달성하기 위한 중요한 기술적 수단입니다. 그렇다면 보편적인 머신러닝 시스템 아키텍처가 존재하는 걸까요?

숙련된 프로그래머의 인지 범위에서는 무엇이든 아무것도 아닙니다. 특히 시스템 아키텍처의 경우 더욱 그렇습니다. 그러나 대부분의 기계 학습 기반 시스템이나 사용 사례에 적용할 수 있는 경우 확장 가능하고 안정적인 기계 학습 시스템 아키텍처를 구축하는 것이 가능합니다. 기계 학습 수명 주기의 관점에서 볼 때 이 소위 범용 아키텍처는 기계 학습 모델 개발부터 교육 시스템 및 서비스 시스템 배포, 생산 환경에 이르기까지 주요 기계 학습 단계를 다룹니다. 우리는 이러한 머신러닝 시스템 아키텍처를 10가지 요소의 차원에서 설명할 수 있습니다.

1. 데이터 및 기능 엔지니어링 파이프라인

주어진 시간에 고품질 데이터를 제공하고 확장 가능하고 유연한 방식으로 유용한 기계 학습 기능을 생성합니다. 일반적으로 데이터 파이프라인은 특성 엔지니어링 파이프라인과 분리될 수 있습니다. 데이터 파이프라인은 ETL(추출, 변환 및 로딩) 파이프라인을 말하며, 데이터 엔지니어는 객체 스토리지에 구축된 데이터 레이크와 같은 저장 위치로 데이터를 전송하는 일을 담당하고, 특성 엔지니어링 파이프라인은 원시 데이터를 데이터로 변환하는 데 중점을 둡니다. 머신러닝 알고리즘이 더 빠르고 정확하게 학습하는 머신러닝 기능을 도울 수 있습니다.

특성 엔지니어링은 일반적으로 두 단계로 나뉩니다. 첫 번째 단계에서는 일반적으로 개발 단계에서 데이터 과학자가 최상의 기능 세트를 찾기 위해 다양한 실험을 통해 기능 엔지니어링 로직을 생성하고, 데이터 엔지니어 또는 기계 학습 엔지니어는 모델 교육을 위한 기능 엔지니어링 파이프라인 생성을 담당합니다. 환경의 생산 서비스는 고품질 기능 데이터를 제공합니다.

2. 특징 저장

머신러닝 특징 데이터를 저장하고, 검색, 공유, 재사용을 위한 버전 관리를 수행하며, 모델 훈련 및 서비스를 위한 일관된 데이터 및 머신러닝 기능을 제공하여 머신러닝 시스템의 신뢰성을 향상시킵니다.

머신러닝 특성 데이터에 대응하는 특성 저장소는 특성 엔지니어링 파이프라인을 통해 생성된 영구 저장소 솔루션입니다. 특성 저장소는 모델 훈련 및 제공을 지원합니다. 따라서 엔드투엔드 머신러닝 시스템 아키텍처의 매우 중요한 부분이자 중요한 구성 요소입니다.

3. 기계 학습 모델 훈련 및 재훈련 파이프라인

기계 학습 훈련을 위해 다양한 매개변수와 하이퍼 매개변수를 실행하고, 간단하고 구성 가능한 방식으로 실험을 수행하고, 이러한 훈련이 Performance에서 실행되는 다양한 매개변수와 모델을 기록합니다. 최고 성능의 모델을 자동으로 평가, 검증, 선택하고 기계 학습 모델 라이브러리에 기록합니다.

4. 학습 및 모델의 메타저장

매개변수, 표시기, 코드, 구성 결과 및 학습된 모델을 포함한 기계 학습 실행을 저장하고 기록하며 모델 수명 주기 관리, 모델 주석, 모델 검색 및 모델 재사용 및 기타 기능을 제공합니다.

엔지니어링, 모델 훈련, 모델 제공을 특징으로 하는 완전한 기계 학습 시스템의 경우 데이터에서 대량의 메타데이터가 생성될 수 있습니다. 이 모든 메타데이터는 시스템 작동 방식을 이해하고, 데이터->기능->모델->서버에서 추적성을 제공하고, 모델 작동이 중지될 때 디버깅을 위한 유용한 정보를 제공하는 데 매우 유용합니다.

5. 머신러닝 모델 서비스 파이프라인

전체 서비스와 대기 시간을 모두 고려하여 프로덕션 환경에서 머신러닝 모델을 사용하기 위한 적절한 인프라를 제공합니다.

일반적으로 서비스 모드에는 일괄 서비스, 스트리밍 서비스, 온라인 서비스의 세 가지가 있습니다. 각 서비스 유형에는 완전히 다른 인프라가 필요합니다. 또한 인프라는 내결함성이 있어야 하며 특히 비즈니스에 중요한 기계 학습 시스템의 경우 요청 및 처리량 변동에 따라 자동으로 확장되어야 합니다.

6. 프로덕션 환경에서 ML 모델 모니터링

프로덕션 환경에서 데이터와 모델 드리프트 및 이상 징후가 발견되면 데이터 수집, 모니터링, 분석, 시각화 및 알림 기능이 제공되며 시스템 디버깅을 지원하는 데 필요한 정보가 제공됩니다.

7. 기계 학습 파이프라인

특정 기계 학습 워크플로와 비교하여 기계 학습 파이프라인은 데이터 과학자가 고품질 코드를 유지하고 생산 시간을 단축하면서 더 빠르게 개발하고 반복할 수 있는 재사용 가능한 프레임워크를 제공합니다. 일부 기계 학습 파이프라인 프레임워크는 오케스트레이션 및 아키텍처 추상화 기능도 제공합니다.

8. 워크플로 오케스트레이션

워크플로 오케스트레이션은 엔드투엔드 기계 학습 시스템을 통합하고 이러한 모든 주요 구성 요소의 종속성을 조정 및 관리하는 핵심 구성 요소입니다. 워크플로 조정 도구는 로깅, 캐싱, 디버깅, 재시도 등의 기능도 제공합니다.

9. 지속적 통합/지속적 교육/지속적 전달(CI/CT/CD)

지속적 테스트 및 지속적 통합은 새로운 데이터로 새로운 모델을 지속적으로 교육하고, 필요할 때 모델 성능을 업그레이드하고, 보안, 민첩성 및 자동화 방식을 유지하는 것을 의미합니다. 지속적으로 프로덕션 환경을 제공하고 모델을 배포합니다.

10. 데이터 및 모델에 대한 엔드투엔드 품질 관리

엔드투엔드 기계 학습 워크플로의 각 단계에는 신뢰할 수 있는 데이터 품질 검사, 모델 품질 검사, 데이터 및 개념 드리프트 감지가 포함되어야 합니다. 머신러닝 시스템 자체가 신뢰할 수 있고 신뢰할 수 있다는 것입니다. 이러한 품질 관리 검사에는 기술 통계, 전체 데이터 형태, ​​누락된 데이터, 중복 데이터, 거의 일정한 특징, 통계 테스트, 거리 측정법, 모델 예측 품질 등이 포함됩니다.

위 내용은 머신러닝 시스템 아키텍처의 10가지 요소라고 할 수 있습니다. 실제로 전체 작업 흐름은 거의 동일하게 유지되어야 하지만 일부 요소는 조정 및 사용자 정의가 필요할 수 있습니다.

머신러닝의 시스템 아키텍처를 어떻게 조정하나요?

제품 디자인 초기에 건축 요소를 어떻게 간소화할 수 있나요?

머신러닝 시스템을 도입할 때 원래 시스템 아키텍처의 연속성을 어떻게 유지하나요?

위 내용은 머신러닝 시스템 아키텍처의 10가지 요소의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!