MLOps: 기업이 동일한 DIY 실수를 반복하고 있나요?

번역가 | Cui Hao

Reviewer | Sun Shujuan

Opening

일반적으로 기업이 자체 클라우드 컴퓨팅 인프라 구축에 앞장서지 않는 데에는 이유가 있습니다. 지난 10년 동안 IT 인프라 팀은 프라이빗 클라우드가 퍼블릭 클라우드보다 더 비용 효율적으로 비즈니스를 지원할 것이라고 믿었기 때문에 자체 프라이빗 클라우드를 구축하려고 시도했습니다. 하지만 기대와는 달리 프라이빗 클라우드에 소요되는 시간과 비용이 기대를 뛰어넘었습니다. 프라이빗 클라우드를 구축한 후에는 이를 유지하기 위해 더 많은 리소스가 필요했고, 보안과 확장성 측면에서 퍼블릭 클라우드에 비해 다소 뒤떨어졌습니다. 결과적으로 자체 프라이빗 클라우드를 구축하는 기업은 결국 핵심 비즈니스에 투자할 자원이 더 많아지지 않고, 대신 비즈니스 요구를 확장할 수 없는 인프라에 많은 시간과 인력을 투자하게 됩니다.

현재 많은 기업에서는 다양한 오픈 소스 도구(예: Apache Spark)를 통해 솔루션을 생성하지만 대부분의 MLOps 작업에는 반복적인 수동 작업이 필요합니다.

이로 인해 모델 배포에 몇 주 또는 몇 달이 걸리고, 런타임이 비효율적이며(실행에 필요한 계산 및 추론 시간으로 측정), 모델 테스트 및 모니터링에 대한 관찰이 부족합니다. 또한 사용된 접근 방식은 너무 맞춤화되어 기업의 다양한 부분에서 다양한 사용 사례에 확장 가능하고 재사용 가능한 비즈니스 프로세스를 제공할 수 없었습니다.

문제가 잘못 진단된 사례

또한 비즈니스 라인 리더 및 최고 데이터 분석 책임자와의 대화를 통해 조직이 많은 데이터 과학자를 고용했지만 아무런 수익도 얻지 못했다는 결론에 도달했습니다. 연구가 심화됨에 따라 계속해서 다양한 질문을 던지고 이러한 질문을 활용하여 인공지능이 직면한 어려움과 장애물을 식별할 것입니다. 그들은 핵심 문제가 "라스트 마일"에 있다는 것을 빨리 깨달았습니다. 즉, 모델을 배포하고 이를 실시간 데이터에 적용하고 효율적으로 실행하여 비용보다 이익이 더 크기 때문에 성능을 더 잘 측정하는 것이었습니다.

비즈니스 문제를 해결하고 비즈니스 결정을 내리기 위해 데이터 과학자는 데이터를 모델로 변환합니다. 이 프로세스는 훌륭한 모델을 구축하는 데 필요한 전문 지식과 기술, 그리고 코드를 사용하여 모델을 모니터링하고 업데이트하면서 실제 세계에서 모델을 구동하는 기술이라는 두 가지 기술 세트로 지원됩니다. 그러나 이 두 가지 유형의 기술은 완전히 다릅니다.

ML 엔지니어가 참여하는 것은 바로 이러한 차이 때문입니다. ML 엔지니어는 도구와 프레임워크를 통합하여 데이터, 파이프라인, 인프라가 함께 작동하여 대규모 ML 모델을 생성할 수 있도록 합니다.

그럼 이제 어떻게 해야 할까요? 머신러닝 엔지니어를 더 고용하시겠습니까?

최고의 ML 엔지니어가 있더라도 기업은 AI 확장 시 여전히 두 가지 주요 문제에 직면합니다.

• ML 엔지니어를 신속하게 고용할 수 없음: ML 엔지니어에 대한 수요가 너무 강해 ML 엔지니어 구인이 IT 서비스보다 빠르게 증가하고 있습니다. 30배 빠르게 성장합니다. 때로는 자리가 채워지기까지 몇 달 또는 몇 년을 기다리는 경우 MLOps 팀은 ML 애플리케이션에 대한 수요를 충족하기 위해 ML 엔지니어의 인원을 늘리지 않고도 더 많은 ML 모델과 사용 사례를 지원할 수 있는 효율적인 방법을 찾아야 합니다. 그러나 이로 인해 두 번째 병목 현상이 발생합니다...
• 모델 구축 장소와 방법에 관계없이 모델 배포에 대한 반복 가능하고 확장 가능한 모범 사례가 부족합니다. 현대 기업 데이터 생태계의 현재 상태는 서로 다른 사업부에서 서로 다른 데이터 플랫폼을 사용하게 된다는 것입니다. 데이터 및 기술 요구 사항(예: 제품 팀은 스트리밍 데이터를 지원해야 하는 반면 재무 팀은 기술 지식이 없는 사용자를 위한 간단한 쿼리 인터페이스를 제공해야 할 수 있음) 또한 데이터 과학에는 애플리케이션을 중앙 집중화하는 대신 비즈니스 단위 전체에 분산된 애플리케이션이 필요합니다. 즉, 다양한 데이터 과학 팀은 자신이 중점을 두는 사용 사례(도메인)에 대한 고유한 모델 교육 프레임워크 세트를 보유하고 있습니다. 즉, 모든 기업에 적용되는 일률적인 교육 프레임워크를 전체 기업(다중 부서/도메인)의.

인공지능의 가치를 극대화하는 방법

대규모 사용자 개인화된 경험을 제공하기 위해 기업은 다음 사항에 투자했습니다. 10억 달러. 그러나 지금까지는 AI 투자의 약 10%만이 상당한 ROI를 창출하는 등 AI의 약속과 결과 사이에 큰 격차가 있었습니다.

마지막으로 MLOps 문제를 해결하려면 최고 데이터 분석 책임자가 비즈니스 핵심인 데이터 과학을 중심으로 자체 역량을 구축하는 동시에 MLOps 자동화와 관련된 다른 기술에도 투자해야 합니다. 이는 흔히 발생하는 '구축 대 구매' 딜레마입니다. 이는 운영 측면(비용-편익)에서만 고려되는 것이 아니라 기업 전반에 침투하는 AI 투자의 속도와 효율성, 그리고 새로운 방법이 가능한지 여부도 고려해야 합니다. 더 나은 방법으로 제품과 고객 기반을 창출하거나 자동화를 강화하고 낭비를 줄여 비용을 절감합니다.

번역가 소개

Cui Hao, 51CTO 커뮤니티 편집자, 수석 건축가는 18년의 소프트웨어 개발 및 아키텍처 경험과 10년의 분산 아키텍처 경험을 보유하고 있습니다. 이전에는 HP의 기술 전문가였습니다. 그는 공유할 의지가 있으며 600,000회 이상 읽힌 많은 인기 기술 기사를 작성했습니다. "분산 아키텍처의 원리와 실제"의 저자입니다.

원제:​​MLOps | 기업은 동일한 DIY 실수를 반복하고 있습니까?​?​

위 내용은 MLOps: 기업이 동일한 DIY 실수를 반복하고 있나요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!