데이터 과학 팀의 이러한 역할에 대해 알아야 할 사항

번역가 | Li Rui

리뷰어 | Sun Shujuan

세계적으로 유명한 스트리밍 서비스 Netflix는 2017년에 별 5개 등급 시스템을 "좋아요" 및 "좋아요"(싫어요)로 변경했습니다. 시스템은 일치율을 기준으로 영화를 추천할 수 있지만 일부 사람들은 이를 불쾌하게 여깁니다. 그렇다면 영화 예술의 모든 뉘앙스를 어떻게 하나의 원시적인 이진 반응으로 줄일 수 있을까요?

사실 Netflix는 사람들이 영화를 좋다고 생각했지만 반드시 그런 것은 아니라고 평가했다는 사실을 발견했습니다. 적어도 그것이 데이터가 말하는 것입니다. 그렇다면 Netflix와 같은 회사에서는 데이터 분석이 어떻게 작동합니까? 데이터사이언스팀의 역할은 무엇인가요?

NETFLIX 피드백 시스템

Gibson Biddle은 Netflix의 전 부사장 겸 최고 제품 책임자입니다. 그는 소비자 인사이트에 대해 말하면서 전체 평가 시스템의 변화를 가져온 예상치 못한 고객 행동에 대해 설명했습니다. 비율 일치로 변환하면 시청자가 Adam Sandler 코미디를 재미있게 시청할 수 있지만 등급은 별 3개까지 낮을 수 있지만 시청자는 Schindler's List를 시청하는 것이 좋아 별 5개 등급을 부여할 수 있습니다. , 하지만 그것이 전반적인 즐거움을 더해 주지는 않으며, 구독자를 행복하게 유지하는 것이 Netflix에 매우 중요합니다. 따라서 편견을 피하기 위해 피드백 시스템을 단순화했습니다. 그러나 이러한 고객 통찰력은 그 자체로 인상적이며, 데이터 사용을 장려하는 문화와 강력한 데이터 인프라 없이는 불가능할 것입니다. 기술적인 용어로 이를 데이터 기반 조직이라고 합니다. ​

Data-Driven Organization

사람들은 "데이터 중심"이라는 유명한 용어를 여러 번 들어보셨을 것입니다. 하지만 실제로 그 의미는 무엇입니까? Netflix만 해도 로그인, 영화 썸네일 클릭, 동영상 일시 중지, 자막 켜기 등 매일 7천억 개가 넘는 이벤트를 기록합니다. 이 모든 데이터는 사용자에게 제공됩니다. 누구나 Tableau 또는 Jupiter와 같은 시각화 도구를 사용하여 액세스할 수 있으며, 사용자가 보고서를 검사하고, 보고서를 생성하고, 필요한 정보를 쿼리할 수 있는 환경인 빅 데이터 포털을 통해 액세스할 수도 있습니다. 그런 다음 이 데이터는 작은 썸네일(예: 표시할 썸네일)부터 기업 결정(예: Netflix가 다음에 투자하고 출시해야 하는 것을 보여 주는 것)에 이르기까지 비즈니스 결정을 내리는 데 사용됩니다.

넷플릭스만 데이터 중심 조직이 아닙니다. 포춘 1000대 기업 중 약 97%가 인공지능, 빅데이터 등 프로젝트에 투자하는 것으로 추산된다. 실제 데이터 인프라 기술과 이를 구현하는 데이터 엔지니어를 살펴보세요.

데이터 인프라 기술

데이터 인프라의 작동 방식을 설명하기 위해 기술자들은 일반적으로 액체나 가스를 운반하는 "파이프"라는 용어를 빌립니다. 데이터 파이프라인에는 자체 시작점, 끝점 및 중간 스테이션이 있습니다. 그래서 이것은 매우 적절한 비유입니다. 데이터 소스는 보류 버튼을 클릭하고 페이지를 새로 고치는 것에서부터 고객 지원과의 녹음된 대화, 차량 추적 장치, 발전소의 터빈 진동 센서에 이르기까지 무엇이든 될 수 있습니다. 오늘날의 세계에서는 데이터 없이도 사람들에게 무엇인가를 전달할 수 있는 생성 불가능한 것이 무엇인지 말하기가 실제로 어렵습니다.

데이터 항목이 생성되면 파이프라인을 따라 준비 영역으로 이동합니다. 여기에는 모든 원시 데이터가 저장됩니다. 원시 데이터는 아직 사용할 준비가 되지 않았습니다. 당신은 준비해야합니다. 그렇지 않은 경우에는 공백을 메우고 형식을 변경하거나 다양한 소스의 데이터를 결합하여 보다 미묘한 관점을 얻어야 합니다. 이러한 작업이 완료되면 구조화되고 정리된 데이터를 갖게 됩니다. 이러한 모든 작업은 자동으로 수행됩니다. 그것들은 두 단어로 설명됩니다.

• 추출: 데이터 소스에서 데이터를 추출하여 준비 영역으로 보냅니다.
• 변환: 사용할 데이터를 준비하고 로드하여 준비된 데이터를 ETL로 추가로 푸시합니다.

준비된 모든 데이터는 또 다른 저장소인 데이터 웨어하우스로 들어갑니다.

데이터 웨어하우스

스테이징 영역과 달리 데이터 웨어하우스는 저장된 모든 기록이 구조화되어 있고 바로 사용할 수 있는 곳입니다. 도서관의 분류 시스템과 마찬가지로 창고의 정보를 조회하고 시각화하고 다운로드할 수 있습니다. 이를 위해서는 비즈니스 인텔리전스(BI) 소프트웨어가 필수다. 최종 사용자에게 데이터를 제공합니다.

데이터 리스팅 및 비즈니스 분석가

데이터 리스팅 및 비즈니스 분석가는 기본적인 업무를 수행하는 사람들입니다. 그들은 데이터에 접근하고, 탐색하고, 시각화하고, 비즈니스에 의미를 부여하려고 노력합니다. 예를 들어, 회사의 마케팅 캠페인이 성공적인가요? 실적이 가장 좋지 않은 채널은 무엇입니까? 이는 감각 시스템처럼 작동하여 과거 데이터로 비즈니스를 지원하고 경영진과 궁극적으로 의사 결정자에게 통찰력을 제공합니다.

데이터 엔지니어

데이터 엔지니어는 전체 파이프라인 구축을 담당합니다. 대부분의 기술자는 "배관"이라는 작업에 정통합니다. 파이프라인을 통해 소스에서 대상으로 데이터를 이동하고 그 과정에서 변환합니다. 그들은 파이프라인 아키텍처를 설계하고, ETL 프로세스를 설정하고, 웨어하우스를 구성하고 이를 보고 도구와 연결합니다. 예를 들어 Airbnb에는 약 50명의 데이터 엔지니어가 있습니다. 회사는 때때로 몇 가지 추가 규칙이 포함된 보다 정교한 접근 방식을 접할 수도 있습니다. 예를 들어, 데이터 품질 엔지니어는 데이터가 올바르게 캡처되고 변환되는지 확인합니다. 편향되거나 부정확한 데이터를 가지고 있으면 그것으로부터 결정을 내리려고 할 때 비용이 너무 많이 듭니다. ETL만을 담당하는 엔지니어가 별도로 있을 수도 있습니다. 또한 비즈니스 인텔리전스 개발자는 보고 및 시각화 도구 통합에만 중점을 둡니다. 그러나 보고 도구는 헤드라인을 장식하지 않으며 데이터 엔지니어는 21세기 최고의 직업이 아니지만 기계 학습과 데이터 과학자는 아마도 그럴 것입니다.

기계 학습 및 데이터 과학자

데이터 과학자가 특히 데이터를 수집하고 이에 대한 복잡한 질문(예: 회사의 다음 분기 수익은 얼마입니까?)에 답하는 데 능숙하다는 것은 잘 알려져 있습니다. Uber에서 예약한 차량은 언제 도착하나요? 쉰들러 리스트(Schindler's List)와 언컷 젬스(Uncut Gems)를 좋아할 가능성은 얼마나 되나요?

실제로 이 질문에 답하는 방법에는 두 가지가 있습니다. 데이터 과학자는 비즈니스 분석가 및 데이터 분석가와 마찬가지로 비즈니스 인텔리전스 도구 및 웨어하우스 데이터를 사용하여 작업합니다. 그래서 그들은 창고에서 데이터를 얻을 것입니다. 때때로 데이터 과학자는 구조화되지 않은 사기 데이터를 위한 또 다른 유형의 스토리지인 데이터 레이크를 사용합니다. 그들은 예측 모델을 만들고 경영진이 사용할 수 있는 예측을 제시합니다. 예상 수익을 일회성 보고하는 데는 좋지만 Uber 약속을 위한 차량 도착 시간을 예측하는 데는 도움이 되지 않습니다.

머신 러닝의 진정한 가치는 생산 모델이 자동으로 작동하고 정기적으로 복잡한 질문에 대한 답변을 초당 수천 번 생성할 수 있다는 점이며, 처리할 수 있는 작업은 훨씬 더 복잡합니다.

머신러닝 모델 제작

모델이 작동하려면 인프라도 필요합니다. 때로는 이것이 큰 문제가 됩니다. 데이터 과학자는 데이터 웨어하우스와 데이터 레이크의 데이터를 탐색하고, 이에 대한 실험을 수행하고, 알고리즘을 선택하고, 모델을 교육하여 최종 기계 학습 코드를 생성합니다. 이를 위해서는 통계 데이터베이스, 기계 학습 알고리즘 및 주제 영역에 대한 깊은 이해가 필요합니다.

SLAC의 전 데이터 엔지니어링 책임자인 Josh Wills는 트위터에서 "데이터 과학자는 어떤 소프트웨어 엔지니어링보다 통계에 능숙한 사람들입니다."라고 말했습니다.

예를 들어 주문자는 ubereats 소프트웨어를 사용하여 음식을 주문합니다. 사용자가 주문을 확인하면 애플리케이션은 배달 시간, 주문자의 위치, 레스토랑 및 배달 예측 기계 학습 모델이 배포된 서버로 전송될 주문 데이터를 추정해야 합니다. 그러나 이러한 데이터만으로는 충분하지 않습니다. 또한 이 모델은 평균 레스토랑 준비 시간 및 기타 세부 정보가 포함된 별도의 데이터베이스에서 추가 데이터를 가져옵니다. 모든 데이터를 사용할 수 있게 되면 모델은 주문자에게 예측을 반환합니다. 그러나 프로세스는 여기서 끝나지 않습니다. 예측 자체는 별도의 데이터베이스에 저장됩니다. 모델 성능을 모니터링하고, 추후 업데이트가 가능하도록 분석 도구를 통해 모델을 탐색하는 것을 목표로 할 예정입니다. 이 모든 데이터는 데이터 레이크와 데이터 웨어하우스에 저장됩니다.

실제로 ubereats 음식 주문 서비스만으로도 수백 가지의 다양한 모델을 동시에 사용하여 추천 점수를 매기고, 검색에서 레스토랑 순위를 매기고, 배달 시간을 추정합니다.

결론

Foursquare의 핵심 기술 책임자인 Adam Waxman은 미래에는 더 이상 데이터 과학자나 기계 학습 엔지니어가 없을 것이라고 믿습니다. 모델 훈련의 자동화와 생산 환경의 지속적인 구축으로 인해 많은 데이터 과학자들이 작업은 개발의 소프트웨어 공통 기능이 될 것입니다.

원제: ​​Roles in Data Science Teams​​, 저자: Anomi Ragendran

위 내용은 데이터 과학 팀의 이러한 역할에 대해 알아야 할 사항의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!