책임 있는 기계 학습 - '유리 상자' 접근 방식

번역가 | Cui Hao

리뷰어 | Sun Shujuan

Opening

머신러닝은 심오한 기술이 아닙니다. 복잡한 심층 신경망의 다중 매개변수 및 초매개변수 방법이 인지 컴퓨팅의 한 형태인 것처럼 그다지 심오해 보이지는 않습니다.

다른 유형의 기계 학습(일부는 심층 신경망과 관련됨)이 있으며 이러한 유형의 기계 학습의 모델 결과, 모델 결정 및 모델에 영향을 미치는 복잡성은 모두 매우 투명합니다.

이 모든 것은 조직이 데이터 소스를 얼마나 잘 이해하고 있는지에 달려 있습니다.

즉, 모델 학습 데이터부터 생산 데이터 모델까지 모든 것을 이해해야 합니다. 또한 결과를 해석하고 개선하며 개선하는 데도 필수적입니다. 이러한 방식으로 조직은 모델의 비즈니스 가치를 크게 높일 수 있습니다.

더 중요한 것은 이 기술의 공정성, 책임성, 투명성이 더욱 향상되어 사회 전체가 더욱 신뢰할 수 있고 완전해질 수 있다는 것입니다.

Databricks 마케팅 부사장인 Joel Minnick은 다음과 같이 인정합니다. "책임감 있게 기계 학습을 수행하려면 데이터 업스트림과 다운스트림에 대한 세부적인 이해가 필요한 이유입니다." 데이터 소스, 데이터 변환, 데이터 통합 ​​등 다양한 기술이 필요합니다. 성숙한 데이터 카탈로그 솔루션에서는 실시간 데이터 캡처가 가능하므로 언제든지 진행 상황을 모니터링하여 모델의 실행 진행 상황을 이해할 수 있습니다. "이를 통해 모델에서 데이터를 사용하는 맥락을 명확하게 이해할 수 있습니다. 또한 이 데이터는 어디에서 왔습니까? 이 데이터에서 얻은 다른 데이터는 무엇입니까? 언제 생성되었습니까? 그래서 더 잘 이해할 수 있습니다. 이 데이터를 어떻게 사용해야 할까요?" 데이터 과학자 Minnick이 말했습니다.

"데이터 계보"(데이터 소스 기록, 이동 및 처리)는 메타데이터로 구성되며 데이터 디렉토리는 관련 데이터 세트를 저장하는 데 사용됩니다. 또한 카탈로그를 사용하면 사용자가 태그 및 기타 설명자를 추가 메타데이터로 포함할 수 있으므로 데이터 출처를 추적하고 데이터에 대한 신뢰를 구축하는 데 도움이 됩니다. Minnick이 설명하는 "데이터 계보"는 다양한 플랫폼(데이터 과학자 플랫폼, 데이터 엔지니어 플랫폼 및 최종 사용자 플랫폼 포함)을 연결하는 "API 기반 서비스"를 생성할 수 있습니다.

데이터 거버넌스: 데이터 과학을 위해 탄생

데이터 훈련 및 데이터 운영의 향상된 추적성은 기계 학습 모델의 결과에 영향을 미치며, 모델 결과는 데이터 과학 분야의 데이터 거버넌스와 밀접한 관련이 있습니다. 따라서 데이터 거버넌스는 모델을 생성하고 배포하는 데이터 과학 플랫폼과 불가분의 관계가 있습니다. Minnick은 “Skills는 스프레드시트와 파일을 관리하고, 노트북을 관리하고, 대시보드를 동시에 관리합니다. 이는 생산 및 소비 데이터를 관리하는 현대적인 방법입니다.”라고 말했습니다. 이 말은 노트북에서 모델을 구축하고 대시보드를 통해 출력을 모니터링하는 데이터 과학자에게 적용됩니다.

명확하고 투명함

그럼에도 불구하고 단순히 API를 통해 데이터 과학 도구 플랫폼에 연결하여 "데이터 계보"를 얻는 것은 기계 학습을 투명하게 활용하는 한 가지 측면일 뿐입니다. 모델의 출력 향상이라는 목적을 달성하려면 출력 모델도 데이터 계보에서 결정된 내용으로 보정되어야 합니다. 예를 들어, 데이터 과학자가 "일부 데이터에 문제가 있는지 이해하고 데이터의 해당 부분을 격리할 수 있도록" 데이터 추적성을 모델링하는 방법이 있다고 Minnick은 말했습니다.

논리적으로 이 지식은 특정 데이터 유형에 문제가 있는 이유를 이해하고 이를 수정하거나 완전히 제거하여 모델의 정확도를 높이는 데 사용될 수 있습니다. Minnick에 따르면, “오늘날 다양한 산업 분야에서 기계 학습과 인공 지능의 등장으로 인해 점점 더 많은 조직이 모델 결과에 “데이터 계보”를 적용함으로써 얻을 수 있는 이점을 깨닫고 있습니다. 작년에 AutoML 제품에서는 데이터 소스에 대한 투명성을 나타내기 위해 "유리 상자"를 사용했습니다.

규제 결과 등

일부 조직에서는 "데이터 계보"가 제공하는 적응형 인지 컴퓨팅 모델의 기능도 활용합니다. 규정 준수 기능. 금융 및 의료와 같은 산업은 규제가 심하므로 기업은 고객을 위해 의사 결정을 내리는 방법을 명확하게 설명해야 합니다. 데이터 추적성은 기계 학습 모델을 구축하고 모델 결과를 이해하기 위한 로드맵을 생성하므로 규정 준수에 매우 중요합니다.

이 정보는 내부 감사에도 도움이 되어 기업이 규제 영역에서 어디에서 실패하는지 이해하고 위반을 방지하기 위해 문제를 수정할 수 있습니다. Minnick은 "테이블 전체뿐만 아니라 해당 데이터가 광범위한 조직 전반에 걸쳐 어디에서나 사용될 수 있는 곳에서 매우 세부적인 데이터 계보 정보를 규제 기관에 제공할 수 있는 것이 정말 중요합니다."라고 주장합니다. 이러한 장점이 데이터 소스가 모델 정확도를 향상시킨다는 아이디어와 일치할 때 이 접근 방식은 이 기술을 배포하는 모범 사례가 될 가능성이 높습니다.

번역가 소개

Cui Hao, 51CTO 커뮤니티 편집자, 수석 건축가는 18년의 소프트웨어 개발 및 아키텍처 경험과 10년의 분산 아키텍처 경험을 보유하고 있습니다. 이전에는 HP의 기술 전문가였습니다. 그는 공유할 의지가 있으며 600,000회 이상 읽힌 많은 인기 기술 기사를 작성했습니다. "분산 아키텍처의 원리와 실제"의 저자입니다.

원제: ​​책임 있는 기계 학습을 위한 "유리 상자" 접근 방식​​​, 저자: Jelani Harper​

위 내용은 책임 있는 기계 학습 - '유리 상자' 접근 방식의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!