찾다
기술 주변기기일체 포함최적의 운송과 공정성의 적용

번역가 | Li Rui

리뷰어 | Sun Shujuan

최적의 운송은 경제학에서 시작되었으며 이제는 자원을 가장 잘 배분하는 방법으로 개발되었습니다. 최적 수송 이론의 기원은 1781년으로 거슬러 올라갑니다. 당시 프랑스 과학자 Gaspard Monge는 "지구를 움직이는" 방법과 나폴레옹 군대를 위한 요새 건설 방법을 연구했습니다. 종합적으로, 최적의 운송이란 자원이 이동해야 하는 총 거리를 최소화하면서 모든 자원(철광석 등)을 출발점(광산)에서 끝점(제철소)으로 이동하는 방법에 대한 문제입니다. 수학적으로 연구자들은 출발지와 해당 목적지 사이의 전체 거리를 최소화하면서 각 출발지를 목적지에 매핑하는 함수를 찾고 싶었습니다. 무해한 설명에도 불구하고 멍거의 개념으로 알려진 문제의 원래 개념에 대한 진전은 거의 200년 동안 정체되었습니다.

1940년대 소련 수학자 레오니드 칸토로비치(Leonid Kantorovich)는 문제의 공식화를 현대 버전으로 조정했는데, 이는 현재 몽게 칸토로프(Monge Kantorov)의 이론으로 알려져 있으며, 이는 해결책을 향한 첫 번째 단계였습니다. 여기서 참신한 점은 동일한 광산의 일부 철광석이 다른 철강 공장에 공급될 수 있다는 것입니다. 예를 들어, 광산에서 나오는 철광석의 60%는 철강 공장에 제공될 수 있고, 광산에서 나오는 철광석의 나머지 40%는 다른 철강 공장에 제공될 수 있습니다. 수학적으로 이는 더 이상 함수가 아닙니다. 이제 동일한 출발지가 잠재적으로 여러 대상에 매핑되기 때문입니다. 이에 반해, 이는 출발지 분포와 도착지 분포 사이의 결합으로 알려져 있으며, 아래 그림과 같이 파란색 분포(원산지)에서 광산을 선택하고 그림을 따라 수직으로 이동하면 철광석이 어디로 보내지는지를 알 수 있습니다. 철강 공장(목적지).

최적의 운송과 공정성의 적용

이 새로운 개발의 일환으로 Kantorivich는 Wasserstein 거리라는 중요한 개념을 도입했습니다. 지도의 두 지점 사이의 거리와 유사하게 Wasserstein 거리(원래 시나리오에서 영감을 받은 불도저 거리라고도 함)는 이 경우 파란색과 자홍색 분포와 같은 두 분포 사이의 거리를 측정합니다. 모든 철 광산이 모든 철 공장에서 멀리 떨어져 있으면 광산 분포(위치)와 철강 공장 분포 사이의 Wasserstein 거리가 커집니다. 이러한 새로운 개선에도 불구하고 철광석 자원을 운송하는 최선의 방법이 있는지 여부는 물론 어떤 방법인지는 여전히 불분명합니다. 마침내 1990년대에 수학적 분석과 최적화의 개선으로 문제가 부분적으로 해결되면서 이론이 급속히 발전하기 시작했습니다. 21세기에는 최적의 교통수단이 입자물리학, 유체역학, 심지어 통계학, 기계학습 등 다른 분야로 확산되기 시작했습니다.

현대 시대의 최적 운송

새로운 이론이 폭발적으로 증가하면서 최적 운송은 지난 20년 동안 수많은 새로운 통계 및 인공 지능 알고리즘의 중심이 되었습니다. 거의 모든 통계 알고리즘에서 데이터는 기본 확률 분포를 갖는 것으로 명시적으로 또는 암시적으로 모델링됩니다. 예를 들어, 개인 소득에 대한 데이터가 여러 국가에서 수집되면 각 국가에서 해당 인구의 소득에 대한 확률 분포가 발생합니다. 인구의 소득 분포를 기준으로 두 국가를 비교하려면 두 분포 간의 격차를 측정하는 방법이 필요합니다. 이것이 바로 교통 최적화(특히 Wasserstein 거리)가 데이터 과학에서 매우 유용한 이유입니다. 그러나 Wasserstein 거리는 두 확률 분포 사이의 거리를 측정하는 유일한 방법은 아닙니다. 실제로 물리학 및 정보 이론과의 연결로 인해 L-2 거리와 Kullback-Leibler(KL) 발산이라는 두 가지 옵션이 역사적으로 더 일반적이었습니다. 이러한 대안에 비해 Wasserstein 거리의 주요 장점은 거리를 계산할 때 값과 확률을 모두 고려하는 반면 L-2 거리와 KL 발산은 확률만 고려한다는 것입니다. 아래 이미지는 세 가지 가상 국가의 소득에 대한 인공 데이터 세트의 예를 보여줍니다.

최적의 운송과 공정성의 적용

이 경우 분포가 겹치지 않으므로 파란색과 자홍색 분포 사이의 L-2 거리(또는 KL 발산)는 파란색과 녹색 분포 사이의 L-2 거리와 거의 같습니다. . 반면, 파란색과 마젠타 분포 사이의 Wasserstein 거리는 파란색과 녹색 분포 사이의 Wasserstein 거리보다 훨씬 작을 것입니다. 그 이유는 그 값들 사이에 상당한 차이(수평 분리)가 있기 때문입니다. Wasserstein 거리의 이러한 속성은 분포 간의 차이, 특히 데이터 세트 간의 차이를 정량화하는 데 이상적입니다.

최적의 운송으로 공정성 달성

매일 대량의 데이터가 수집되면서 머신러닝은 많은 산업 분야에서 점점 더 보편화되고 있으며, 데이터 과학자들은 자신의 분석과 알고리즘이 이러한 현상을 지속시키지 않도록 점점 더 주의해야 합니다. 데이터의 일부 편차 및 편차는 영구적입니다. 예를 들어 주택 모기지 승인 데이터 세트에 신청자의 인종에 대한 정보가 포함되어 있지만 수집 과정에서 사용된 방법이나 무의식적인 편견으로 인해 소수자가 차별을 받은 경우 해당 데이터에 대해 훈련된 모델은 근본적인 편차를 반영합니다.

배송을 최적화하면 이러한 편견을 완화하고 두 가지 측면에서 공정성을 향상하는 데 도움이 될 수 있습니다. 첫 번째이자 가장 간단한 방법은 Wasserstein 거리를 사용하여 데이터 세트에 잠재적인 편향이 있는지 확인하는 것입니다. 예를 들어, 여성에게 승인된 대출 금액 분포와 남성에게 승인된 대출 금액 분포 사이의 Wasserstein 거리를 추정할 수 있습니다. Wasserstein 거리가 매우 크면, 즉 통계적으로 유의하면 잠재적인 편향이 의심될 수 있습니다. 두 그룹 사이에 차이가 있는지 테스트하는 이러한 아이디어는 통계학에서 2-표본 가설 테스트로 알려져 있습니다.

또는 기본 데이터 세트 자체가 편향된 경우 모델의 공정성을 강화하기 위해 최적 배송을 사용할 수도 있습니다. 이는 많은 실제 데이터 세트가 어느 정도 편향을 나타내고 편향되지 않은 데이터를 수집하는 데 비용이 많이 들고 시간이 많이 걸리거나 실행 불가능할 수 있으므로 실용적인 관점에서 유용합니다. 따라서 아무리 불완전하더라도 기존 데이터를 사용하고 모델이 이러한 편향을 완화하도록 노력하는 것이 더 실용적입니다. 이는 강력한 인구학적 동등성이라는 모델에 제약 조건을 적용하여 수행됩니다. 이는 모델 예측이 민감한 속성과 통계적으로 독립적이 되도록 강제합니다. 한 가지 접근 방식은 모델 예측의 분포를 민감한 속성에 의존하지 않는 조정된 예측의 분포에 매핑하는 것입니다. 그러나 예측을 조정하면 모델의 성능과 정확도도 변경되므로 모델 성능과 모델이 민감한 속성(예: 공정성)에 의존하는 정도 간에는 상충 관계가 있습니다.

예측을 가능한 한 적게 변경하여 최적의 모델 성능을 보장하는 동시에 새로운 예측이 민감한 속성과 무관하도록 보장하여 최적의 배송을 보장합니다. 이 조정된 모델에 의해 예측된 새로운 분포를 Wasserstein 중심이라고 하며 지난 10년 동안 많은 연구 주제였습니다. Wasserstein 무게 중심은 다른 모든 분포까지의 총 거리를 최소화한다는 점에서 확률 분포의 평균과 유사합니다. 아래 이미지는 Wasserstein 무게 중심(빨간색)과 함께 세 가지 분포(녹색, 파란색, 자홍색)를 보여줍니다.

최적의 운송과 공정성의 적용

위의 예에서 세 가지 가능한 값(미혼(파란색), 기혼)을 가질 수 있는 민감한 속성(예: 결혼 여부)이 포함된 데이터 세트를 기반으로 누군가의 연령과 소득을 예측하도록 모델이 구축되었다고 가정합니다. (녹색) 및 사별/이혼(자홍색). 산점도는 각기 다른 값에 대한 모델 예측의 분포를 보여줍니다. 그러나 새 모델의 예측이 사람의 결혼 상태를 알 수 없도록 이러한 값을 조정하려는 경우 이러한 각 분포는 최적의 운송을 사용하여 빨간색으로 무게 중심에 매핑될 수 있습니다. 모든 가치가 동일한 분포에 매핑되기 때문에 더 이상 소득과 연령을 기준으로 개인의 결혼 여부를 판단할 수 없으며 그 반대의 경우도 마찬가지입니다. 무게 중심은 모델의 충실도를 최대한 유지합니다.

비즈니스 및 정부 의사 결정에 사용되는 데이터 및 기계 학습 모델이 점점 더 보편화되면서 이러한 모델의 공정한 적용을 보장하는 방법에 대한 새로운 사회적, 윤리적 질문이 등장하게 되었습니다. 많은 데이터 세트에는 수집 방식의 특성으로 인해 일종의 편향이 포함되어 있으므로 이에 대해 훈련된 모델이 이러한 편향이나 역사적 차별을 악화시키지 않는 것이 중요합니다. 최적의 운송은 최근 몇 년 동안 증가하고 있는 이 문제를 해결하는 하나의 방법일 뿐입니다. 오늘날 최적의 교통 지도와 거리를 계산하는 빠르고 효율적인 방법이 있으므로 이 접근 방식은 최신 대규모 데이터 세트에 적합합니다. 사람들이 데이터 기반 모델과 통찰력에 점점 더 의존함에 따라 공정성은 데이터 과학의 핵심 문제가 되어 왔으며 앞으로도 계속 그럴 것이며 최적의 교통은 이 목표를 달성하는 데 중요한 역할을 할 것입니다.

원제: Optimal Transport and its Application to Fairness​, 저자: Terrence Alsup​

위 내용은 최적의 운송과 공정성의 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
AI 치료사가 여기 있습니다 : 14 획기적인 정신 건강 도구가 알아야 할 획기적인 정신 건강 도구AI 치료사가 여기 있습니다 : 14 획기적인 정신 건강 도구가 알아야 할 획기적인 정신 건강 도구Apr 30, 2025 am 11:17 AM

훈련 된 치료사의 인간 관계와 직관을 제공 할 수는 없지만 연구에 따르면 많은 사람들이 비교적 얼굴이없고 익명의 AI 봇과의 걱정과 우려를 편안하게 공유하는 것으로 나타났습니다. 이것이 항상 좋은지 i

식료품 통로에 AI를 호출합니다식료품 통로에 AI를 호출합니다Apr 30, 2025 am 11:16 AM

수십 년 동안의 기술 인 인공 지능 (AI)은 식품 소매 산업에 혁명을 일으키고 있습니다. AI의 영향은 다양한 비즈니스 기능에 걸쳐 대규모 효율성 상승 및 비용 절감에서 간소화 된 프로세스에 이르기까지 AI의 영향은 불공정입니다.

당신의 정신을 높이기 위해 생성 AI에서 Pep 대화를받는 것당신의 정신을 높이기 위해 생성 AI에서 Pep 대화를받는 것Apr 30, 2025 am 11:15 AM

그것에 대해 이야기합시다. 혁신적인 AI 혁신에 대한이 분석은 다양한 영향력 AI 복잡성을 식별하고 설명하는 것을 포함하여 AI의 최신 AI에 대한 진행중인 Forbes 열 커버리지의 일부입니다 (여기 링크 참조). 또한, 내 comp

AI 구동과 개인화가 모든 비즈니스에 필수품 인 이유AI 구동과 개인화가 모든 비즈니스에 필수품 인 이유Apr 30, 2025 am 11:14 AM

전문 이미지를 유지하려면 가끔 옷장 업데이트가 필요합니다. 온라인 쇼핑은 편리하지만 직접 시도한 트립 온의 확실성이 부족합니다. 내 해결책? AI 기반 개인화. 나는 AI 조수 큐레이팅 의류 selecti를 구상합니다

Duolingo는 잊어 버리십시오 : Google Translate의 새로운 AI 기능은 언어를 가르칩니다Duolingo는 잊어 버리십시오 : Google Translate의 새로운 AI 기능은 언어를 가르칩니다Apr 30, 2025 am 11:13 AM

Google Translate는 언어 학습 기능을 추가합니다 Android Authority에 따르면 APP Expert AssembledeBug는 최신 버전의 Google Translate 앱에는 사용자가 개인화 된 활동을 통해 언어 기술을 향상시킬 수 있도록 설계된 새로운 "연습"테스트 코드가 포함되어 있음을 발견했습니다. 이 기능은 현재 사용자에게는 보이지 않지만 AsschBLEDEBUG는 부분적으로이를 활성화하고 새로운 사용자 인터페이스 요소 중 일부를 볼 수 있습니다. 활성화되면이 기능은 "Beta"배지가 표시된 화면 하단에 새로운 졸업식 캡 아이콘을 추가하여 "연습"기능이 실험 형태로 처음 릴리스 될 것임을 나타내는 새로운 졸업식 캡 아이콘을 추가합니다. 관련 팝업 프롬프트는 "당신을 위해 맞춤화 된 활동을 연습하십시오!"를 보여줍니다. 이는 Google이 사용자 정의를 생성한다는 것을 의미합니다.

그들은 AI를 위해 TCP/IP를 만들고 있으며 Nanda라고합니다그들은 AI를 위해 TCP/IP를 만들고 있으며 Nanda라고합니다Apr 30, 2025 am 11:12 AM

MIT 연구원들은 AI 에이전트를 위해 설계된 획기적인 웹 프로토콜 인 Nanda를 개발하고 있습니다. 네트워크 에이전트 및 분산 된 AI의 경우 Nanda는 인터넷 기능을 추가하여 AI Agen을 활성화하여 Anthropic의 MCP (Model Context Protocol)를 기반으로합니다.

프롬프트 : Deepfake Detection은 급성장하는 비즈니스입니다프롬프트 : Deepfake Detection은 급성장하는 비즈니스입니다Apr 30, 2025 am 11:11 AM

Meta의 최신 벤처 : Chatgpt와 경쟁하는 AI 앱 Facebook, Instagram, WhatsApp 및 Threads의 모회사 인 Meta는 새로운 AI 기반 응용 프로그램을 시작하고 있습니다. 이 독립형 앱인 Meta AI는 OpenAi의 chatgpt와 직접 경쟁하는 것을 목표로합니다. 지렛대

비즈니스 리더를위한 AI 사이버 보안에서 향후 2 년비즈니스 리더를위한 AI 사이버 보안에서 향후 2 년Apr 30, 2025 am 11:10 AM

AI 사이버 공격의 상승 조수를 탐색합니다 최근에 Ciso의 인류의 Ciso 인 Jason Clinton은 인간이 아닌 정체성과 관련된 새로운 위험을 강조했습니다.

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

SublimeText3 Linux 새 버전

SublimeText3 Linux 새 버전

SublimeText3 Linux 최신 버전

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

PhpStorm 맥 버전

PhpStorm 맥 버전

최신(2018.2.1) 전문 PHP 통합 개발 도구