찾다
기술 주변기기일체 포함최적의 운송과 공정성의 적용

번역가 | Li Rui

리뷰어 | Sun Shujuan

최적의 운송은 경제학에서 시작되었으며 이제는 자원을 가장 잘 배분하는 방법으로 개발되었습니다. 최적 수송 이론의 기원은 1781년으로 거슬러 올라갑니다. 당시 프랑스 과학자 Gaspard Monge는 "지구를 움직이는" 방법과 나폴레옹 군대를 위한 요새 건설 방법을 연구했습니다. 종합적으로, 최적의 운송이란 자원이 이동해야 하는 총 거리를 최소화하면서 모든 자원(철광석 등)을 출발점(광산)에서 끝점(제철소)으로 이동하는 방법에 대한 문제입니다. 수학적으로 연구자들은 출발지와 해당 목적지 사이의 전체 거리를 최소화하면서 각 출발지를 목적지에 매핑하는 함수를 찾고 싶었습니다. 무해한 설명에도 불구하고 멍거의 개념으로 알려진 문제의 원래 개념에 대한 진전은 거의 200년 동안 정체되었습니다.

1940년대 소련 수학자 레오니드 칸토로비치(Leonid Kantorovich)는 문제의 공식화를 현대 버전으로 조정했는데, 이는 현재 몽게 칸토로프(Monge Kantorov)의 이론으로 알려져 있으며, 이는 해결책을 향한 첫 번째 단계였습니다. 여기서 참신한 점은 동일한 광산의 일부 철광석이 다른 철강 공장에 공급될 수 있다는 것입니다. 예를 들어, 광산에서 나오는 철광석의 60%는 철강 공장에 제공될 수 있고, 광산에서 나오는 철광석의 나머지 40%는 다른 철강 공장에 제공될 수 있습니다. 수학적으로 이는 더 이상 함수가 아닙니다. 이제 동일한 출발지가 잠재적으로 여러 대상에 매핑되기 때문입니다. 이에 반해, 이는 출발지 분포와 도착지 분포 사이의 결합으로 알려져 있으며, 아래 그림과 같이 파란색 분포(원산지)에서 광산을 선택하고 그림을 따라 수직으로 이동하면 철광석이 어디로 보내지는지를 알 수 있습니다. 철강 공장(목적지).

최적의 운송과 공정성의 적용

이 새로운 개발의 일환으로 Kantorivich는 Wasserstein 거리라는 중요한 개념을 도입했습니다. 지도의 두 지점 사이의 거리와 유사하게 Wasserstein 거리(원래 시나리오에서 영감을 받은 불도저 거리라고도 함)는 이 경우 파란색과 자홍색 분포와 같은 두 분포 사이의 거리를 측정합니다. 모든 철 광산이 모든 철 공장에서 멀리 떨어져 있으면 광산 분포(위치)와 철강 공장 분포 사이의 Wasserstein 거리가 커집니다. 이러한 새로운 개선에도 불구하고 철광석 자원을 운송하는 최선의 방법이 있는지 여부는 물론 어떤 방법인지는 여전히 불분명합니다. 마침내 1990년대에 수학적 분석과 최적화의 개선으로 문제가 부분적으로 해결되면서 이론이 급속히 발전하기 시작했습니다. 21세기에는 최적의 교통수단이 입자물리학, 유체역학, 심지어 통계학, 기계학습 등 다른 분야로 확산되기 시작했습니다.

현대 시대의 최적 운송

새로운 이론이 폭발적으로 증가하면서 최적 운송은 지난 20년 동안 수많은 새로운 통계 및 인공 지능 알고리즘의 중심이 되었습니다. 거의 모든 통계 알고리즘에서 데이터는 기본 확률 분포를 갖는 것으로 명시적으로 또는 암시적으로 모델링됩니다. 예를 들어, 개인 소득에 대한 데이터가 여러 국가에서 수집되면 각 국가에서 해당 인구의 소득에 대한 확률 분포가 발생합니다. 인구의 소득 분포를 기준으로 두 국가를 비교하려면 두 분포 간의 격차를 측정하는 방법이 필요합니다. 이것이 바로 교통 최적화(특히 Wasserstein 거리)가 데이터 과학에서 매우 유용한 이유입니다. 그러나 Wasserstein 거리는 두 확률 분포 사이의 거리를 측정하는 유일한 방법은 아닙니다. 실제로 물리학 및 정보 이론과의 연결로 인해 L-2 거리와 Kullback-Leibler(KL) 발산이라는 두 가지 옵션이 역사적으로 더 일반적이었습니다. 이러한 대안에 비해 Wasserstein 거리의 주요 장점은 거리를 계산할 때 값과 확률을 모두 고려하는 반면 L-2 거리와 KL 발산은 확률만 고려한다는 것입니다. 아래 이미지는 세 가지 가상 국가의 소득에 대한 인공 데이터 세트의 예를 보여줍니다.

최적의 운송과 공정성의 적용

이 경우 분포가 겹치지 않으므로 파란색과 자홍색 분포 사이의 L-2 거리(또는 KL 발산)는 파란색과 녹색 분포 사이의 L-2 거리와 거의 같습니다. . 반면, 파란색과 마젠타 분포 사이의 Wasserstein 거리는 파란색과 녹색 분포 사이의 Wasserstein 거리보다 훨씬 작을 것입니다. 그 이유는 그 값들 사이에 상당한 차이(수평 분리)가 있기 때문입니다. Wasserstein 거리의 이러한 속성은 분포 간의 차이, 특히 데이터 세트 간의 차이를 정량화하는 데 이상적입니다.

최적의 운송으로 공정성 달성

매일 대량의 데이터가 수집되면서 머신러닝은 많은 산업 분야에서 점점 더 보편화되고 있으며, 데이터 과학자들은 자신의 분석과 알고리즘이 이러한 현상을 지속시키지 않도록 점점 더 주의해야 합니다. 데이터의 일부 편차 및 편차는 영구적입니다. 예를 들어 주택 모기지 승인 데이터 세트에 신청자의 인종에 대한 정보가 포함되어 있지만 수집 과정에서 사용된 방법이나 무의식적인 편견으로 인해 소수자가 차별을 받은 경우 해당 데이터에 대해 훈련된 모델은 근본적인 편차를 반영합니다.

배송을 최적화하면 이러한 편견을 완화하고 두 가지 측면에서 공정성을 향상하는 데 도움이 될 수 있습니다. 첫 번째이자 가장 간단한 방법은 Wasserstein 거리를 사용하여 데이터 세트에 잠재적인 편향이 있는지 확인하는 것입니다. 예를 들어, 여성에게 승인된 대출 금액 분포와 남성에게 승인된 대출 금액 분포 사이의 Wasserstein 거리를 추정할 수 있습니다. Wasserstein 거리가 매우 크면, 즉 통계적으로 유의하면 잠재적인 편향이 의심될 수 있습니다. 두 그룹 사이에 차이가 있는지 테스트하는 이러한 아이디어는 통계학에서 2-표본 가설 테스트로 알려져 있습니다.

또는 기본 데이터 세트 자체가 편향된 경우 모델의 공정성을 강화하기 위해 최적 배송을 사용할 수도 있습니다. 이는 많은 실제 데이터 세트가 어느 정도 편향을 나타내고 편향되지 않은 데이터를 수집하는 데 비용이 많이 들고 시간이 많이 걸리거나 실행 불가능할 수 있으므로 실용적인 관점에서 유용합니다. 따라서 아무리 불완전하더라도 기존 데이터를 사용하고 모델이 이러한 편향을 완화하도록 노력하는 것이 더 실용적입니다. 이는 강력한 인구학적 동등성이라는 모델에 제약 조건을 적용하여 수행됩니다. 이는 모델 예측이 민감한 속성과 통계적으로 독립적이 되도록 강제합니다. 한 가지 접근 방식은 모델 예측의 분포를 민감한 속성에 의존하지 않는 조정된 예측의 분포에 매핑하는 것입니다. 그러나 예측을 조정하면 모델의 성능과 정확도도 변경되므로 모델 성능과 모델이 민감한 속성(예: 공정성)에 의존하는 정도 간에는 상충 관계가 있습니다.

예측을 가능한 한 적게 변경하여 최적의 모델 성능을 보장하는 동시에 새로운 예측이 민감한 속성과 무관하도록 보장하여 최적의 배송을 보장합니다. 이 조정된 모델에 의해 예측된 새로운 분포를 Wasserstein 중심이라고 하며 지난 10년 동안 많은 연구 주제였습니다. Wasserstein 무게 중심은 다른 모든 분포까지의 총 거리를 최소화한다는 점에서 확률 분포의 평균과 유사합니다. 아래 이미지는 Wasserstein 무게 중심(빨간색)과 함께 세 가지 분포(녹색, 파란색, 자홍색)를 보여줍니다.

최적의 운송과 공정성의 적용

위의 예에서 세 가지 가능한 값(미혼(파란색), 기혼)을 가질 수 있는 민감한 속성(예: 결혼 여부)이 포함된 데이터 세트를 기반으로 누군가의 연령과 소득을 예측하도록 모델이 구축되었다고 가정합니다. (녹색) 및 사별/이혼(자홍색). 산점도는 각기 다른 값에 대한 모델 예측의 분포를 보여줍니다. 그러나 새 모델의 예측이 사람의 결혼 상태를 알 수 없도록 이러한 값을 조정하려는 경우 이러한 각 분포는 최적의 운송을 사용하여 빨간색으로 무게 중심에 매핑될 수 있습니다. 모든 가치가 동일한 분포에 매핑되기 때문에 더 이상 소득과 연령을 기준으로 개인의 결혼 여부를 판단할 수 없으며 그 반대의 경우도 마찬가지입니다. 무게 중심은 모델의 충실도를 최대한 유지합니다.

비즈니스 및 정부 의사 결정에 사용되는 데이터 및 기계 학습 모델이 점점 더 보편화되면서 이러한 모델의 공정한 적용을 보장하는 방법에 대한 새로운 사회적, 윤리적 질문이 등장하게 되었습니다. 많은 데이터 세트에는 수집 방식의 특성으로 인해 일종의 편향이 포함되어 있으므로 이에 대해 훈련된 모델이 이러한 편향이나 역사적 차별을 악화시키지 않는 것이 중요합니다. 최적의 운송은 최근 몇 년 동안 증가하고 있는 이 문제를 해결하는 하나의 방법일 뿐입니다. 오늘날 최적의 교통 지도와 거리를 계산하는 빠르고 효율적인 방법이 있으므로 이 접근 방식은 최신 대규모 데이터 세트에 적합합니다. 사람들이 데이터 기반 모델과 통찰력에 점점 더 의존함에 따라 공정성은 데이터 과학의 핵심 문제가 되어 왔으며 앞으로도 계속 그럴 것이며 최적의 교통은 이 목표를 달성하는 데 중요한 역할을 할 것입니다.

원제: Optimal Transport and its Application to Fairness​, 저자: Terrence Alsup​

위 내용은 최적의 운송과 공정성의 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
2023年机器学习的十大概念和技术2023年机器学习的十大概念和技术Apr 04, 2023 pm 12:30 PM

机器学习是一个不断发展的学科,一直在创造新的想法和技术。本文罗列了2023年机器学习的十大概念和技术。 本文罗列了2023年机器学习的十大概念和技术。2023年机器学习的十大概念和技术是一个教计算机从数据中学习的过程,无需明确的编程。机器学习是一个不断发展的学科,一直在创造新的想法和技术。为了保持领先,数据科学家应该关注其中一些网站,以跟上最新的发展。这将有助于了解机器学习中的技术如何在实践中使用,并为自己的业务或工作领域中的可能应用提供想法。2023年机器学习的十大概念和技术:1. 深度神经网

人工智能自动获取知识和技能,实现自我完善的过程是什么人工智能自动获取知识和技能,实现自我完善的过程是什么Aug 24, 2022 am 11:57 AM

实现自我完善的过程是“机器学习”。机器学习是人工智能核心,是使计算机具有智能的根本途径;它使计算机能模拟人的学习行为,自动地通过学习来获取知识和技能,不断改善性能,实现自我完善。机器学习主要研究三方面问题:1、学习机理,人类获取知识、技能和抽象概念的天赋能力;2、学习方法,对生物学习机理进行简化的基础上,用计算的方法进行再现;3、学习系统,能够在一定程度上实现机器学习的系统。

超参数优化比较之网格搜索、随机搜索和贝叶斯优化超参数优化比较之网格搜索、随机搜索和贝叶斯优化Apr 04, 2023 pm 12:05 PM

本文将详细介绍用来提高机器学习效果的最常见的超参数优化方法。 译者 | 朱先忠​审校 | 孙淑娟​简介​通常,在尝试改进机器学习模型时,人们首先想到的解决方案是添加更多的训练数据。额外的数据通常是有帮助(在某些情况下除外)的,但生成高质量的数据可能非常昂贵。通过使用现有数据获得最佳模型性能,超参数优化可以节省我们的时间和资源。​顾名思义,超参数优化是为机器学习模型确定最佳超参数组合以满足优化函数(即,给定研究中的数据集,最大化模型的性能)的过程。换句话说,每个模型都会提供多个有关选项的调整“按钮

得益于OpenAI技术,微软必应的搜索流量超过谷歌得益于OpenAI技术,微软必应的搜索流量超过谷歌Mar 31, 2023 pm 10:38 PM

截至3月20日的数据显示,自微软2月7日推出其人工智能版本以来,必应搜索引擎的页面访问量增加了15.8%,而Alphabet旗下的谷歌搜索引擎则下降了近1%。 3月23日消息,外媒报道称,分析公司Similarweb的数据显示,在整合了OpenAI的技术后,微软旗下的必应在页面访问量方面实现了更多的增长。​​​​截至3月20日的数据显示,自微软2月7日推出其人工智能版本以来,必应搜索引擎的页面访问量增加了15.8%,而Alphabet旗下的谷歌搜索引擎则下降了近1%。这些数据是微软在与谷歌争夺生

荣耀的人工智能助手叫什么名字荣耀的人工智能助手叫什么名字Sep 06, 2022 pm 03:31 PM

荣耀的人工智能助手叫“YOYO”,也即悠悠;YOYO除了能够实现语音操控等基本功能之外,还拥有智慧视觉、智慧识屏、情景智能、智慧搜索等功能,可以在系统设置页面中的智慧助手里进行相关的设置。

30行Python代码就可以调用ChatGPT API总结论文的主要内容30行Python代码就可以调用ChatGPT API总结论文的主要内容Apr 04, 2023 pm 12:05 PM

阅读论文可以说是我们的日常工作之一,论文的数量太多,我们如何快速阅读归纳呢?自从ChatGPT出现以后,有很多阅读论文的服务可以使用。其实使用ChatGPT API非常简单,我们只用30行python代码就可以在本地搭建一个自己的应用。 阅读论文可以说是我们的日常工作之一,论文的数量太多,我们如何快速阅读归纳呢?自从ChatGPT出现以后,有很多阅读论文的服务可以使用。其实使用ChatGPT API非常简单,我们只用30行python代码就可以在本地搭建一个自己的应用。使用 Python 和 C

人工智能在教育领域的应用主要有哪些人工智能在教育领域的应用主要有哪些Dec 14, 2020 pm 05:08 PM

人工智能在教育领域的应用主要有个性化学习、虚拟导师、教育机器人和场景式教育。人工智能在教育领域的应用目前还处于早期探索阶段,但是潜力却是巨大的。

人工智能在生活中的应用有哪些人工智能在生活中的应用有哪些Jul 20, 2022 pm 04:47 PM

人工智能在生活中的应用有:1、虚拟个人助理,使用者可通过声控、文字输入的方式,来完成一些日常生活的小事;2、语音评测,利用云计算技术,将自动口语评测服务放在云端,并开放API接口供客户远程使用;3、无人汽车,主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶的目标;4、天气预测,通过手机GPRS系统,定位到用户所处的位置,在利用算法,对覆盖全国的雷达图进行数据分析并预测。

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

MinGW - Windows용 미니멀리스트 GNU

MinGW - Windows용 미니멀리스트 GNU

이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

SublimeText3 영어 버전

SublimeText3 영어 버전

권장 사항: Win 버전, 코드 프롬프트 지원!

mPDF

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.