最優運輸及其在公平性的應用

譯者 | 李睿

審校 | 孫淑娟

最佳運輸源自經濟學，如今被發展為如何最佳分配資源的工具。最優運輸理論的起源可以追溯到1781年，當時的法國科學家加斯帕德·蒙格研究了一種據稱「移動地球」的方法，並為拿破崙的軍隊建造防禦工事。整體而言，最優運輸是一個問題，即如何將所有資源（例如鐵礦）從一組起點（礦場）移動到一組終點（鋼鐵廠），同時最小化資源必須移動的總距離。從數學上來說，研究人員希望找到一個函數，該函數將每個起點映射到一個目的地，同時最小化起點與其對應目的地之間的總距離。儘管其描述無傷大雅，但這一問題的原始構想（即蒙格構想)的進展仍停滯了將近200年。

在上世紀40年代，蘇聯數學家Leonid Kantorovich將這個問題的構想調整為現代版本，即現在所稱的Monge Kantorov理論，這是朝著解決方案邁出的第一步。這裡的新奇之處在於允許來自同一礦山的一些鐵礦提供給不同的鋼鐵廠。例如，一個礦山60%的鐵礦可以提供給一家鋼鐵廠，而礦山剩餘40%的鐵礦則可以提供給另一個鋼鐵廠。從數學上來說，這不再是一個函數，因為同一個原點現在映射到潛在的多個目的地。與其相反，這被稱為起點分佈和目的地分佈之間的耦合，如下圖所示；從藍色分佈（原點）中選擇一個礦山，並沿著該圖垂直移動，顯示了鐵礦被發送的鋼鐵廠（目的地）的分佈。

作為這一新發展的一部分，Kantorivich引入了一個重要的概念，稱之為Wasserstein距離。與地圖上兩點之間的距離類似，Wasserstein距離（受其原始場景啟發也稱為推土機距離）測量兩個分佈之間的距離，例如本例中的藍色和洋紅色分佈。如果所有的鐵礦都距離所有的鐵廠都很遠，那麼礦山分佈（位置）和鋼鐵廠分佈之間的Wasserstein距離就會很大。即使有了這些新的改進，仍然不清楚是否真的存在運輸鐵礦資源的最佳方式，更不用說採用哪種方式了。最後在上世紀90年代，由於數學分析和最佳化的改進問題獲得部分解決方案，理論開始迅速發展。而進入21世紀，最優運輸開始蔓延到其他領域，如粒子物理學、流體動力學，甚至統計和機器學習。 

現代的最優運輸  

隨著新理論的爆炸性發展，在過去二十年中，最優運輸已成為許多新的統計和人工智慧演算法的中心。在幾乎每個統計演算法中，資料都被明確或隱式地建模為具有某種潛在的機率分佈。例如，如果收集不同國家的個人收入數據，則該人口收入在每個國家都存在機率分佈。如果希望根據人口的收入分佈對兩個國家進行比較，那麼需要一種方法來衡量這兩個分佈之間的差距。這正是優化運輸（尤其是Wasserstein距離）在數據科學中變得如此有用的原因。然而，Wasserstein距離並不是衡量兩個機率分佈相距距離的唯一指標。事實上，由於它們與物理學和資訊理論的聯繫，L-2距離和Kullback-Leibler(KL)散度這兩種選擇在歷史上更為常見。 Wasserstein距離相對於這些替代方案的主要優勢在於，它在計算距離時同時考慮了數值及其機率，而L-2距離和KL散度僅考慮機率。下圖顯示了一個關於三個虛構的國家收入的人工資料集的範例。

在這種情況下，由於分佈不重疊，藍色和洋紅色分佈之間的L-2距離（或KL散度）將與藍色和綠色分佈之間的L-2距離大致相同。另一方面，藍色和洋紅色分佈之間的Wasserstein距離將遠小於藍色和綠色分佈之間的Wasserstein距離，因為值之間存在顯著差異（水平分離）。 Wasserstein距離的這一特性使其非常適合量化分佈之間的差異，特別是資料集之間的差異。

以最佳運輸實現公平 

隨著每天收集大量數據，機器學習在許多行業中變得越來越普遍，數據科學家必須越來越小心謹慎，不要讓他們的分析和演算法延續數據中現有的偏差和偏差永久化。例如，如果房屋抵押貸款批准資料集包含關於申請者種族的信息，但由於使用的方法或無意識偏差，少數族裔在收集過程中受到歧視，則基於該資料訓練的模型將在一定程度上反映潛在的偏差。

优化运输可以从两个方面帮助缓解这种偏差和提高公平性。第一种也是最简单的方法是使用Wasserstein距离来确定数据集中是否存在潜在偏差。例如，可以估计批准给女性的贷款金额分布和批准给男性的贷款金额分配之间的Wasserstein距离，如果Wasserstein距离非常大，即具有统计显著性，那么可能怀疑存在潜在偏差。这种测试两组之间是否存在差异的想法在统计学中被称为双样本假设检验。

或者，当底层数据集本身存在偏差时，甚至可以使用最优运输来强制模型中的公平性。从实际的角度来看，这非常有用，因为许多真实的数据集会表现出一定程度的偏差，并且收集无偏差的数据可能非常昂贵、耗时或不可行。因此，使用现有的数据更为实际，无论数据有多不完善，并尝试确保模型减轻这种偏差。这是通过在模型中强制实施称为强人口统计奇偶性的约束来实现的，该约束迫使模型预测在统计上独立于任何敏感属性。一种方法是将模型预测的分布映射到不依赖于敏感属性的调整预测的分布。然而，调整预测也会改变模型的性能和准确性，因此在模型性能和模型对敏感属性的依赖程度（即公平性）之间存在权衡。  

通过尽可能少地更改预测以确保最佳模型性能，同时仍保证新预测独立于敏感属性，从而实现最佳运输。这种调整之后的模型预测的新分布被称为Wasserstein重心，在过去十年中一直是许多研究的主题。Wasserstein重心类似于概率分布的平均值，因为它最小化了从自身到所有其他分布的总距离。下图显示了三个分布（绿色、蓝色和品红色）以及它们的Wasserstein重心（红色）。  

在上面的示例中，假设基于包含一个敏感属性（例如婚姻状况）的数据集构建了一个模型来预测某人的年龄和收入，该属性可以取三个可能的值：单身（蓝色）、已婚（绿色）和丧偶/离婚（品红色）。散点图显示了每个不同值的模型预测分布。但是希望调整这些值，以便新模型的预测对一个人的婚姻状况视而不见，可以使用最佳运输将这些分布中的每一个映射到红色的重心。因为所有值都映射到相同的分布，不能再根据收入和年龄来判断一个人的婚姻状况，反之亦然。重心尽可能地保留了模型的保真度。  

企业和政府决策中使用的数据和机器学习模型越来越普遍，这导致了新的社会和道德问题的出现，即如何确保这些模型的公平应用。由于收集方式的性质，许多数据集包含某种偏差，因此在它们上训练的模型不会加剧这种偏差或任何历史歧视，这一点很重要。最优运输只是解决这一问题的一种方法，近年来这一问题一直在加剧。如今，有快速有效的方法来计算最佳运输地图和距离，使这种方法适用于现代大型数据集。随着人们越来越依赖基于数据的模型和洞察力，公平性已经并将继续成为数据科学的核心问题，而最佳运输将在实现这一目标方面发挥关键作用。

原文标题：​​Optimal Transport and its Applications to Fairness​​​，作者：Terrence Alsup​

以上是最優運輸及其在公平性的應用的詳細內容。更多資訊請關注PHP中文網其他相關文章！