谷歌復用30年前經典演算法，CV引入強化學習，網友：視覺RLHF要來了？

ChatGPT 的火爆有目共睹，而对于支撑其成功背后的技术，监督式的指令微调以及基于人类反馈的强化学习至关重要。这些技术也在逐渐扩展到其他 AI 领域，包括计算机视觉（CV）。​

我们知道，在处理计算机视觉中的复杂输出时，成功的主要标准不在于模型对训练目标的优化程度，而在于预测能力与任务的吻合程度，即模型在预期用途上的表现效果。

为了追求这种一致性，有研究者在模型架构、数据、优化、采样、后处理等方面进行了一些改进。例如，在物体检测任务中，研究人员使用了 NMS（non-maximum suppression ）、基于集合的全局损失（set-based global loss）以及改变输入数据来获得在测试时具有改进行为的模型。虽然这些方法带来了显著的收益，但它们往往只对特定任务有用，仅仅是间接地对任务风险进行了优化。​

不仅 CV，包括自然语言处理（NLP）、强化学习（RL）等领域也在广泛研究这一现象。在这些领域中，对于目标不太明确的任务，如翻译或生成摘要，制定优化目标非常困难。在处理这类问题时，一种流行的方法是学习模仿例子的输出，然后进行强化学习，使模型与奖励函数保持一致。使用这种方法，NLP 领域产生了令人兴奋的结果，该方法使用大型预训练语言模型和由人类反馈定义的奖励来处理原本难以指定的任务。

此外，同样的方法被广泛用于图像字幕任务中，其中 CIDEr（Vedantam 等人 2015 年提出）被用来作为奖励。尽管如此，据了解，奖励优化以前还没有在（非文本）计算机视觉任务中进行过探索。

近日，谷歌大脑团队的研究者在论文《Tuning computer vision models with task rewards》中证明了，使用 REINFORCE 算法（Williams 于 1992 提出）来调整（Tuning）具有奖励函数的预训练模型可以开箱即用地用于各种计算机视觉任务。

其实许多关于强化学习任务的研究都会提及 Williams 的 REINFORCE 算法，可见这个算法的重要性。可以说 REINFORCE 算法是策略梯度乃至强化学习的典型代表。

论文地址：https://arxiv.org/pdf/2302.08242v1.pdf​

图 1 展示了一些关键结果，主要包括目标检测、全景分割和图像着色的奖励优化带来的定量和定性改进。该研究所提出的方法在处理各种 CV 任务上简单而有效，证明了它的多功能性和适应性。尽管本文主要采用评估指标形式的奖励，但这些初步结果显示了该方法用来优化计算机视觉模型也不失为一种有效途径，这些模型具有更复杂和更难指定的奖励，例如人的反馈或整体系统性能。

推特网友对这篇文章给了一个比较全面的总结，即本文实现的功能是使用 RL 调整预训练视觉模型。研究的动因是受到 LLM 强化学习成功的启发；其效果是在目标检测、全景分割等方面性能大幅提升。并表示，这项研究可能是实现视觉 RLHF （Reinforcement Learning from Human Feedback）的有效途径。

图源：https://twitter.com/johnjnay/status/1627009121378598912

獎勵

在不喪失泛化性的情況下，該研究將CV 任務描述為學習一個函數的過程，該函數將輸入x（即圖像）映射到輸出y = [y_1, y_1，…， y_n]（文字token 序列、bounding box 序列等）。研究旨在學習以 θ 為參數的條件分佈 P (y|x， θ)，使獎勵函數 R 最大化。用抽象的公式來形容，就是本文要解決以下最佳化問題。

問題有了，接下來就是怎麼解決了，本文分兩步走：先用最大似然估計對模型進行預訓練；然後使用REINFORCE 演算法對模型進行Tuning 。下面我們來看看這兩個步驟的具體過程：

最大似然預訓練

#首先使用最大似然原理估計參數θ 並捕捉訓練資料的分佈。實現這一目標可採用梯度下降演算法，該演算法透過最大化訓練資料的 log-likelihood

來實現。演算法 1 和圖 2 描述了 MLE（最大似然估計）最佳化步驟，這是訓練模型最常用的方法。完成這一步驟將得到 MLE 模型。

#REINFORC 演算法將獎勵最大化 

#為了更好的最佳化MLE 模型以適應任務風險，還需要最大化獎勵函數。對於給定輸入x，研究利用REINFORCE 演算法來估計對給定x 期望獎勵的梯度，公式如下所述：

##演算法2提供了偽代碼，圖3 說明了這個過程：

實驗結果

接下來我們來看看本文所提出的方法在視覺任務上的表現。

全景分割

#如下表 1 所示，Tuning 流程顯著改善了 MLE 模型。視覺檢查（visual inspection）後的結果表明，Tuning 後的模型在避免不連貫預測方面更好，特別是對於小尺度物體，可參見圖 1。

#目標偵測

表2 顯示，透過最佳化，該研究將原始MLE 模型的mAP 分數從39.2% 大幅提高到54.3%。在 Pix2seq 中，具有稍大的 1333×1333 解析度和許多啟發式的相同大小的 ViT-B 模型達到了 47.1%。當使用較大的 ViT-L 主幹時，Pix2seq 報告的最佳目標偵測結果為 50.0%。

#####################上色##########

圖 4 給出的定性結果清楚地表明，新模型始終能產生更豐富多彩的圖像。

圖像描述

#表3 結果表明，應用所提出的方法可以改進MLE 模型，這與先前文獻中的觀察結果一致，證明了該方法針對特定任務風險進行tuning 的有效性。

########################

以上是谷歌復用30年前經典演算法，CV引入強化學習，網友：視覺RLHF要來了？的詳細內容。更多資訊請關注PHP中文網其他相關文章！