GPT-4等大模型自己製作工具，辨識ChatGPT造假

目錄：

1. Multiscale Positive-Unlabeled Detection of AI-Generated Texts
2. Towards Revealing the Mystery behind Chain of Thought: a Theoretical Perspective
3. Large Language Models as Tool Makers
4. SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification
5. Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models
6. mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video
7. Where to Go Next for Recommender Systems? ID- vs. Modality-based Recommender Models Revisited

#論文1：Multiscale Positive-Unlabeled Detection of AI-Generated Texts

• ##作者：Yuchuan Tian, Hanting Chen 等
• 論文網址：https://arxiv.org/abs/2305.18149

摘要： AI 造假的成功率很高，前幾天「10 分鐘騙430 萬」還上了熱搜。在最熱門的大語言模型上，北大、華為的研究者最近探索了一種辨識方法。如下列舉了幾個人和AI 分別對同一問題做出回答的例子：

#推薦：識別「ChatGPT 造假」，效果超越OpenAI：北大、華為的AI 生成檢測器來了

論文2：Towards Revealing the Mystery behind Chain of Thought: a Theoretical Perspective

• 作者：Guhao Feng、Bohang Zhang 等
• ##論文地址：https:// arxiv.org/abs/2305.15408

#摘要：思考鏈提示（CoT）是大模型湧現中最神祕的現象之一，尤其在解決數學推理和決策問題上取得了驚艷效果。 CoT 到底有多重要呢？它背後成功的機制是什麼？本文中，北大的幾位研究者證明了 CoT 在實現大語言模型（LLM）推理中是不可或缺的，並從理論和實驗角度揭示了 CoT 如何釋放 LLM 的巨大潛力。

本文選取了兩個非常基礎但核心的數學任務：算術和方程式（下圖給出了這兩個任務的輸入輸出範例）

##推薦：思考鏈如何釋放語言模型的隱藏能力？最新理論研究揭示背後奧秘

論文3：Large Language Models as Tool Makers

• 作者：Tianle Cai、 Xuezhi Wang 等
• #論文網址：https://arxiv.org/pdf/2305.17126.pdf

#摘要：受到製造工具對人類重要性的啟發，在本文中，Google Deepmind、普林斯頓和史丹佛大學的研究者將這種「進化」的概念應用於LLM 領域，進行了初步探索。他們提出了一個閉環框架，在這個框架中 LLM 作為工具製作者（LLMs As Tool Makers ，LATM），使其能夠產生自己的可重新使用的工具來處理新任務。

推薦：GPT-4 等大模型迎來進化轉折點：不只是使用，還會自己製作工具了

論文4：SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification

• 作者：Xupeng Miao、Gabriele Oliaro 等
• 作者：Xupeng Miao、Gabriele Oliaro 等

#論文網址：https://arxiv.org/abs/2305.09781

摘要：

近日，來自卡內基美隆大學（CMU）的Catalyst Group 團隊發布了一款「投機式推理」引擎SpecInfer，可以藉助輕量化的小模型來幫助大模型，在完全不影響生成內容準確度的情況下，實現兩到三倍的推理加速。

推薦：LLM 推理提速2.8 倍，CMU 清華姚班校友提出「投機式推理」引擎SpecInfer，小模型撬動大模型高效推理

論文5：Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models
• #作者：Gen Luo、 Yiyi Zhou 等

論文網址：https://arxiv .org/pdf/2305.15023.pdf

#摘要：

本文提出了一個新穎且經濟實惠的解決方案，用於有效地將LLMs 適應到VL（視覺語言）任務中，稱為MMA。 MMA 不會使用大型神經網路來連接影像編碼器和 LLM，而是採用輕量級模組，即適配器，來彌合 LLMs 和 VL 任務之間的差距，同時也實現了影像模型和語言模型的聯合優化。同時，MMA 還配備了一種路由演算法，可以幫助 LLM 在不損害其自然語言理解能力的情況下，在單模態和多模態指令之間實現自動切換。

推薦：訓練時間減少71.4%，儲存成本節省99.9%，廈大指令調優新方案MMA 讓羊駝模型實現多模態

論文6：mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video
• 作者：Haiyang Xu、Qinghao Ye 等

論文地址：https:/ /arxiv.org/pdf/2302.00402.pdf

摘要：對於多模態基礎模型，我們希望其不僅可以處理特定的多模態相關任務，也希望其處理單模態任務時也能具有優異的效能。阿⾥達摩院團隊發現現有的模型往往無法很好的平衡模態協作和模態糾纏的問題，這限制了模型在各種單模態和跨模態下游任務的表現。

基於此，達摩院的研究者提出了mPLUG-2，其透過模組化的⽹絡結構設計來平衡多模態之間的協作和糾纏問題，mPLUG -2 在30 多/ 單模態任務，取得同等資料量和模型規模SOTA 或Comparable 效果，在VideoQA 和VideoCaption 上超越Flamingo、VideoCoca、GITv2 等超⼤模型取得絕對SOTA。此外，mPLUG-Owl 是阿⾥巴巴達摩院 mPLUG 系列的最新工作，延續了 mPLUG 系列的模組化訓練思想，把 LLM 升級為⼀個多模態⼤模型。 mPLUG-2 的研究論文已被 ICML 2023 接收。

############

推薦：ICML 2023 | 基於模組化思想，阿里達摩院提出多模態基礎模型mPLUG-2

#論文7：Where to Go Next for Recommender Systems? ID- vs. Modality-based Recommender Models Revisited

作者：Zheng Yuan、Fajie Yuan 等

論文網址：https://arxiv.org/abs/2303.13835

############ ###摘要：###本文調查了一個富有潛力的問題，即多模態推薦系統MoRec 是否有望終結IDRec 在推薦系統領域長達10 年的主導地位，基於此，論文進行了深入研究。相關成果已被 SIGIR 2023 接收。下圖為網路架構。 ############################## 推薦：###SIGIR 2023 | 推薦系統何去何從，經典 ID 範式要被顛覆？ ######

以上是GPT-4等大模型自己製作工具，辨識ChatGPT造假的詳細內容。更多資訊請關注PHP中文網其他相關文章！