搜尋
首頁科技週邊人工智慧馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次

從 2023 年 11 月起,Grok 首次亮相以來,馬斯克的 xAI 正在大模型領域不斷取得進步,向 OpenAI 等先行者發起進攻。在 Grok-1 開源後不到一個月,xAI 的首個多模態模型就問世了。

昨天,xAI 推出了 Grok-1.5V,不僅能理解文本,還能處理文件、圖表、截圖和照片中的內容。

馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次

Grok-1.5V是一種多模態模型,能夠在許多領域展現出優雅的表現,從多學科推理到理解文檔、科學圖表、截圖和照片等。 xAI還表明,在接下來的幾個月裡,預計在圖像、音訊和視訊等各種模態上顯示出更高的模型能力。

我們看到了 Grok-1.5V 和 GPT-4V、Claude 3 Sonnet、Claude 3 Opus 和 Gemini Pro 1.5 的測試對比。其中特別提到的是:「Grok 在理解物理世界方面的能力尤其讓我們興奮。在我們新推出的RealWorldQA 基準測試中,Grok 的表現優於同類產品。對於下面的所有數據集,我們都是在在沒有思維鏈提示的情況下對Grok 進行評估的。開源許可證下發布,這將成為當下LLM 競爭格局的一個重要節點。

Grok-1.5V 表現如何? 馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次

目前,Grok-1.5V 還沒有完全開放,但很快就會提供給早期測試者和現有的 Grok 用戶。不過,部落格中展示了 Grok-1.5V 的七個範例。

第一個是將流程圖的白板草圖轉換為Python 程式碼:

Prompt:Can you translate this into Python code?(你能把它翻譯成Python 程式碼嗎?您提供的流程圖描述了一個簡單的競猜遊戲:電腦產生一個隨機數,使用者必須猜出它。以下是表示流程圖中邏輯的 Python 程式碼:

import randomdef guess_number(): # Generate a random number between 1 and 10target = random.randint(1, 10)while True:guess = int(input("Guess a number between 1 and 10: "))if guess == target:print("You won!")breakelse:print("Wrong guess, try again!")if __name__ == "__main__":guess_number()

#

第二个是计算卡路里:

Prompt:How many calories are there in 5 slices of this?(5 片有多少卡路里?)

馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次

Grok:如果一份是 3 片,含有 60 卡路里,那么 5 片就含有大约 100 卡路里。计算方法是首先确定每片的热量:60 卡 / 3 片 = 20 卡 / 片。然后,将每片的卡路里乘以片数:每片 20 卡路里 * 5 片 = 100 卡路里。

第三个是将草图转化为睡前故事:

Prompt:My son drew this, can you tell a short bedtime story based on his drawing?(这是我儿子画的,你能根据他的画讲一个简短的睡前故事吗?)

馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次

Grok:

很久很久以前,在一个充满冒险和奇迹的国度里,有一个勇敢的小男孩,名叫提米。提米和家人住在舒适的小房子里,他最喜欢的事情就是探索周围的世界。

在一个阳光明媚的日子里,提米决定去附近的森林探险。他带上了自己最喜欢的零食、指南针和他最信任的笔记本,准备把看到的所有令人兴奋的事物都画下来。

当 Timmy 走进森林深处时,他发现了一条在阳光下闪闪发光的神奇河流。这条河是如此迷人,以至于提米决定做一艘小纸船,顺流而下,作为给森林精灵的特别讯息。

提米小心翼翼地折好纸船,在上面画了一个笑脸,希望能给森林精灵带来欢乐。然后,他把小船放在河面上,看着小船载着他的友谊和对大自然的爱漂走了。

夕阳西下,提米知道是时候回家了。他为自己在森林里度过的神奇的一天感到庆幸,他知道自己将永远铭记这次探险。

回到家后,提米和家人分享了他的故事,家人听到他在森林里度过的神奇一天都非常高兴。他们一致认为,提米勇敢、善良的精神是一种真正的激励,他们知道,提米今后还会有更多精彩的冒险经历。

就这样,带着满心的爱和满脑子的梦想,提米渐渐进入了梦乡,他渴望发现在他的想象世界里还有什么新的冒险在等着他。

第四个是解释梗图:

Prompt:I don't get it, please explain(我不理解,啥意思?)

馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次

Grok:

这幅图幽默地将初创公司和大公司作了对比。在标有 "初创企业" 的左侧,有一群人在一起挖洞。他们都在积极参与,洞已经挖得很深了。

在标有 "大公司" 的右侧,有一群人围着一个洞站着。然而,与初创公司不同的是,只有一个人真正在挖洞,其他人都在观看或从事其他活动。

这幅图的幽默感来自于对初创企业和大公司之间差异的夸大。在初创公司,人们往往有一种紧迫感,希望每个人都能直接为手头的任务做出贡献。相比之下,大公司往往被描述为官僚主义更严重,所有团队成员对每个项目的直接参与更少。

第五个是将表格转换为 CSV 文件格式:

Prompt:Please convert this table to csv.(请将此表转换为 csv。)

馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次

Grok:

medal,name,sport,event,date1 gold,El Amin Chentouf,Athletics,Men's marathon - T13,11 September1 gold,Mohamed Amguoun,Athletics,Men's 400m - T13,15 September1 gold,Azeddine Nouiri,Athletics,Men's shot put - T34,15 September2 silver,Mahdi Afri,Athletics,Men's 400m - T12,9 September2 silver,El Amin Chentouf,Athletics,Men's 5000m - T13,15 September3 bronze,Mahdi Afri,Athletics,Men's 200m - T12,17 September3 bronze,Mohamed Lahna,Paratriathlon,Men's PT2,10 September

CSV 格式不支持样式或格式设置,因此信息以纯文本格式呈现。

第六个是辨别木头的腐朽程度:

Prompt:These holes are appearing around the screws in my deck. Is it rotten? Should I get my boards replaced?(这些孔出现在我的甲板上的螺钉周围。是不是烂了?我应该更换吗?)

馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次

Grok:

甲板上的木材似乎已经开始腐烂。这表现在螺丝周围出现孔洞,这是木材腐烂的常见迹象。

为了确保露台的安全和使用寿命,建议更换受影响的木板。这将有助于防止其受到进一步损坏,并保持其结构的完整性。

如果您不确定如何更换木板,咨询专业的露台建造商或承包商可能会有所帮助。他们将能够评估损坏的程度,并就最佳行动方案向您提供专家建议。

第七个是解决编程问题:

Prompt:Can you write Python code that solves this?(你能编写 Python 代码来解决这个问题吗?)

馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次

Grok 回复如下:

def find_triplets(nums):result = []nums.sort()for i in range(len(nums) - 2):if i > 0 and nums[i] == nums[i - 1]:continuetarget = -nums[i]left = i + 1right = len(nums) - 1while left 

RealWorldQA 基准

本次发布还有一个亮点:xAI 推出了一个新的基准「RealWorldQA」。

下载地址:https://data.x.ai/realworldqa.zip

「为了开发有用的真实世界人工智能助手,提高模型对物理世界的理解至关重要。」xAI 希望借助该基准更好地评估多模态模型的基本真实世界空间理解能力。「虽然当前基准中的许多示例对人类来说相对容易,但它们往往对前沿模型构成挑战。」

馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次

目前,RealWorldQA 包含 700 多张图片,每张图片都有一个问题和易于验证的答案。

在真实世界的图像外,该数据集还包括从车辆上拍摄的匿名图像。这对于自动驾驶领域来说,或许是个好消息。

巧合的是,微软研究院前段时间更新了跨语言、模态、模型和任务的基准测试 MEGAVERSE,包含 22 个数据集,涵盖 83 种语言(包括资源匮乏的非洲语言)。微软还在基准测试中加入了两个多模态数据集,并比较了 LLaVA 模型 GPT-4-Vision 和 Gemini-Pro-Vision 的性能。

馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次

Meta 在前几天也开源了衡量人工智能系统具体问答能力的基准数据集 OpenEQA,包含家庭和办公室等 180 多种不同现实环境的 1600 多个问题,跨越七个类别,全面测试 AI 在物体和属性识别、空间和功能推理以及常识知识等技能方面的能力,加深大模型对现实世界的理解。

馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次

即使是最先进的 AI 模型,如 GPT-4V,在 OpenEQA 上也难以与人类表现相媲美。OpenEQA 是衡量人工智能系统理解和回答现实世界问题能力的新基准。

在这些研究的推动下,我们可以期待一下 2024 年大模型在现实世界任务取得更多的进展。

参考链接:https://x.ai/blog/grok-1.5v

以上是馬斯克的首款多模態大模型來了,GPT-4V又被超越了一次的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
讓我們跳舞:結構化運動以微調我們的人類神經網讓我們跳舞:結構化運動以微調我們的人類神經網Apr 27, 2025 am 11:09 AM

科學家已經廣泛研究了人類和更簡單的神經網絡(如秀麗隱桿線蟲中的神經網絡),以了解其功能。 但是,出現了一個關鍵問題:我們如何使自己的神經網絡與新穎的AI一起有效地工作

新的Google洩漏揭示了雙子AI的訂閱更改新的Google洩漏揭示了雙子AI的訂閱更改Apr 27, 2025 am 11:08 AM

Google的雙子座高級:新的訂閱層即將到來 目前,訪問Gemini Advanced需要$ 19.99/月Google One AI高級計劃。 但是,Android Authority報告暗示了即將發生的變化。 最新的Google P中的代碼

數據分析加速度如何求解AI的隱藏瓶頸數據分析加速度如何求解AI的隱藏瓶頸Apr 27, 2025 am 11:07 AM

儘管圍繞高級AI功能炒作,但企業AI部署中潛伏的巨大挑戰:數據處理瓶頸。首席執行官慶祝AI的進步時,工程師努力應對緩慢的查詢時間,管道超載,一個

Markitdown MCP可以將任何文檔轉換為Markdowns!Markitdown MCP可以將任何文檔轉換為Markdowns!Apr 27, 2025 am 09:47 AM

處理文檔不再只是在您的AI項目中打開文件,而是將混亂變成清晰度。諸如PDF,PowerPoints和Word之類的文檔以各種形狀和大小淹沒了我們的工作流程。檢索結構化

如何使用Google ADK進行建築代理? - 分析Vidhya如何使用Google ADK進行建築代理? - 分析VidhyaApr 27, 2025 am 09:42 AM

利用Google的代理開發套件(ADK)的力量創建具有現實世界功能的智能代理!該教程通過使用ADK來構建對話代理,並支持Gemini和GPT等各種語言模型。 w

在LLM上使用SLM進行有效解決問題-Analytics Vidhya在LLM上使用SLM進行有效解決問題-Analytics VidhyaApr 27, 2025 am 09:27 AM

摘要: 小型語言模型 (SLM) 專為效率而設計。在資源匱乏、實時性和隱私敏感的環境中,它們比大型語言模型 (LLM) 更勝一籌。 最適合專注型任務,尤其是在領域特異性、控制性和可解釋性比通用知識或創造力更重要的情況下。 SLM 並非 LLMs 的替代品,但在精度、速度和成本效益至關重要時,它們是理想之選。 技術幫助我們用更少的資源取得更多成就。它一直是推動者,而非驅動者。從蒸汽機時代到互聯網泡沫時期,技術的威力在於它幫助我們解決問題的程度。人工智能 (AI) 以及最近的生成式 AI 也不例

如何將Google Gemini模型用於計算機視覺任務? - 分析Vidhya如何將Google Gemini模型用於計算機視覺任務? - 分析VidhyaApr 27, 2025 am 09:26 AM

利用Google雙子座的力量用於計算機視覺:綜合指南 領先的AI聊天機器人Google Gemini擴展了其功能,超越了對話,以涵蓋強大的計算機視覺功能。 本指南詳細說明瞭如何利用

Gemini 2.0 Flash vs O4-Mini:Google可以比OpenAI更好嗎?Gemini 2.0 Flash vs O4-Mini:Google可以比OpenAI更好嗎?Apr 27, 2025 am 09:20 AM

2025年的AI景觀正在充滿活力,而Google的Gemini 2.0 Flash和Openai的O4-Mini的到來。 這些尖端的車型分開了幾週,具有可比的高級功能和令人印象深刻的基準分數。這個深入的比較

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具