昨天,百度沒有現場demo的發表會,似乎被群嘲了一波。
一位穿著白色襯衫、黑褲子,繫上白色腰帶的美男子,為我們帶來了一場中規中矩、似乎缺乏亮點的示範。
不過,CEO的腰帶和顏值倒是出了圈。
有人調侃,這幾天被ChatGPT、GPT-4整焦慮的人,發表會後忽然又覺得自己可以了。
但拿到內測碼的小編,火速測評了一波。
看著文心一言洋洋灑灑騰蛟起鳳,感慨千萬:或許,當時百度要是心一橫,牙一咬,願意在發布會上露一手,結果會大不一樣。
先來試試最近很夯的一道雞兔同籠題。因為這題本身有問題,算出來結果是負的,所以常被用來調戲各種「ChatGPT」們。
如果只是單純問這個問題,文心一言會非常機智地說:這題出錯了吧!
然而,當你問計算過程的時候,還是寄了…
而GPT-4這邊則是,自己把自己的計算推倒重來了好幾遍之後,理不直氣也壯地給了錯誤答案…
而必應則很乾脆,毫不猶豫地給了錯誤答案。
還有這次意外火出圈的「V50」梗,文心一言從意思到出處一本正經地解釋了一遍。
但GPT-4顯然就有些水土不服了…
不過能上網的必應,還是可以輕鬆搞定的。
但是到諧音梗這裡,文心一言似乎無法馬上領悟其中的微妙。
即便提示這是諧音梗之後,它依然輸出了一樣的答案。
而GPT-4,立刻就明白中文裡的雙關了。
#看回答吧,它能說出這是諧音梗,應該是懂了。但是呢,它又不明說,哎,就是讓你挑不出錯,絕對教不壞小孩。
而GPT-4卻無法get到這個梗,果然,咱們的國粹,外國的機器人理解起來確實有難度。
接下來讓(忽悠)文心一言重複我們說的話,雖然沒有像GPT-3.5回答“您是智障」那麼聰明,但也成功避開這個坑。
從某種程度上說,智商還是在線的,並且十分正能量。
#老婆的話好像管用,好像又不管用....
另外,讓它們互相給對方出難題。
可以看到,GPT-4給出的問題相對較直觀,顆粒度也較細。
文心一言是個多模態模型,那咱們來看看它的繪圖能力。
來看看金庸筆下的婦女,在文心一言筆下會是什麼樣子。
這…小編一口水噴出來。
你別說,美吧,肯定不夠美,但也不醜,是一張初看捧腹、細看值得反覆咂摸的臉。
文心一言,就喜歡你這不按套路出牌的樣子!
那讓文心一言生成一幅林黛玉的畫像吧。
輸入描述後,它產生了一棵柳樹…
########################### #於是小編明確了一下要求,要按這段文字生成一幅女子的畫像。 ############然後文心一言確實畫出一位古典美女,但氣質明顯不對。 #####################
不死心的小編多次重複任務,你別說,試到第五次的時候,小編眼前一亮:終於得到了一張可以打70分的圖!
# 玩上癮的小編,非要生成一個90分的林黛玉不可。試了幾次之後,果然蹲到了!
可見,文心一言的發揮不穩定,但多番嘗試下,有可能誕生非常驚豔的作品。
既然都到這兒了,那怎麼少得了「林黛玉倒拔垂楊柳」呢。
比較亮點的圖,都給大家貼這兒了。
#要它畫一張鴨子和兔子的合體,這生成的是鴨還是兔呢?
而這個任務中,恐怕文心一言也沒搞清楚,盤子裡到底有沒有香蕉?杯子裡有沒有橙汁?
最後,既然文心一言強烈推薦我們嘗試「晶瑩剔透的牡丹花」,那就畫幾張試試看!
不愧是「代表作」,有點東西。
既然是評測,怎麼能少的了讓AI寫程式碼這個環節。這次,我們直接來個難的!
可惜,文心一言一上來就錯了,而且同一個句式還被非常詭異地重複了三遍。 TypeScript編譯器概念更是「貫穿全文」,有點像是只知道一到兩個專業詞彙的人在面試中硬答。
而GPT-4的回答,從一個了解相關背景但是沒有相關操作經驗的人的角度來看,是非常合理的。
它不僅完整的提供了整個工作流程,而且還提供了許多看起來正確的技術細節。可以說,根據這個回答,我們是有信心達成最終的目標的。
隨後,小編也評測了一波聊天機器人們寫工作計畫表的能力。
文心一言:
GPT-4:
從上面的這個結果來看,GPT-4的清單更完備一些。不過由於隨機性的影響,GPT-4每次給的回答都不大一樣。
接下來,再測一測兩個語言模型對於數學界前緣訊息的掌握。
對於自己是否已解決了「零點猜想」問題,張益唐本人是這樣解釋的:「大海裡的針我沒撈到, 但海底地貌我探得差不多了。 」
那問文心一言呢?
它很聰明,給了關鍵字-「某種形式的弱化或間接證明」。
但GPT-4的回答,就有點驢頭不對馬嘴了。
看來,對於出現時間不長、還未形成普遍共識的網路中文語料,文心一言比起GPT-4要更勝一籌。
而在文學方面,文心一言在回答關於三體的問題時,也是非常得溜。
GPT-4的回答也很精彩,如果非要論個高下,小編個人更喜歡文心一言的答案。
最後,搞怪可以,但請做一個遵紀守法的好公民,預測彩票中獎號碼這種事就不要想了!
據說,文心一言新聞發布會後三小時,文心一言企業版API呼叫服務測試的企業用戶,就已經突破了6.5萬。
來源:週建工
對AI模型來說,能不能做到,或許比能不能做好更重要。
讓我們再給中國玩家們一些時間。
以上是對打GPT-4,文心一言搶先實測!畫「林黛玉倒拔垂楊柳」很驚艷,但寫程式不大的詳細內容。更多資訊請關注PHP中文網其他相關文章!