田淵棟：關於GPT-4的一些感想

OpenAI昨天發布了GPT-4，試用了一下確實很不錯。

在我主要關心的故事生成方面，與ChatGPT生成出來的故事相比，GPT-4文筆更佳細節更多，更擅長生動具體的描繪，劇情也開始出現一些有趣的轉折。當然，ChatGPT有的問題，比如說缺乏整體佈局謀篇能力，角色不突出，敘事展開比較無聊，續寫段落很快就會歸於一個平庸的結尾等等，在GPT-4上面仍然存在。

從它的表現報告來看，與GRE verbal接近滿分相比，GRE寫作只有4分，大學預修英文寫作也只有2分（ 3分及格），而且從GPT-3到4沒有進步，不知道是不是跟這些問題有關聯。

#但不管怎麼說，GPT-4已經能幫我們做很多日常工作了。自從2013年深度學習開始爆發以來，僅僅過了十年，我們就有瞭如此強力的工具，其進化速度可以說是超出想像。

2017年我為什麼有些學數學的不慣甚至鄙視 Deep Learning？這個回答裡面寫了一些大膽的猜測，比如說“漫漫長夜裡瞎摸，太陽還沒有露頭”，現在看起來這些預測還是大體正確的，只是想不到，這一天會那麼快到來。

一個技術，一旦變成像微積分一樣的通用工具，那接下來帶來的巨大變革，是可以預期的。

如果再把眼光放得長遠一點，將來會發生什麼事呢？

我在2020年左右也有一些思考，放在自己的科幻小說裡了。總的來說，如果這樣的趨勢發展到極致，再加上連實體產品的製造都可以就地取材完全自動化，那最後的結果就是「所思即所得」：只要能構思出一個東西，它就會以極低的成本出現在自己的面前。

大部分重複性勞動，只要可以被機器無限制複製，其價值就會降到近乎為零，成為和水和空氣一樣無所不在的公共品。

在這種條件下，「獨一無二」就會成為大家所珍視的價值和意義。也許以後，判斷人才的主要因素，不再是完成學位，考試過關，而是看個人的經驗和成就。

「同樣的目標下比別人做得更好」是一種獨一無二，「去往從未有人去過的方向」也是一種獨一無二。這不僅包括同儕認可的學術成就，例如解開無人能解的難題，開創並探索一個新的學術方向，更包括獨一無二的經驗、見解、思考方式，乃至三觀，比如說一個拄著拐杖徒步探險過南極的程式設計師，他/她對這個世界會有什麼樣的觀點，見解和感悟？一個曾自製火箭去往月球但中途失控，又奇蹟被救的歷史系學生，將在自傳裡如何講述這段經歷？

這些與個人特質緊密結合的話語權，會讓每個人都能佔據人類社會中的一個獨特生態位，成為「人之為人」最終的定海神針。即便是將來意識能夠上傳，數位孿生能夠實現，這種獨特人格仍然是無法複製的——完全相同的個體，只要變成了兩個並開始各自接受不同的外界信號刺激，他們內部的狀態就會因更新而不同，軌跡就會開始分叉，再次變得獨一無二。

#

總的來說，每個人都透過自身的「道」來證明自己的選擇，又因為過去的選擇，來累積自己獨一無二的特質。無法預先判斷誰比誰更優秀，因為計算這個判定函數本身，就需要個體實踐自己的道路。而無數的，堅持各自方向的人聚在一起，就會不斷湧現出各種奇妙的想法，有一些被實踐證明正確的，就會影響到他人並且吸引到追隨者。而包含這些所有個體的，一個多元包容的世界，就會充滿前進的動力。

扯遠了。

對研究者而言，GPT-4的出現又意味著什麼呢？

我們有兩種極端的選擇，其一是關起門來，不聽不看，沿用舊的思維慣性去構思研究路線，繼續發表下一篇文章；也可以從此百分百拋棄以前的研究思路，撕掉所有課本，相信算力為王，大模型大數據就是一切。

我覺得這兩種態度都不可取。研究的典範要有變化，不再發現特定的知識，而是研究模型學習的機制，尋求其學習能力的本源。比如說透過海量的資料訓練，現有的模型可以自動學會很多概念。

但模型是如何學會這個概念的，為什麼大模型會學得更快更好，它怎麼從資料中被發現，被模型抓住並且在訓練中不斷被強化？高級的概念是如何形成的？現有的模型如何抓住這些概念，以什麼樣的機制來抓住它們？我覺得這些可能是在長遠來看，真正有意義的基礎研究方向，也是把」人工智慧「這個玄學，真正轉化成科學的最終出口。

當然了，這些應該說是幾十年的尺度上看的，要做這些研究，需要大量的基礎知識，充足的耐心，擅長接受超出自己認知範圍內的新事物，又能把它融入原本的工作流程和研究思路中去。

這可以算是自己在研究上獨一無二的「定海神針」吧，希望能夠繼續走下去。

#

以上是田淵棟：關於GPT-4的一些感想的詳細內容。更多資訊請關注PHP中文網其他相關文章！