Sam Altman專訪：GPT-4沒太讓我驚訝，ChatGPT讓我喜出望外
- WBOY轉載
- 2023-04-04 13:05:071564瀏覽
ChatGPT、GPT-4無疑是2023年初人工智慧界最大的「爆款」。
· 我無法知道歷史書會對 GPT 的各個版本怎麼評價。但如果非要我挑出一個至今看到的關鍵節點，我認為還是ChatGPT。 GPT-4並沒有太令我驚訝，ChatGPT讓我有點喜出望外。
· 從某種程度上來說，GPT-4 系統增強了人類智能，可以被應用於各種各樣的場景。
· 系統的易用性本身有時比基礎模型的能力更重要。
· GPT-4 還不具備意識，也無法取代優秀的程式設計師。真正具有意識的人工智慧應該能夠告訴別人自己有意識，能表達自己的痛苦等情緒，理解自己的處境，有自己的記憶，並且能與人互動。
· 人工智慧將對人類的生活品質帶來巨大提升，我們可以治癒疾病、創造財富、增加資源、讓人類感到快樂......看似人類不需要工作了，但是人類還需要社會地位、需要熱情、需要創造、需要感受到自己的價值。因此，人工智慧時代來臨後，我們需要做的是找到新的工作、生活方式，擁抱新科技帶來的巨大提升。
Sam Altman，OpenAI創辦人之一，現任Y Combinator總裁、美國人工智慧實驗室OpenAI執行長。帶領人工智慧實驗室OpenAI開發出聊天機器人程式ChatGPT，被媒體稱為「ChatGPT之父」。
（L指涉Lex Fridman，S代指Sam Altman）
如果在維基百科上書寫AI的歷史，ChatGPT仍是最關鍵的節點
#Q1
L：什麼是GPT-4？它是怎樣運作的？它最神奇的地方是什麼？
S：現在回頭來看，它還是很很初級的人工智慧系統，其工作效率較低、存在一些小毛病，許多事完成得也不盡人意。儘管如此，它仍然為未來真正重要的技術指出了一條發展路徑（即使該過程花費了幾十年的時間）。
Q2
L：50 年後，當人回首早期的智慧系統，GPT-4 會是一個真正巨大的飛躍嗎，這是否是一個關鍵時刻？當人們在維基百科上書寫人工智慧的歷史，會寫上哪個版本的 GPT？
S：這個進步的過程是持續的，很難明確地指定出一個歷史性的時刻。我無法知曉歷史書會對 GPT 的各個版本怎麼評價。但如果非要我挑出一個至今看到的關鍵節點，我認為是 ChatGPT。 ChatGPT 真正重要的並不是它的底層模型本身，而是如何利用底層模型，這涉及基於人類回饋的強化學習（RLHF）及其介面。
Q3
L：RLHF 如何讓 ChatGPT 有如此驚豔的效能？
S：我們用大量的文字資料訓練了這些模型。在這個過程中，他們學到了一些底層表徵相關的知識，從而可以做一些驚艷眾人的事情。但是在剛完成訓練時，如果我們馬上使用這個基礎模型，儘管它可以在測試集上有很好的性能，但是它還並不太容易使用。為此，我們引入了一些人類回饋，實現了 RLHF。最簡單的 RLHF 是：向模型給出兩個版本的輸出，讓它判斷人類評估者會更喜歡哪一個，然後透過強化學習將該資訊回饋給模型。 RLHF 出奇地有效，我們可以用極少的數據使模型更實用，我們透過該技術讓模型與人類需求對齊，更容易給出對人有幫助的正確答案。無論基礎的模型能力如何，系統的易用性十分關鍵。
Q4
L：如何理解透過使用 RLHF 技術，我們不再需要那麼多的人類監督？
S：公平地說，相較於最初創建預訓練大模型的科學研究，我們對這一部分的研究還處於早期，但是需要的數據確實更少了。
L：對於人類指導的研究十分有趣，也十分重要。我們透過這類研究來理解如何讓系統更實用、更聰明、符合道德規範和人類的意圖。引入人類回饋的過程也十分重要。
Q5
L：預訓練資料集的大概有多巨大？
S：我們費了很大力氣與合作夥伴一起從互聯網上的各個開源的數據庫上抓取到了這些預訓練數據，構建了龐大的數據集。實際上，除了 Reddit、報紙等媒體，世界上還有很多內容是大多數人意想不到的。清洗資料、過濾資料比收集資料更困難。
Q6
L：建立 ChatGPT 需要解決很多問題，例如：模型架構規模的設計，資料的選擇，RLHF。這些部分結合起來有何神奇之處？
S：GPT-4 是我們真正推出的 ChatGPT 最終產品內部的版本，創造它所需的零件數量還很難知曉，工作量很大。在早期的每個階段，我們需要想出新的思路，或很好地執行現有的想法。
L：GPT-4 中的一些技術步驟已經相對成熟，例如：在完成完整的訓練模型之前，預測模型將會達到的表現。如何根據少量的訓練就能知道訓練完整的系統的特殊特性？就好比看到一個一歲的嬰兒，就能知道他在高考中獲得多少分。
S：這項成就令人驚訝，背後涉及許多的科學因素，最終達到人類所期待的智力水平。這個實現過程比我所能想的要科學的多。正如所有新的科學分支一樣，我們會發現一些無法擬合數據的新東西，並對此給出更好的解釋，而這正是科學發展的過程。儘管我們已經在社交媒體上發布了 GPT-4 的一些信息，但是我們仍然應該對其神奇之處感到敬畏。
GPT-4系統地增強了人類智慧
Q7
#L：GPT-4 這類語言模型可以學習或引用各領域的素材。 OpenAI 內部的研究者和工程師對語言模型的神奇之處是否有越來越深的理解？
S：我們可以透過各種方式評估模型，可以在訓練好模型後在各類任務上對其進行測試，我們在Github 上也開精力源了模型的測試過程，這很有幫助。重要的是，我們耗費了大量的人力、財力、時間來分析模型的實用性、模型如何為人們帶來快樂和幫助、如何創造一個更好的世界、產生新的產品和服務。當然，我們至今仍然無法完全理解模型完成任務的全部內在過程，但我們會繼續朝著這個方面努力。
Q8
L：GPT-4 將網路上海量的資訊壓縮到了黑盒模型中「相對較少」的參數中，形成了人類智慧。請問從事實到智慧產生了怎樣的飛躍？
S：我們將模型作為資料庫吸取了人類知識，而不是將其用作推理引擎，系統的處理能力得到了神奇的提升。這樣一來，系統實際上也能實現一定程度的推理，儘管某些學者可能認為這一說法並不嚴謹。從某種程度上來說，GPT-4 系統增強了人類智能，可以被應用於各種各樣的場景。
L：ChatGPT 似乎在與人類的連續互動中「擁有」了智能，它在這種對話的方式中承認自己錯誤的假設，否定不合適的請求。
GPT-4不具有意識，也不會取代優秀的程式設計師
Q9
L：有些人很享受與GPT 一起編程，有些人害怕變成工作會被GPT 取代。你怎麼看待這現象？
S：有一些關鍵的程式設計工作仍然需要人類的創造因素。 GPT 類別的模型會自動完成一些程式設計工作，但仍無法取代優秀的程式設計師。有一些程式設計師會對未來的不確定性產生焦慮，但是更多的人會覺得它提升了自己的工作效率。
二、三十年前，當「深藍」擊敗了西洋棋大師卡斯帕羅夫後，也有人認為沒有繼續下西洋棋的必要了。但是國際象棋至今仍風靡全球。
人工智慧將對人類的生活品質帶來巨大提升，我們可以治癒疾病、創造財富、增加資源、讓人類感到快樂......看似人類不需要工作了，但是人類還需要社會地位、需要熱情、需要創造、需要感受到自己的價值。因此，人工智慧時代來臨後，我們需要做的是找到新的工作、生活方式，擁抱新科技帶來的巨大提升。
Q10
L：Eliezer Yudkowsky 警告人工智慧可能傷害人類，並給出了一些例子，我們幾乎不可能一直讓超級人工智慧與人類意圖“對齊”。你是否贊同他的觀點？
S：這是有可能的。如果我們不談論這一潛在的可能性，我們就不會投入足夠的努力研發新技術來解決此類問題。許多新興領域都存在這類問題，現在人們關心人工智慧的能力和安全性。 Elizer 的文章寫得很好，但是人們很難跟進它的一些工作，存在一些邏輯問題，我並不完全支持他的看法。
早在人們相信深度學習、大語言模型的能力之前，就有很多有關人工智慧安全的工作，我不認為這一領域有足夠多的更新。理論確實很重要，但是需要不斷學習技術軌跡的變化，這種循環需要更加緊湊。我認為現在是研究人工智慧安全的好時機，可以探討這些新工具新技術與人類意圖的「對齊」。
Q11
L：人工智慧科技發展日新月異，有人說我們現在又進入了人工智慧「起飛」的階段。當有人真正建構了通用人工智慧，我們怎麼知道這種變化？
S：GPT-4 並沒有太令我驚訝，ChatGPT 則稍微讓我有些喜出望外。儘管 GPT-4 令人印象深刻，但它還並不是 AGI。 AGI 的真正定義越來越重要，但我認為這距離我還很遙遠。
Q12
L：你認為 GPT-4 有意識嗎？
S：不，我認為它還沒有意識。
L：我認為真正具有意識的人工智慧應該能夠告訴別人自己有意識，能表達自己的痛苦等情緒，理解自己的處境，有自己的記憶，並且能與人互動。而我覺得這些能力都是介面的能力，而不是底層知識。
S：我們 OpenAI 的首席科學家 Ilya Sutskever 曾經與我討論過「如何知道模型是否有意識」。他認為，如果我們在資料集上小心地訓練一個模型，不提及與意識或任何相關概念的主觀經驗，然後我們向模型描述這種意識的主觀體驗，看模型是否能領會我們傳達的訊息。
通用人工智慧，我們走到了哪一步？
Q13
L：喬姆斯基等人對「大語言模型」能實現通用人工智慧持批判態度。對此，你怎麼看？大語言模型是否是通往通用人工智慧的正確道路？
S：我認為大語言模型是通往 AGI 的道路中的一環，我們還需要其它非常重要的部分。
L：你認為智能體需要一個感受世界的「身體」嗎？
S：我對此持謹慎態度。但在我看來，無法很好地融入已知的科學知識的系統不能稱之為“超級智能”，它就像發明新的基礎科學。為了實現「超級智慧」，我們需要繼續拓展 GPT 類的範式，還有很長的路要走。
L：我認為透過改變訓練 GPT 的數據，就已經可以獲得各種巨大的科學突破。
Q14
L：隨著提示（Prompt）鏈越來越長，這些互動本身就會成為人類社會的一部分，並且互為基礎。如何看待這現象？
S：與GPT 系統能完成某些任務相比，更讓我激動的是人類參與了這一工具的反饋迴路中，我們可以從多輪交互的軌跡中學到更多的東西。 AI 將拓展、放大人類的意圖和能力，這也將塑造人們使用它的方式。也許，我們永遠不會建造出 AGI，但讓人類變得更好這件事本身就是巨大的勝利。
以上是Sam Altman專訪：GPT-4沒太讓我驚訝，ChatGPT讓我喜出望外的詳細內容。更多資訊請關注PHP中文網其他相關文章！