首頁  >  文章  >  科技週邊  >  ChatGPT背後竟然是這麼搞的,不可思議!

ChatGPT背後竟然是這麼搞的,不可思議!

WBOY
WBOY轉載
2023-04-07 15:03:091684瀏覽

我是ChatGPT,最近實在太火爆了。

很多人以為我很強大,其實不是這樣的,比如,如果你問我:

今天北京天氣如何? 

對不起,我並不知道,我無法獲得即時的訊息,因為我的GPT4模型的知識停留在了2021年9月份。你要獲得即時訊息,非得透過其他途徑(如插件)不可。

只不過,我的許多回答有點兒通用AI的感覺,我似乎真的能理解你的問題,並且針對性地進行回答。 

這和之前的AI完全不同,讓很多人感到震撼。

但是很慚愧,我並不理解我的回答是什麼意義,我在我這裡,一切都是機率。

我基於機率來產生答案,我一直在跟你玩文字接龍遊戲。

這聽起來不可思議,但確實如此,那些看起來很有邏輯的答案靠的都是機率。 

我不理解概念,但是我必須找到這些詞彙之間的關係,這樣才能輸出答案,而這個關係是用「向量」表示的。

例如我有一個非常小的詞彙表,包括以下四個字:“喵”,“汪”,“貓”,“狗”,它們的向量可能是這樣的:

喵:[0.9, 0.1]

汪:[0.1, 0.9]

貓:[0.8, 0.2]

狗:[0.2, 0.8]

畫成二維座標:

ChatGPT背後竟然是這麼搞的,不可思議!

你一​​眼就能看出來,「喵」和「貓」有著相似的向量表示,因為它們兩個的距離比較近。

「汪」和「狗」的向量也相似,它兩個的距離也比較近。

這意味著,我成功地捕捉了這四個字之間的語意關係,以後就可以利用了。

我不理解「貓」是什麼東西,「狗」又是什麼意義,但是我知道「貓」和「喵」密切相關,「狗」和「汪」密切相關,這就夠了。

這裡的向量是二維的,可以在平面中直觀地看出來,在實際的應用中,為了更好地捕捉豐富的語義訊息,向量可能有幾百維,幾千維!你的大腦恐怕是想像不出來的。

那你肯定要問了,這些向量是如何產生的?

你得提交資料集給我訓練啊!

ChatGPT背後竟然是這麼搞的,不可思議!

當你問「貓喜歡吃什麼」的時候,我會將問題中的詞彙轉成向量。

"貓": [0.9, 0.3]

"喜歡": [0.5, 0.2]

"吃": [0.4, 0.7]

"什麼": [0.3, 0.8]

"?": [0.1, 0.1]

#然後我將該向量輸入神經網絡,經過多層計算和激活函數,生成輸出向量。

然後,將輸出向量轉換為機率分佈:

"魚": 0.6

"骨頭": 0.2

"狗糧": 0.1

"巧克力": 0.05

"水果": 0.05

在這個機率分佈中,"魚" 的機率最高,因此我會選擇"魚" 作為回答的一部分。產生的答案可能是:

「貓喜歡吃魚。」  

就是這麼簡單!

當然,這是個簡單的回答,一般的回答都很長,需要不斷地透過機率來選擇下一個詞,好像是單字接龍。

例如:「貓為什麼喜歡晚上活動?」 這個問題的答案可能是這樣生成的:

ChatGPT背後竟然是這麼搞的,不可思議!

你肯定覺得不可思議:這怎麼可能產生「邏輯」上好的答案呢?

例如碼農翻身老劉寫的這幾篇文章:

GPT-4最震撼我的一點

GPT- 4是程式高手,真服了!

ChatGPT開始威脅程式設計師的核心能力了!

都開始威脅程式設計師的核心能力了,厲害不?

我只能說:「大力出奇蹟」。模型大到一定程度,就能湧現一些東西出來了。

你閉上眼睛想像一下,整個網路的文字都擺在我的面前,我把所有的詞彙都提取出來,變成向量,在神經網路中瘋狂運算,捕捉詞彙、短語和句子在不同脈絡中的共現關係。這種共現關係包括了概念之間的聯繫、語法結構以及常見的表達方式等。

這些機率分佈能夠引導我產生更接近你們人類自然語言表達的答案。

正因為我學到的知識是統計性質的,有時候我可能會犯錯,「一本正經地胡扯」。

實際上,在機率遊戲中,有兩個方向,一個叫做BERT,一個叫做GPT。 

BERT就像完型填空,猜中間的字。

GPT就像寫作文,猜下一個字。

ChatGPT背後竟然是這麼搞的,不可思議!

Google在2018年推出了BERT,在NLP領域引起了巨大的轟動。 BERT在問答、文本分類、情緒分析、機器翻譯等任務上都取得了非常好的表現。

但是我的主人堅信GPT的潛力,投入了非常龐大的運算資源和儲存資源,在前途晦暗不明時有著堅定的信念,終於在GPT3.0取得了重大的突破,並由我ChatGPT這個人人可用的應用程式徹底引爆。

我只能說風水輪流轉吧。

一個新事物處於爆發期,大家會覺得它什麼都能幹,對它產生很多不切實際的幻想,好奇、興奮、迷茫、焦慮。

過一段時間以後,大潮褪去,就會發現它並沒有那麼牛,在很多地方它的能力是有限的。

然後,就會有人在適當的場景中應用它,開發出真正有用的產品,發揮出它真正的價值。

ChatGPT也會走上這樣的道路,所以要及早地開始探索,抓住先機。

碼農翻身最近建立一個知識星球「ChatGPT基地」就在做這樣的事情:

這是個非常垂直的星球,專門為程式設計師服務,目的很單純:

1.幫助程式設計師盡快掌握ChatGPT這個優秀的工具,找到最優的使用方式,最佳的提升工作效率的方法。

ChatGPT已經對程式設計師產生了根本性的影響:

從小處來講,如果不會用ChatGPT,肯定幹不過熟練使用ChatGPT的程式設計師。別人用自然語言產生程式碼,你還在一行行敲,效率差了十倍百倍。這將直接影響一個人的工作績效,工作機會,薪資,獎金。 

一個初級程式設計師使用好ChatGPT,有可能可以和中級,甚至高階程式設計師抗衡。

將來的招募中,很有可能增加一條:熟練使用ChatGPT的優先。

從大處來講,有可能會導致“從一棵樹跳到另外一棵樹”,“從一個黑暗森林奔向另外一個黑暗森林”。

2.探索ChatGPT為程式設計師帶來的機會,如果iPhone出現帶來app開發一樣,把副業變成主業。

ChatGPT肯定會重構很多行業,例如各種培訓,如果把ChatGPT封裝成一個“蘇格拉底式導師”,完全有可能實現高質量的導師24小時陪伴,完全涵蓋小學,中學的各種學科,以及成人的IT培訓,這裡邊肯定有很多機會。

當然,這是兩個最主要的目的,加入星球,還可以查看ChatGPT的前沿資訊,優質資源和項目,ChatGPT的極客玩法等等。 

以上是ChatGPT背後竟然是這麼搞的,不可思議!的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:51cto.com。如有侵權,請聯絡admin@php.cn刪除