搜尋
首頁科技週邊人工智慧ChatGPT是什麼? G、P、T代表什麼?

ChatGPT是什麼? G、P、T代表什麼?

May 08, 2023 pm 12:01 PM
chatgpt數據文字

比爾蓋茲:ChatGPT是1980年以來最具革​​命性的科技進步。

身處在這個AI變革的時代,唯有躬身入局,腳步跟上。

這是一篇我的學習筆記,希望對你了解ChatGPT有幫助。

1、ChatGPT裡的GPT,分別代表什麼?

GPT,Generative Pre-trained Transformer,生成式預訓練變換模型。

什麼意思?

Generative,生成式,是指它能自發的生成內容。

Pre-trained,預訓練,是不需要你拿到它再訓練,它直接為你做好了一個通用的語言模型。

Transformer,變換模型,Google提出來的一個很厲害的模型,他可以幫助更好的去處理NLP相關的問題,是非常棒的神經網路結構。

2、Transformer雖是由Google提出的。但應用最成功的是OpenAI的ChatGPT。

因為ChatGPT是站在巨人的肩膀上走出來的。

ChatGPT是全人類社會的結晶,沒有前人的鋪墊,ChatGPT不會這麼順利走出來。

後面也會有更多的非常厲害的應用,會基於ChatGPT走出來。

3、Transformer中有一個很重要的概念,注意力機制。

什麼是注意力機制呢?

就是從你輸入的訊息中,挑出重要的訊息,把注意力集中在這些重要的訊息上,忽略不重要的訊息。這樣就能更好的理解你說的話。

注意力機制能幫助Transformer模型集中註意力在輸入資訊中最重要的部分。

4、機器學習方式,分為監督學習、無監督學習、強化學習。

監督學習:有標籤數據,可以直接回饋,可以預測結果和未來

無監督學習:沒有標籤和目標,沒有回饋,而是它自己去尋找數據中的隱藏結果

強化學習:是一個決策過程,有一系列的獎勵機制和懲罰機制,讓機器學習如何做到更好

ChatGPT用到的是無監督學習和強化學習。

5、ChatGPT能進行大量的內容生成與創造,其實是靠的猜機率。

例如,天氣灰濛濛的,我的心情很___

經過大量資料訓練過的AI,會預測這個空格出現的最高機率的字是「沮喪」。

那麼「沮喪」就會被填到這個空格中,所以產生了答案:

天氣灰濛濛的,我的心情很沮喪

這感覺很不可思議,但事實就是這樣。

現階段所有的NLP(自然語言處理)任務,都不是機器真正理解人類的世界。

他只是在玩文字遊戲,進行一次又一次的機率解謎。

6、在這個」猜機率「的文字遊戲中,大預言模型(LLM,Large Language Model)演進出了最主流的兩個方向:BERT和GPT。

BERT是之前最受歡迎的方向,幾乎統治了所有NLP領域。

並在自然語言理解類別任務中發揮出色(例如文本分類,情感傾向判斷等)。

而GPT方向則較為薄弱,最知名的玩家就是OpenAl了。

事實上在GPT3.0發布前,GPT方向一直是弱於BERT的(GPT3.0是ChatGPT背後模型GPT3.5的前身)。

7、BERT和GPT差別是?

BERT,是雙向語言模型,聯繫前後猜中間的字,所以是雙向,就像完型填空。

例如:我___20號回家

BERT猜的是「我打算20號回家」,猜的是中間的「打算」。

GPT,是單向語言模型,猜下一個字,所以是單向,像寫作文。

例如:我打算20號___

GPT猜的是「我打算20號回家」,猜的是後面「回家」兩個字。

8、怎麼給GPT提問?

有兩種方式:fine-tune和prompt。

fine-tune,調參:需要對模型參數進行更新,來完成產生內容。

fine-tune 專業,門檻高,受眾小。但多元、準確度高,適合複雜任務。少數玩家的遊戲。

prompt,提示詞:不需要修改模型和參數,只需要給一些提示和範例,就能完成任務。

prompt更簡單,門檻低,受眾大。適合處理簡單的任務。所有玩家都。

我們在ChatGPT輸入框中輸入的內容,就是prompt。

9、ChatGPT是生成式AI。

AI從內容產出方式上,分為兩種:分析式AI和生成式AI。

分析式AI,主要用於分析,歸類。你餵給它多少數據,它就能分析出什麼樣的內容,它侷限於數據本身。

生成式AI, 在學習歸納資料分佈的基礎上,創造資料中不存在的新內容。可以產生文字、圖片、程式碼、語音合成、視訊和3D模型。

ChatGPT是生成式AI,最擅長文字和寫入程式碼。

10、最後,從知識獲取的角度說,ChatGPT是全新一代的 「知識表示和調用方式」。

早期,知識以結構化的方式儲存在資料庫中。我們透過 SQL獲取。

後來,隨著網路的誕生,更多文字、圖片、影片等非結構化知識儲存在網路中。我們透過搜尋引擎獲取。

現在,知識以參數的形式儲存在大模型中。我們用自然語言直接呼叫這些知識。

以上是ChatGPT是什麼? G、P、T代表什麼?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
烹飪創新:人工智能如何改變食品服務烹飪創新:人工智能如何改變食品服務Apr 12, 2025 pm 12:09 PM

AI增強食物準備 在新生的使用中,AI系統越來越多地用於食品製備中。 AI驅動的機器人在廚房中用於自動化食物準備任務,例如翻轉漢堡,製作披薩或組裝SA

Python名稱空間和可變範圍的綜合指南Python名稱空間和可變範圍的綜合指南Apr 12, 2025 pm 12:00 PM

介紹 了解Python函數中變量的名稱空間,範圍和行為對於有效編寫和避免運行時錯誤或異常至關重要。在本文中,我們將研究各種ASP

視覺語言模型(VLMS)的綜合指南視覺語言模型(VLMS)的綜合指南Apr 12, 2025 am 11:58 AM

介紹 想像一下,穿過​​美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容Apr 12, 2025 am 11:52 AM

繼續使用產品節奏,本月,Mediatek發表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。這些產品填補了Mediatek業務中更傳統的部分,其中包括智能手機的芯片

本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢Apr 12, 2025 am 11:51 AM

#1 Google推出了Agent2Agent 故事:現在是星期一早上。作為AI驅動的招聘人員,您更聰明,而不是更努力。您在手機上登錄公司的儀表板。它告訴您三個關鍵角色已被採購,審查和計劃的FO

生成的AI遇到心理摩托車生成的AI遇到心理摩托車Apr 12, 2025 am 11:50 AM

我猜你一定是。 我們似乎都知道,心理障礙由各種chat不休,這些chat不休,這些chat不休,混合了各種心理術語,並且常常是難以理解的或完全荒謬的。您需要做的一切才能噴出fo

原型:科學家將紙變成塑料原型:科學家將紙變成塑料Apr 12, 2025 am 11:49 AM

根據本週發表的一項新研究,只有在2022年製造的塑料中,只有9.5%的塑料是由回收材料製成的。同時,塑料在垃圾填埋場和生態系統中繼續堆積。 但是有幫助。一支恩金團隊

AI分析師的崛起:為什麼這可能是AI革命中最重要的工作AI分析師的崛起:為什麼這可能是AI革命中最重要的工作Apr 12, 2025 am 11:41 AM

我最近與領先的企業分析平台Alteryx首席執行官安迪·麥克米倫(Andy Macmillan)的對話強調了這一在AI革命中的關鍵但不足的作用。正如Macmillan所解釋的那樣,原始業務數據與AI-Ready Informat之間的差距

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版