首頁  >  文章  >  令人驚豔的4個ChatGPT項目,開源了!

令人驚豔的4個ChatGPT項目,開源了!

藏色散人
藏色散人轉載
2023-03-30 14:11:426439瀏覽

自從 ChatGPT、Stable Diffusion 發表以來,各種相關開源專案百花齊放,著實讓人應接不暇。

今天,著重挑選幾個優質的開源專案分享給大家,對我們的日常工作、學習生活,都會有很大的幫助。

一、Visual ChatGPT

這個是微軟開源的項目,一週多的時間,就斬獲了 23.6k star。

簡單概括它,那就是一個多模態的問答系統。

支援 AI 繪畫、語言問答、看圖片問答,將 AI 屆近期的 3 大熱點集於一身。

效果顯示:

令人驚豔的4個ChatGPT項目,開源了!

系統實作架構如下:

令人驚豔的4個ChatGPT項目,開源了!


#Visual ChatGPT的系統實作架構

這是一個「大力出奇蹟」的開源項目,集多方研究成果於一身:BLIP、CLIP、ChatGPT、pix2pix、inpainting、 vqa 等。

說穿了,就是教你怎樣使用這些項目,建立一個多模態的問答系統,這個系統架構很有參考價值。

專案網址:

https://github.com/microsoft/visual-chatgpt

二、SadTalker

這是一篇2023 年的CVPR 論文對應的開源專案。

剛剛開源,新鮮熱乎~

令人驚豔的4個ChatGPT項目,開源了!

功能就是:根據一張圖片、一段音頻,合成臉部說這段語音的視頻。

結合 ChatGPT、AIGC、音訊文字轉換,虛擬二次元 or 三次元形象,就能「活」過來了。

令人驚豔的4個ChatGPT項目,開源了!

此外,專案也做成了 stable diffusion webui 的插件,也就是直接能在 stable diffusion 裡使用。

令人驚豔的4個ChatGPT項目,開源了!

產生的圖片,直接配合一段音頻,就能產生合成的影片。

專案網址:

https://github.com/winfredy/sadtalker

三、FateZero

文字能編輯生成圖片?那影片能編輯嗎?

FateZero:我可以!

左圖是原圖,右圖是產生效果,輸入的文字是:

增加Pokémon 動畫風格:

640 (2).gif
##增加水墨畫風格:

640 (3).gif
除了影片的風格遷移,也支援修改裡面的內容。

例如:松鼠吃胡蘿蔔,變成,兔子吃茄子。

640 (4).gif

這個專案也是基於 sd 做的,離一鍵生成視頻,又進了一步。

專案網址:

https://github.com/chenyangqiqi/fatezero

四、ChatPaper

#arXiv 想必大家都知道,當下最受歡迎的論文託管網站,上面有來自世界各地的科學家、研究學者。

為了提高 arXiv 使用者閱讀論文的效率,有人開源了一款利用 ChatGPT 總結 arXiv 論文的開源工具 ChatPaper。

令人驚豔的4個ChatGPT項目,開源了!

開發者的動機,他是這樣講述的:

令人驚豔的4個ChatGPT項目,開源了!

#簡而言之,該專案可根據使用者關鍵字下載arXiv 上的最新論文,利用ChatGPT3.5 API 強大的歸納能力,將其濃縮成固定格式,文字少且易讀。

同時,專案支援個人自己部署,或直接去 Hugge Face 體驗。

計畫網址:

https://github.com/kaixindelele/ChatPaper

https://huggingface.co/spaces/wangrongsheng/ChatPaper

最後

最近有太多公司all in ChatGPT 了,各種相關的開源專案也是層出不窮。

希望這些項目,對你能有所幫助。

陳述:
本文轉載於:Jack Cui。如有侵權,請聯絡admin@php.cn刪除