自從 ChatGPT、Stable Diffusion 發表以來,各種相關開源專案百花齊放,著實讓人應接不暇。
今天,著重挑選幾個優質的開源專案分享給大家,對我們的日常工作、學習生活,都會有很大的幫助。
這個是微軟開源的項目,一週多的時間,就斬獲了 23.6k star。
簡單概括它,那就是一個多模態的問答系統。
支援 AI 繪畫、語言問答、看圖片問答,將 AI 屆近期的 3 大熱點集於一身。
效果顯示:
系統實作架構如下:
這是一個「大力出奇蹟」的開源項目,集多方研究成果於一身:BLIP、CLIP、ChatGPT、pix2pix、inpainting、 vqa 等。
說穿了,就是教你怎樣使用這些項目,建立一個多模態的問答系統,這個系統架構很有參考價值。
專案網址:
https://github.com/microsoft/visual-chatgpt
這是一篇2023 年的CVPR 論文對應的開源專案。
剛剛開源,新鮮熱乎~
功能就是:根據一張圖片、一段音頻,合成臉部說這段語音的視頻。
結合 ChatGPT、AIGC、音訊文字轉換,虛擬二次元 or 三次元形象,就能「活」過來了。
此外,專案也做成了 stable diffusion webui 的插件,也就是直接能在 stable diffusion 裡使用。
產生的圖片,直接配合一段音頻,就能產生合成的影片。
專案網址:
https://github.com/winfredy/sadtalker
文字能編輯生成圖片?那影片能編輯嗎?
FateZero:我可以!
左圖是原圖,右圖是產生效果,輸入的文字是:
增加Pokémon 動畫風格:
##增加水墨畫風格: 除了影片的風格遷移,也支援修改裡面的內容。 例如:松鼠吃胡蘿蔔,變成,兔子吃茄子。這個專案也是基於 sd 做的,離一鍵生成視頻,又進了一步。
專案網址:
https://github.com/chenyangqiqi/fatezero
#arXiv 想必大家都知道,當下最受歡迎的論文託管網站,上面有來自世界各地的科學家、研究學者。
為了提高 arXiv 使用者閱讀論文的效率,有人開源了一款利用 ChatGPT 總結 arXiv 論文的開源工具 ChatPaper。
開發者的動機,他是這樣講述的:
#簡而言之,該專案可根據使用者關鍵字下載arXiv 上的最新論文,利用ChatGPT3.5 API 強大的歸納能力,將其濃縮成固定格式,文字少且易讀。
同時,專案支援個人自己部署,或直接去 Hugge Face 體驗。
計畫網址:
https://github.com/kaixindelele/ChatPaper
https://huggingface.co/spaces/wangrongsheng/ChatPaper
最近有太多公司all in ChatGPT 了,各種相關的開源專案也是層出不窮。
希望這些項目,對你能有所幫助。