首頁  >  文章  >  科技週邊  >  解決大模式復現難、協作難, 這支95後學生團隊打造了一個國產AI開源社群

解決大模式復現難、協作難, 這支95後學生團隊打造了一個國產AI開源社群

PHPz
PHPz轉載
2023-10-23 19:33:06502瀏覽

過去十年間,AI 技術經歷了巨大的飛躍,無論是在自然語言處理、圖像識別,還是在更多的創新領域,AI 的影響已無所不在。

伴隨著研究數量的爆炸性增長,學術界和工業界同樣面臨一些挑戰,其中就包括「論文復現」和「跨學科協作」的難題。特別是當我們來到了大模型時代,面對動輒百億參數量的模型研究,開源、復現、協作變得更加重要,但難度卻更上一層樓。

論文復現,首先是評斷一項成果價值的重要參考因素。同時,在快速發展的 AI 領域,確保研究的可複現性將更好地推動知識的累積和技術的普及,也是維護學術誠信和促進持續創新的關鍵所在。面對這些問題,倡導開放科學和透明研究顯得格外重要。透過開源程式碼、數據和實驗細節、提供更低成本的、針對復現需求的算力平台,以及提供支援快速復現的互動式程序,我們或許能夠在推進科學研究的道路上,建立更加穩健和可靠的基礎。

如果說「復現難」的問題,就像是為研究者之間的「對話」增添了一道高牆。那麼「協作難」的問題,同時也為跨領域的合作建立了無形的屏障。

大模型時代,如何建立一個方便的、能夠降低交流和協作門檻的平台已經成為一大挑戰。我們所熟悉傳統的軟體開發協作方式,例如基於Git 的程式碼管理與版本控制,在A I 研發這種更依賴於實驗而非確定性過程的場景下可能不再適用,其複雜的實驗版本管理和較高的使用、部署門檻往往阻礙了不同領域專家之間的溝通與協作。目前的 AI 領域需要新的協作模式和工具,包括更直覺、易於使用的版本控制和協作平台,讓非技術背景的專家也能方便地參與模型的開發、評估和演示過程中。

換句話說,無論是科研工作者或從業者,都希望能在知識和技術的共享基礎上,實現更有效率、有深度的協作,推動 AI 領域的進一步發展。

在這樣的背景下,一個全新的 AI 開源社群平台「SwanHub」誕生了。

解决大模型复现难、协作难, 这支95后学生团队打造了一个国产AI开源社区

體驗網址:https://swanhub.co/

值得關注的是,SwanHub 來自西安電子科技大學的一支非常年輕的在校研究生和本科生團隊。 團隊的四位成員皆為 95 後,不僅有著豐富的 AI 研究經驗,還有對開源的熱情。在指導老師吳家騸教授和譚茗洲教授的帶領下,他們從零開始構建了一個AI 模型一站式協同開發、開源共享、可視化展示平台,旨在解決當前AI 模型復現難、部署難、管理難的核心問題。

SwanHub 解決了哪些問題?

在 SwanHub 這個平台中,AI 研究者和實務工作者不僅可以獲得豐富的開源模型和工具資源,還能夠享受協同開發的便捷與高效。目前,SwanHub 已經上線幾大核心功能,包括 AI 模型託管、視覺化展示等。

首先,AI 研究者可以將自己的程式碼託管到 SwanHub 上進行版本管理,就像使用 Github 託管平台一樣。但與 GitHub 相比,SwanHub 支援更高容量的大檔案託管,研究者可將多達數十個 GB 的模型權重檔案進行託管與版本管理。

解决大模型复现难、协作难, 这支95后学生团队打造了一个国产AI开源社区

解决大模型复现难、协作难, 这支95后学生团队打造了一个国产AI开源社区

「視覺化展示」也是 SwanHub 的一大亮點。 很多在頂尖會議和期刊上發表的研究文章都會展現漂亮的效果和創新的技術。但在實際操作中,嘗試復現這些研究成果的工程師和研究人員卻常常遇到困難。正因此,近年來很多學術會議不僅要求作者提交代碼,也要求提交一定數量的 Demo,提供更充足的研究信息,而 SwanHub 恰好提供了這樣一個公開展示成果、獲取更多科研流量的平台。

如下圖所示,SwanHub 平台提供了一套簡易的模型Demo 部署工作流程,讓使用者可以透過點擊幾個按鈕的方式,輕鬆地將程式碼和模型權重部署成一個視覺化、可交互的網頁Demo,實現即時線上測試AI 模型的推理結果,並支援分享給協作者、審稿人、同儕或公開在網路上。 SwanHub 也支持主流的視覺化框架如 Gradio、StreamLit 等。

解决大模型复现难、协作难, 这支95后学生团队打造了一个国产AI开源社区

解决大模型复现难、协作难, 这支95后学生团队打造了一个国产AI开源社区

SwanHub 不僅為想要分享成果的研究者提供了一個展示自己開源模型的平台,其他研究者也可以在這裡輕鬆地訪問到其他研究者的開源成果、體驗Demo,以及在討論區進行學術討論。

此外,團隊表示,SwanHub 即將上線兩項功能:第一項功能是程式碼一站式部署服務,讓用戶可以輕鬆地將機器學習模型部署為一個雲端服務API(應用程式介面),並同樣支持開放給全社區或私人使用。對於開放自己模型的API 的研究者而言,可以讓自己的研究成果更快地接觸到各個應用場景中,提高研究的影響力;同時對於使用者而言,也能更快地讓自己的應用程式接入各類強大的開源AI 能力。第二項功能是模型實驗管理工具 SwanLab,使用者可以將自己的實驗日誌記錄程式連接到 SwanLab,即可實現線上實驗日誌記錄和管理功能。平台不僅能夠幫助記錄訓練日誌和託管中間模型,還能夠提供可視化訓練結果、訓練完成訊息推送、超參數記錄與推薦、模型跨版本對比等功能,便於研究人員快速試錯和開發,以及提升多人協同訓練的效率。

解决大模型复现难、协作难, 这支95后学生团队打造了一个国产AI开源社区

                                 

2的年輕人中的2》科技理想

很少人知道的是,SwanHub 開源社群平台的背後是四位年輕的「95 後」成員。

林澤毅、陳少宏、韓翔宇、雷清揚四人相識於西安電子科技大學的校園,曾出於各自對科技的興趣組成一個名為「光年科技工作室」的社團。後來,幾位志同道合的年輕人共同創立了「極創工作室」,踏上了科技創業的旅程。

打造 SwanHub 的靈感,除了來自於團隊基於當前 AI 領域對開源社群需求的洞察,其實也和他們自己的研究經驗有關。

在從事 AI 研究的過程中,他們常常感受到來自內部協作和專案展示的需求和挑戰。雖然常用的一些開源平台能夠提供基本的託管功能,但往往缺乏一個基於模型的可視化協作版塊,導致實驗室成員之間的合力難以凝聚。

對於大部分的研究者來說,諸如此類的問題是很常見的。一方面,複雜的實驗版本和多人協同帶來的困難會限制研究項目的發展,另一方面,模型的部署難度較大以及訓練過程的複現困難也阻礙團隊的內部交流和知識積累。在日常的學術交流活動中,他們同樣缺乏一個直覺展示成果和累積的平台。

###「這些因素進一步強化了我們建立一個屬於自己的協作和展示平台的願望。」SwanHub 計畫負責人林澤毅介紹說。 「我們希望提供一個針對AI 領域的開源社區,在論文復現、技術選型、技術分享等方面幫助更多的科研工作者與從業者。此外,我們期望這種基於模型的可見、可交互的協作模式能夠提高AI 專案的迭代速度和團隊成員之間的交流效率,減少不必要的等待和溝通成本。」######因此,SwanHub 專案的最初設想是提供一套完整的AI 工作流程,從論文到開源程式碼再到部署和視覺化展示。透過這套工作流程,人們可以在進行實驗和投稿論文的同時,輕鬆地建立可視化的演示,以供同行快速復現和試驗。另一方面,提供可互動 Demo 的學術課程也更容易獲得更高的傳播度和更好的口碑,進而獲得更高的學術影響力。 ######同時,團隊也考慮了業界開發者的需求。與傳統的軟體開發不同,AI 開發是一種實驗科學,特別是到了大模型時代,技術的開發和測試思路也發生了很大的變化:在實際應用中,儘管模型可能在某些客觀指標上表現出色,但如何在實際場景中施展它們的“智能”,如何將它們融入到專業工作流程中,往往需要相關領域的專家進行深入的實際效果測試,而這個過程同樣是挑戰重重的。 ###

對於這一點,SwanHub 計畫成員陳少宏的體會比較深刻。他所在的 AI 研究團隊曾經參與一家智慧型手機廠商視訊處理演算法研發的項目,當時的研究團隊成員分散在全國多個城市,大部分工作需要線上協作。但從演算法更新、驗證、端側部署、回饋的整個線上流程來看,每一次模型迭代需要以「1.5 個星期」為單位,顯然趕不上專案原本規劃的落地節奏。

為了加快演算法更新效率,陳少宏推薦研究小組使用了SwanHub,每訓練完一個版本的模型,都可以在平台上快速更新Demo,廠商各部門的人員,包括PM、產品經理、測試、市場、其他研究人員,都可以在線上試驗效果,提供多樣化的改進回饋,大大提高了合作雙方的溝通和協作效率,也大大提高了模型的迭代速度。

這種跨學科的協作,在先前以程式碼為核心的協作上是很難做到的—— 例如讓一位行銷部門的專案成員去安裝環境、運行專案是阻力極大的事情,而以Demo 為核心的平台讓跨領域協作成為了可能。

開源的價值:AI 科技變革的助推力

#二十年前,一本名為《開源:革命之聲》的著作曾風靡科技圈。這本書深入探討並記錄了十多位開源先驅對於開源文化的理解和闡述,包括 Linux 之父 Linus Torvalds、自由軟體運動創始人 Richard Stallman 等傳奇人物。

例如,Linus Torvalds 一直是開源的忠實擁護者,曾公開表達:「未來的一切都是開源的(The future is open source everything)。」三十多年來,他不遺餘力地為Linux 社群注入心血,讓Linux 從一個只有幾百位用戶的自由作業系統開始,逐漸成長為一個偉大而富有創造力的社群。

SwanHub 的團隊成員對於開源的熱情就起源於這本書籍,他們甚至嘗試將此前只有英文原版的書稿譯為中文,翻譯的過程讓他們更加深刻地認識到開源在學術交流與科技發展中所能發揮的巨大推動作用。

打造 SwanHub 開源社群的深層價值也在於此。縱觀今天的 AI 領域,大部分有影響力的進展都深深植根於開放科學和開源的原則。 這些原則不僅提倡知識的自由傳播和分享,也實質地推動了全球範圍內的科研協作與創新。

Hugging Face 社群的「Transformers 庫」就是一個經典的例子:這家成立於2016 年的公司,憑藉其易用的介面和大量的預訓練模型迅速獲得了AI 社群的廣泛認可和熱烈歡迎。它不僅提供了一個用於發布、分享和協作的平台,還開啟了一種創新的協作模式,大大降低了深度學習模型的使用門檻,從而讓更多的開發者和科研工作者能夠應用這些模型到實際的項目和研究。

最重要的是,Hugging Face 社群鼓勵並促進了全球範圍內的協作。開發者和研究者在這個平台上分享自己開發的模型、貢獻程式碼、提出問題,共同尋找解決方案。這種集思廣益的協作方式極大地推動了 AI 技術的發展,也將一些前沿的、可能原本屬於封閉研究的技術開放給了公眾。

Hugging Face 的成功不是偶然的,它揭示了一個開放、協作的技術社群對於科技進步起到了不可忽視的推動作用。當科學研究工作者有了公開分享數據、方法論、模型和工具等研究成果的管道,他們的貢獻就能成為廣大研究社群的共同財富。

這種開放分享的實踐讓其他研究者站在「巨人」的肩膀上,不僅能看到更遠的地方,也能透過持續探索和創新。身處在這樣一個環境中,AI 技術的發展才能夠在一個正向循環中快速前進。

在這一點上,SwanHub 的目標和 Hugging Face 是基本上一致的。關於SwanHub 的未來,團隊希望能夠持續提升SwanHub 在協同、部署、社區等方面的能力與體驗,並將圍繞SwanHub 打造工具矩陣,包括大模型模組化程式設計工具SwanChain、模型實驗管理工具SwanLab 等,涵蓋AI研究的整個生命週期,並持續走開源道路。

解决大模型复现难、协作难, 这支95后学生团队打造了一个国产AI开源社区

如今,大模型風雲乍起,新的成果不斷湧現,Google和OpenAI 這樣的公司可能不會有「護城河」,而開源力量卻在不斷崛起和追趕,形成這一局面的因素中,也包括無數開源擁護者的共同努力。

以上是解決大模式復現難、協作難, 這支95後學生團隊打造了一個國產AI開源社群的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:jiqizhixin.com。如有侵權,請聯絡admin@php.cn刪除