成立人工智慧安全工作小組，MLCommons宣布邁出重要一步

人工智慧基準組織MLCommons宣布成立人工智慧安全（AIS：AI Safety）工作小組。 AIS將開發一個平台和來自許多貢獻者的測試庫，以支援不同用例的人工智慧安全基準。

人工智慧系統為社會提供了巨大利益的潛力，但它們並非沒有風險，如有害性、錯誤資訊和偏見。與其他複雜技術一樣，社會需要業界標準的安全測試來實現效益，同時將風險降至最低。

新平台將允許使用者選擇測試庫中的基準，並將這些基準的結果匯總為有用且易於理解的分數。這類似於其他行業的標準，例如汽車安全測試評級和能源星級評分

這項工作的當務之急是支持更嚴格、更可靠的人工智慧安全測試技術的快速發展。 AIS工作小組將利用其成員和更大的人工智慧社群的技術和營運專業知識，幫助指導和創建人工智慧安全基準技術。

埃因霍溫理工大學機器學習（ML）副教授Joaquin Vanschoren表示：「廣泛的人工智慧社群正在製定的安全基準具有開放性和動態性，這為制定和實現共同目標創造了真正的激勵。」「如果任何人看到未解決的安全問題，他們都可以提出新的測試。我們有一些世界上最聰明的人聚在一起實際解決這些問題，使用基準意味著我們將清楚地了解哪些人工智慧模型最能解決安全問題。」

重寫後的內容：重點是開發大型語言模型（LLM）的安全基準，並以史丹佛大學基礎模型研究中心（CRFM）和語言模型整體評估（HELM）的研究人員的開創性工作為基礎。除了在HELM框架上建立並納入許多安全相關測試外，工作小組還希望一些公司將其內部用於專有目的的人工智慧安全測試公開化，並與MLCommons社群分享，以加快創新步伐

基礎模型研究中心主任Percy Liang表示：「我們開發HELM這個模組化評估架構已經有大約2年的時間了。我很高興能與MLCommons合作，利用HELM進行人工智慧安全評估，這是我思考了7年的課題，隨著強大的基礎模型的興起，這一課題變得極其緊迫。「

##AIS工作小組認為，隨著測試的成熟，標準的人工智慧安全基準將成為人工智慧安全方法的重要組成部分。這與負責任的人工智慧技術發展和基於風險的政策框架一致，例如幾家科技公司於2023年7月向美國白宮做出的關於安全、安保和信任的自願承諾、NIST的人工智慧風險管理框架以及歐盟即將推出的《人工智慧法》#。

MLCommons致力於支援業界和學術界的廣泛利益相關者，共同開發共享的數據、工具和基準，以更有效率地建立和測試人工智慧系統。 MLCommons執行董事David Kanter表示：「我們非常高興能夠與會員們合作。明年，我們將專注於建立和推廣人工智慧安全基準，首先從開源模型入手，旨在在初步方法驗證後將這些基準廣泛應用於其他LLM。」

首次參與AIS工作小組的包括一個由人工智慧專家組成的多學科小組，包括：Anthropic、Coactive AI、Google、Inflection、Intel、Meta、Microsoft 、NVIDIA、OpenAI、高通，以及埃因霍溫理工大學的學者Joaquin Vanstoren、史丹佛大學的Percy Liang和芝加哥大學的Bo·Li。學術界和產業界的研究人員和工程師以及民間社會和公共部門的領域專家均可參與工作小組。點擊閱讀原文，了解如何參與AIS工作小組。

關於MLCommons

MLCommons是一個世界領先的組織，致力於建立人工智慧基準。它是一個開放的工程聯盟，旨在透過基準和數據的使用，幫助每個人更好地進行機器學習。 MLCommons的起源可以追溯到2018年的MLPerf基準，這個基準迅速發展成為一系列行業指標，用於衡量機器學習性能，並提高機器學習技術的透明度。 MLCommons與125多位成員、全球技術供應商、學者和研究人員合作，專注於透過基準和指標、公共資料集和最佳實踐來共同建構整個機器學習產業的工具#

以上是成立人工智慧安全工作小組，MLCommons宣布邁出重要一步的詳細內容。更多資訊請關注PHP中文網其他相關文章！