Devin を超え、Yao Ban が OpenCSG を率いて大規模モデル プログラミングの世界新記録を樹立

中国の大規模モデルスタートアップであるOpenCSG社が立ち上げたStarShip CodeGen Agentは、イノベーションによりPrince WEBench (Real Independent Programming Evaluation of Large Models)ランキングで世界第2位を獲得しました。同時に、GPT-4o モデルに基づく最高記録 (SOTA) を作成しました。 (ワード数: 37)

SWEBench の評価は実際のプログラミング シナリオに非常に近く、モデルが要件を理解し、複数の関数/クラス間の変更を調整する必要があるだけでなく、モデルが実行と対話することも必要です。従来のコード生成タスクをはるかに超える複雑な論理的推論を実行します。 この難しい実際のテストでは、業界で最も先進的な GPT4 と Devin は問題の 1.74% と 13.86% しか解決できません。 OpenCSG のこの成果は、より実用的でインテリジェントで自律的な方向に言語モデルの開発を促進する国内企業の先導的な一歩を示しています。

Devin - 大規模モデルプログラミングのイノベーション

2024 年 3 月、初の AI ソフトウェア エンジニアである Devin の出現により、テクノロジーの世界全体が爆発しました。一連の論争を伴うものではありますが、Devin の強力なイノベーション能力と大きな可能性は、多くの AI 愛好家や実践者に新たな期待をもたらしています。 Devin は、コーディング タスクを簡単に解決できるだけでなく、Web サイトの構築、独自のバグの発見と修正、AI モデルのトレーニングと微調整などを含む (ただしこれに限定されない) プロジェクトの計画から展開に至るまで、ソフトウェア開発サイクル全体を独立して完了することができます。

大規模モデル プログラミングの真の挑戦

なぜ Devin は GPT4 などの基本モデルのプログラミング機能に敢えて挑戦するのでしょうか?重要なのは、ソフトウェア エンジニアはコードを書くだけでなく、要件の理解、コードの解釈、プログラミング計画、コード生成、デバッグ、例外修復なども行うということです。ここでの各リンクは、大規模モデル プログラミングの使いやすさと効果に影響します。

そのような現実のシナリオに対して、プリンストン大学は、エンドツーエンドのコード生成機能を定量的に評価するツールである SWEBench (https://arxiv.org/abs/2310.06770) を提案しました。 SWEBench での GPT-4 のスコアはわずか 1.74% であり、RAG テクノロジを使用してもスコアは 3% を超えません。これは、基本モデルのみに依存して現実世界のプログラミング問題を直接解決するのは現実的ではないことを示しています。

Devin の技術革新はエージェントベースのワークフロー構築に基づいており、SWEBench のソリューション速度を新たなレベルに引き上げます。 3 月には、Devin が単独で解決した問題解決率 13.86% でリストのトップとなり、これにより「大規模モデル プログラミング」がほとんど使用不可能な状態から「日の目を見る」まで直接改善されました。シリコンバレーの大手企業や大手モデルのスタートアップではSE向けのLLMを募集しており、この記録は更新され続けています。 2024 年 4 月末の時点で、最高記録は Amazon AI チームが立ち上げた Amazon Q Developer Agent の 20.33% でした。残念ながら、中国企業が基本モデルリストに「百花を咲かせた」のに比べ、今回OpenCSGがこの記録を更新するまで、中国企業はこの困難な挑戦にほとんど参加しなかった。

中国スタートアップの躍進

最近、SWEBench の最新評価結果が更新され、同社が立ち上げた OpenCSG StarShip CodeGen Agent は Lite 評価で 23.67% の合格率を達成しました。この成果は、Devin と Amazon の結果を上回っただけでなく、革新的な GPT4-o ベース モデルの歴史的記録 (SOTA) も樹立しました。

OpenCSG は、オープンソースと大規模モデルの合成において豊富な経験を持つチームです。CEO の Chen Ran は、オープンソース ソフトウェアの分野で著名な起業家であり、数多くの構築に成功しています。オープンソース分野の営利企業。CTO の Wang Wei は清華大学の 2005 年卒業生であり、人工知能の分野で長年の研究開発経験があります。同社の中核となる研究開発チームには、清華大学、北京大学、ウォートン、香港科技大学、その他の大学。このようなチームはどのようにして新記録を樹立するのでしょうか？

新しい記録、モデル + エージェント連携

現在、多くの企業が基本モデル、垂直ドメインモデル、RAG、その他のテクノロジーを積極的に探索および実践している一方で、OpenCSG はプログラミングに特化するという焦点を絞った方向性を選択しています。エージェント 大規模モデル アルゴリズムの革新的な開発と徹底的な最適化。

エージェントレベル: LLM+RAG や一般的なエージェント フレームワークとは異なり、OpenCSG StarShip CodeGen エージェントは、ソフトウェア研究開発の分野で高度にカスタマイズおよび最適化されたエージェント向けに設計されており、研究開発のすべての段階を統合します (要件の理解)コード検索、プログラミング計画、コード作成、ループ検証など）は LLM エージェントを通じて実装され、AST 構文解析、依存関係検索などのソフトウェア エンジニアリング手法と組み合わせて徹底的な最適化を実現します。すべてのリンクで優れた性能を発揮し、最終的には統合によってより高精度のコード生成を実現します。

アルゴリズム レベル: コード バージョンの変更によって引き起こされる API の競合などの典型的な問題に対応して、OpenCSG は適応型教師モデルを提案します。これは、教師モデルを通じてコード バージョンの変更記録を分析し、高品質のプログラミング データを生成し、それを使用してベーシックモデルの発電効果を向上させます。評価によると、これらのイノベーションによってもたらされる改善は、特に API 構造が頻繁に更新される一般的なプロジェクトのシナリオにおいて、現在の RAG モデルよりも大幅に優れています。この部分の関連結果は論文としてまとめられ、国際会議に提出されています。

OpenCSG CodeGen Agent が他のモデルの中で傑出することを可能にするのは、このアルゴリズム + エンジニアリングと継続的な改善のモデルです。

StarShipの星の海

CodeGen Agentの実際の評価が小さなテストであるとすれば、StarShipはOpenCSGの壮大な青写真を担っています。 StarShip の製品ポジショニングについて、OpenCSG CEO の Chen Ran 氏は次のように述べています。「StarShip には、大規模なモデルでソフトウェア開発を再構築するという当社のビジョンが込められています。ユーザーは、StarShip の組み込みエージェントを通じて独自のデジタル従業員チームを形成します。CodeGen Agent は、CodeReview を含むデジタル プログラマのプラットフォームに組み込まれています」エージェントのコードレビュー担当者と CodeSearch コードの質問と回答のエンジニアは現在リリースされていますが、コード支援ツールとは異なり、これらのデジタル従業員は手動による支援を介さずに直接作業できるようになり、将来的にはあらゆる側面を包括的にカバーするタイプがリリースされる予定です。

CTO の Wang Wei 氏は、この道は課題に満ちていますが、非常に興味深いと述べ、「第一原理から言えば、大規模なモデルは生産性を向上させることができます。それはもはや問題ではありません。」 「はい」か「いいえ」ですが、問題は、いつ、どこで、どのような形で提供しようとしているかということです。」

StarShip に加えて、OpenCSG チームも非常に生産的です。CSGHub オープン ソース モデル プラットフォーム、 wukong 事前トレーニング モデル、CSGCoder 微調整コード モデルなど。これらの製品は業界で正確に位置づけられ、好評を博しています。

これらの製品の迅速な発売と反復は、市場の需要を満たすだけでなく、大規模なモデルをすべての企業の全員に提供するという共通の目標にも役立ちます。 「大型モデルがすべての企業とすべての人々に力を与えることができるようにするには、大型モデルを水や電気と同じにする必要があります。大型モデルが電気エネルギーだとすると、CSGHub は電力網であり、StarShip はさまざまな家電製品です。最終的には、Empowering

オープンソースを受け入れ、オープンソースを超えてください

OpenCSG のコンセプトはオープンソースを核としており、モデルやコードのオープンソースを実現するだけではありません。だけでなく、プラットフォームをオープンソースにすることもできます。

「私たちは若い会社です。オープンソースの恩恵を受けているため、短期間である程度の成果を上げることができます。同時に、オープンソース コミュニティに十分に還元していきます。これがオープンソースの基本原則です。さらに、私はサムの意見に非常に同意します。アルトマンによれば、オープンソースは単なるモデルであり、製品の価値はモデルよりも重要です」と CTO の Wang Wei 氏は結論付けました。

「ベンチマーク自体は単なる数字です。GPT4-o のリリースにより、SWEBench のテスト スコアは間もなく 30% を超えると予想され、来年には 50% を超える可能性があります。そして、私たちはこれらの背後にある製品価値をより懸念しています。数値：モデルの機能とエンジニアリング技術の向上により、デジタル従業員は量的な変化から質的な変化をもたらし、使いやすいものから使いやすいものになり、さまざまな業界で包括的な爆発を引き起こすでしょう。」と王偉氏は説明しました。ビッグモデルの時代のトレンド。企業から個人に至るまで、私たち全員がこれに備える必要があります。」

以上がDevin を超え、Yao Ban が OpenCSG を率いて大規模モデル プログラミングの世界新記録を樹立の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。