検索
ホームページテクノロジー周辺機器AIKai-Fu Lee 氏は、「世界で最も強力な」オープンソース大規模モデルの立ち上げを正式に発表しました。40 万個の漢字を処理し、中国語と英語の両方で 1 位にランクされました。

Kai-fu Lee 氏は次のように指摘しました。「ゼロ・ワン・サウザンド・シングスを世界的な大規模モデルの第一階層に加えなければなりません。」

Kai-Fu Lee 氏は、「世界で最も強力な」オープンソース大規模モデルの立ち上げを正式に発表しました。40 万個の漢字を処理し、中国語と英語の両方で 1 位にランクされました。

##オープンソース ラージ モデルの世界に新たな重鎮が加わりました。今回は、イノベーション ワークス会長兼 CEO の Kai-Fu Lee 氏が立ち上げたオープンソース ラージ モデルの「Yi」シリーズです。 , 大手模型会社。 Zero One Thousand Things は今年 3 月末に正式に設立され、6 月と 7 月に業務を開始したと報告されており、Kaifu Li 博士が創設者兼 CEO です。

2001 年 11 月 6 日、Wangwu は、
Yi-6B および Yi-34B バージョン ## を含む、事前トレーニングされたオープンソース大規模モデルの「Yi」シリーズを正式にリリースしました。 # オープンソースの大規模モデルコミュニティに「ちょっとした衝撃」を与えた。

Hugging Face English オープンソース コミュニティ プラットフォームと C-Eval 中国語評価の最新リストによると、Yi-34B 事前訓練モデルは複数の SOTA 国際最高パフォーマンスを達成しました。インジケーターの認識 、LLaMA2やFalconなどのオープンソースの競合製品を破り、世界的なオープンソースの大規模モデルの「ダブルチャンピオン」になりました。

Kai-Fu Lee 氏は、「世界で最も強力な」オープンソース大規模モデルの立ち上げを正式に発表しました。40 万個の漢字を処理し、中国語と英語の両方で 1 位にランクされました。Yi-34B は、これまでに Hugging Face のグローバル オープンソース モデル ランキングでトップに輝いた唯一の国内モデル

にもなりました。

#小さくても強力なアプローチにより、英語と中国語で世界的に権威のある大型モデルのリストで No.1 に到達しましたKai-Fu Lee 氏は、「世界で最も強力な」オープンソース大規模モデルの立ち上げを正式に発表しました。40 万個の漢字を処理し、中国語と英語の両方で 1 位にランクされました。

## Hugging Face 英語テスト公開リストの事前トレーニング済みオープン ソース モデル ランキングで、Yi-34B がさまざまな指標で優れたパフォーマンスを示し、70.72 のスコアで世界 1 位にランクされたことがわかりました。 ## LLaMA2-70B や Falcon-180B など、数多くの大型モデルを粉砕し、大小さまざまな成果を上げています。

パラメータの量とパフォーマンスの観点から、Yi-34B は LLaMA2-70B のパラメータの半分未満、および Falcon のパラメータの 5 分の 1 を使用するのと同等です。 180B、さまざまなテストタスクで世界のリーダーを上回る最高の結果を達成しました。 Yi-34B は、その卓越したパフォーマンスにより、世界で最も強力なオープンソースの基本モデルの 1 つにランクされます。

出典: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

Kai-Fu Lee 氏は、「世界で最も強力な」オープンソース大規模モデルの立ち上げを正式に発表しました。40 万個の漢字を処理し、中国語と英語の両方で 1 位にランクされました。

##同時に、大型の国産モデルとして、Kai-fu Lee 氏は、Yi-34B は中国語をよりよく「理解」しており、 C では世界中のすべてのオープンソース モデルを上回っていると述べました。中国の権威あるリストを評価してください。

Yi-34B は、大型モデルの最強の王である GPT-4 と比較して、CMMLU、E-Eval、Gaokao の 3 つの主要な中国指標において絶対的な優位性を持っています。中国人を強調する 世界の優れた能力は国内市場のニーズをよりよく満たすことができます。
より包括的な評価から、グローバル大規模モデルの評価において最も重要な「MMLU」(Massive Multitask Language Understanding、大規模マルチタスク言語理解)、 BBHなど機体の総合的な能力を反映する評価セットの中で、Yi-34Bが最も優れた成績を収め、総合能力、知識推論、読解力など複数の指標の評価をすべて獲得し、ハグフェイス評価との整合性が高かった。 。

ただし、LLaMA2 と同様、Yi シリーズのオープンソース大規模モデルは、GSM8k および MBPP の数学およびコード評価において、GPT モデルよりもわずかにパフォーマンスが劣ります。将来的には、Yi シリーズの大型モデルでは、コーディング能力と数学的能力に特化した継続的なトレーニング モデルが発売される予定です。

コンテキスト ウィンドウのサイズは 200k を超え、直接オープン ソースです

実際の戦闘では効果が重要なコンテキスト ウィンドウに関しては、オープン ソースの Yi-34B が、200K の超長いコンテキスト ウィンドウ をサポートする世界最長のコンテキスト ウィンドウの バージョンをリリースしました。 -約 400,000 文字の長いテキスト入力。これは The Scholars の長さとほぼ同等です。比較すると、OpenAI の GPT-4 コンテキスト ウィンドウはわずか 32K で、テキスト処理量は約 25,000 ワードです。 ###############どうやってするの? Zero-One Everything 技術チームは、通信の重複計算、シーケンスの並列処理、通信の圧縮などを含む一連の最適化を実装したことがわかります。これらの機能強化により、大規模モデルのトレーニング機能が 100 倍近く向上しました。

Kai-Fu Lee 氏は、「世界で最も強力な」オープンソース大規模モデルの立ち上げを正式に発表しました。40 万個の漢字を処理し、中国語と英語の両方で 1 位にランクされました。

Zero One Thing は
超長いコンテキスト ウィンドウをオープンソースにした最初の

大規模モデル会社でもあることは言及する価値があります
、開発者が直接使用できるようにします。
Yi-34B の 200K コンテキスト ウィンドウは直接オープン ソースであり、より豊富なセマンティック情報を提供するだけでなく、1000 ページを超える PDF ドキュメントを理解し、多くの外部ベクトル データベースを利用できます。ナレッジベースのシナリオはコンテキスト ウィンドウで置き換えることができます。 Yi-34B のオープンソースの性質は、より長いコンテキスト ウィンドウ内で微調整したい開発者に、より多くの可能性を提供します。

#独自の科学モデルトレーニング方法、トレーニングコストを 40% 削減

Yi- 34B が非常に強力なのは、AI インフラ チームと自社開発の大規模トレーニング プラットフォーム
という 2 つの重要な要素のおかげです。

Li Kaifu 氏は、Zero One Wan が社内に AI インフラストラクチャ (AI インフラストラクチャ) チームを設立し、主に大規模モデルのトレーニングと展開、およびさまざまな基盤となる技術の提供を担当していると紹介しました。処理サーバー、オペレーティング システム、ストレージ システム、ネットワーク インフラストラクチャ、クラウド コンピューティング プラットフォームなどの施設は、Yi シリーズ モデル トレーニングの背後にある非常に重要な「保証テクノロジ」となっています。

AI インフラの強力なサポートにより、ゼロワン Wanwu チームは業界レベルを超えるトレーニング成果を達成しました。
Yi-34B モデルのトレーニング コストは 40% 減少することが測定されました
。実際のトレーニング完了時間と予測時間の差は 1 時間未満です。さらなるシミュレーションにより、トレーニング コストを最大まで削減できます。 1000億規模では50%。

同時に、ゼロワンウィッシュは「高度な錬金術」から「科学的な訓練」への方法論の変革を達成しました。

数か月にわたるモデリングと実験を経て、Zero One Wish はモデルの設計と最適化をガイドする「スケール トレーニング実験プラットフォーム」を開発しました。データ比例計算、ハイパーパラメータ探索、モデル構造実験を小規模な実験基盤で実行でき、34Bモデルの各ノードの予測誤差を0.5%以内に制御できます。このモデルはより強力な予測能力を備えているため、比較実験に必要なリソースが大幅に削減され、トレーニング エラーによって引き起こされるコンピューティング リソースの無駄が削減されます。

データ処理パイプラインと大規模な予測を高めるためのトレーニング機能の構築により、大規模モデルのトレーニングという以前の「錬金術」プロセスが、非常に詳細で科学的なプロセスに変わりました。現在リリースされている Yi-34B および Yi-6B モデルの高いパフォーマンスを保証し、将来の大規模モデルのトレーニングにかかる​​時間とコストを削減し、業界の数倍の速さでモデル規模を拡張する能力を備えています。

最後に、Kai-fu Lee 氏は、Yi-34B の事前トレーニングを完了しながら、次の 1,000 億パラメータ モデルのトレーニングが直ちに開始されたことも発表しました。

今後数か月以内に、さらに多くの Yi の後継モデルが発表されると予想されます。

以上がKai-Fu Lee 氏は、「世界で最も強力な」オープンソース大規模モデルの立ち上げを正式に発表しました。40 万個の漢字を処理し、中国語と英語の両方で 1 位にランクされました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は机器之心で複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
あなたは無知のベールの後ろに職場AIを構築する必要がありますあなたは無知のベールの後ろに職場AIを構築する必要がありますApr 29, 2025 am 11:15 AM

ジョン・ロールズの独創的な1971年の著書「正義の理論」で、彼は私たちが今日のAIデザインの核となり、意思決定を使用するべきであるという思考実験を提案しました:無知のベール。この哲学は、公平性を理解するための簡単なツールを提供し、リーダーがこの理解を使用してAIを公平に設計および実装するための青写真を提供します。 あなたが新しい社会のルールを作っていると想像してください。しかし、前提があります。この社会でどのような役割を果たすかは事前にわかりません。過半数または限界少数派に属している、金持ちまたは貧弱、健康、または障害者になることがあります。この「無知のベール」の下で活動することで、ルールメーカーが自分自身に利益をもたらす決定を下すことができません。それどころか、人々はより公衆を策定する意欲があります

決定、決定…実用的な応用AIの次のステップ決定、決定…実用的な応用AIの次のステップApr 29, 2025 am 11:14 AM

ロボットプロセスオートメーション(RPA)を専門とする多くの企業は、繰り返しタスクを自動化するためのボットを提供しています。 一方、プロセスマイニング、オーケストレーション、インテリジェントドキュメント処理スペシャル

エージェントが来ています - 私たちがAIパートナーの隣ですることについてもっとエージェントが来ています - 私たちがAIパートナーの隣ですることについてもっとApr 29, 2025 am 11:13 AM

AIの未来は、単純な単語の予測と会話シミュレーションを超えて動いています。 AIエージェントは出現しており、独立したアクションとタスクの完了が可能です。 このシフトは、AnthropicのClaudeのようなツールですでに明らかです。 AIエージェント:研究a

共感がAI主導の未来におけるリーダーのコントロールよりも重要である理由共感がAI主導の未来におけるリーダーのコントロールよりも重要である理由Apr 29, 2025 am 11:12 AM

急速な技術の進歩は、仕事の未来に関する将来の見通しの視点を必要とします。 AIが単なる生産性向上を超えて、私たちの社会構造の形成を開始するとどうなりますか? Topher McDougalの今後の本、Gaia Wakes:

製品分類のためのAI:マシンは税法を習得できますか?製品分類のためのAI:マシンは税法を習得できますか?Apr 29, 2025 am 11:11 AM

多くの場合、Harmonized System(HS)などのシステムからの「HS 8471.30」などの複雑なコードを含む製品分類は、国際貿易と国内販売に不可欠です。 これらのコードは、すべてのINVに影響を与える正しい税申請を保証します

データセンターの要求は、気候技術のリバウンドを引き起こす可能性がありますか?データセンターの要求は、気候技術のリバウンドを引き起こす可能性がありますか?Apr 29, 2025 am 11:10 AM

データセンターと気候技術投資におけるエネルギー消費の将来 この記事では、AIが推進するデータセンターのエネルギー消費の急増と気候変動への影響を調査し、この課題に対処するための革新的なソリューションと政策の推奨事項を分析します。 エネルギー需要の課題:大規模で超大規模なデータセンターは、数十万の普通の北米の家族の合計に匹敵する巨大な力を消費し、新たなAIの超大規模なセンターは、これよりも数十倍の力を消費します。 2024年の最初の8か月で、Microsoft、Meta、Google、Amazonは、AIデータセンターの建設と運用に約1,250億米ドルを投資しました(JP Morgan、2024)(表1)。 エネルギー需要の成長は、挑戦と機会の両方です。カナリアメディアによると、迫り来る電気

AIとハリウッドの次の黄金時代AIとハリウッドの次の黄金時代Apr 29, 2025 am 11:09 AM

生成AIは、映画とテレビの制作に革命をもたらしています。 LumaのRay 2モデル、滑走路のGen-4、OpenaiのSora、GoogleのVEO、その他の新しいモデルは、前例のない速度で生成されたビデオの品質を向上させています。これらのモデルは、複雑な特殊効果と現実的なシーンを簡単に作成できます。短いビデオクリップやカメラ認知モーション効果も達成されています。これらのツールの操作と一貫性を改善する必要がありますが、進歩の速度は驚くべきものです。 生成ビデオは独立した媒体になりつつあります。アニメーション制作が得意なモデルもあれば、実写画像が得意なモデルもあります。 AdobeのFireflyとMoonvalleyのMAであることは注目に値します

ChatGptはゆっくりとAIの最大のYES-MANになりますか?ChatGptはゆっくりとAIの最大のYES-MANになりますか?Apr 29, 2025 am 11:08 AM

ChatGptユーザーエクスペリエンスは低下します:それはモデルの劣化ですか、それともユーザーの期待ですか? 最近、多数のCHATGPT有料ユーザーがパフォーマンスの劣化について不満を述べています。 ユーザーは、モデルへの応答が遅く、答えが短い、助けの欠如、さらに多くの幻覚を報告しました。一部のユーザーは、ソーシャルメディアに不満を表明し、ChatGptは「お世辞になりすぎて」、重要なフィードバックを提供するのではなく、ユーザービューを検証する傾向があることを指摘しています。 これは、ユーザーエクスペリエンスに影響を与えるだけでなく、生産性の低下やコンピューティングリソースの無駄など、企業の顧客に実際の損失をもたらします。 パフォーマンスの劣化の証拠 多くのユーザーは、特にGPT-4などの古いモデル(今月末にサービスから廃止される)で、ChatGPTパフォーマンスの大幅な分解を報告しています。 これ

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

Video Face Swap

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

VSCode Windows 64 ビットのダウンロード

VSCode Windows 64 ビットのダウンロード

Microsoft によって発売された無料で強力な IDE エディター

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境