ミストラルミディアムが誤って漏洩した？リストに載ったこの謎のモデルは、AI コミュニティで多くの議論を引き起こしました。

「私は今、Miqu と Perplexity Labs の Mistral-Medium が同じモデルであると 100% 確信しています。」

最近、「Mistral-Medium モデルの漏洩」に関するニュースがみんなの関心を集めました。注意。

噂によると、「Miqu」と呼ばれる新しいモデルに関するリークニュースは、言語モデルの心の知能指数を評価するためのベンチマークであるEQ-Benchに関連しているそうです。関連データによると、EQ-Bench と MMLU の相関は約 0.97、Arena Elo との相関は約 0.94 です。興味深いことに、このベンチマーク評価では、Miqu が GPT-4 を除くすべての大型モデルを直接上回り、そのスコアは Mistral-Medium に非常に近くなっています。このニュースは幅広い注目と議論を呼びました。

^{画像ソース: https://x.com/N8Programs/status/1752441060133892503?s=20}

オープンソースのアドレス: https://huggingface.co/miqudev/miqu-1-70b

このような強力なモデルの場合、プロジェクトの発行者は謎の人物です:

誰かが「誰があなたを作ったのか」と尋ねたので、ミクは直接報告しました:「私はミストラル アル チームによって作成されました。」

# 誰かが両方のモデルに同じテスト質問を送信しましたが、受け取った回答はすべてロシア語でした。テスターは疑惑を深めました。「標準的なパズルは知っているようですが、もしそれがいたずらだったら、ロシア語でも答えられるように調整できるわけがありません。」

翻訳中 途中の表現はほぼ同じです。

ミクはどこから来たのですか?本当にミストラル・ミディアムなのか？

2 日間続いた熱い議論の中で、多くの開発者が 2 つのモデルを比較しました。比較の結果、次の可能性が指摘されました:

1. Miqu は Mistral-Medium ;

2. Miqu は確かに MistralAI のモデルですが、初期の MoE 実験版または他のバージョンです;

3. Miqu は Llama2 の微調整されたバージョンです。

先ほど、最初の可能性を支持する開発者が挙げた理由を紹介しました。事件が明らかになるにつれて、より多くの開発者が復号化操作に従事し、2 つのモデルに対してより詳細なテストを実施しました。夜更かししたredditユーザーが実施したテストでは、MiquがMistralAIモデルの初期バージョンに近いことが判明した。

#開発者は、このモデルを 4 つの専門的なドイツ語のオンライン データ保護トレーニング/試験に適用しました。テスト データ、問題、すべての説明書はドイツ語で書かれていますが、キャラクター カードは英語で書かれています。これにより、翻訳スキルと言語間の理解をテストします。

具体的なテスト方法は次のとおりです:

• 情報を提供する前に、ドイツ語でモデルに次のように指示します。「いくつかの情報を提供します。この情報に注意してください」ただし、理解したことを確認するために「OK」を使用してください。それ以外は何も言わないでください。」 これは、モデルが命令を理解し実行する能力をテストするためです。

• トピックに関するすべての情報を提供した後、モデルに質問します。これは多肢選択問題 (A/B/C) で、最初と最後の質問は同じですが、選択肢の順序と文字 (X/Y/Z) が変更されています。各テストには 4 ～ 6 問、合計 18 問の多肢選択問題が含まれています。

• モデルによる正解数に基づくランキング。最初はコース情報を提供した後に回答を検討し、2 番目は事前に情報を提供せずに盲目的に回答します。同点の場合の回答です。すべてのテストは独立したユニットであり、コンテキストは各テスト間でクリアされ、セッション間ではメモリや状態は保持されません。

詳細なテスト レポートは次のとおりです:

miqudev/miqu-1-70b GGUF Q5_K_M、32K コンテキスト、Mistral フォーマット: 4 4 4 5=17 のみ/18 チャンネル 複数選択の質問で正解が得られます。事前情報なしで、質問に答えて正しい答えを答えてください: 4 3 1 5=13/18。指示どおりにデータ入力が「OK」で確定されませんでした。

テスト中、開発者は、Miqu が Mixtral と多くの類似点があることを発見しました。優れたバイリンガルのドイツ語のスペルと文法、返信への翻訳の追加、返信へのメモやコメントの追加などです。

ただし、この開発者のテストでは、Miqu のパフォーマンスは Mixtral-8x7B-Instruct-v0.1 (4 ビット) よりも悪く、それでも Mistral Small および Medium よりは優れていました。ただし、Mixtral 8x7B Instruct よりも優れているわけではありません。開発者は、Miqu が漏洩した MistralAI モデル、おそらく古い概念実証モデルである可能性があると推測しています。

これは、これまでに確認した中で 2 番目の主張を裏付ける最も詳細なテストです。

しかし、一部の開発者は、Miqu は MistralAI とは何の関係もなく、むしろ Llama 70B に似ていると信じています。そのアーキテクチャは Llama 70B と「まったく同じ」であり、「専門的なハイブリッド モデルではない」からです。

同様に、テストを行った結果、Miqu が実際にはラマに似ていることがわかった人もいます。

しかし、スコア差 ほら、Miqu と Llama 70B は明らかに同じモデルではありません。

つまり、Miqu は Llama の微調整されたバージョンであるか、Mistral-Medium の初期バージョンであると誰かが結論付けました:

前者が真の場合、Miqu は Mistral-Medium データセットで微調整された Llama 70B である可能性があります:

後者が真の場合、Miqu はミストラル API を抽出しただけですが、おそらく「米国が月面着陸を捏造した」レベルの茶番劇になるでしょう:

#最後の質問、誰ですか漏洩者？

多くの X プラットフォーム ユーザーから提供された手がかりによると、流出した疑いのあるモデルはもともと 4chan と呼ばれる Web サイトに投稿されたものです。この Web サイトは完全に匿名のリアルタイム メッセージング フォーラムで、ユーザーは登録せずにグラフィックやテキストのコメントを投稿できます。

#もちろん、これらの結論は主観的なものです。すべての AI 研究者にとって、この陰謀の波を終わらせるには「真実」が必要です。

参考リンク: https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/

以上がミストラルミディアムが誤って漏洩した？リストに載ったこの謎のモデルは、AI コミュニティで多くの議論を引き起こしました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。