GradioとLangchainでOLMO-2をローカルに実行します

olmo 2：アクセス可能なAI

のための強力なオープンソースLLM

自然言語処理の分野（NLP）は、特に大規模な言語モデル（LLM）で急速に進歩しています。独自のモデルは歴史的に支配的でしたが、オープンソースの代替品は急速にギャップを埋めています。 Olmo 2は、完全な透明性とアクセシビリティを維持しながら、閉鎖モデルに匹敵するパフォーマンスを提供し、パフォーマンスを提供します。この記事は、トレーニング、パフォーマンス、および実用的なアプリケーションを調査し、Olmo 2を掘り下げています。

キー学習ポイント：

オープンソースLLMSとOLMO 2のAI研究への貢献の重要性を把握してください。
• Olmo 2のアーキテクチャ、トレーニング方法、およびベンチマークの結果を理解してください
オープンウェイト、部分的に開いた、完全に開いたモデルアーキテクチャを区別します。
• GradioとLangchainを使用して地元でOlmo 2を実行することを学ぶ。
Pythonコードの例を使用してOlmo 2を使用してチャットボットアプリケーションを作成します。
• （この記事はデータサイエンスブログの一部です。）

目次：

オープンソースLLMSの必要性

olmo 2の紹介 Olmo 2のトレーニングの分解

Olmo 2の機能を探る
• Olmo 2
とのチャットボットの構築
• 結論
• よくある質問
• オープンソースLLMSの需要
独自のLLMの最初の支配は、アクセシビリティ、透明性、バイアスに関する懸念を引き起こしました。 オープンソースLLMSは、コラボレーションを促進し、精査、修正、改善を可能にすることにより、これらの問題に対処します。 このオープンアプローチは、分野を進め、LLMテクノロジーへの公平なアクセスを確保するために不可欠です。

AI（AI2）のOLMOプロジェクトのためのアレン研究所は、このコミットメントを実証しています。 Olmo 2は、単にモデルの重みをリリースするだけではありません。トレーニングデータ、コード、トレーニングレシピ、中級チェックポイント、命令チューニングモデルを提供します。この包括的なリリースは、再現性とさらなるイノベーションを促進します

olmo 2

を理解しています

Olmo 2は、その前身であるOlmo-0424を大幅に改善します。 7Bおよび13Bパラメーターモデルは、英語のアカデミックベンチマークでLlama 3.1のようなオープンウェイトモデルに匹敵する、またはそれを超えるパフォーマンスを示しています。

重要な改善には、次のものが含まれます

• 実質的なパフォーマンスの向上：Olmo-2（7bおよび13b）は、アーキテクチャ、データ、またはトレーニング方法の進歩を示している以前のOLMOモデルよりも顕著な改善を示しています。 MAP-NEO-7Bとの競争力のある
• Olmo-2、特に13Bバージョンは、完全にオープンモデルの中で強力なベースラインであるMAP-NEO-7Bに匹敵するスコアを達成します。

olmo 2のトレーニング方法

Olmo 2のアーキテクチャは、元のOlmoに基づいて構築されており、安定性とパフォーマンスを改善するための改良を取り入れています。 トレーニングプロセスは、2つの段階で構成されています

財団トレーニング： olmo-mix-1124データセット（多様なオープンソースからの約3.9兆トークン）を利用して、言語理解のための堅牢な基盤を確立します。

洗練と専門化：
1. モデルの知識とスキルを改善するために、高品質のWebデータとドメイン固有のデータ（アカデミックコンテンツ、Q＆Aフォーラム、指導データ、数学ワークブック）のキュレーションされたミックスであるDolmino-Mix-1124データセットを採用しています。 「モデルスープ」は、最終的なチェックポイントをさらに強化します
2. LLMS olmo-2は完全にオープンなモデルであるため、モデルのオープン性の異なるレベルの区別を明確にしましょう。

オープンウェイトモデル：

モデルの重みのみがリリースされます。

部分的にオープンモデル：トレーニングプロセスの完全な画像ではありませんが、重みを超えていくつかの追加情報をリリースします。

完全にオープンモデル：

ウェイト、トレーニングデータ、コード、レシピ、チェックポイントなど、完全な透明性を提供します。 これにより、完全な再現性が可能になります

主要な違いを要約するテーブルを以下に示します。

• olmo 2を局所的に探索して実行しています

  Olmo 2はすぐにアクセスできます。 モデルとデータをダウンロードするための手順と、トレーニングコードと評価メトリックが利用可能です。 Olmo 2をローカルに実行するには、Ollamaを使用します。 インストール後、コマンドラインでollama run olmo2:7bを実行するだけです。 必要なライブラリ（LangchainおよびGradio）は、PIPでインストールできます。

  olmo 2 でチャットボットを構築します

  次のPythonコードは、Olmo 2、Gradio、およびLangchainを使用してチャットボットの構築を示しています。
  このコードは、基本的なチャットボットインターフェイスを提供します。 この基盤の上に、より洗練されたアプリケーションを構築できます。 例の出力とプロンプトは、元の記事に示されています。

  import gradio as gr
  from langchain_core.prompts import ChatPromptTemplate
  from langchain_ollama.llms import OllamaLLM
  
  def generate_response(history, question):
      template = """Question: {question}
  
      Answer: Let's think step by step."""
      prompt = ChatPromptTemplate.from_template(template)
      model = OllamaLLM(model="olmo2")
      chain = prompt | model
      answer = chain.invoke({"question": question})
      history.append({"role": "user", "content": question})
      history.append({"role": "assistant", "content": answer})
      return history
  
  with gr.Blocks() as iface:
      chatbot = gr.Chatbot(type='messages')
      with gr.Row():
          with gr.Column():
              txt = gr.Textbox(show_label=False, placeholder="Type your question here...")
      txt.submit(generate_response, [chatbot, txt], chatbot)
  
  iface.launch()

  結論

  Olmo 2は、オープンソースLLMエコシステムへの重要な貢献を表しています。 その強力なパフォーマンスは、完全な透明性と組み合わさって、研究者と開発者にとって貴重なツールになります。 すべてのタスクで普遍的に優れているわけではありませんが、そのオープンな性質はコラボレーションを促進し、アクセス可能で透明なAIの分野での進歩を加速します。

  キーテイクアウト：

  OLMO-2の13Bパラメーターモデルは、さまざまなベンチマークで優れたパフォーマンスを示し、他のオープンモデルよりも優れています。 完全なモデルのオープンネスは、より効果的なモデルの開発を促進します。

  チャットボットの例では、LangchainとGradioとの統合の容易さを示しています。
  • よくある質問（FAQ）
  • （元の記事のFAQはここに含まれています。）
  ）
  • （注：画像URLは変更されていません。）

以上がGradioとLangchainでOLMO-2をローカルに実行しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。