Gradio 및 Langchain과 함께 Olmo-2를 로컬로 운영합니다

olmo 2 : 액세스 가능한 AI

를위한 강력한 오픈 소스 LLM NLP (Natural Language Processing) 분야는 특히 LLM (Lange Language Models)에서 빠른 발전을 보았습니다. 독점 모델은 역사적으로 지배적이지만, 오픈 소스 대안은 급속히 격차를 막고 있습니다. OLMO 2는 상당한 도약을 나타내며, 완전한 투명성과 접근성을 유지하면서 폐쇄 소스 모델과 비교할 수있는 성능을 제공합니다. 이 기사는 OLMO 2를 탐구하여 교육, 성능 및 실용적인 응용 프로그램을 탐구합니다.

주요 학습 포인트 :

AI Research에 대한 오픈 소스 LLMS 및 OLMO 2의 기여도의 중요성을 파악하십시오. Olmo 2의 아키텍처, 교육 방법 및 벤치 마크 결과를 이해하십시오 개방형, 부분적으로 개방 및 완전히 열린 모델 아키텍처를 차별화합니다.

Gradio와 Langchain을 사용하여 Locally Olmo 2를 실행하는 법을 배우십시오. Python 코드 예제와 함께 Olmo 2를 사용하여 챗봇 응용 프로그램을 구축하십시오.

(이 기사는 데이터 과학 블로그의 일부입니다.) 목차 :

오픈 소스 llms의 필요성
소개 olmo 2 Olmo 2의 훈련 분해 olmo 2의 기능 탐색 olmo 2 로 챗봇 구축
• 결론 자주 묻는 질문
오픈 소스 llms에 대한 수요
독점적 인 LLM의 초기 우위는 접근성, 투명성 및 편견에 대한 우려를 제기했습니다. 오픈 소스 LLM은 협업을 육성하고 조사, 수정 및 개선을 허용함으로써 이러한 문제를 해결합니다. 이 개방형 접근 방식은 분야를 진전시키고 LLM 기술에 대한 공평한 접근을 보장하는 데 필수적입니다. Alen Institute for AI (AI2)의 Olmo 프로젝트는이 약속을 보여줍니다. Olmo 2는 단순히 모델 가중치를 공개하는 것 이상입니다. 교육 데이터, 코드, 교육 레시피, 중간 체크 포인트 및 명령 조정 모델을 제공합니다. 이 포괄적 인 릴리스는 재현성과 추가 혁신을 촉진합니다
olmo 2

이해를 이해합니다 olmo 2는 전임자 Olmo-0424를 크게 향상시킵니다. 7b 및 13b 매개 변수 모델은 영어 학문 벤치 마크에서 LLAMA 3.1과 같은 오픈 웨이트 모델과 비슷한 완전 개방형 모델과 비슷하거나 초과하는 성능을 보여줍니다. 주요 개선 사항은 다음과 같습니다

실질적인 성능 이득 :
• olmo-2 (7b 및 13b)는 이전의 OLMO 모델에 비해 현저한 개선을 보여 주어 건축, 데이터 또는 훈련 방법론의 발전을 나타냅니다. MAP-Neo-7B와 경쟁 : olmo-2, 특히 13B 버전은 완전 개방형 모델들 사이의 강력한 기준 인 MAP-Neo-7B와 비교할 수있는 점수를 달성합니다.
• Olmo 2의 훈련 방법론
Olmo 2의 아키텍처는 원래 Olmo를 기반으로하며 안정성과 성능 향상을위한 개선을 통합합니다. 훈련 과정은 두 단계로 구성되어 있습니다 :

재단 교육 :

는 언어 이해를위한 강력한 기초를 설립하기 위해 Olmo-Mix-1124 데이터 세트 (다양한 오픈 소스에서 약 3.9 조 개의 토큰)를 활용합니다.

정제 및 전문화 : 는 Dolmino-Mix-1124 데이터 세트, 고품질 웹 데이터 및 도메인 별 데이터 (Academic Content, Q & A 포럼, 지시 데이터, 수학 워크 북)의 큐 레이트 된 혼합 인 Dolmino-Mix-1124 데이터 세트를 사용하여 모델의 지식과 기술을 정찰합니다. "모델 스프링"은 최종 체크 포인트를 더욱 향상시킵니다

llms의 개방 수준
1. Olmo-2는 완전히 개방형 모델이므로 모델 개방성의 다른 수준 간의 차이점을 명확히 해 보겠습니다. 오픈-가이트 모델 :
모델 가중치 만 해제됩니다 부분적으로 열린 모델 :
2. 는 가중치를 넘어서 몇 가지 추가 정보를 릴리스하지만 훈련 과정의 완전한 그림은 아닙니다. >. 완전히 열린 모델 : 가중치, 교육 데이터, 코드, 레시피 및 체크 포인트를 포함한 완전한 투명성을 제공합니다. 이것은 완전한 재현성을 허용합니다.
주요 차이점을 요약 한 표는 아래에 제공됩니다

olmo 2를 탐험하고 실행하는 것은 입니다 olmo 2는 쉽게 접근 할 수 있습니다. 교육 코드 및 평가 지표와 함께 모델 및 데이터 다운로드 지침을 사용할 수 있습니다. Olmo 2를 로컬로 운영하려면 Ollama를 사용하십시오. 설치 후 명령 줄에서 를 실행하십시오. 필요한 라이브러리 (Langchain 및 Gradio)는 PIP를 통해 설치할 수 있습니다.

olmo 2

로 챗봇 구축 다음 파이썬 코드는 Olmo 2, Gradio 및 Langchain을 사용하여 챗봇을 구축하는 것을 보여줍니다 : ollama run olmo2:7b 이 코드는 기본 챗봇 인터페이스를 제공합니다. 이 기초에보다 정교한 응용 프로그램을 구축 할 수 있습니다. 예제 출력 및 프롬프트는 원본 기사에 나와 있습니다.

결론
olmo 2는 오픈 소스 LLM 생태계에 상당한 기여를 나타냅니다. 전체 투명성과 결합 된 강력한 성능은 연구원과 개발자에게 귀중한 도구입니다. 모든 작업에서 보편적으로 우수하지는 않지만, 개방형 자연은 공동 작업을 장려하고 접근 가능하고 투명한 AI 분야의 진보를 가속화합니다. 키 테이크 아웃 :

import gradio as gr
from langchain_core.prompts import ChatPromptTemplate
from langchain_ollama.llms import OllamaLLM

def generate_response(history, question):
    template = """Question: {question}

    Answer: Let's think step by step."""
    prompt = ChatPromptTemplate.from_template(template)
    model = OllamaLLM(model="olmo2")
    chain = prompt | model
    answer = chain.invoke({"question": question})
    history.append({"role": "user", "content": question})
    history.append({"role": "assistant", "content": answer})
    return history

with gr.Blocks() as iface:
    chatbot = gr.Chatbot(type='messages')
    with gr.Row():
        with gr.Column():
            txt = gr.Textbox(show_label=False, placeholder="Type your question here...")
    txt.submit(generate_response, [chatbot, txt], chatbot)

iface.launch()

OLMO-2의 13B 매개 변수 모델은 다양한 벤치 마크에서 우수한 성능을 보여 주어 다른 개방형 모델을 능가합니다. 전체 모델 개방성은보다 효과적인 모델의 개발을 촉진합니다. Chatbot 예제는 Langchain 및 Gradio와의 통합의 용이성을 보여줍니다.

자주 묻는 질문 (FAQS) (원래 기사의 FAQ는 여기에 포함되어 있습니다.) (참고 : 이미지 URL은 변하지 않습니다.)

위 내용은 Gradio 및 Langchain과 함께 Olmo-2를 로컬로 운영합니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!