반사 llama-3.1 70b : 우리가 아는 것의 테스트 및 요약

반사 라마 3.1 : 2024 년 9 월 6 일에 발표 된 자체 조정 LLM 2024 년 9 월 6 일에 데뷔 한 LLAMA 3.1 70B 강사 모델의 정제 된 버전 인 REFLECTION LLAMA 3.1. 혁신적인 "반사 튜닝"을 통해 자체 방향 탐지 및 수정이 가능하여 정확도가 높아지는 것을 목표로합니다. 이 기사는 모델, 기능 및 액세스 및 테스트 방법을 탐구합니다.

반사 라마 3.1 : 개발 및 타임 라인 이 모델의 출시는 벤치 마크 테스트에서 GPT-4O 및 Claude 3.5 Sonnet과 같은 폐쇄 소스 모델보다 우수한 성능을 자랑하는 상당한 화제를 일으켰습니다. 그러나 인공 분석에 의한 후속 테스트 결과 불일치가 나타났습니다. 포옹 얼굴에 초기 업로드에는 가중 오류가 포함되어 있습니다. OpenRouter에 배치 된 수정 된 버전은 Claude Sonnet 3.5와 같이 예기치 않은 자체 식별을 발견하여 진정한 기초에 대한 의문을 제기했습니다. 개인 API 테스트는 성능이 향상되었지만 독립적 인 검증은 불가능했습니다. 최신 포옹 얼굴 반복은이 링크를 통해 액세스 할 수 있지만 [원본 텍스트에 따라 생략] 개인 API 버전보다 열등한 성능을 보여주었습니다. 재현성 문제가 지속되어 모델의 실제 기능이 불확실합니다 반사 이해 라마 3.1 반사 llama 3.1은 llama 3.1 70b 명령 모델을 활용하고 반사 조정을 통합합니다. 이 과정은 다음과 같습니다

사고 태그 () :

모델은 추론 프로세스를 자세히 설명합니다 반사 태그 () : 모델은 그 추론에서 오류를 식별하고 수정합니다. 출력 태그 () : 모델은 최종 답변을 나타냅니다

이 구조화 된 접근법은 투명성과 정확도를 향상시킵니다. 이 모델은 Glaive AI의 합성 데이터를 사용하여 교육을 받았으며 고품질 데이터 세트의 중요성을 강조했습니다. 연구 단계에도 불구하고 MMLU, Math 및 GSM8K와 같은 벤치 마크에서 주요 폐쇄 소스 모델을 능가하는 것으로 알려졌다. 제작자들은 다가오는 반사 라마 405b가 이러한 모델을 크게 능가 할 것으로 예상합니다. Google Colab에서 반사 llama 3.1을 설정하십시오 반사 액세스 llama 3.1은 올바른 도구를 사용하여 간단합니다. 포옹 페이스, 올라마 및 쌍곡 실험실에서 사용할 수 있습니다. 70B 모델에는 A100 GPU (구매 한 Compute Units가 필요)가있는 Google Colab Pro가 권장됩니다. 1 단계 : GPU Access

런타임 → 런타임 유형 변경을 통해 A100 GPU에 연결하십시오. 2 단계 : Ollama 설치 및 모델 다운로드

Colab에서 터미널을 사용하여 (

및 사용) Ollama ()를 설치하고 실행 ()을 다운로드하십시오

3 단계 : Langchain 통합 )을 설치하고 프롬프트 템플릿을 정의합니다 ()을 정의하십시오. 를 사용하여 모델을 초기화하고 입력으로 호출하십시오. 예 : <..>

반사 llama 3.1 행동 모델은 다양한 프롬프트로 테스트되었습니다

수치 적 추론 :

반사 섹션에 불일치가 나타 났지만 !pip install langchain langchain_community langchain-openai langchain-ollama 성공적으로 계산되고 비교되었다. PromptTemplate 간단한 비교 : langchain.prompts는 처음에는 9.9와 9.11을 비교할 때 처음에 잘못되었지만 "신중하게 생각"을 추가하면 정확도가 향상되었습니다. 카운팅 발생 : ChatOllama "딸기"에서 "r"을 정확하게 계산했습니다 모호성 해상도 : langchain_ollama 박사 수수께끼를 올바르게 해결하여 편견 인식을 보여줍니다. ChatOllama(model="reflection", temperature=0)> 허위 정보 수정 :

처음에 에펠 탑의 위치에 대한 거짓 진술을 수락했지만 자체 조정.

reflection_model.invoke({'input': "Hi, how are you?"})

상식 추론 :

여러 가능성을 인정하는 원인과 효과 시나리오를 통해 성공적으로 추론. 코드 생성 :

간단한 뱀 게임을위한 생성 된 기능 코드.

반사 llama 3.1 : 응용 및 제한 반사 Llama 3.1의 자기 교정은 수학, 논리, 코드 생성, 디버깅 및 사실 확인에 적합합니다. 그러나 자체 교정은 복잡성을 추가하여 잠재적으로 속도와 비용에 영향을 미칩니다. 부정확성은 여전히 ​​발생할 수 있습니다. 다가오는 반사 llama 405b는 상당한 개선을 약속합니다

결론 반사 라마 3.1의 반사 조정은 유망한 개발이지만 재현성 문제는 AI 모델 개발의 지속적인 과제를 강조합니다. 자체 교정은 가치 있고 엄격한 테스트와 검증은 중요하지만
• [FAQS 섹션은 원본 텍스트의 FAQ의 직접 사본이므로 생략되었습니다]

위 내용은 반사 llama-3.1 70b : 우리가 아는 것의 테스트 및 요약의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!