찾다
기술 주변기기일체 포함대형모델 환각률 순위 : GPT-4가 3%로 가장 낮고, 구글팜이 27.2%로 높다.

인공지능의 발전은 빠르게 진행되고 있지만 문제가 자주 발생합니다. OpenAI의 새로운 GPT 비전 API는 프런트엔드 측면에서 놀랍지만 환각 문제로 인해 백엔드 측면에서도 불평하기 어렵습니다.

환상은 항상 대형 모델의 치명적인 결점이었습니다. 데이터 세트의 복잡성으로 인해 오래되고 잘못된 정보가 존재하게 되어 출력 품질이 심각한 문제에 직면하게 되는 것은 불가피합니다. 정보가 너무 많이 반복되면 대형 모델에 편향이 생길 수 있으며, 이는 일종의 착각이기도 합니다. 그러나 환각은 대답할 수 없는 제안이 아닙니다. 개발 과정에서 데이터 세트의 신중한 사용, 엄격한 필터링, 고품질 데이터 세트 구축, 모델 구조 및 훈련 방법의 최적화를 통해 환각 문제를 어느 정도 완화할 수 있습니다.

대형모델이 너무 많은데 환각 완화에 얼마나 효과가 있나요? 차이점을 명확하게 비교한 순위는 다음과 같습니다

大模型幻觉率排行:GPT-4 3%最低,谷歌Palm竟然高达27.2%

Vectara 플랫폼은 인공 지능에 초점을 맞춘 이 순위를 발표했습니다. 순위 업데이트 날짜는 2023년 11월 1일입니다. Vectara는 모델이 업데이트됨에 따라 순위를 업데이트하기 위해 환각 평가에 대한 후속 조치를 계속할 것이라고 밝혔습니다

프로젝트 주소: https://github.com /vectara /hallucination-leaderboard

이 리더보드를 결정하기 위해 Vectara는 사실적 일관성 연구를 수행하고 LLM 출력에서 ​​환각을 감지하는 모델을 교육했습니다. 그들은 유사한 SOTA 모델을 사용하고 공개 API를 통해 각 LLM에 1,000개의 짧은 문서를 제공하고 문서에 제시된 사실만을 사용하여 각 문서를 요약하도록 요청했습니다. 이 1000개의 문서 중 각 모델별로 요약된 문서는 831개에 불과하며, 나머지 문서는 내용 제한으로 인해 하나 이상의 모델에서 거부되었습니다. Vectara는 이러한 831개의 문서를 사용하여 각 모델의 전반적인 정확도와 착시율을 계산했습니다. 각 모델이 프롬프트에 응답하지 않는 비율은 "응답률" 열에 자세히 나와 있습니다. 모델로 전송된 콘텐츠에는 불법이거나 안전하지 않은 콘텐츠가 포함되어 있지 않지만 특정 콘텐츠 필터를 트리거할 만큼 충분한 트리거 단어가 포함되어 있습니다. 이 문서는 주로 CNN/Daily Mail 자료

大模型幻觉率排行:GPT-4 3%最低,谷歌Palm竟然高达27.2%

Vectara가 전반적인 사실의 정확성이 아닌 요약의 정확성을 평가한다는 점에 유의하는 것이 중요합니다. 이를 통해 제공된 정보에 대한 모델의 응답을 비교할 수 있습니다. 즉, 평가되는 것은 출력 요약이 원본 문서와 "사실상 일치"하는지 여부입니다. 각 LLM이 어떤 데이터에 대해 교육을 받았는지 알지 못하면 특정 문제에 대해 환각을 판단하는 것이 불가능합니다. 또한 참조 소스 없이 응답이 환각인지 여부를 결정할 수 있는 모델을 구축하려면 환각 문제를 해결해야 하며 평가되는 LLM보다 크거나 큰 모델을 훈련해야 합니다. 따라서 Vectara는 요약 작업에서 환각 비율을 살펴보기로 결정했습니다. 왜냐하면 그러한 비유가 모델의 전반적인 현실성을 결정하는 좋은 방법이기 때문입니다.

환각 모델의 탐지 주소는 다음과 같습니다: https://huggingface.co/vectara/hallucination_evaluation_model

또한 사용자 쿼리에 응답하기 위해 RAG(Retrieval Augmented Generation) 파이프라인에서 점점 더 많은 LLM이 사용됩니다. Bing Chat 및 Google Chat 통합과 같은. RAG 시스템에서 모델은 검색 결과 수집기로 배포되므로 이 리더보드는 RAG 시스템에서 사용될 때 모델의 정확성을 나타내는 좋은 지표이기도 합니다

GPT-4가 얼마나 잘 해왔는지를 고려하면, 그 환상 최저 금리는 놀라운 일이 아닌 것 같습니다. 하지만 일부 네티즌들은 GPT-3.5와 GPT-4의 차이가 별로 없어서 놀랐다고 합니다

大模型幻觉率排行:GPT-4 3%最低,谷歌Palm竟然高达27.2%

LLaMA 2는 GPT-4와 GPT-3.5를 따라잡은 뒤 좋은 성적을 냈습니다. 하지만 구글의 대형 모델 성능은 만족스럽지 못했다. 일부 네티즌들은 구글의 BARD가 오답을 피하기 위해 '아직 훈련 중'이라는 표현을 자주 사용한다고 말했다. . 며칠 전

OpenAI가 GPT-4 Turbo大模型幻觉率排行:GPT-4 3%最低,谷歌Palm竟然高达27.2%

를 출시했습니다. 아니요, 일부 네티즌은 즉시 순위 업데이트를 제안했습니다.

大模型幻觉率排行:GPT-4 3%最低,谷歌Palm竟然高达27.2%

다음 순위는 어떻게 될지, 큰 변화가 있을지 지켜보겠습니다.

위 내용은 대형모델 환각률 순위 : GPT-4가 3%로 가장 낮고, 구글팜이 27.2%로 높다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
요리 혁신 요리 : 인공 지능이 식품 서비스를 변화시키는 방법요리 혁신 요리 : 인공 지능이 식품 서비스를 변화시키는 방법Apr 12, 2025 pm 12:09 PM

AI 식품 준비 여전히 초기 사용 중이지만 AI 시스템은 음식 준비에 점점 더 많이 사용되고 있습니다. AI 구동 로봇은 부엌에서 햄버거를 뒤집기, 피자 만들기 또는 SA 조립과 같은 음식 준비 작업을 자동화하는 데 사용됩니다

파이썬 네임 스페이스 및 가변 범위에 대한 포괄적 인 안내서파이썬 네임 스페이스 및 가변 범위에 대한 포괄적 인 안내서Apr 12, 2025 pm 12:00 PM

소개 파이썬 기능에서 변수의 네임 스페이스, 범위 및 동작을 이해하는 것은 효율적으로 작성하고 런타임 오류 또는 예외를 피하는 데 중요합니다. 이 기사에서는 다양한 ASP를 탐구 할 것입니다

비전 언어 모델 (VLMS)에 대한 포괄적 인 안내서비전 언어 모델 (VLMS)에 대한 포괄적 인 안내서Apr 12, 2025 am 11:58 AM

소개 생생한 그림과 조각으로 둘러싸인 아트 갤러리를 걷는 것을 상상해보십시오. 이제 각 작품에 질문을하고 의미있는 대답을 얻을 수 있다면 어떨까요? “어떤 이야기를하고 있습니까?

Mediatek은 Kompanio Ultra 및 Dimensity 9400으로 프리미엄 라인업을 향상시킵니다.Mediatek은 Kompanio Ultra 및 Dimensity 9400으로 프리미엄 라인업을 향상시킵니다.Apr 12, 2025 am 11:52 AM

제품 케이던스를 계속하면서 이번 달 Mediatek은 새로운 Kompanio Ultra and Dimensity 9400을 포함한 일련의 발표를했습니다. 이 제품은 스마트 폰 용 칩을 포함하여 Mediatek 비즈니스의 전통적인 부분을 채우고 있습니다.

이번 주 AI : Walmart는 패션 트렌드를 설정하기 전에 패션 트렌드를 설정합니다.이번 주 AI : Walmart는 패션 트렌드를 설정하기 전에 패션 트렌드를 설정합니다.Apr 12, 2025 am 11:51 AM

#1 Google은 Agent2agent를 시작했습니다 이야기 : 월요일 아침입니다. AI 기반 채용 담당자로서 당신은 더 똑똑하지 않고 더 똑똑하지 않습니다. 휴대 전화에서 회사의 대시 보드에 로그인합니다. 세 가지 중요한 역할이 공급되고, 검증되며, 예정된 FO가 있음을 알려줍니다.

생성 AI는 사이코브블을 만난다생성 AI는 사이코브블을 만난다Apr 12, 2025 am 11:50 AM

나는 당신이되어야한다고 생각합니다. 우리 모두는 Psychobabble이 다양한 심리적 용어를 혼합하고 종종 이해할 수 없거나 완전히 무의미한 모듬 채터로 구성되어 있다는 것을 알고 있습니다. 당신이 fo를 뿌리기 위해해야 ​​할 일

프로토 타입 : 과학자들은 종이를 플라스틱으로 바꿉니다프로토 타입 : 과학자들은 종이를 플라스틱으로 바꿉니다Apr 12, 2025 am 11:49 AM

이번 주 발표 된 새로운 연구에 따르면 2022 년에 제조 된 플라스틱의 9.5%만이 재활용 재료로 만들어졌습니다. 한편, 플라스틱은 계속해서 매립지와 생태계에 전 세계에 쌓이고 있습니다. 그러나 도움이 진행 중입니다. 엥인 팀

AI 분석가의 부상 : AI 혁명에서 이것이 가장 중요한 일이 될 수있는 이유AI 분석가의 부상 : AI 혁명에서 이것이 가장 중요한 일이 될 수있는 이유Apr 12, 2025 am 11:41 AM

최근 Enterprise Analytics 플랫폼 Alteryx의 CEO 인 Andy MacMillan과의 대화는 AI 혁명 에서이 비판적이면서도 저평가 된 역할을 강조했습니다. MacMillan에서 설명했듯이 원시 비즈니스 데이터와 AI-Ready Informat의 격차

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SecList

SecList

SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.

DVWA

DVWA

DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

WebStorm Mac 버전

WebStorm Mac 버전

유용한 JavaScript 개발 도구