찾다
기술 주변기기일체 포함DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지

DetectGPT의 목적은 텍스트 조각이 GPT-3와 같은 특정 LLM에 의해 생성되었는지 확인하는 것입니다. 단락 x를 분류하기 위해 DetectGPT는 먼저 일반적인 사전 학습 모델(예: T5)을 사용하여 ~xi 단락에 작은 섭동을 생성합니다. 그런 다음 DetectGPT는 원본 샘플 x의 로그 확률을 교란된 각 샘플 ~xi와 비교합니다. 평균 로그 비율이 높으면 표본이 소스 모델에서 나온 것일 가능성이 높습니다.

DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지

ChatGPT가 화제입니다. 기사가 LLM(대형 언어 모델)에 의해 생성되었는지 감지하는 것이 가능한지에 대한 논의가 진행 중입니다. DetectGPT는 주어진 LLM에서 생성할지 여부를 판단하기 위한 새로운 곡률 기반 기준을 정의합니다. DetectGPT는 별도의 분류기를 훈련하거나, 실제 또는 생성된 구절의 데이터세트를 수집하거나, 생성된 텍스트에 명시적으로 워터마킹을 할 필요가 없습니다. 관심 모델에 의해 계산된 로그 확률과 다른 범용 사전 훈련된 언어 모델(예: T5)의 기사 무작위 섭동만 사용합니다.

1. DetectGPT: 무작위 순열 및 가정

DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지

기계 생성 채널 x~pθ(왼쪽)가 logp(x)의 음의 곡률 영역에 있는 경향을 식별하고 활용합니다. 여기서 근처 샘플의 평균은 더 낮습니다. 모델 로그 확률. 대조적으로, 사람이 작성한 텍스트 x~preal(.)(오른쪽)은 상당한 음의 로그 확률 곡률이 있는 영역을 차지하지 않는 경향이 있습니다.

DetectGPT는 소스 모델 pθ의 샘플이 일반적으로 인간 텍스트와 다른 pθ 로그 확률 함수의 음의 곡률 영역에 있다는 가정을 기반으로 합니다. 텍스트 x~pθ에 작은 섭동을 적용하여 ~x를 산출하는 경우 기계 생성 샘플 log pθ(x) - log pθ(~x)의 수가 사람이 작성한 텍스트에 비해 상대적으로 커야 합니다. 이 가정을 사용하여 먼저 비슷한 의미를 갖는 x의 약간 수정된 버전인 ~x에 대한 분포를 제공하는 섭동 함수 q(.|x)를 고려합니다(일반적으로 대략적인 단락 길이의 텍스트 x를 고려합니다). 예를 들어, q(.|x)는 단순히 x의 의미를 유지하면서 x에 대한 문장 중 하나를 다시 작성하도록 인간에게 요청한 결과일 수 있습니다. 섭동 함수의 개념을 사용하여 섭동 차이 d(x; pθ, q)를 정의할 수 있습니다.

DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지

따라서 다음 가정 4.1은 다음과 같습니다.

DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지

If q(.|x )는 인간이 다시 작성하는 대신 마스크 채우기 모델(예: T5)의 샘플을 사용하여 자동화되고 확장 가능한 방식으로 경험적으로 테스트할 수 있습니다.

2. DetectGPT: 자동 테스트

DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지

기사를 다시 작성한 후 모델에 의해 생성된 기사의 로그 확률(섭동 차이)의 평균 감소는 수동으로 작성된 기사보다 항상 높습니다

실제 data , XSum 데이터세트의 500개 뉴스 기사를 사용합니다. XSum에서 각 기사의 처음 30개 토큰을 묻는 메시지가 표시될 때 4개의 서로 다른 llms의 출력을 사용합니다. 섭동은 T5-3B를 사용하여 적용되며 기사에 있는 단어의 15%가 마스크될 때까지 무작위로 샘플링된 2단어 범위를 마스킹합니다. 위 방정식(1)의 기대값은 T5에서 100개 샘플로 근사화됩니다.

위의 실험 결과는 사람이 작성한 기사와 모델 샘플 간의 섭동 차이 분포에 상당한 차이가 있음을 보여줍니다. 이러한 결과를 바탕으로 간단히 섭동 차이를 임계값으로 설정하여 모델 p에 의해 텍스트 조각이 생성되었는지 여부를 감지할 수 있습니다.

E~x q(.|x) log p (~x)를 추정하는 데 사용된 관측치의 표준 편차로 섭동 차이를 정규화하면 더 나은 감지가 가능하며 일반적으로 AUROC를 약 0.020만큼 증가시키므로 실험에서는 섭동 차이는 에서 사용됩니다.

DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지

DetectGPT의 감지 프로세스 의사 코드

섭동 차이가 유용할 수 있지만 측정 내용을 명확하게 설명할 수 없으므로 저자는 곡률을 사용하여 다음 섹션에서 설명합니다.

3. 섭동 차이를 곡률로 해석합니다.

섭동 차이는 후보 통로 근처의 로그 확률 함수의 로컬 곡률 측정값으로 근사화됩니다. 더 구체적으로는 헤시안 행렬의 음의 추적에 비례합니다. 로그 확률 함수.

이 섹션에는 내용이 많기 때문에 여기서는 자세히 설명하지 않겠습니다. 관심이 있으시면 대략 다음과 같이 요약된 원본 논문을 읽어보세요.

의미 공간에서 샘플링하면 섭동 마커가 무작위로 추가되면 로그 확률이 ​​항상 감소할 것으로 예상되므로 모든 샘플이 데이터 매니폴드에 가깝게 유지됩니다. 따라서 목표는 데이터 매니폴드의 곡률을 대략적으로 제한하는 것으로 해석될 수 있습니다.

4. 결과 표시

제로샷 기계 생성 텍스트 감지

DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지

각 실험에서는 평가를 위해 150~500개의 예시를 사용합니다. 기계 생성 텍스트는 실제 텍스트의 처음 30개 토큰을 프롬프트하여 생성됩니다. AUROC)를 사용하여 성능을 평가합니다.

DetectGPT가 XSum 스토리(AUROC 0.1 향상) 및 SQuAD Wikipedia 컨텍스트(AUROC 0.05 향상)의 평균 감지 정확도를 최대화하는 것을 볼 수 있습니다.

15개 데이터 세트 및 모델 조합 중 14개에 대해 DetectGPT는 AUROC의 평균 개선율이 0.06으로 가장 정확한 감지 성능을 제공합니다.

지도 탐지기와의 비교

DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지

실제 텍스트와 생성된 텍스트의 대규모 데이터 세트에 대해 훈련된 감독 기계 생성 텍스트 탐지 모델은 배포 내(맨 위 행) 텍스트에 대한 DetectGPT 또는 그 이상 성능을 발휘합니다. WMT16의 PubMed 의료 텍스트, 독일 뉴스 데이터 등 새로운 도메인(하단 행)에는 제로샷 방식이 적용됩니다.

각 데이터 세트의 200개 샘플을 평가한 결과, 영어 뉴스 등 배포 데이터에 대한 지도 검출기의 검출 성능은 DetectGPT와 비슷하지만, 영어 과학 글쓰기의 경우 제로샷보다 성능이 현저히 떨어집니다. 방법은 독일어로 작성하는 동안 완전히 실패합니다.

DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지

DetectGPT GPT-3의 평균 AUROC는 기계 생성 텍스트 감지를 위해 특별히 훈련된 지도 모델과 비슷합니다.

PubMedQA, XSum 및 writingprompt 데이터세트에서 추출된 150개의 예시. 두 개의 사전 훈련된 Roberta 기반 감지기 모델을 DetectGPT 및 확률적 임계값 기준과 비교합니다. DetectGPT는 보다 강력한 지도 모델과 경쟁하는 탐지 기능을 제공할 수 있습니다.

기계 생성 텍스트 감지의 변형

DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지

이 부분은 감지기가 사람이 편집한 기계 생성 텍스트를 감지할 수 있는지 확인하는 부분입니다. 텍스트의 r%가 대체될 때까지 텍스트의 5단어 범위를 T5–3B의 샘플로 대체하여 수동 개정을 시뮬레이션했습니다. DetectGPT는 모델 샘플의 텍스트 중 거의 1/4이 교체되었음에도 불구하고 감지 AUROC를 0.8 이상으로 유지합니다. DetectGPT는 모든 개정 수준에서 가장 강력한 탐지 성능을 보여줍니다.

위 내용은 DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
AI 기술 격차는 공급망을 늦추고 있습니다AI 기술 격차는 공급망을 늦추고 있습니다Apr 26, 2025 am 11:13 AM

"AI-Ready Workforce"라는 용어는 자주 사용되지만 공급망 산업에서 실제로 무엇을 의미합니까? ASCM (Association for Supply Chain Management)의 CEO 인 Abe Eshkenazi에 따르면 비평가가 가능한 전문가를 의미합니다.

한 회사가 AI를 영원히 변화시키기 위해 조용히 노력하는 방법한 회사가 AI를 영원히 변화시키기 위해 조용히 노력하는 방법Apr 26, 2025 am 11:12 AM

분산 된 AI 혁명은 조용히 운동량을 얻고 있습니다. 이번 주 금요일 텍사스 오스틴에서 Bittensor Endgame Summit은 중추적 인 순간을 표시하여 분산 된 AI (DEAI)를 이론에서 실제 적용으로 전환합니다. 화려한 광고와 달리

NVIDIA는 NEMO 마이크로 서비스를 방출하여 AI 에이전트 개발을 간소화합니다NVIDIA는 NEMO 마이크로 서비스를 방출하여 AI 에이전트 개발을 간소화합니다Apr 26, 2025 am 11:11 AM

Enterprise AI는 데이터 통합 ​​문제에 직면 해 있습니다 Enterprise AI의 적용은 비즈니스 데이터를 지속적으로 학습함으로써 정확성과 실용성을 유지할 수있는 시스템을 구축하는 주요 과제에 직면 해 있습니다. NEMO 마이크로 서비스는 NVIDIA가 "데이터 플라이휠"으로 묘사 한 내용을 작성 하여이 문제를 해결하여 AI 시스템이 엔터프라이즈 정보 및 사용자 상호 작용에 지속적으로 노출되어 관련성을 유지할 수 있도록합니다. 새로 출시 된이 툴킷에는 5 개의 주요 마이크로 서비스가 포함되어 있습니다. NEMO Customizer는 더 높은 교육 처리량으로 대형 언어 모델의 미세 조정을 처리합니다. NEMO 평가자는 사용자 지정 벤치 마크에 대한 AI 모델의 단순화 된 평가를 제공합니다. Nemo Guardrails는 보안 제어를 구현하여 규정 준수 및 적절성을 유지합니다.

AI는 미래의 미래와 디자인을위한 새로운 그림을 그립니다.AI는 미래의 미래와 디자인을위한 새로운 그림을 그립니다.Apr 26, 2025 am 11:10 AM

AI : 예술과 디자인의 미래 인공 지능 (AI)은 전례없는 방식으로 예술 및 디자인 분야를 변화시키고 있으며, 그 영향은 더 이상 아마추어에게만 국한되지 않고 전문가에게 더 큰 영향을 미칩니다. AI에 의해 생성 된 아트 워크 및 디자인 체계는 광고, 소셜 미디어 이미지 생성 및 웹 디자인과 같은 많은 트랜잭션 디자인 활동에서 전통적인 재료 이미지 및 디자이너를 빠르게 대체하고 있습니다. 그러나 전문 예술가와 디자이너는 AI의 실질적인 가치도 찾습니다. 그들은 AI를 보조 도구로 사용하여 새로운 미적 가능성을 탐색하고 다양한 스타일을 혼합하며 새로운 시각 효과를 만듭니다. AI는 아티스트와 디자이너가 반복적 인 작업을 자동화하고 다양한 디자인 요소를 제안하며 창의적인 입력을 제공하도록 도와줍니다. AI는 스타일 전송을 지원하며 이미지 스타일을 적용합니다.

에이전트 AI와의 작업을 혁신하는 방법 : 회의에서 이정표까지에이전트 AI와의 작업을 혁신하는 방법 : 회의에서 이정표까지Apr 26, 2025 am 11:09 AM

처음에는 화상 회의 플랫폼으로 유명한 Zoom은 에이전트 AI의 혁신적인 사용으로 직장 혁명을 이끌고 있습니다. Zoom의 CTO 인 XD Huang과의 최근 대화는 회사의 야심 찬 비전을 공개했습니다. 에이전트 AI 정의 Huang d

대학에 대한 실존 적 위협대학에 대한 실존 적 위협Apr 26, 2025 am 11:08 AM

AI가 교육에 혁명을 일으킬까요? 이 질문은 교육자와 이해 관계자들 사이에서 심각한 반영을 촉구하고 있습니다. AI를 교육에 통합하면 기회와 도전이 모두 나타납니다. Tech Edvocate의 Matthew Lynch로서 Universit

프로토 타입 : 미국 과학자들은 해외에서 일자리를 찾고 있습니다프로토 타입 : 미국 과학자들은 해외에서 일자리를 찾고 있습니다Apr 26, 2025 am 11:07 AM

미국의 과학 연구 및 기술의 발전은 아마도 예산 삭감으로 인해 어려움에 직면 할 수 있습니다. Nature에 따르면, 해외 일자리를 신청하는 미국 과학자의 수는 2024 년 같은 기간에 비해 2025 년 1 월부터 3 월까지 32% 증가했습니다. 이전 여론 조사에 따르면 설문 조사에 참여한 연구원의 75%가 유럽과 캐나다에서 일자리 검색을 고려하고 있음을 보여주었습니다. 지난 몇 개월 동안 수백 개의 NIH와 NSF 보조금이 종료되었으며, NIH의 새로운 보조금은 올해 약 23 억 달러로 줄어 듭니다. 유출 된 예산 제안에 따르면 트럼프 행정부는 과학 기관의 예산을 급격히 줄이는 것을 고려하고 있으며 최대 50%감소 할 수 있습니다. 기본 연구 분야의 혼란은 또한 미국의 주요 장점 중 하나 인 해외 인재 유치에 영향을 미쳤습니다. 35

Open AI의 최신 GPT 4.1 가족 - 분석 Vidhya에 관한 모든 것Open AI의 최신 GPT 4.1 가족 - 분석 Vidhya에 관한 모든 것Apr 26, 2025 am 10:19 AM

Openai는 강력한 GPT-4.1 시리즈를 공개합니다. 실제 응용 프로그램을 위해 설계된 3 개의 고급 언어 모델 패밀리. 이 중요한 도약 전진

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

MinGW - Windows용 미니멀리스트 GNU

MinGW - Windows용 미니멀리스트 GNU

이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

mPDF

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구