DetectGPT의 목적은 텍스트 조각이 GPT-3와 같은 특정 LLM에 의해 생성되었는지 확인하는 것입니다. 단락 x를 분류하기 위해 DetectGPT는 먼저 일반적인 사전 학습 모델(예: T5)을 사용하여 ~xi 단락에 작은 섭동을 생성합니다. 그런 다음 DetectGPT는 원본 샘플 x의 로그 확률을 교란된 각 샘플 ~xi와 비교합니다. 평균 로그 비율이 높으면 표본이 소스 모델에서 나온 것일 가능성이 높습니다.
ChatGPT가 화제입니다. 기사가 LLM(대형 언어 모델)에 의해 생성되었는지 감지하는 것이 가능한지에 대한 논의가 진행 중입니다. DetectGPT는 주어진 LLM에서 생성할지 여부를 판단하기 위한 새로운 곡률 기반 기준을 정의합니다. DetectGPT는 별도의 분류기를 훈련하거나, 실제 또는 생성된 구절의 데이터세트를 수집하거나, 생성된 텍스트에 명시적으로 워터마킹을 할 필요가 없습니다. 관심 모델에 의해 계산된 로그 확률과 다른 범용 사전 훈련된 언어 모델(예: T5)의 기사 무작위 섭동만 사용합니다.
1. DetectGPT: 무작위 순열 및 가정
기계 생성 채널 x~pθ(왼쪽)가 logp(x)의 음의 곡률 영역에 있는 경향을 식별하고 활용합니다. 여기서 근처 샘플의 평균은 더 낮습니다. 모델 로그 확률. 대조적으로, 사람이 작성한 텍스트 x~preal(.)(오른쪽)은 상당한 음의 로그 확률 곡률이 있는 영역을 차지하지 않는 경향이 있습니다.
DetectGPT는 소스 모델 pθ의 샘플이 일반적으로 인간 텍스트와 다른 pθ 로그 확률 함수의 음의 곡률 영역에 있다는 가정을 기반으로 합니다. 텍스트 x~pθ에 작은 섭동을 적용하여 ~x를 산출하는 경우 기계 생성 샘플 log pθ(x) - log pθ(~x)의 수가 사람이 작성한 텍스트에 비해 상대적으로 커야 합니다. 이 가정을 사용하여 먼저 비슷한 의미를 갖는 x의 약간 수정된 버전인 ~x에 대한 분포를 제공하는 섭동 함수 q(.|x)를 고려합니다(일반적으로 대략적인 단락 길이의 텍스트 x를 고려합니다). 예를 들어, q(.|x)는 단순히 x의 의미를 유지하면서 x에 대한 문장 중 하나를 다시 작성하도록 인간에게 요청한 결과일 수 있습니다. 섭동 함수의 개념을 사용하여 섭동 차이 d(x; pθ, q)를 정의할 수 있습니다.
따라서 다음 가정 4.1은 다음과 같습니다.
If q(.|x )는 인간이 다시 작성하는 대신 마스크 채우기 모델(예: T5)의 샘플을 사용하여 자동화되고 확장 가능한 방식으로 경험적으로 테스트할 수 있습니다.
2. DetectGPT: 자동 테스트
기사를 다시 작성한 후 모델에 의해 생성된 기사의 로그 확률(섭동 차이)의 평균 감소는 수동으로 작성된 기사보다 항상 높습니다
실제 data , XSum 데이터세트의 500개 뉴스 기사를 사용합니다. XSum에서 각 기사의 처음 30개 토큰을 묻는 메시지가 표시될 때 4개의 서로 다른 llms의 출력을 사용합니다. 섭동은 T5-3B를 사용하여 적용되며 기사에 있는 단어의 15%가 마스크될 때까지 무작위로 샘플링된 2단어 범위를 마스킹합니다. 위 방정식(1)의 기대값은 T5에서 100개 샘플로 근사화됩니다.
위의 실험 결과는 사람이 작성한 기사와 모델 샘플 간의 섭동 차이 분포에 상당한 차이가 있음을 보여줍니다. 이러한 결과를 바탕으로 간단히 섭동 차이를 임계값으로 설정하여 모델 p에 의해 텍스트 조각이 생성되었는지 여부를 감지할 수 있습니다.
E~x q(.|x) log p (~x)를 추정하는 데 사용된 관측치의 표준 편차로 섭동 차이를 정규화하면 더 나은 감지가 가능하며 일반적으로 AUROC를 약 0.020만큼 증가시키므로 실험에서는 섭동 차이는 에서 사용됩니다.
DetectGPT의 감지 프로세스 의사 코드
섭동 차이가 유용할 수 있지만 측정 내용을 명확하게 설명할 수 없으므로 저자는 곡률을 사용하여 다음 섹션에서 설명합니다.
3. 섭동 차이를 곡률로 해석합니다.
섭동 차이는 후보 통로 근처의 로그 확률 함수의 로컬 곡률 측정값으로 근사화됩니다. 더 구체적으로는 헤시안 행렬의 음의 추적에 비례합니다. 로그 확률 함수.
이 섹션에는 내용이 많기 때문에 여기서는 자세히 설명하지 않겠습니다. 관심이 있으시면 대략 다음과 같이 요약된 원본 논문을 읽어보세요.
의미 공간에서 샘플링하면 섭동 마커가 무작위로 추가되면 로그 확률이 항상 감소할 것으로 예상되므로 모든 샘플이 데이터 매니폴드에 가깝게 유지됩니다. 따라서 목표는 데이터 매니폴드의 곡률을 대략적으로 제한하는 것으로 해석될 수 있습니다.
4. 결과 표시
제로샷 기계 생성 텍스트 감지
각 실험에서는 평가를 위해 150~500개의 예시를 사용합니다. 기계 생성 텍스트는 실제 텍스트의 처음 30개 토큰을 프롬프트하여 생성됩니다. AUROC)를 사용하여 성능을 평가합니다.
DetectGPT가 XSum 스토리(AUROC 0.1 향상) 및 SQuAD Wikipedia 컨텍스트(AUROC 0.05 향상)의 평균 감지 정확도를 최대화하는 것을 볼 수 있습니다.
15개 데이터 세트 및 모델 조합 중 14개에 대해 DetectGPT는 AUROC의 평균 개선율이 0.06으로 가장 정확한 감지 성능을 제공합니다.
지도 탐지기와의 비교
실제 텍스트와 생성된 텍스트의 대규모 데이터 세트에 대해 훈련된 감독 기계 생성 텍스트 탐지 모델은 배포 내(맨 위 행) 텍스트에 대한 DetectGPT 또는 그 이상 성능을 발휘합니다. WMT16의 PubMed 의료 텍스트, 독일 뉴스 데이터 등 새로운 도메인(하단 행)에는 제로샷 방식이 적용됩니다.
각 데이터 세트의 200개 샘플을 평가한 결과, 영어 뉴스 등 배포 데이터에 대한 지도 검출기의 검출 성능은 DetectGPT와 비슷하지만, 영어 과학 글쓰기의 경우 제로샷보다 성능이 현저히 떨어집니다. 방법은 독일어로 작성하는 동안 완전히 실패합니다.
DetectGPT GPT-3의 평균 AUROC는 기계 생성 텍스트 감지를 위해 특별히 훈련된 지도 모델과 비슷합니다.
PubMedQA, XSum 및 writingprompt 데이터세트에서 추출된 150개의 예시. 두 개의 사전 훈련된 Roberta 기반 감지기 모델을 DetectGPT 및 확률적 임계값 기준과 비교합니다. DetectGPT는 보다 강력한 지도 모델과 경쟁하는 탐지 기능을 제공할 수 있습니다.
기계 생성 텍스트 감지의 변형
이 부분은 감지기가 사람이 편집한 기계 생성 텍스트를 감지할 수 있는지 확인하는 부분입니다. 텍스트의 r%가 대체될 때까지 텍스트의 5단어 범위를 T5–3B의 샘플로 대체하여 수동 개정을 시뮬레이션했습니다. DetectGPT는 모델 샘플의 텍스트 중 거의 1/4이 교체되었음에도 불구하고 감지 AUROC를 0.8 이상으로 유지합니다. DetectGPT는 모든 개정 수준에서 가장 강력한 탐지 성능을 보여줍니다.
위 내용은 DetectGPT: 확률적 곡률을 사용한 제로샷 기계 생성 텍스트 감지의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

近年来,基于深度学习的模型在目标检测和图像识别等任务中表现出色。像ImageNet这样具有挑战性的图像分类数据集,包含1000种不同的对象分类,现在一些模型已经超过了人类水平上。但是这些模型依赖于监督训练流程,标记训练数据的可用性对它们有重大影响,并且模型能够检测到的类别也仅限于它们接受训练的类。由于在训练过程中没有足够的标记图像用于所有类,这些模型在现实环境中可能不太有用。并且我们希望的模型能够识别它在训练期间没有见到过的类,因为几乎不可能在所有潜在对象的图像上进行训练。我们将从几个样本中学习

编辑|ScienceAI问答(QA)数据集在推动自然语言处理(NLP)研究发挥着至关重要的作用。高质量QA数据集不仅可以用于微调模型,也可以有效评估大语言模型(LLM)的能力,尤其是针对科学知识的理解和推理能力。尽管当前已有许多科学QA数据集,涵盖了医学、化学、生物等领域,但这些数据集仍存在一些不足。其一,数据形式较为单一,大多数为多项选择题(multiple-choicequestions),它们易于进行评估,但限制了模型的答案选择范围,无法充分测试模型的科学问题解答能力。相比之下,开放式问答

在2021年1月,OpenAI宣布了两个新模型:DALL-E和CLIP。这两个模型都是多模态模型,以某种方式连接文本和图像。CLIP的全称是对比语言-图像预训练(ContrastiveLanguage-ImagePre-training),它是一种基于对比文本-图像对的预训练方法。为什么要介绍CLIP呢?因为目前火热的StableDiffusion并不是单一模型,而是由多个模型组成。其中一个关键组成部分是文本编码器,用于对用户的文本输入进行编码,而这个文本编码器就是CLIP模型中的文本编码器CL

核模型高斯过程(KMGPs)是一种复杂的工具,用于处理各种数据集的复杂性。它通过核函数扩展了传统高斯过程的概念。本文将详细讨论KMGPs的理论基础、实际应用和面临的挑战。核模型高斯过程是对传统高斯过程的一种扩展,用于机器学习和统计学。了解kmgp前,需掌握高斯过程基础知识,再理解核模型的作用。高斯过程(GPs)高斯过程是随机变量集合,有限个变量联合高斯分布,用于定义函数概率分布。高斯过程在机器学习中常用于回归和分类任务,可用于拟合数据的概率分布。高斯过程的一个重要特征是能够提供不确定性估计和预测

将数据集分解为训练集,可以帮助我们了解模型,这对于模型如何推广到新的看不见数据非常重要。 如果模型过度拟合可能无法很好地概括新的看不见的数据。因此也无法做出良好的预测。拥有适当的验证策略是成功创建良好预测,使用AI模型的业务价值的第一步,本文中就整理出一些常见的数据拆分策略。简单的训练、测试拆分将数据集分为训练和验证2个部分,并以80%的训练和20%的验证。 可以使用Scikit的随机采样来执行此操作。首先需要固定随机种子,否则无法比较获得相同的数据拆分,在调试时无法获得结果的复现。 如果数据集

AI视频模型Sora爆火之后,Meta、谷歌等大厂纷纷下场做研究,追赶OpenAI的步伐。最近,来自谷歌团队的研究人员提出了一种通用视频编码器——VideoPrism。它能够通过单一冻结模型,处理各种视频理解任务。图片论文地址:https://arxiv.org/pdf/2402.13217.pdf比如,VideoPrism能够将下面视频中吹蜡烛的人分类、定位出来。图片视频-文本检索,根据文本内容,可以检索出视频中相应的内容。图片再比如,描述下面视频——一个小女孩正在玩积木。还可以进行QA问答。

多任务学习(MTL)存在很多挑战,因为不同任务之间的梯度可能矛盾。为了利用任务之间的关联,作者引入了 Mod-Squad 模型,它是多个专家组成的模块化模型。模型可以灵活优化任务和专家的匹配,针对任务选择部分专家。模型让每一个专家只对应部分任务,每一个任务只对应部分专家,以此最大化利用任务之间的正向联系。Mod-Squad 整合了 Mixture of Expert (MoE) 层到 Vision Transformer 模型中,并引入了新的损失函数鼓励专家和任务之间的稀疏但强烈的依赖关系。此外

使用大型数据集训练大型深度神经网络 (DNN) 的问题是深度学习领域的主要挑战。 随着 DNN 和数据集规模的增加,训练这些模型的计算和内存需求也会增加。 这使得在计算资源有限的单台机器上训练这些模型变得困难甚至不可能。 使用大型数据集训练大型 DNN 的一些主要挑战包括:训练时间长:训练过程可能需要数周甚至数月才能完成,具体取决于模型的复杂性和数据集的大小。内存限制:大型 DNN 可能需要大量内存来存储训练期间的所有模型参数、梯度和中间激活。 这可能会导致内存不足错误并限制可在单台机器上训练的


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

드림위버 CS6
시각적 웹 개발 도구

WebStorm Mac 버전
유용한 JavaScript 개발 도구
