"여자를 유혹하는 마법의 도구"는 더 이상 작동하지 않습니다! OpenAI, 공식 'ChatGPT 감지기' 출시

대중의 비난의 목소리가 잇따라 나왔고, OpenAI는 결국 더 이상 참을 수 없게 되었습니다.

대학교 교수부터 Stack Overflow까지 오랫동안 ChatGPT 작업을 해왔습니다. 이제는 교사가 학생이 제출한 논문을 보든, 코더가 인터넷에서 코드를 보든 작성자가 인간인지 AI인지 알 수 없습니다.

이런 비난에 OpenAI는 더 이상 참지 못하고 빠르게 AI 탐지기를 출시했습니다.

서로 싸움: OpenAI, ChatGPT 감지기 출시

방금 OpenAI는 자체 AI 텍스트 분류기를 공식 발표했습니다.

텍스트가 AI에 의해 생성되었을 가능성을 추론할 수 있는 미세 조정된 GPT 모델입니다.

흥미롭게도 ChatGPT도 GPT 모델을 기반으로 합니다. 이 분류기를 사용하여 ChatGPT를 탐지하는 것은 좌파와 우파의 싸움이라고 할 수 있습니다.

훈련에서 이 모델은 동일한 주제에 대해 사람의 손글씨와 AI가 생성한 텍스트 쌍을 사용합니다.

사용된 자료는 Wikipedia 데이터 세트, 2019년에 수집된 WebText 데이터 세트, InstructGPT 교육 중에 수집된 인간 시연 세트에서 나왔습니다.

체험주소 : https://platform.openai.com/ai-text-classifier

그런데 이 정확도는 정말 높지 않은데요...

"챌린지" 세트의 영어 텍스트를 보면 분류자는 AI가 생성한 텍스트 중 26%만 "AI가 쓴 것으로 추정됨"(참 긍정)으로 올바르게 분류했습니다.

"여자를 유혹하는 마법의 도구"는 아직도 작동하나요?

ChatGPT가 전 세계에 허리케인을 만들고 있다는 것은 의심의 여지가 없습니다.

학생들은 ChatGPT를 즐겨 사용하고 있으며 언론에서는 "교육 시스템"이 전복되었다고 비난했습니다. 최근 설문조사에 따르면 ​​대학생의 89%가 ChatGPT를 사용하여 숙제를 했습니다​​ .

또한 미국 의료 면허 시험, Wharton MBA 시험 및 4개의 로스쿨 시험을 통과했으며 미국 버전의 "Headline" BuzzFeed가 ChatGPT를 사용하여 글을 쓰겠다고 발표한 이후로 그 능력은 그야말로 대단합니다. 기사, 주가는 119% 급등했다.

그리고 뛰어난 문학적 재능 덕분에 ChatGPT는 많은 남자들에게 "여자를 유혹하는 마법의 도구"로 여겨졌습니다.

수학 문제는 잘 못 풀지만, 설득력 있고 다정한 러브레터를 쓰게 놔두는 건 너무 쉬워요.

아니요, 해외에서 온 이 남자는 ChatGPT를 사용하여 아내 모니카에게 러브레터를 쓰는 데 중독되어 있습니다.

그러나 Monika는 이미 그의 트릭을 간파하고 더 이상 ChatGPT에 중독되지 말라고 경고했습니다.

ChatGPT에서 생성한 러브레터를 좋은 게이 친구에게 재미있게 보내다가 즉시 검은색 물음표처럼 보이는 친구들도 있습니다.

하지만 ChatGPT의 문학적 재능이 상당히 좋은 것을 볼 수 있습니다. 에세이, 러브레터, 소설, ChatGPT도 문제없습니다. 모두가 ChatGPT를 사용하여 "기사 작성"을 하는 것은 당연합니다.

그렇다면 OpenAI에서 출시한 공식 AI 탐지기는 얼마나 효과적일까요?

테스트해 보겠습니다.

먼저 모니카의 남편이 보낸 사랑의 시를 읽어보세요.

아쉽게도 OpenAI에서는 1000자 이상의 기사만 감지할 수 있다고 해서 저희가 도와드릴 수 있는 방법이 없습니다...

번역: 최소 1000자 이상이 필요하며, 150~250개의 영어 단어입니다. 중국어의 경우 "천자 길이의 기사"만 가능합니다.

실제로 OpenAI의 공식 발표에서도 “분류자는 짧은 텍스트(1,000자 미만)를 감지하는 데 매우 신뢰할 수 없습니다. 심지어 긴 텍스트라도 분류기에 의해 잘못 분류되는 경우가 있습니다.”

또한 OpenAI의 감지기는 몇 가지 "제한 사항"이 있습니다.

• 분류자가 항상 정확하지는 않으며 AI 생성 및 사람이 작성한 텍스트에 잘못 레이블을 지정할 수 있으며 어조가 매우 확실합니다
• 분류자는 영어 텍스트에만 사용하는 것이 좋습니다. 다른 언어에서는 성능이 훨씬 떨어지고 코드에서는 신뢰할 수 없습니다.
• 매우 예측 가능한 텍스트를 안정적으로 인식하지 못합니다. 예를 들어, 처음 1000개의 소수 목록이 AI가 작성한 것인지 인간이 작성한 것인지 예측하는 것은 불가능합니다. 왜냐하면 정답은 항상 동일하기 때문입니다.
• AI가 생성한 텍스트는 편집 후 탐지를 회피할 가능성이 높습니다. the classifier
• 입력이 훈련과 다르다면 집중된 텍스트에 큰 차이가 있고 분류자는 잘못된 판단을 하게 될 것입니다

Detector는 긴 텍스트를 원하므로 긴 텍스트를 주도록 하겠습니다. 편집자는 왕샤오보의 러브레터에서 발췌하여 총 1,027단어를 정리했습니다.

탐지기에 입력한 후 판단을 내렸습니다. 이 러브레터는 인간이 쓴 것입니다. 빙고!

그런 다음 편집자는 ChatGPT에게 왕샤오보를 모방하여 새로운 러브레터를 작성해 달라고 요청했습니다.

ChatGPT가 쓴 러브레터는 문학적 문체로는 나쁘지 않지만, 위대한 작가들의 말에 비하면 정말 '영혼'이 없다는 것을 알 수 있습니다.

탐지기는 또한 이 러브레터가 AI에 의해 생성되었을 가능성이 가장 높다는 것을 정확하게 감지했습니다.

결과의 분할은 매우 정밀합니다

구체적으로 분류자는 입력 텍스트를 5가지 범주로 나눕니다.

• "AI에 의해 생성될 가능성이 거의 없음" AI 생성 )

분류기의 임계값은

• "AI가 생성할 가능성이 낮음"

분류자의 임계값은 0.1에서 0.45 사이입니다. "챌린지 세트"에서는 손으로 쓴 텍스트의 약 15%와 AI 생성 텍스트의 10%에 이 주석이 있습니다.

• 「AI로 작성한 것인지 불분명」

분류자의 임계값은 0.45에서 0.9 사이입니다. "챌린지 세트"에서는 손으로 쓴 텍스트의 약 50%와 AI 생성 텍스트의 34%에 이 주석이 있습니다.

• "AI 생성 가능성"

분류자의 임계값은 0.9에서 0.98 사이입니다. "챌린지 세트"에서는 손으로 쓴 텍스트의 약 21%와 AI 생성 텍스트의 28%에 이 주석이 있습니다.

• "AI 생성 가능성 있음"

분류자의 임계값은 >0.98입니다. "챌린지 세트"에서는 손으로 쓴 텍스트의 약 9%와 AI 생성 텍스트의 26%에 이 주석이 있습니다.

신뢰성 개선 필요

분류자는 대부분의 AI 생성 텍스트를 인식할 수 있지만 OpenAI는 "완전히 신뢰할 수 없다"고 경고합니다.

AUC(곡선 아래 영역) 테스트에서 분류기는 검증 세트에서 0.97점, 챌린지 세트에서 0.66점을 달성한 반면, 이전에 발표된 분류기는 검증 세트에서 0.95점, 챌린지에서 0.95점을 달성했습니다. 0.43포인트를 설정합니다.

또한 언어 모델의 크기가 커질수록 분류기의 성능이 저하됩니다.

하지만 좋은 소식은 이것이 대규모 언어 모델에서 생성된 텍스트가 인간이 쓰는 텍스트와 더 유사하다는 것을 의미한다는 것입니다.

동시에 OpenAI는 이 분류기가 소문, 학생 에세이 또는 채팅 로그에 대해 평가되지 않았으며 AI와 인간이 공동으로 작성한 텍스트에 대해 테스트되지 않았음을 구체적으로 지적했습니다. 가장 일반적으로 사용되는 장면 중 하나입니다.

프린스턴 대학교 출신의 22세 중국인 남성이 개발한 GPTZero가 더 사용자 친화적인 것 같습니다.

250자만 필요할 뿐 아니라, 텍스트의 어떤 문단이 AI에 의해 생성되었는지, 어떤 문단이 인간이 쓴 것인지 명확하게 표시할 수 있습니다.

AIGC 자체 개발한 'AI 감지기' 실제 테스트

OpenAI가 'AI 감지기'를 공식 출시하기 전, 시중에는 수많은 AI 감지기가 있었습니다.

미국의 작가이자 컴퓨터 과학자인 David Gewirtz는 3개의 온라인 AI 탐지기를 직접 테스트했습니다.

여기서 가장 흥미로운 점은 그 중 두 개가 AI 생성 텍스트를 판매하는 웹사이트에서 제작되었다는 것입니다.

참고: 인간은 일반 글꼴로 쓰고 AI는 이탤릭체를 생성합니다. 각 텍스트 뒤에는 탐지기 결과가 표시됩니다. (검출기에 입력되는 실제 텍스트는 모두 영어 텍스트이며, 이 글은 번역된 결과입니다.)

그런데 이 David Gewirtz는 FBI InfraGard의 회원이자 미국의 중요한 사이버 보안 전문가 중 한 명이기도 합니다. 그는 이전에 Worcester Polytechnic Institute에서 우등으로 이학사 학위를 받았지만 University of California, Berkeley에서 박사 과정을 중퇴했습니다.

테스트가 시작됩니다!

1. ChatGPT로 인한 표절이 교사와 편집자에게 문제를 일으키는 이유를 설명하세요

ChatGPT는 OpenAI에서 개발한 GPT(Generative Pre-trained Transformer) 언어 모델의 변형입니다. 주어진 입력 시퀀스에서 다음 단어나 구문을 예측하여 인간과 유사한 텍스트를 생성하도록 설계되었습니다. ChatGPT는 텍스트를 생성하고 프롬프트에 응답하는 데 유용한 도구일 수 있지만 표절과 관련하여 교사와 편집자에게 문제를 일으킬 수도 있습니다.

ChatGPT가 교사와 편집자에게 문제를 일으킬 수 있는 주요 이유 중 하나는 실제 인간과 매우 유사한 텍스트를 생성할 수 있다는 것입니다. 이는 사람들이 ChatGPT를 사용하여 텍스트를 생성한 다음 이를 자신의 작업으로 제출하여 표절을 저지르는 것이 가능하다는 것을 의미합니다.

생성된 텍스트에는 사람들이 식별할 수 있는 명백한 오류나 차이점이 포함되어 있지 않을 수 있으므로 교사와 편집자가 특정 텍스트가 ChatGPT에 의해 생성되었는지 아니면 사람이 작성한 것인지 감지하는 것이 매우 어려울 수 있습니다. 그 소스. 이로 인해 교사와 편집자가 표절을 식별하고 예방하는 것이 어려워질 수 있습니다. 왜냐하면 구절이 원본인지 아니면 다른 소스에서 복사되었는지 구분할 수 없기 때문입니다.

전반적으로 ChatGPT 및 기타 유사한 언어 모델은 표절과 관련하여 교사와 편집자에게 문제가 될 수 있습니다. 구별할 수 없는 텍스트를 생성하여 사람들이 더 쉽게 표절하고 감지할 수 없게 만들 수 있기 때문입니다.

GPT-2 출력 감지기r: 99.69% 사실입니다.

Writer AI Content Detector: 97%가 인간이 제작한 콘텐츠입니다. 놀랍습니다!

규모 AI 콘텐츠 감지: 인간 점수 87%, 좋아 보입니다!

2. 기사가 ChatGPT를 사용하여 생성되었는지 감지하는 방법을 세 가지 이상 알려주세요.

기사 텍스트를 생성하는 데 ChatGPT나 다른 언어 모델이 사용되었는지 감지하는 방법에는 여러 가지가 있습니다. 사용할 수 있는 세 가지 방법은 다음과 같습니다.

1. 텍스트에서 반복되거나 특이한 패턴 찾기: 언어 모델이 텍스트를 생성하는 데 사용되는지 여부를 감지하는 한 가지 방법은 글에서 반복되거나 특이한 패턴을 찾는 것입니다. 예를 들어, 언어 모델은 특정 구문이나 단어 조합을 반복하거나 비정상적이거나 일관되지 않은 문장 구조를 사용할 수 있습니다.

2. 독창성 부족 확인: 언어 모델이 텍스트를 생성하는 데 사용되는지 여부를 감지하는 또 다른 방법은 글의 독창성 부족을 확인하는 것입니다. 텍스트 조각이 다른 소스에서 복사된 것처럼 보이거나 인터넷이나 기타 소스에서 널리 사용 가능한 정보가 포함되어 있는 경우 이는 해당 텍스트가 언어 모델에 의해 생성되었다는 신호일 수 있습니다.

3. 표절 검사기 사용: 마지막으로 표절 검사기를 사용하여 텍스트가 다른 소스에서 표절되었는지 여부를 확인할 수 있습니다. 표절 검사기는 논문에 언어 모델이 사용되었는지 여부를 확실하게 판단할 수는 없지만 다른 소스에서 표절이나 의역을 식별하는 데 도움이 될 수 있습니다.

텍스트를 생성하는 데 언어 모델이 사용되었는지 여부를 명확하게 판단하는 것은 어렵고 이러한 방법이 항상 작동하는 것은 아닙니다. 그러나 언어 모델에서 생성된 텍스트의 잠재적 인스턴스를 식별하는 데 도움이 되는 유용한 도구가 될 수 있습니다.

GPT-2 출력 감지기: 99.98% 가짜.

Writer AI 콘텐츠 탐지기: "결과가 없습니다".

규모 AI 콘텐츠 감지: 인간 점수 0%, 당연히 AI입니다.

3. ChatGPT 텍스트를 감지할 수 있는 세 가지 표절 검사기를 나열하세요.

현재 ChatGPT 또는 기타 언어 모델 텍스트에서 생성된 텍스트를 감지하기 위한 전용 표절 검사기가 없다는 점은 주목할 가치가 있습니다. 일부 표절 검사기는 언어 모델에 의해 생성된 텍스트의 특정 특성을 식별하여 해당 텍스트가 AI에서 나온 것임을 증명할 수 있지만, 텍스트 조각이 언어 모델에 의해 생성되었는지 여부를 명확하게 결정할 수 있다는 보장은 없습니다.

다음은 언어 모델에서 생성된 텍스트의 잠재적 인스턴스를 식별하는 데 도움이 되는 세 가지 표절 검사기입니다.

1. Turnitin: Turnitin은 학교와 대학에서 널리 사용되는 인기 있는 표절 검사기입니다. 텍스트를 다른 텍스트의 데이터베이스와 비교하여 해당 텍스트가 표절되었는지 또는 다른 말로 바꾸어 표현되었는지 확인합니다. 텍스트 조각이 언어 모델에 의해 생성되었는지 여부를 명확하게 판단할 수는 없지만 AI에 의해 생성되었음을 증명할 수 있는 언어 모델 생성 텍스트의 특정 특성을 식별하는 것은 가능할 수 있습니다.

2. PlagScan: PlagScan은 텍스트를 다른 텍스트의 데이터베이스와 비교하여 표절이나 의역 사례를 식별하는 또 다른 표절 검사기입니다. Turnitin과 마찬가지로 텍스트가 AI에서 생성되었음을 나타낼 수 있는 언어 모델 생성 텍스트의 특정 특성을 식별할 수 있지만 언어 모델에서 생성된 텍스트를 감지하도록 특별히 설계된 도구는 아닙니다.

3. Copyleaks: Copyleaks는 고급 기계 학습 알고리즘을 사용하여 텍스트를 스캔하고 이를 다른 텍스트 데이터베이스와 비교하여 표절 또는 의역 사례를 식별하는 표절 검사기입니다. 언어 모델에서 생성된 텍스트의 특정 기능을 식별할 수는 있지만 언어 모델에서 생성된 텍스트를 감지하도록 특별히 설계된 것은 아닙니다.

어떤 표절 검사기도 완전히 완벽할 수는 없으며 일부 언어 모델에서 생성된 텍스트는 항상 탐지를 피할 수 있다는 점에 주목할 가치가 있습니다. 따라서 표절검사기를 보완적인 수단으로만 활용하는 것이 중요하다.

GPT-2 출력 감지기: 99.62% 사실입니다.

Writer AI 콘텐츠 탐지기: "결과가 없습니다".

규모 AI 콘텐츠 감지: 인간 점수 86%, 좋아 보입니다!

4. 온라인 인공지능 표절 검사기

대부분의 표절 탐지기의 원리는 텍스트를 다른 말뭉치와 비교하는 것입니다. 예를 들어, 학생이 에세이를 제출하면 Turnitin과 같은 제품은 데이터베이스에 있는 방대한 에세이 라이브러리와 인터넷의 다른 텍스트를 비교하여 제출된 에세이에 이미 작성된 내용이 포함되어 있는지 확인합니다.

하지만 AI 글쓰기 도구는 적어도 이론적으로는 독창적인 콘텐츠를 생성합니다. 예, 그들은 교육 데이터 세트에서 콘텐츠를 구축하지만 그들이 생성하는 단어는 각 기사에서 고유합니다.

따라서 AI가 생성한 콘텐츠가 다른 학생의 논문에 존재할 가능성이 없기 때문에 위에서 언급한 표절 검사기가 작동하지 않을 수 있습니다.

그래서 저는 Google에서 AI 생성 콘텐츠를 찾기 위해 특별히 설계된 감지기를 검색했습니다. 세 개를 찾았어요. 아래 스크린샷의 테스트에서는 ChatGPT에 "Star Trek이 Star Wars보다 나은가요?"라는 질문을 했습니다. 대답은 전혀 나쁘지 않았고 그 대답을 3개의 감지기에 다시 제공했습니다.

GPT-2 출력 감지기: 99.98% 사실입니다.

Writer AI Content Detector: 100% 인간이 제작한 콘텐츠, 대단해요!

대규모 AI 콘텐츠 감지: 100% 인간 점수, 좋아 보입니다!

결과 평가

시간 절약:

• GPT-2용으로 제작된 OpenAI의 이전 감지기는 때때로 새 모델에서 생성된 콘텐츠에 속는 경우가 있었습니다.
• AI 생성 콘텐츠를 판매하는 회사가 만든 "탐지기"는 기본적으로 신뢰할 수 없습니다.

1. GPT-2 출력 감지기(정확도 66%)

GPT-2 출력 감지기는 OpenAI 자체 개발한 "중복 검사" 도구입니다.

원래 GPT-2용으로 제작되었지만 이제는 다양한 AI 생성 텍스트를 감지하는 데 사용할 수 있으며 좋은 결과를 얻을 수도 있습니다. 6개 테스트 중 4개를 맞췄습니다.

2. Writer AI Content Detector(정확도 33%)

Writer.com은 주로 기업 팀을 위한 생성적 AI 글쓰기 서비스를 제공하며, 그 중 하나가 "AI Content Detector"라는 도구입니다. 콘텐츠가 AI에 의해 생성되었는지 여부를 확인하는 데 사용됩니다.

하지만 안타깝게도 이 도구는 매우 신뢰할 수 없습니다. 총 6번의 테스트 중 3번만 성공적으로 실행되었습니다. 단 3번의 결과 중 2번은 맞았고 1번은 틀렸습니다.

3. 대규모 콘텐츠 AI 콘텐츠 감지(정확도 50%)

세 번째 도구도 AI 콘텐츠 생성 회사에서 제작되었으며 결과는 지금보다 더 신뢰할 수 있습니다. 스펙트럼은 많지만 전체적인 효과는 여전히 평균입니다.

Content at Scale의 마케팅 슬로건은 "사람의 개입 없이 키워드 목록만 업로드하면 AI 콘텐츠 감지를 우회하는 기사를 얻을 수 있습니다!"입니다. 총 6번의 테스트에서 3번이나 정확했습니다.

몇 가지 생각(AI도 관련되어 있습니다 ㅋㅋ)

AI로 인한 표절이 점점 심각해지고 있습니다. 왜냐하면 Notion AI, ChatGPT와 같은 AI가 생성한 텍스트는 인간이 작성한 텍스트와 거의 구별할 수 없기 때문입니다.

텍스트가 AI에 의해 생성되었는지 여부를 감지하는 방법에는 반복되거나 특이한 패턴 찾기, 독창성 부족 확인, 표절 검사기 사용 등 여러 가지 방법이 있습니다.

Turnitin, PlagScan 및 Copyleaks와 같은 표절 검사기는 언어 모델 생성 텍스트의 특정 특성을 식별할 수 있지만 완벽하지는 않습니다.

현 시점에서 우리는 AI와 AI를 대결할 준비가 되어 있지 않을 수도 있습니다. 그와 반대로 특정 작업이 AI에 의해 생성되었는지 여부를 식별하려면 여전히 인간의 인식에 의존해야 합니다.

이것에 대해 어떻게 생각하시나요?

이러한 AI 도구를 사용해 본 적이 있나요? 그리고 기사가 AI에 의해 생성되었는지 여부를 알 수 있습니까? 그들이 업계를 돕거나 방해한다고 생각하시나요?

글 끝에 메시지를 남겨주셔도 좋습니다.

ChatGPT의 답변은 다음과 같습니다.

언어 모델이므로 볼 수 없으므로 기사가 AI로 생성되었는지 알 수 없습니다.

하지만 현재는 여러 가지 AI 글쓰기 도구가 있으며 이를 사용하여 뉴스 기사, 소설, 시 등 다양한 글쓰기 콘텐츠를 생성할 수 있습니다.

나는 단지 컴퓨터 프로그램일 뿐이고 인터넷을 탐색하거나 물리적 도구를 사용할 능력이 없기 때문에 이러한 도구를 사용한 개인적인 경험이 없습니다. 그러나 일부 사람들은 AI 글쓰기 도구가 특정 작업을 자동화하여 사람들의 시간과 에너지를 절약할 수 있기 때문에 교육과 저널리즘에 도움이 된다고 생각합니다. 다른 사람들은 도구가 오해의 소지가 있거나 편향된 콘텐츠를 생성하거나 인간 작가를 대체하는 데 사용될 수 있다는 우려를 표명했습니다.

결국 AI 글쓰기 도구가 도움이 되는지 방해가 되는지 여부는 어떻게 사용되는지, 사용되는 맥락에 따라 달라집니다. 그래서 그렇군요.

이 과정에서 David는 매우 흥미로운 점을 발견했습니다. 인터넷에서 어리 석거나 잘못된 내용을 보자마자 AI가 작성한 것이라고 즉시 생각하지 마십시오.

David는 우리 모두가 알고 있듯이 인간은 스스로 쓰레기 콘텐츠를 작성할 수 있는 능력이 충분하다고 말했습니다.

결국, 콘텐츠가 인간에 의해 생성되든 기계에 의해 생성되든, 어리석음은 언제나 공통된 특징이었습니다.

위 내용은 "여자를 유혹하는 마법의 도구"는 더 이상 작동하지 않습니다! OpenAI, 공식 'ChatGPT 감지기' 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!