ChatGPT "Nemesis": AI를 사용하여 AI가 생성한 텍스트를 인식하고, 영어 종이 읽기 노트를 감지할 수 있습니다.
- 王林앞으로
- 2023-04-29 11:25:061836검색
ChatGPT의 출현으로 많은 사람들이 마감일(수동 개 머리)이 끝나면 큰 작업의 새벽을 볼 수 있게 되었습니다.
영어 논문이든 독서 노트이든 ChatGPT의 지식 범위 내에 있는 한 완료하도록 도와달라고 요청할 수 있으며 작성된 내용은 기초가 충분합니다.
하지만 선생님도 부정 행위를 방지하기 위해 "AI 텍스트 감지기"와 같은 것을 사용할 계획이라고 생각한 적이 있습니까?
이렇게 겉보기에 흠잡을 데 없는 메모를 입력해 보세요. 몇 가지 테스트를 거쳐 이 텍스트가 "AI가 작성한"(가짜) 확률이 99.98%라고 판단됩니다!
Δ텍스트는 ChatGPT에 의해 생성됩니다
다른 수학 문제를 시험해 보시겠습니까? ChatGPT의 출력에는 문제가 없는 것 같지만 여전히 정확하게 인식됩니다.
Δ텍스트는 ChatGPT에 의해 생성됩니다
이것은 맹목적인 추측이나 추측에 기반한 것이 아닙니다. 또한 AI와 잘 훈련된 AI입니다.
이것을 보고 일부 네티즌들은 농담을 했습니다: 마법을 사용하여 마법을 물리친다?
AI가 작성한 내용을 사용하여 새로운 AI 훈련
이 AI 감지기는 GPT-2 출력 감지기라고 하며 OpenAI가 Harvard University 및 기타 대학 및 기관과 협력하여 구축했습니다. (예, OpenAI가 자체 제작했습니다)
50자(토큰) 이상을 입력하면 AI가 생성한 텍스트를 보다 정확하게 식별할 수 있습니다.
그러나 GPT-2 탐지를 전문으로 하는 모델이라도 다른 AI 생성 텍스트 탐지에도 똑같이 효과적입니다.
저자는 AI가 "AI 언어"와 "인간 음성"의 차이를 이해할 수 있도록 "GPT-2 생성 콘텐츠"와 WebText(외국 게시물 바 Reddit에서 특별히 스크랩한) 데이터 세트를 먼저 공개했습니다.
이후 이 데이터 세트를 사용하여 RoBERTa 모델을 미세 조정하고 AI 검출기를 얻었습니다.
RoBERTa(강력하게 최적화된 BERT 접근 방식)는 BERT의 향상된 버전입니다. 원래 BERT는 13GB 데이터 세트를 사용했지만 RoBERTa는 6,300만 개의 영어 뉴스 항목이 포함된 160GB 데이터 세트를 사용했습니다.
그 중에서 인간의 말은 항상 True로 인식되고, AI가 생성한 콘텐츠는 항상 Fake로 인식됩니다.
예를 들어 미디엄 영문 블로그에서 복사한 내용입니다. 인식 결과로 볼 때 작성자가 직접 작성한 것이 분명합니다(수동 개 머리):
Δ 텍스트 출처 Medium@Megan Ng
물론 이 감지기가 100% 정확하지는 않습니다.
AI 모델의 매개변수가 클수록 생성된 콘텐츠를 인식하기가 더 어려워집니다. 예를 들어 1억 2천 4백만 개의 매개변수를 가진 모델은 15억 개의 매개변수를 가진 모델보다 "잡힐" 확률이 더 높습니다. .
동시에 모델 생성 결과의 무작위성이 높을수록 AI 생성 콘텐츠가 감지될 확률은 낮아집니다.
그러나 가장 높은 무작위성을 생성하도록 모델을 조정하더라도(온도=1, 0에 가까울수록 무작위성은 낮아짐) 1억 2400만 개의 매개변수 모델에 의해 탐지될 확률은 여전히 88%이며, 15억 개의 매개변수 모델에 의해 검출되는 것은 여전히 74%입니다.
2년 전 OpenAI에서 출시한 모델입니다. 당시 GPT-2에서 생성된 콘텐츠는 '정확'했습니다.
이제 업그레이드된 ChatGPT 버전에서도 영어로 생성된 콘텐츠를 감지하는 효과를 계속 얻을 수 있습니다.
하지만 ChatGPT에서 생성된 중국어의 경우 인식능력이 그다지 좋지 않습니다. 예를 들어, ChatGPT가 작문을 작성하도록 합시다:
AI 감지기는 그것이 인간에 의해 작성되었을 확률을 99.96% 제공합니다...
물론 ChatGPT는 텍스트도 감지할 수 있습니다. 생성합니다.
따라서 교사가 식별을 위해 숙제를 ChatGPT에 직접 전달할 수도 있습니다.
한 가지 더
ChatGPT가 정보 검색을 위해 인터넷에 액세스할 수 없다고 언급했다는 점은 언급할 가치가 있습니다.
분명히 GPT-2 출력 감지기 AI 감지기의 존재를 인식하지 못합니다.
그렇다면 네티즌들이 말했듯이 ChatGPT는 "AI 감지기에 의해 감지되지 않는" 콘텐츠를 생성할 수 있나요?
안타깝게도 할 수 없습니다:
그래서 큰 숙제는 혼자서 작성하는 게 좋을 것 같아요...
[4] https://medium.com/ user-experience-design-1/how-chatgpt-is-blowing-google-out-of-the-water-a-ux-breakdown-784340c25d57
위 내용은 ChatGPT "Nemesis": AI를 사용하여 AI가 생성한 텍스트를 인식하고, 영어 종이 읽기 노트를 감지할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!