ChatGPT의 '적'이 여기 있습니다! 기사 작성자는 인간인가, 아니면 AI인가? 중국 사람이 설 연휴 동안 그것을 감지하는 데 몇 초가 걸렸다.
- 王林앞으로
- 2023-04-12 08:49:242031검색
ChatGPT에 대해 말씀하시는 건가요? ChatGPT가 작성하는 내용이 너무 현실적이어서 구별할 수 없나요?
상관없어요!
이제 그 "천적"이 여기에 있습니다 -
한 중국 남자가 텍스트가 AI가 쓴 것인지 인간이 쓴 것인지 식별하기 위해 이러한 웹사이트를 만들었습니다.
해당 내용을 붙여넣기만 하면 몇 초 내에 결과가 분석됩니다.
그것: "나는 그것이 AI인 줄 알았다."
이러한 마법의 도구는 출시되자마자 단숨에 모두의 마음을 사로잡았다고 할 수 있습니다.
아니요, 서버를 완전히 박살냅니다(다행히 여유가 있습니다).
이제 ChatGPT를 사용하여 숙제를 하는 "말썽꾸러기 아이들"도 피해를 입게 될까요?
사람인가요 아니면 ChatGPT인가요? GPTZero: 내
보세요. 이 웹사이트는 GPTZero라고 합니다.
주로 "당황", 즉 텍스트의 "당황"을 해당 콘텐츠를 작성자가 누구인지 확인하는 지표로 사용합니다.
NLP 분야의 친구들은 이 지표가 언어 모델의 품질을 평가하는 데 사용된다는 것을 모두 알고 있습니다.
여기서 GPTZero에 테스트 콘텐츠를 제공할 때마다 다음과 같이 계산됩니다.
1. 총 텍스트 혼란
이 값이 높을수록 사람이 작성한 가능성이 높아집니다.
2. 모든 문장의 평균 혼란
문장이 길수록 이 값은 일반적으로 낮습니다.
3. 각 문장의 난해함은 막대 차트 형식으로 표시됩니다. 각 상자 위에 마우스를 올리면 해당 문장이 무엇인지 확인할 수 있습니다. (여기서는 제가 입력한 테스트 내용이므로 블록이 두 개뿐입니다. 지금은 딱 두 문장만요).
저자는 이러한 막대 차트가 그려지는 이유에 대해서도 다음과 같이 설명했습니다.
반대로 기계 생성 텍스트의 경우 당혹감이 고르게 분포되어 있으며 항상 낮습니다.
또한 GPTZero는 혼동도가 가장 높은 문장(즉, 가장 인간과 유사한 문장)을 선택합니다.
이것이 규칙이므로 실제로 테스트해 보겠습니다.
테스트 1: 성공
먼저 최신 영어 뉴스를 살펴보겠습니다(중국어는 현재 지원되지 않습니다):
테스트 상자에 붙여넣습니다(각 문장에는 최소 5단어가 있어야 합니다). , 각 단락에는 최소 5 단어) 10 문장을 포함하는 것이 좋습니다. 결과가 더 정확합니다.
곧 GPTZero는 이 텍스트의 전체 텍스트 당혹도가 27이고 평균 문장 당혹도가 171.2임을 계산했습니다. 각 문장의 당혹도 그래프는 다음과 같습니다.
그리고 가장 높은 당혹도를 가진 문장의 값. 476이었습니다.
이 결과를 보면 GPTZero에 대한 답을 추측할 수 있습니다.
인간이 쓴 것입니다.
정답입니다.
테스트 2: 실패
ChatGPT로 오세요.
내용을 테스트 상자에 붙여넣고 이 텍스트의 전체 텍스트 혼란은 31이고 문장의 평균 혼란은 76.67입니다. 각 문장의 혼란은 다음과 같습니다.
혼란 가장 높은 문장의 값은 99입니다.
위의 것과는 각각의 혼동 값이 꽤 다른 것 같습니다. AI가 작성한 것이라고 추측할 수 있습니다.
하지만 안타깝게도 GPTZero에서는 답변을 드릴 수 없으며 텍스트를 조금 더 추가할 수 있기를 바랍니다.
분명히 이 문단에는 단어는 충분하지만 GPTZero가 ChatGPT의 "변장"을 한 눈에 알아볼 수 있는 문장은 충분하지 않습니다.
테스트 3: 성공
그럼 ChatGPT를 다시 시도해 보겠습니다.
이번에는 내용이 충분히 길고 문장도 충분합니다.
물론 문제는 없습니다. GPTZero가 직접 대답했습니다.
정말 몇 가지 트릭을 알아낸 것 같습니다.
즉, 단어가 많으면 문장 수도 많아야 합니다. GPTZero가 히스토그램을 통과할 수 있도록 최소 5개의 문장이 있어야 합니다. 분산 코딩 인식을 사용하면 최종 정확도가 향상될 수 있습니다.
또 언급할 점은 챌린지 실패 시 위에서 언급한 인식 실패 외에도 직접적인 인식 오류도 있다는 점을 발견했습니다.
예를 들어 AI가 쓴 내용을 성인이 쓴 내용으로 판단하는 경우 쓰기:
인간이 AI로 작성한 뉴스 판단:
이 경우 위에서 언급한 팁에 따라 콘텐츠를 더 추가하면 결과가 반전될 수 있습니다.
(가능하다는 점 참고하세요. 위 소식은 내용을 다 넣었는데 안된다고 해서 더 달라고 하더군요.)
프로듀싱은 프린스턴 출신 중국인
이 웹사이트를 만든 사람입니다. 캐나다 토론토 출신의 22세 중국 소년 Edward Tian.
현재 미국 프린스턴에서 CS를 전공하고 인지과학과 저널리즘을 부전공하고 있는 그는 소프트웨어 엔지니어링, 머신러닝 등에 관심이 많습니다.
그는 현재 Microsoft의 인턴으로 BBC, Bellingcat 및 기타 회사의 기술 원고를 작성했으며 지도 도구인 Representable의 창립 팀에도 합류했습니다.
공부하는 동안 그는 4주간의 도시 연구 세미나에 참여하기 위해 칭화대학교에 왔습니다.
그에 따르면 이 애플리케이션은 설 연휴 동안 커피숍에서 완성되었다고 합니다.
제가 이 애플리케이션을 개발하고 싶은 이유는 단순히 ChatGPT에 대해 너무 많은 광고가 있고, 어떤 기사가 AI가 쓴 것인지 인간이 알아야 하기 때문입니다.
현재 베어본 단계에서는 앞으로 몇 주 안에 모델 및 분석이 개선될 것으로 예상됩니다.
또한 그는 학생들이 쓴 뉴스 기사의 데이터 세트를 테스트하고 있으며 궁극적으로 논문을 출판하기를 희망한다고 밝혔습니다.
더 많은 ChatGPT 킬러
사실 ChatGPT를 싫어하는 사람은 이 사람뿐만이 아닙니다. AI 텍스트 탐지기, 일명 ChatGPT 킬러를 개발한 다른 인간 조직도 있습니다.
일반적인 아이디어는 비슷합니다. 즉, "마법을 사용하여 마법을 물리친다"는 것과 AI가 작성한 것을 사용하여 새로운 AI를 훈련시키는 것입니다.
얼마 전 OpenAI는 Harvard 및 기타 대학과 협력하여 GPT-2 Output Detector라는 감지기를 공동으로 만들었습니다.
저자는 AI가 "AI 언어"와 "인간 음성"의 차이를 이해할 수 있도록 "GPT-2 생성 콘텐츠"와 WebText(특별히 외국 게시물 표시줄인 Reddit에서 스크랩한) 데이터 세트를 공개했습니다.
이후 이 데이터 세트를 사용하여 RoBERTa 모델을 미세 조정하고 AI 검출기를 얻었습니다. 인간의 음성은 항상 True로 인식되고, AI가 생성한 콘텐츠는 항상 Fake로 인식됩니다.
(RoBERTa는 BERT의 개선된 버전입니다. 원래 BERT는 13GB 데이터 세트를 사용했지만 RoBERTa는 6,300만 개의 영어 뉴스 항목이 포함된 160GB 데이터 세트를 사용했습니다.)
초창기 또 다른 대표적인 플레이어, 역시 이때 때문입니다. 새로운 발전이 다시 언급되었습니다.
MIT-IBM Watson AI 연구소와 Harvard NLP 연구소에서 개발한 GLTR 모델입니다.
주로 텍스트의 통계 분석 및 시각화를 수행하며 원래 텍스트를 생성하는 데 사용된 동일하거나 유사한 모델을 탐지하는 데 사용됩니다. 현재는 주로 GPT-2와 BERT의 두 가지 모델을 지원합니다.
출력은 모델이 알고 있는 모든 단어의 순위이므로 텍스트의 각 단어는 순위에 따라 색상으로 구분됩니다. 상위 10개는 녹색, 상위 100개는 노란색, 상위 1000개는 빨간색, 보라색입니다. 나타날 가능성이 적은 단어입니다.
텍스트에 황록색 색상이 너무 많으면 이 텍스트는 주로 AI에 의해 생성된 것입니다.
이번에도 GPTZero가 다시 등장했고 많은 네티즌들은 "놀라운 작품!"이라고 감탄했습니다.
그러나 어떤 사람들은 문자 탐지기는 단순히 군비 경쟁의 실패이고 실제 결과는 좋지 않다고 말합니다. ChatGPT의 개발을 막을 수는 없습니다.
동시에 일부 네티즌들은 “기사에 AI가 쓴 것인지 인간이 쓴 것인지 명확하게 표시해야 하는지”의 필요성에 대해 논의했습니다.
작곡가는 이것이 필요하다고 생각합니다. 마치 잡지를 읽을 때 '광고'라고 표시하는 것처럼 이것은 간단한 요구 사항이어야 합니다.
그러나 일부 네티즌들은 즉각 반대 의사를 표명했는데, 왜 장애물을 설치한 걸까요? 이는 PS를 사용하고 Adobe 워터마크를 추가하는 것과 같으며 제품에 어떤 이점도 가져오지 않습니다.
이 문제에 대해 어떻게 생각하시나요?
평가판 링크:
https://etedward-gptzero-main-zqgfwb.streamlit.app/
참조 링크:
[1]https://brackets.substack.com/about
[2 ] https://www.reddit.com/r/programming/comments/102hxlg/gptzero_an_app_to_efficiently_tell_if_an_essay_is/
[3]https://twitter.com/Marc__Watkins/status/1601746409203863553
[4]http://gltr. /
위 내용은 ChatGPT의 '적'이 여기 있습니다! 기사 작성자는 인간인가, 아니면 AI인가? 중국 사람이 설 연휴 동안 그것을 감지하는 데 몇 초가 걸렸다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!