자연 │ GPT-4가 폭파되어 과학자들이 걱정하고 있습니다!

GPT-4의 출현은 흥미롭기도 하고 답답하기도 합니다.

GPT-4는 놀라운 창의성과 추론 능력을 갖고 있지만, 과학자들은 이 기술의 보안에 대해 우려를 표명했습니다.

OpenAI는 원래 의도에 어긋나고 GPT-4를 소스로 공개하지 않거나 모델의 학습 방법 및 데이터를 공개하지 않았기 때문에 실제 작동 조건은 알 수 없습니다.

과학계는 이에 대해 매우 분노하고 있습니다.

오픈소스 AI 커뮤니티인 HuggingFace의 환경 연구 전문 과학자인 Sasha Luccioni는 “OpenAI는 연구를 기반으로 계속해서 발전할 수 있지만 커뮤니티 전체에 있어서 이 모든 폐쇄 소스 모델은 과학적으로

다행히도 레드팀 테스트가 있습니다

로체스터 대학의 화학공학자인 앤드류 화이트는 "레드팀"의 일원으로서 GPT-4에 대한 접근 권한을 가지고 있습니다. ".

OpenAI는 플랫폼을 테스트하고 나쁜 일을 하도록 레드팀에 비용을 지불합니다. 그래서 Andrew White는 지난 6개월 동안 GPT-4와 접촉할 기회를 얻었습니다.

그는 GPT-4에게 화합물을 만드는 데 어떤 화학 반응 단계가 필요한지 물었고, 반응 수율을 예측하고 촉매를 선택하도록 요청했습니다.

"이전 버전과 비교하면 GPT-4는 별반 다를 게 없어 아무것도 아닌 줄 알았는데, 정말 놀라웠고, 너무 현실적으로 보였고, 여기에 한 단계 건너뛰고 원자가 떠오를 정도였습니다. 다시 거기." 그러나 그가 테스트를 계속하고 GPT-4에 논문에 대한 액세스 권한을 부여하자 상황은 극적으로 변했습니다.

"우리는 갑자기 이러한 모델이 그다지 훌륭하지 않을 수도 있다는 것을 깨달았습니다. 그러나 이를 역추적 합성 플래너나 계산기와 같은 도구에 연결하기 시작하자 갑자기 새로운 기능이 나타났습니다. 이러한 능력이 출현하자 사람들은 걱정하기 시작했습니다. 예를 들어, GPT-4가 유해 화학물질의 제조를 허용할 수 있습니까?

Andrew White는 OpenAI 엔지니어가 모델에 피드백하는 White와 같은 레드 팀의 테스트 입력을 통해 GPT-4가 위험하거나 불법적이거나 파괴적인 콘텐츠를 생성하는 것을 막을 수 있음을 보여줍니다.

허위 사실

허위 정보를 퍼뜨리는 것도 문제입니다.

Luccioni는 GPT-4와 같은 모델이 환각 문제를 해결하지 못했기 때문에 여전히 말도 안되는 말을 할 수 있다고 말했습니다.

"환각이 너무 많기 때문에 이러한 유형의 모델을 신뢰할 수 없으며 OpenAI는 GPT-4에서 보안이 향상되었다고 말하지만 이는 최신 버전에서도 여전히 문제입니다."

학습용 데이터에 액세스할 수 없기 때문에 Luccioni의 의견으로는 OpenAI의 보안 보장이 충분하지 않습니다.

"데이터가 무엇인지 모르기 때문에 개선할 수 없습니다. 그런 모델로 과학을 수행하는 것은 완전히 불가능합니다."

GPT-4가 어떻게 훈련되는지에 관해 이 미스터리는 과학자 Claaudi Bockting: "감독할 수 없는 일에 대해 인간이 책임을 지는 것은 매우 어렵습니다."

Luccioni는 또한 GPT-4가 훈련 데이터에 의해 편향될 것이라고 믿습니다. GPT-4 뒤에는 코드에 액세스할 수 없으므로 편견이 어디서 발생하는지 확인하고 이를 해결하는 것이 불가능합니다.

윤리적 토론

과학자들은 항상 GPT에 대해 의구심을 품어 왔습니다.

ChatGPT가 출시되었을 때 과학자들은 이미 저자 칼럼에 GPT가 나타나는 것에 반대했습니다.

출판사들도 ChatGPT와 같은 인공지능이 과학 논문의 내용과 무결성에 대해 책임을 질 수 없기 때문에 연구 저자의 기준을 충족하지 못한다고 믿습니다. 하지만 논문 작성에 대한 AI의 기여는 저자 목록을 넘어서도 인정받을 수 있습니다.

또한 이러한 인공 지능 시스템이 점점 더 대규모 기술 회사의 손에 들어가고 있다는 우려가 있습니다. 이러한 기술은 과학자들에 의해 테스트되고 검증되어야 합니다.

우리는 GPT-4와 같은 인공 지능 및 도구의 사용 및 개발을 관리하기 위한 일련의 지침을 시급히 개발해야 합니다.

White는 이러한 우려에도 불구하고 GPT-4와 향후 반복이 과학을 뒤흔들 것이라고 말했습니다. 우리는 논문, 데이터 프로그램, 라이브러리, 계산 작업, 심지어 로봇 실험까지 연결할 수 있다는 점을 깨닫습니다. 이는 과학자를 대체할 수는 없지만 일부 작업에는 도움이 될 수 있습니다." 입법부는 발전 속도를 맞추는 데 어려움을 겪었습니다.

4월 11일 암스테르담 대학교는 유네스코 과학윤리위원회, 경제협력개발기구, 세계경제포럼 등의 기관 대표자들과 이 문제를 논의하기 위해 초청 정상회담을 소집할 예정입니다.

주요 주제에는 투명성, 무결성 및 공정성을 목표로 LLM 결과물의 수동 검사를 주장하는 것, 독립적인 비영리 조직이 소유한 신뢰할 수 있고 투명한 대규모 언어 모델에 투자하는 것, 그러나 AI의 이점과 자율성 상실 사이의 균형을 맞춰야 합니다. 과학계를 초대하여 관련 당사자(출판사에서 윤리학자까지)와 GPT에 대해 논의합니다.

위 내용은 자연 │ GPT-4가 폭파되어 과학자들이 걱정하고 있습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!