OpenAI가 새로 출시한 GPT는 너무 강력해서 서버가 즉시 혼잡해집니다. 머스크: 당신은 너무 중독되었습니다.

모두가 GPT-4의 출시를 간절히 기다리고 있는 동안 OpenAI에서는 아직 이전 버전을 수정하고 있다는 소식이 없습니다. 샌프란시스코에 본사를 둔 이 회사는 어제 대화 방식으로 상호 작용하는 GPT-3의 분사인 ChatGPT라는 새로운 모델을 출시했습니다.

이 대화를 통해 ChatGPT는 후속 질문에 답변하고, 실수를 인정하고, 잘못된 전제에 도전하고, 부적절한 요청을 거부할 수 있습니다. 예를 들어 Meta의 언어 모델 Galactica는 무책임한 조작으로 인해 출시 후 며칠 만에 진열대에서 제거되었습니다. ChatGPT의 다른 점은 자신이 말하는 내용을 모를 때 모른다는 것을 인정한다는 것입니다. 또한 ChatGPT는 답변하도록 훈련되지 않은 질문에 답변하기를 거부합니다. 예를 들어 2022년 이후에 발생한 이벤트에 대한 질문에는 답변을 시도하지 않습니다. 또한 개인에 관한 질문에는 답변하지 않습니다.

이 모델은 얼마나 똑똑합니까? 과거에는 코드 디버깅의 정신적 작업을 프로그래머가 수행해야 했습니다. 이제 ChatGPT가 이 고된 작업을 대신할 수 있습니다.

사용자가 말했습니다: 이 코드는 예상대로 실행되지 않습니다. 어떻게 수정해야 합니까?

ChatGPT: 제공하신 컨텍스트 정보가 너무 적어 코드에 문제가 있는지 파악하기 어렵습니다. 코드가 수행하는 작업, 전체 코드인지 일부인지 등 코드에 대한 추가 정보를 제공할 수 있습니까?

사용자: 이것은 코드의 일부입니다. 채널에 뭔가 문제가 있는 것 같아요.

ChatGPT: 이 질문은 코드가 수행해야 하는 작업과 실행 시 어떤 일이 발생하는지에 대한 추가 정보 없이는 말하기 어렵습니다. 제공하신 정보에 따르면 코드에 발생할 수 있는 한 가지 문제는 resultWorkerErr 채널이 절대 닫히지 않는다는 것입니다. 즉, resultWorkerErr 채널에 기록되지 않으면 코드가 중단될 수 있다는 의미입니다. 이는 b.resultWorker가 오류를 반환하지 않거나 오류를 반환하기 전에 취소된 경우 발생할 수 있습니다.

이 문제를 해결하려면 resultWorkerErr 채널에 글을 쓴 후 닫으면 됩니다. 예를 들어 채널에 오류를 보내는 줄 뒤에 다음 코드 줄을 추가할 수 있습니다.

이렇게 하면 bc retworker가 오류를 반환하지 않더라도 resultWorkerErr 채널이 항상 닫히게 됩니다. 다시 한번 말씀드리지만, 발생한 문제에 대한 추가 정보가 없으면 이것이 발생한 문제인지 판단하기 어렵습니다. 코드를 실행하면 어떤 일이 발생하는지 자세히 알려주실 수 있나요?

위 내용은 철저한 조사라고 할 수 있는 ChatGPT에서 버그를 수정하는 과정입니다.

아래 예에서 ChatGPT는 후속 명령에 대한 응답을 제공합니다. 아래 그림은 대략적으로 사용자가 이웃과 친해지기 위해 ChatGPT에게 짧은 소개문을 작성해 달라고 요청했지만, ChatGPT가 짧은 소개문을 했으나 너무 형식적이지 않아 사용자가 싫어했다는 의미입니다. 성격이 좋은 ChatGPT가 또 다른 공식 버전을 내놓았습니다. 그런 다음 사용자는 또 다른 요청을 하고 ChatGPT에 이를 보내도록 요청했습니다. 마침내 ChatGPT는 다음과 같이 대답했습니다. "죄송합니다. 저는 텍스트 기반 AI 비서이므로 실제 편지를 보낼 수 없습니다. 저는 무엇을 쓸지에 대한 제안만 제공할 수 있습니다. 제안을 수락하고 직접 편지를 보내실 수 있습니다."

이거 보시고 여러분도 한번 드셔보실래요? 예, 이 모델이 출시되자 많은 사람들이 중독되어 스스로 벗어날 수 없게 되었습니다. 심지어 머스크도 이렇게 말했습니다. "많은 사람들이 빌어먹을 미친 ChatGPT 루프에 갇혀 있습니다."

한동안은 모두가 그런 것 같았습니다. found 그들은 새로운 재미를 시작했고 ChatGPT로 대화 모드를 열었습니다. "문맥 없이 복잡한 정규식을 해석하도록 요청하는 중..." 이 문제는 정말 어렵지만 ChatGPT에는 문제가 되지 않습니다. 이 설명의 길이로 볼 때 명확하게 설명되어야 합니다.

"ChatGPT는 좋은 디버깅 파트너입니다. 버그를 설명할 수 있을 뿐만 아니라 버그를 수정하고 버그 수정 방법을 설명할 수도 있습니다."

일부 네티즌들은 "맙소사, ChatGPT는 실제로 AWS IAM 정책을 알고 있습니다."라고 말했습니다. S3 버킷에 "AWS S3 버킷에 파일을 업로드하려면 Python 코드를 작성하세요. AWS S3 버킷에 파일을 업로드하는 Python 코드)."

모두에게 감사드립니다. 너무 열정적이어서 평가판 웹 사이트가 다운되었습니다. "우리의 요구가 매우 강력합니다. 시스템을 확장하고 있습니다."

시험 주소: chat.openai.com

방법

ChatGPT는 InstructGPT와 동일한 방법을 사용합니다. 즉, 인간 피드백을 통한 강화 학습(RLHF)으로 모델을 훈련하지만 데이터 수집 설정은 다음과 같습니다. 약간 다른. ChatGPT는 감독된 미세 조정을 사용하여 초기 모델을 훈련했습니다. 대화는 인간 AI 트레이너가 제공했으며, 여기서 그들은 사용자와 AI 보조자 모두 역할을 수행했으며 AI 트레이너는 다음이 작성한 대화 응답에 액세스할 수 있었습니다. AI가 응답을 맞춤화하는 데 도움이 되는 모델입니다.

강화 학습을 위한 보상 모델을 만들려면 연구에서 품질별로 순위가 매겨진 두 개 이상의 모델 응답을 포함하는 비교 데이터를 수집해야 합니다. 연구는 AI 트레이너와 챗봇 사이의 대화를 수집해 모델이 작성한 메시지를 무작위로 선택하고 여러 가지 대체 응답을 추출한 뒤 AI 트레이너에게 응답 순위를 매기도록 요청했다. 또한 이 연구에서는 PPO(Proximal Policy Optimization Algorithm)를 사용하여 모델을 미세 조정하고 전체 프로세스를 여러 번 반복했습니다.

ChatGPT는 2022년 초에 교육을 완료한 GPT-3.5 시리즈의 모델을 미세 조정했습니다. ChatGPT 및 GPT 3.5는 Azure AI 슈퍼컴퓨팅 인프라에서 교육을 받았습니다.

제한 사항

1. ChatGPT는 때때로 합리적으로 보이지만 부정확하거나 우스꽝스러운 답변을 작성합니다. 이 문제를 해결하는 것은 다음과 같은 이유로 매우 어렵습니다.

• RL에는 훈련 중에 실제 데이터가 필요하지만 현재 소스가 없습니다.
• 모델이 너무 조심스럽게 훈련되어 올바르게 답변할 수 있는 질문에 대한 답변을 거부합니다. 이상적이기 때문에 모델의 성능 상황은 인간 시연자가 아니라 모델이 정답이 무엇인지 알고 있다는 것입니다.
• ChatGPT는 입력 문구를 조정하거나 동일한 프롬프트를 여러 번 시도하는 데 민감합니다. 예를 들어, 질문이 주어지면 모델은 답을 모른다고 주장할 수 있지만, 질문을 약간 바꿔서 모델이 정확하게 답할 수 있습니다.
• 모델의 답변은 OpenAI 학습 언어 모델임을 반복하는 등 지나치게 장황하고 특정 문구를 과도하게 사용하는 경우가 많습니다. 이러한 문제는 훈련 데이터(더 포괄적으로 보이는 긴 답변을 좋아하는 트레이너)와 과도한 최적화에서 비롯됩니다.
• 이상적으로는 사용자가 모호한 쿼리를 제공하면 모델이 질문하지만 현재 ChatGPT는 사용자의 의도를 자체적으로 추측합니다.
• 모델이 부적절한 요청을 거부하도록 열심히 노력한 반면, 때로는 유해한 지시로 응답하거나 편향된 답변을 제공하는 경우도 있습니다. 연구팀은 모델에 경고하거나 특정 유형의 안전하지 않은 콘텐츠를 차단하기 위해 Moderation API를 사용하고 있으며 시스템 작업을 더욱 개선하기 위해 사용자 피드백을 수집하려고 노력하고 있습니다.

OpenAI가 출시한 최신 모델인 ChatGPT는 GPT-3, Codex에 비해 보안성과 사용성이 많이 향상되었으며, 이전 모델에서 교훈을 얻었으며, 인간 피드백(RLHF)을 활용하여 학습을 강화하여 모델의 해롭고 비현실적인 출력.

위 내용은 OpenAI가 새로 출시한 GPT는 너무 강력해서 서버가 즉시 혼잡해집니다. 머스크: 당신은 너무 중독되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!