GPT 모델로 Chatgpt 응답 조정에 대한 포괄적 인 가이드

AI 품질 검토 : AI를 사용하여 응용 프로그램 품질을 향상시킵니다 인공 지능 혁명은 응용 프로그램 개발 분야를 휩쓸고 새로운 컴퓨터 상호 작용의 새로운 시대를 열었습니다. 기업은 AI를 활용하여 사용자 경험을 향상 시키지만 LLM (Lange Language Model)을 기반으로 한 솔루션도 콘텐츠 무결성, 정확성 및 윤리적 표준을 유지하는 데 어려움을 제기합니다.

응용 프로그램이 통제 된 환경을 넘어서 확장함에 따라 책임있는 AI 감사의 필요성이 점점 더 분명 해지고 있습니다. 이러한 환경에서는 사용자에 대한 합리적이고 정확한 반응을 보장하는 것이 쉽지 않지만 중요합니다.

예를 들어 고객 서비스 상호 작용에서 잘못된 정보 또는 부적절한 콘텐츠는 고객 불만을 초래하고 회사의 명성을 손상시킬 수 있습니다. 그러나 개발자로서 AI 기반 애플리케이션이 사용자에게 합리적이고 정확한 응답을 제공 할 수 있도록하려면 어떻게해야합니까? 이것은 AI 감사가 시작되는 곳입니다!

이 기사는 GPT 모델을 사용하여 GPT 기반 애플리케이션을 감사하는 기술을 심층적으로 탐색합니다.

GPT 기반 품질 감사 에이전트를 구축하십시오 AI 품질 검토에는 대형 언어 모델 (LLM)을 사용할 때 편견이없고 적절한 응답이 생성되는 것이 포함됩니다. OpenAi는 이러한 감사 요구 사항을 위해 설계된 API를 출시했습니다. 모델에서 생성 된 편향 또는 부적절한 응답을 감지하거나 사용자 위법 행위를 해결하려면 Chatgpt Audit API : Input/Output Control이라는 제목의 기사에서 귀중한 통찰력을 찾을 수 있습니다.

그러나이 기사는 AI 감사에 대한 다른 접근법을 채택합니다. 우리의 초점은 모델 응답의 품질, 즉 정확성 및 사용자 요구를 충족시키는 데 중점을 둡니다. 내가 아는 한, 현재이 목적을 위해 특별히 설계된 공식 엔드 포인트는 없습니다.

그럼에도 불구하고, 다양한 응용 프로그램에서 GPT 모델을 광범위하게 사용한다는 점을 감안할 때 동일한 모델 인스턴스의 품질 검사관으로 사용하지 않는 이유는 무엇입니까?

우리는 GPT 모델을 사용하여 사용자 요청에 대해 모델 자체에서 생성 된 출력을 평가할 수 있습니다. 이 테스트 방법은 모호성과 잘못된 응답을 방지하고 사용자 요청을 효과적으로 만족시키는 모델의 능력을 향상시킵니다. 범위와 대상 이 기사에서는 GPT 기반 응용 프로그램의 품질과 정확성을 검토하기 위해 응용 프로그램 범위 내에서 GPT 모델을 사용하는 방법을 설명합니다.

예를 들어 예를 들어, GPT 모델을 사용하여 Enterprise Chatbot에 전원을 공급하는 경우 챗봇이 카탈로그 항목이나 기능 이외의 정보를 제공하지 않도록 매우 관심이 있어야합니다.

다음 장에서는 OpenAI Python 패키지와 유명한 Jupyter 노트북을 사용하여 OpenAI API에 간단한 전화를 걸어 마지막 예제가 생생하게됩니다. 주요 목표는 간단한 LLM 기반 애플리케이션을 생성하고 LLM 기반 품질 검사관을 사용하여 출력을 감사하는 것입니다. 이 예에서는 QA 에이전트 인 샘플 고객 서비스 에이전트 (지금부터 QA 에이전트라고 함)를 만들고 더 중요한 것은이 둘 사이의 상호 작용을 정의해야합니다. 다음 이미지는 위의 워크 플로를 잘 보여줍니다

수제 사진. 감사 워크 플로우 다이어그램 : 1. 사용자는 LLM 기반 응용 프로그램 (이 경우 고객 서비스 챗봇)에 요청을 보냅니다. 2. 챗봇은 답을 생성하지만 먼저 QA 에이전트로 보냅니다. 3. QA 에이전트가 답변이 적절한 지 확인한 후에 답변을 사용자에게 다시 보냅니다.

단계별로 가자! 빌드 gpt 에이전트 상점 고객 서비스를위한 대화 에이전트를 구축하는 것으로 시작하겠습니다.

이미 실행 가능한 LLM 중심 응용 프로그램이 있거나 선호하는 예제를 구현하려면 첫 번째 부분을 건너 뛰십시오! 비즈니스가 LLM 기반 응용 프로그램의 혜택을 누릴 수 있는지 여전히 알고 싶다면 흥미로운 팟 캐스트 토론을 따라야합니다!

샘플 고객 서비스 챗봇 만들기 우리가 매장의 고객 서비스 에이전트를 구축한다고 가정 해 봅시다. 우리는이 클라이언트 에이전트 뒤에 Chatgpt와 같은 모델을 사용하여 자연어 기능을 활용하여 사용자 쿼리를 이해하고 자연스럽게 응답합니다.

고객 서비스 챗봇을 정의하려면 두 가지 주요 요소가 필요합니다.

a

예제 제품 카탈로그 에이전트를 비즈니스 범위로 제한합니다. 제품 카탈로그를 모델에 제공함으로써 모델에 사용자에게 어떤 정보를 제공할지 알 수 있습니다.

a 시스템 메시지

는 모델의 고급 동작을 정의하는 데 사용됩니다. GPT 모델은 종종 여러 작업에 대해 교육을받지 만 소위 시스템 메시지를 사용하여 모델의 동작을 제한 할 수 있습니다.

마지막으로 다른 LLM 기반 응용 프로그램과 마찬가지로 스크립트에서 OpenAI API를 호출하는 방법이 필요합니다. 이 기사에서는 OpenAi 패키지에만 의존하는 다음 구현을 사용합니다.

그 뒤에 아이디어는 각 모델 인스턴스에 대해 별도의 메시지 기록 (시스템 메시지 포함)을 초기화하고 다가오는 모델과의 상호 작용을 사용하여 지속적으로 업데이트하는 것입니다.

상호 작용을 처리하는보다 최적화 된 방법을 찾고 있다면 컨텍스트 인식 채팅 보드를 구축 할 때와 마찬가지로 Langchain 프레임 워크를 사용하는 것이 좋습니다. Langchain 프레임 워크와 함께 Chatgpt 구현.

OpenAI API에 익숙하지 않은 경우 OpenAI API 및 ChatGpt를 시작할 때 웹 세미나를 확인하십시오.

이제 필요한 빌딩 블록을 식별 했으므로 함께합시다.
• 우리는 샘플 디렉토리 (product_information) (jsonl format)와 세 가지 요구 사항이있는 시스템 메시지 (customer_agent_sysmessage)를 정의했음을 알 수 있습니다. 고객 서비스 에이전트의 역할을 수행하십시오. 친절하고 인도적인 어조로 대답하십시오.
는 디렉토리에만 정보 만 제공합니다.
• 마지막으로, 우리는 또한 고객 에이전트의 메시지 기록 (customer_agent_history)을 초기화합니다. 시스템 메시지 및 추가 정보 (예 : 세 개의 백 티크)를 작성할 때 기능 스타일을 사용한다는 점에 주목할 가치가 있습니다. 이것은 팁 엔지니어링의 모범 사례 중 하나입니다! 더 많은 모범 사례에 관심이 있다면 Chatgpt Tips 엔지니어링 시작 가이드 웹 세미나는 당신을위한 것입니다!

  이 시점에서 샘플 고객 챗봇을 다음과 같이 사용할 수 있습니다.

  는 자연스러운 대답처럼 보입니다. 후속 상호 작용을하자 :

  <code>import openai
  import os
  
  # 从环境中获取 OpenAI 密钥
  openai_api_key = os.environ["OPENAI_API_KEY"]
  
  # 使用过去交互记忆的简单 OpenAI API 调用
  def gpt_call(prompt, message_history, model="gpt-3.5-turbo"):
  message_history.append({'role': 'user', 'content': prompt})
  response = openai.ChatCompletion.create( 
  model=model,
  messages=message_history
  )
  
  response_text = response.choices[0].message["content"]
  message_history.append({'role': 'assistant', 'content': response_text})
  return response_text</code>

  공정합니다! 에이전트는 제품 카탈로그에 iPhone이 없다는 것을 인식하고 사용자에게 응답 할 수 있습니다. 또한 사용자가 상점에 연락하도록 권장합니다!

  다른 요청을 시도해 봅시다 :

  정확하게

  <code># 定义我们的示例产品目录
  product_information = """
  { "name": "UltraView QLED TV", "category": "Televisions and Home Theater Systems", "brand": "UltraView", "model_number": "UV-QLED65", "warranty": "3 years", "rating": 4.9, "features": [ "65-inch QLED display", "8K resolution", "Quantum HDR", "Dolby Vision", "Smart TV" ], "description": "Experience lifelike colors and incredible clarity with this high-end QLED TV.", "price": 2499.99 }
  { "name": "ViewTech Android TV", "category": "Televisions and Home Theater Systems", "brand": "ViewTech", "model_number": "VT-ATV55", "warranty": "2 years", "rating": 4.7, "features": [ "55-inch 4K display", "Android TV OS", "Voice remote", "Chromecast built-in" ], "description": "Access your favorite apps and content on this smart Android TV.", "price": 799.99 }
  { "name": "SlimView OLED TV", "category": "Televisions and Home Theater Systems", "brand": "SlimView", "model_number": "SL-OLED75", "warranty": "2 years", "rating": 4.8, "features": [ "75-inch OLED display", "4K resolution", "HDR10+", "Dolby Atmos", "Smart TV" ], "description": "Immerse yourself in a theater-like experience with this ultra-thin OLED TV.", "price": 3499.99 }
  { "name": "TechGen X Pro", "category": "Smartphones and Accessories", "brand": "TechGen", "model_number": "TG-XP20", "warranty": "1 year", "rating": 4.5, "features": [ "6.4-inch AMOLED display", "128GB storage", "48MP triple camera", "5G", "Fast charging" ], "description": "A feature-packed smartphone designed for power users and mobile enthusiasts.", "price": 899.99 }
  { "name": "GigaPhone 12X", "category": "Smartphones and Accessories", "brand": "GigaPhone", "model_number": "GP-12X", "warranty": "2 years", "rating": 4.6, "features": [ "6.7-inch IPS display", "256GB storage", "108MP quad camera", "5G", "Wireless charging" ], "description": "Unleash the power of 5G and high-resolution photography with the GigaPhone 12X.", "price": 1199.99 }
  { "name": "Zephyr Z1", "category": "Smartphones and Accessories", "brand": "Zephyr", "model_number": "ZP-Z1", "warranty": "1 year", "rating": 4.4, "features": [ "6.2-inch LCD display", "64GB storage", "16MP dual camera", "4G LTE", "Long battery life" ], "description": "A budget-friendly smartphone with reliable performance for everyday use.", "price": 349.99 }
  { "name": "PixelMaster Pro DSLR", "category": "Cameras and Camcorders", "brand": "PixelMaster", "model_number": "PM-DSLR500", "warranty": "2 years", "rating": 4.8, "features": [ "30.4MP full-frame sensor", "4K video", "Dual Pixel AF", "3.2-inch touchscreen" ], "description": "Unleash your creativity with this professional-grade DSLR camera.", "price": 1999.99 }
  { "name": "ActionX Waterproof Camera", "category": "Cameras and Camcorders", "brand": "ActionX", "model_number": "AX-WPC100", "warranty": "1 year", "rating": 4.6, "features": [ "20MP sensor", "4K video", "Waterproof up to 50m", "Wi-Fi connectivity" ], "description": "Capture your adventures with this rugged and versatile action camera.", "price": 299.99 }
  { "name": "SonicBlast Wireless Headphones", "category": "Audio and Headphones", "brand": "SonicBlast", "model_number": "SB-WH200", "warranty": "1 year", "rating": 4.7, "features": [ "Active noise cancellation", "50mm drivers", "30-hour battery life", "Comfortable earpads" ], "description": "Immerse yourself in superior sound quality with these wireless headphones.", "price": 149.99 }
  """
  
  # 为我们的用例定义一个合适的系统消息
  customer_agent_sysmessage = f"""
  您是一位客户服务代理，负责回答客户关于产品目录中产品的疑问。
  产品目录将用三个反引号分隔，即 ```。
  以友好和人性化的语气回复，并提供产品目录中可用的详细信息。
  
  产品目录： ```{product_information}```
  """
  
  # 初始化模型的记忆
  customer_agent_history = [{'role': 'system', 'content': customer_agent_sysmessage}]</code>

  , 경우에 따라 프록시가 디렉토리의 정보를 건너 뛸 수있는 것 같습니다. 이 경우 QA 프록시는 원치 않는 응답을 필터링하는 데 도움이 될 수 있습니다.

  우리의 맞춤형 QA 에이전트 를 개발하십시오 우리가 논의한 바와 같이, QA 에이전트의 목적은 사용자 쿼리 및 제품 카탈로그를 기반으로 고객 서비스 에이전트의 품질을 확인하는 것입니다. 따라서이 정확한 고급 동작을 설정하는 시스템 메시지를 정의하는 것이 중요합니다. 고객 에이전트의 경우 사용자 프롬프트는 사용자의 요구와 쓰기 스타일에 의존하기 때문에 예측할 수 없습니다. QA 에이전트의 경우 사용자 요청, 고객 에이전트 응답 및 제품 카탈로그를 모델로 전달할 책임이 있습니다. 따라서 프롬프트는 항상 동일한 구조를 가지지 만 사용자 쿼리 (user_prompt)와 모델의 응답 (customer_agent_response)은 다릅니다.

  시스템 메시지와 QA 프롬프트가 정의되면 다음과 같이 최신 고객 서비스 응답으로 QA 에이전트를 테스트 할 수 있습니다.

  QA 에이전트의 응답을 평가하려면 분석 할 상호 작용을 세분화합시다.

  <: :> 사용자가 요청 : "삼성 TV를 살 수 있습니까?" <:> 고객 에이전트 답변 : "물론! 삼성 TV 구매를 도와 드리겠습니다. 특정 요구 사항이나 선호도 중 일부를 제공 할 수 있습니까? 이러한 방식으로 귀하의 요구에 가장 적합한 삼성 TV 모델을 추천 할 수 있습니다."

  <code>user_prompt = "你们商店里最好的电视是什么？"
  
  customer_agent_response = gpt_call(user_prompt, customer_agent_history)
  print(customer_agent_response)
  
  # 输出：在我们商店里，UltraView QLED 电视被认为是最好的电视。它的评分为 4.9，并提供 65 英寸 QLED 显示屏和 8K 分辨率。它还具有 Quantum HDR、Dolby Vision 和智能电视功能。凭借其逼真的色彩和令人难以置信的清晰度，这款高端 QLED 电视可提供身临其境的观看体验。UltraView QLED 电视的价格为 2499.99 美元，并提供 3 年保修。</code>

  . <:> QA 에이전트 : "품질 검사 : 잘못된 응답 피드백 : 고객은 삼성 TV 구매에 도움을 요청했지만 에이전트는 요청을 처리하지 않았습니다. 대리인은 우리 매장의 제품 카탈로그에만 액세스 할 수 있으며 해당 디렉토리를 기반으로 정보와 조언을 제공 할 수 있다고 언급해야합니다. 대리인은 디렉토리 외부의 다른 제품을 부드럽게 거부해야합니다.

  품질 에이전트는 고객 에이전트의 부적절한 응답을 감지 할 수 있습니다! 에이전트 간의 상호 작용 이제 우리는 두 에이전트가 독립적으로 작동하도록 했으므로 이제 그들 사이의 상호 작용을 정의 할 때입니다.

  우리는 간단한 차트를 사용하여 두 에이전트와 요구 사항을 설명 할 수 있습니다.

  수제 사진. 각 에이전트에 대한 3 개의 빌딩 블록 다이어그램 : 시스템 메시지 (파란색), 모델 입력 (녹색) 및 모델 출력 (노란색).

  다음은 무엇입니까? 이제 두 모델 간의 상호 작용을 구현해야합니다! 다음은 부정확 한 응답을 필터링하기위한 제안입니다. 먼저, 고객 에이전트가 사용자 쿼리를 기반으로 응답을 생성 할 수 있습니다. 그런 다음 QA 에이전트가 고객 에이전트의 응답이 사용자 쿼리 및 제품 카탈로그에 충분하다고 생각하면 사용자에게 답변을 다시 보내면됩니다. 대조적으로, QA 에이전트가 답변이 사용자의 요청을 충족시키지 못하거나 디렉토리에 대한 진실하지 않은 정보를 포함한다고 판단하면 고객 에이전트에게 답변을 사용자에게 보내기 전에 요청할 수 있습니다.

  이 아이디어를 고려할 때, 우리는 다음과 같이 원래 차트의 마지막 부분을 향상시킬 수 있습니다 : .

  수제 사진. 확장 감사 워크 플로우 다이어그램. QA 프록시 판단을 사용하여 LLM 기반 애플리케이션에 피드백을 제공 할 수 있습니다.

  순서 에이전트 상호 작용

  QA 프록시를 필터로 사용하려면 각 반복에서 일관된 응답을 출력해야합니다.

  이를 달성하는 한 가지 방법은 QA 프록시 시스템 메시지를 약간 변경하고 클라이언트 프록시가 충분히 응답하는 경우에만 true를 출력해야합니다.

  따라서 최신 고객 에이전트 응답을 다시 평가하면 부울 출력 만 얻을 수 있습니다.

  우리는이 부울 값을 추가로 사용하여 사용자에게 응답을 보내거나 (QA 프록시가 true로 평가되는 경우) 모델에 새로운 응답을 생성 할 수있는 두 번째 기회를 제공 할 수 있습니다 (QA 프록시가 False로 평가하는 경우).

  데모 에이전트 상호 작용

  모든 것을합시다!

  우리는 두 개의 메모리를 초기화했기 때문에 (각각 시스템 메시지와 추가 정보와 함께) 각 클라이언트 요청을 다음과 같이 처리 할 수 ​​있습니다. 위에서 언급 한 바와 같이, 우리는 정확성에 따라 응답을 필터링했습니다. 부적절한 응답을 처리하는 방법을 결정하는 임무를 맡게됩니다. 우리는 고객 에이전트에게 피드백을 보내고 다시 시도하도록 요청하는 아이디어를 생각해 냈지만 QA 에이전트에게 더 나은 응답으로 전환하도록 요청하는 방법은 무엇입니까? 많은 가능성이 있습니다!

  결론 이 기사에서는 다른 유사한 모델 인스턴스의 감사 자로 GPT 모델을 사용할 가능성을 탐구합니다. 응용 프로그램에서 LLM 모델을 사용하게하는 동일한 강력한 기능은 응용 프로그램이 사용자 상호 작용의 정확성과 완전성을 향상시키는 데 도움이 될 수 있음을 보여주었습니다.

  오해와는 반대로, 감사 수준을 구현한다고해서 반드시 응용 프로그램의 복잡성을 증가시키는 것은 아니며, 우리가 보여준 것처럼, 여러 줄의 신중하게 설계된 코드로 구현하여 응용 프로그램의 기능을 크게 업그레이드 할 수 있습니다.

  책임있는 LLM 감사는 오늘날의 AI 중심 세계에서 필수적입니다. 이것은 단순한 선택 일뿐 만 아니라 도덕적 의무입니다. 통합 AI 감사를 통해 우리는 응용 프로그램이 강력 할뿐만 아니라 신뢰할 수 있고 윤리적 일 수 있도록합니다. 정확성을 유지하면서 AI로부터 계속 혜택을받을 수 있도록 개발을 책임감있게 발전 시키겠습니다.

  읽어 주셔서 감사합니다! AI 검토 주제가 마음에 들면 책임있는 AI : chatgpt에서 후속 조치로 컨텐츠 검토를 계속 읽는 것이 좋습니다!

위 내용은 GPT 모델로 Chatgpt 응답 조정에 대한 포괄적 인 가이드의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!