ChatGPT API와 함께 사용하기 위해 대용량 JSON 파일을 최적화하는 방법은 무엇입니까?

ChatGPT를 Magento 2 웹사이트의 챗봇으로 사용하려고 하는데 제품 데이터를 여기에 전달하고 싶습니다. 이를 위해 모든 제품을 수집하여 JSON 파일에 저장한 다음 이를 읽어 시스템 역할의 systemRoleContent에 데이터를 삽입했습니다. 그런데 제가 직면한 문제는 JSON 파일이 상당히 크다는 것입니다.

{
    "bot_response": "Error: ChatBot Error: Unexpected API response structure: {\n    \"error\": {\n        \"message\": \"Request too large for gpt-4o on tokens per min (TPM): Limit 30000, Requested 501140. The input or output tokens must be reduced in order to run successfully. Visit https://platform.openai.com/account/rate-limits to learn more.\",\n        \"type\": \"tokens\",\n        \"param\": null,\n        \"code\": \"rate_limit_exceeded\"\n    }\n}\n"
}

API 구성에 추가해야 할 기능이 있다는 것을 알았습니다. 이 기능을 사용하면 이름에 있는 키워드나 사용자 메시지의 키워드와 일치하는 설명을 기반으로 제품을 선택하는 쿼리를 실행할 수 있습니다. 문제는 사용자가 처음에는 제품 이름을 모를 수도 있다는 것입니다. 그들은 그것을 발견하기 위해 챗봇을 찾습니다. 이 문제를 어떻게 해결할 수 있습니까?

현재 작업 중인 코드는 다음과 같습니다.

<?php

namespace MetaCares\Chatbot\Model;

use Magento\Framework\App\ObjectManager;

class ChatBot
{
    private $authorization;
    private $endpoint;
    private $conversationHistory = [];
    private $productsFile;
    private $fetchingDateFile;
    private $didFetchProducts = false;

    public function __construct()
    {
        $this->authorization = 'sk-proj-';
        $this->endpoint = 'https://api.openai.com/v1/chat/completions';

        $this->productsFile = __DIR__ . '/products.json';
        $this->fetchingDateFile = __DIR__ . '/fetching_date.json';

        $currentTime = time();
        $timeDifferenceSeconds = 24 * 3600;

        if (!file_exists($this->fetchingDateFile)) {
            file_put_contents($this->fetchingDateFile, json_encode(['last_fetch_time' => 0]));
        }

        $fetchingData = json_decode(file_get_contents($this->fetchingDateFile), true);
        $lastFetchTime = $fetchingData['last_fetch_time'] ?? 0;

        if ($currentTime - $lastFetchTime > $timeDifferenceSeconds) {
            $products = $this->fetchProductsUsingModel();
            $productsJson = json_encode($products);
            file_put_contents($this->productsFile, $productsJson);
            $fetchingData['last_fetch_time'] = $currentTime;
            file_put_contents($this->fetchingDateFile, json_encode($fetchingData));
            $this->didFetchProducts = true;
        }

        $jsonSampleData = file_get_contents($this->productsFile);

        $systemRoleContent = <<<EOT
Nom:
    Meta Cares Bot
Description
    BOT Meta Cares répond aux questions sur les produits du site et fournit des conseils santé fiables.
    Tu aides les clients de Meta Cares à faire des choix éclairés tout en offrant un accompagnement personnalisé, sécurisé et adapté à leurs besoins.

catalogue Meta Cares
{$jsonSampleData}

Liste des Sites Référencés :
- PubMed : [https://pubmed.ncbi.nlm.nih.gov/](https://pubmed.ncbi.nlm.nih.gov/)
- ScienceDirect : [https://www.sciencedirect.com/](https://www.sciencedirect.com/)
---
- Génération d’images DALL·E : Désactivée

EOT;

        $this->conversationHistory[] = [
            'role' => 'system',
            'content' => $systemRoleContent
        ];

        if (session_status() == PHP_SESSION_NONE) {
            session_start();
        }
        if (isset($_SESSION['chat_history'])) {
            $this->conversationHistory = $_SESSION['chat_history'];
        }
    }

    public function fetchProductsUsingModel(): array
    {
        return $products;
    }

    private function getCategoryNames(array $categoryIds): array
    {
        return $categoryNames;
    }

    public function sendMessage(string $message): array
    {
        try {
            $this->conversationHistory[] = [
                'role' => 'user',
                'content' => $message
            ];

            $data = [
                'model' => 'gpt-4o',
                'messages' => array_map(function ($msg) {
                    return [
                        'role' => $msg['role'] === 'bot' ? 'assistant' : $msg['role'],
                        'content' => $msg['content']
                    ];
                }, $this->conversationHistory)
            ];

            $response = $this->makeApiRequest($data);
            $arrResult = json_decode($response, true);

            if (json_last_error() !== JSON_ERROR_NONE) {
                throw new \Exception('Invalid API response format');
            }

            if (!isset($arrResult['choices']) || !isset($arrResult['choices'][0]['message']['content'])) {
                throw new \Exception('Unexpected API response structure: ' . $response);
            }

            $assistantResponse = $arrResult['choices'][0]['message']['content'];
            $this->conversationHistory[] = [
                'role' => 'bot',
                'content' => $assistantResponse
            ];

            $_SESSION['chat_history'] = $this->conversationHistory;
            return [
                "conversationHistory" => $_SESSION['chat_history'],
                'didFetchProducts' => $this->didFetchProducts,
                'response' => $assistantResponse,
            ];
        } catch (\Exception $e) {
            throw new \Exception('ChatBot Error: ' . $e->getMessage());
        }
    }

    private function makeApiRequest(array $data): string
    {
        $ch = curl_init();
        curl_setopt_array($ch, [
            CURLOPT_URL => $this->endpoint,
            CURLOPT_POST => true,
            CURLOPT_POSTFIELDS => json_encode($data),
            CURLOPT_HTTPHEADER => [
                'Content-Type: application/json',
                'Authorization: Bearer ' . $this->authorization,
            ],
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_SSL_VERIFYPEER => false,
            CURLOPT_SSL_VERIFYHOST => 0
        ]);

        $response = curl_exec($ch);

        if (curl_errno($ch)) {
            $error = curl_error($ch);
            curl_close($ch);
            throw new \Exception('API request failed: ' . $error);
        }

        curl_close($ch);
        return $response;
    }
}

위 내용은 ChatGPT API와 함께 사용하기 위해 대용량 JSON 파일을 최적화하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!