OpenAI publie discrètement GPT-4o Long Output, un nouveau modèle de langage étendu avec une taille de sortie considérablement étendue

OpenAI serait confronté à une crise de trésorerie, mais cela n'empêche pas la principale société d'IA générative de continuer à publier un flux constant de nouveaux modèles et de mises à jour.

OpenAI a discrètement annoncé une nouvelle variante de son grand modèle de langage GPT-4o, baptisée GPT-4o Long Output. Ce nouveau modèle bénéficie d'une taille de sortie considérablement étendue, capable de générer jusqu'à 64 000 jetons de sortie par rapport aux 4 000 jetons du GPT-4o d'origine. Cela représente une multiplication par 16 de la capacité de production.

Les jetons, pour rafraîchir rapidement votre mémoire, sont les représentations numériques de concepts, de constructions grammaticales et de combinaisons de lettres et de chiffres qui sont organisées en fonction de leur signification sémantique dans les coulisses d'un LLM.

Le mot « Bonjour » est un signe, par exemple, mais « salut » l'est aussi. Vous pouvez voir une démo interactive des jetons en action via le Tokenizer d'OpenAI ici. Simon Willison, chercheur en apprentissage automatique, possède également un excellent encodeur/décodeur de jetons interactifs.

Ce nouveau modèle est conçu pour répondre à la demande des clients pour des contextes de sortie plus longs, avec un porte-parole d'OpenAI déclarant à VentureBeat : « Nous avons entendu les commentaires de nos clients selon lesquels ils aimeraient un contexte de sortie plus long. Nous testons constamment de nouvelles façons de répondre au mieux aux besoins de nos clients.

Le modèle est actuellement en phase de test alpha pendant quelques semaines, au cours de laquelle OpenAI collectera des données sur l'efficacité avec laquelle la sortie étendue répond aux besoins des utilisateurs.

Cette fonctionnalité améliorée est particulièrement avantageuse pour les applications qui nécessitent des résultats détaillés et étendus, telles que l'édition de code et l'amélioration de l'écriture. En offrant des sorties plus étendues, le modèle GPT-4o peut fournir des réponses plus complètes et nuancées, ce qui peut grandement bénéficier à ces cas d'utilisation.

GPT-4o는 출시 이후 이미 최대 128,000개의 컨텍스트 창을 제공했습니다. 이는 입력 및 출력 토큰을 모두 포함하여 모델이 한 번의 상호 작용에서 처리할 수 있는 토큰의 양입니다. GPT-4o 긴 출력의 경우 이 최대 컨텍스트 창은 128,000으로 유지됩니다.

그렇다면 OpenAI는 어떻게 전체 컨텍스트 창을 128,000으로 유지하면서 출력 토큰 수를 4,000개에서 64,000개로 16배 늘릴 수 있습니까?

이 호출은 간단한 수학으로 귀결됩니다. 5월의 원본 GPT-4o에는 총 컨텍스트 창이 128,000개의 토큰이 있었음에도 불구하고 단일 출력 메시지는 4,000개로 제한되었습니다.

마찬가지로 새로운 GPT-4o 미니 창의 경우 전체 컨텍스트는 128,000이지만 최대 출력은 16,000 토큰으로 늘어났습니다.

즉, GPT-4o의 경우 사용자는 단일 상호 작용으로 최대 124,000개의 토큰을 입력으로 제공하고 모델로부터 최대 4,000개의 출력을 받을 수 있음을 의미합니다. 또한 입력으로 더 많은 토큰을 제공하지만 출력으로 더 적은 수의 토큰을 받는 동시에 총 토큰을 최대 128,000개까지 추가할 수 있습니다.

GPT-4o mini의 경우 사용자는 최대 16,000개의 토큰을 돌려받기 위해 최대 112,000개의 토큰을 입력으로 제공할 수 있습니다.

GPT-4o 긴 출력의 경우 총 컨텍스트 창은 여전히 ​​128,000으로 제한됩니다. 그러나 이제 사용자는 최대 64,000개의 토큰을 취소하는 대가로 최대 64,000개의 토큰 상당의 입력을 제공할 수 있습니다. 즉, 그 위에 구축된 응용 프로그램의 사용자 또는 개발자가 입력을 제한하면서 더 긴 LLM 응답의 우선 순위를 지정하려는 경우입니다. .

모든 경우에 사용자나 개발자는 선택을 해야 합니다. 즉, 총 128,000개의 토큰을 유지하면서 더 긴 출력을 위해 일부 입력 토큰을 희생하고 싶습니까? 더 긴 답변을 원하는 사용자를 위해 이제 GPT-4o 긴 출력이 이를 옵션으로 제공합니다.

새로운 GPT-4o Long Output 모델의 가격은 다음과 같습니다:

이를 백만 입력 토큰당 5달러, 백만 출력당 15달러인 일반 GPT-4o 가격이나 백만 입력당 $0.15, 백만 출력당 $0.60인 새로운 GPT-4o mini 가격과 비교하면 오히려 가격이 더 비싸다는 것을 알 수 있습니다. 공격적으로, 강력한 AI를 저렴하고 광범위한 개발자 사용자 기반에 액세스할 수 있도록 만들고자 하는 OpenAI의 최근 자제를 계속하고 있습니다.

현재 이 실험 모델에 대한 액세스는 신뢰할 수 있는 소규모 파트너 그룹으로 제한되어 있습니다. 대변인은 "우리는 더 긴 출력이 사용 사례에 도움이 되는지 알아보기 위해 소수의 신뢰할 수 있는 파트너와 함께 몇 주 동안 알파 테스트를 실시하고 있습니다"라고 덧붙였습니다.

이 테스트 단계의 결과에 따라 OpenAI는 더 넓은 고객 기반에 대한 액세스 확장을 고려할 수 있습니다.

진행 중인 알파 테스트는 확장된 출력 모델의 실제 적용 및 잠재적 이점에 대한 귀중한 통찰력을 제공할 것입니다.

초기그룹의 피드백이라면

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!