Regardez 'Harry Potter' en une seule séance : IA grand modèle 'Quantum Speed ​​​​Reading', une minute équivaut à cinq heures humaines

Ces derniers temps, OpenAI a été l'institution de recherche la plus regardée avec ses modèles de la série GPT et ChatGPT. Mais au cours des deux dernières années, une start-up d'IA est apparue à la vue de tous. Cette société s'appelle Anthropic. Elle a été fondée en 2021. Elle se concentre sur le développement de systèmes d'IA généraux et de modèles de langage et adhère au concept d'IA responsable. utiliser.

Je me demande si vous vous souvenez encore de la démission collective des principaux employés d’OpenAI fin 2020. À cette époque, cet incident avait fait beaucoup de bruit dans le cercle de l’IA. Anthropic a été créé par ces personnes disparues, dont Dario Amodei, ancien vice-président de la recherche chez OpenAI, Tom Brown, premier auteur de l'article GPT-3, et d'autres.

En janvier de cette année, Anthropic avait levé plus de 700 millions de dollars de financement, son dernier tour de table le valorisant à 5 milliards de dollars. Parallèlement, deux mois après la sortie de ChatGPT, l'entreprise a rapidement développé Claude, un système d'intelligence artificielle qui a benchmarké son ancien club ChatGPT.

Adresse d'accès à l'application Claude : https://www.anthropic.com/earlyaccess

Claude utilise un mécanisme appelé « IA constitutionnelle » développé par Anthropic. Son objectif est de fournir des « principes- ». " basée sur l'alignement des systèmes d'IA sur les intentions humaines.

Claude peut réaliser des tâches telles que la synthèse synthétique, la recherche, l'aide à la création, les questions/réponses, le codage, etc. D'après les commentaires des utilisateurs, Claude est moins susceptible de générer des résultats nuisibles, plus facile à mener des conversations et plus facile à contrôler. De plus, Claude peut définir sa personnalité, son ton et son comportement en fonction d'instructions.

Cependant, Anthropic n'a pas fourni beaucoup de détails techniques sur Claude, mais la technologie derrière Claude est décrite dans l'article "Constitutional AI: Harmlessness from AI Feedback".

Adresse papier : https://arxiv.org/pdf/2212.08073.pdf

Dès janvier, des chercheurs ont testé la quantité maximale de texte que Claude peut traiter en même temps, démontrant qu'il peut rappeler les informations de 8 000 jetons.

Il n'y a pas si longtemps, ce jeudi, Anthropic a lancé 100K Context Windows, Il étend la fenêtre contextuelle de Claude de 9k jetons à 100k, ce qui équivaut à 75 000 mots. Cela signifie que les entreprises peuvent soumettre des centaines de pages de matériel à Claude pour qu'il les digère et les interprète, et que les conversations avec lui peuvent durer des heures, voire des jours. 100 000 fenêtres contextuelles sont désormais accessibles via l'API Anthropic.

Nous savons que plus le grand modèle est avancé, plus le texte pouvant être traité en même temps est long. Quelle est la notion de 75 000 mots ? Cela équivaut probablement à résumer la première partie de "Harry Potter" en un clic.

On dirait que la grande majorité des essais, des reportages et des nouvelles sont hors de question.

Claude Evolution : véritable "AI Quantum Speed ​​​​Reading"

Selon des recherches scientifiques, les gens ordinaires peuvent lire 100 000 jetons en 5 heures environ, et peuvent prendre plus de temps pour digérer, mémoriser et analyser ces informations. Maintenant, Claude peut le faire en moins d'une minute.

Calculs généraux pour les fenêtres contextuelles.

Anthropic a d'abord chargé l'intégralité du texte de "The Great Gatsby" dans Claude-Instant (72 K jetons, Claude a deux versions Claude et Claude Instant, Claude est le modèle haute performance le plus avancé, tandis que Claude Instant est plus léger, moins cher, option plus rapide. ) et modifié la ligne "M. Carraway est un ingénieur logiciel travaillant sur l'apprentissage automatique chez Anthropic." Lorsqu'Anthropic a demandé au modèle de trouver les différences par rapport au texte original, il a donné la bonne réponse en 22 secondes.

En plus de lire de longs textes, Claude aide également à récupérer des informations à partir de documents, bénéficiant ainsi aux opérations commerciales . Les utilisateurs peuvent déposer plusieurs documents ou même un livre dans l'invite, puis poser une question à Claude (nécessitant une analyse approfondie des connaissances de nombreuses parties du texte). Pour des problèmes complexes, cela peut être beaucoup plus efficace que les méthodes basées sur la recherche vectorielle. Claude peut suivre les instructions de l'utilisateur et lui renvoyer l'information recherchée, à la manière d'un assistant humain.

Anthropic a ensuite mis la documentation du développeur de l'API LangChain du grand outil d'intégration de langage (240 pages) dans le modèle, puis a donné une démonstration de LangChain utilisant le modèle de langage Anthropic en réponse aux questions posées.

Pendant ce temps, 100 000 jetons peuvent être convertis en environ 6 heures d'audio. AssemblyAI en a fait une excellente démonstration en transcrivant un long podcast en près de 58 000 mots, puis en utilisant Claude pour le résumé et les questions-réponses.

Source de l'image : AssemblyAI

En résumé, en utilisant 100 000 fenêtres contextuelles, les utilisateurs peuvent effectuer les opérations suivantes :

• Digérer, résumer et interpréter des documents denses tels que des états financiers ou documents de recherche ;
• Analyser les risques et opportunités stratégiques sur la base des rapports annuels de l'entreprise ;
• Évaluer les avantages et les inconvénients d'un texte législatif ;
• Nombre de lectures Des centaines de pages de documentation pour les développeurs avec des réponses aux questions techniques ;
• Prototypez rapidement en mettant l'intégralité de votre base de code en contexte et en la construisant ou en la modifiant intelligemment.
• Certains internautes ont utilisé le mème suivant pour décrire de manière vivante la relation entre Context Windows et Claude 100k et GPT-4 32K.

Source : Twitter @nathanwchan

En ce qui concerne le prix, le technicien Anthropic Ben Mann a déclaré que le prix en millions de jetons de 100K Context Windows est le même que celui des modèles précédents.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!