Chitrarth-1: un VLM multilingue de Krutrim AI Labs

Le paysage de l'IA de l'Inde évolue rapidement, avec des progrès et des innovations importants émergeant. Krutrim AI Labs, une société de groupe OLA, est un acteur clé de cette croissance, dévoilant récemment Chitrarth-1, un modèle de langage de vision révolutionnaire (VLM). Conçu pour le contexte linguistique et culturel diversifié de l'Inde, Chitrarth-1 soutient dix grandes langues indiennes plus l'anglais, répondant à un besoin critique de solutions d'IA multilingues. Cet article plonge dans Chitrarth-1 et ses implications pour les capacités de l'IA en expansion de l'Inde.

Table des matières

• Qu'est-ce que Chitrarth-1?
• Architecture et spécifications de Chitrarth-1
• Données de formation et méthodologie
  • Phase 1: Adaptateur Pré-formation
  • Phase 2: réglage des instructions
• Performances et repères
• Accéder à Chitrarth-1
• chitrarth-1 en action
• Conclusion

Qu'est-ce que Chitrarth-1?

Chitrarth-1 (combinant "Chitra" - Image et "Artha" - Signification) est un paramètre de 7,5 milliards de VLM intégrant le traitement avancé du langage et de la vision. Construit pour répondre aux divers besoins linguistiques de l'Inde, il soutient l'hindi, le bengali, le télougou, le tamoul, le marathi, le gujarati, le kannada, le malayalam, l'Odia, l'assamais et l'anglais. Ce modèle incarne l'engagement de Krutrim à développer l'IA "pour notre pays, notre pays et pour nos citoyens". Son utilisation d'un ensemble de données multilingue riche minimise les biais et assure des performances robustes entre les langues indic et l'anglais, favorisant un accès d'IA équitable. La recherche sur Chitrarth-1 est publiée dans des revues universitaires de premier plan, notamment les Neirips et la neuvième conférence sur la traduction automatique.

Chitrarth-1 Architecture et spécifications

Chitrarth-1 utilise le Krutrim-7b LLM comme fondation, amélioré par un encodeur de vision basé sur le modèle Siglip (Siglip-SO400M-Patch14-384). Les composants architecturaux clés comprennent:

• Un codeur de vision Siglip pré-formé pour l'extraction des fonctionnalités de l'image.
• une couche de cartographie linéaire formable pour projeter les fonctionnalités de l'image dans l'espace de jeton de LLM.
• Fonction avec des ensembles de données de texte d'image de suivi des instructions pour améliorer les performances multimodales.

Données de formation et méthodologie

La formation de Chitrarth-1 a impliqué deux phases en utilisant un vaste ensemble de données multilingues:

Phase 1: Adaptateur Pré-formation

• pré-formé sur un ensemble de données diversifié traduit en plusieurs langages Indic à l'aide d'un modèle open-source.
• a maintenu une représentation équilibrée des langues anglais et indic pour assurer des performances équitables.
• Conçu pour éviter les biais vers n'importe quelle langue, optimisant l'efficacité et la robustesse.

Phase 2: réglage des instructions

• ajusté sur un ensemble de données d'instructions complexes pour améliorer les capacités de raisonnement multimodal.
• a utilisé un ensemble de données d'instructions basé sur l'anglais et ses traductions multilingues.
• comprenait un ensemble de données en langue visuelle avec diverses images indiennes (personnalités, monuments, œuvres d'art, cuisine).
• a incorporé des données de texte en anglais propriétaire de haute qualité pour une représentation de domaine équilibrée.

Performances et repères

Chitrarth-1 a été rigoureusement testé contre les VLM de premier plan comme IdeFics 2 (7B) et Palo 7B, les surpassant constamment sur diverses références tout en maintenant la compétitivité sur des tâches telles que TextVQA et Vizwiz. Il dépasse également LLAMA 3.2 11B Vision Instruct dans les mesures clés. Krutrim a introduit Bharatbench, une nouvelle suite d'évaluation pour dix langues indicieuses sous-ressourcées sur trois tâches, établissant une base de référence pour les recherches futures et mettant en évidence la capacité de Chitrarth-1 à gérer efficacement ces langues. Les échantillons de résultats de bharatbench sont indiqués ci-dessous:

Language	POPE	LLaVA-Bench	MMVet
Telugu	79.9	54.8	43.76
Hindi	78.68	51.5	38.85
Bengali	83.24	53.7	33.24
Malayalam	85.29	55.5	25.36
Kannada	85.52	58.1	46.19
English	87.63	67.9	30.49

Pour plus de détails, cliquez ici.

Accès à Chitrarth-1

Chitrarth-1 est accessible à travers:

• Face étreinte: Utilisation directe ou réglage fin. (Cliquez ici pour visiter)
• github: (code fourni dans l'article d'origine)
• Cloud Krutrim: (cliquez ici pour explorer)

chitrarth-1 en action

Des exemples de capacités de Chitrarth-1 incluent l'analyse d'image, la génération de légende de l'image et l'analyse d'écran d'interface utilisateur / UX (images fournies dans l'article original).

Conclusion

Krutrim AI Labs, une division du groupe OLA, s'engage à construire l'avenir de l'informatique de l'IA. Avec Chitrarth-1, et d'autres offres comme GPU en tant que service, Studio AI, et plus encore, ils établissent une nouvelle norme pour l'IA inclusive et culturellement sensible, favorisant un paysage technologique plus équitable.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!