Construire une application d'IA multimodale avec Gemini 2.0 Pro

GEMINI 2.0 PRO de Google: une plongée profonde dans les capacités et le déploiement de l'IA multimodale

Google a dévoilé Gemini 2.0 Pro, son modèle d'IA le plus avancé à ce jour. Actuellement aux étapes expérimentales, l'accès est via l'API pour les développeurs. Ce modèle puissant brille dans le codage et le raisonnement complexe, offrant une fenêtre de contexte de jetons de 2 millions de 2 millions pour gérer des informations étendues. Sa capacité à tirer parti de Google Search and Exécuter du code ajoute à sa polyvalence.

Ce didacticiel montre comment accéder aux fonctionnalités de Gemini 2.0 Pro à l'aide du package Genai Python de Google, en créant une application Gradio conviviale et en la déploiement dans des espaces faciaux étreignant pour l'accès public. Pour une analyse comparative contre les modèles Openai et Deepseek, consultez notre guide sur l'expérimental de pensée Flash Gemini 2.0. Le tutoriel d'Adel Nehme offre des informations supplémentaires sur la création d'applications multimodales avec Gemini 2.0:

Configuration de Gemini 2.0 Pro

L'accès à Gemini 2.0 Pro est exclusivement via Google AI Studio, nécessitant un compte Google.

1. Connexion Google AI Studio: Accédez au site Web de Google AI Studio et connectez-vous.

2. Génération de la clé de l'API: Naviguez vers le tableau de bord, localisez et cliquez sur "Get API Key", suivi de "Créer une clé API".

Source: Google AI Studio

3. Variable d'environnement: Définissez la variable d'environnement GEMINI_API_KEY sur votre clé nouvellement générée.

4. Installation du package Python: Installez les packages requis en utilisant:

pip install google-genai gradio

Exploration des capacités de Gemini 2.0 Pro

Utilisons le client Gemini Python pour explorer ses fonctionnalités: Texte, image, audio et traitement des documents, ainsi que l'exécution du code.

1. Génération de texte: Le code d'extrait de code suivant démontre la génération de texte à l'aide d'une réponse en streaming pour une rétroaction en temps réel:

pip install google-genai gradio

2. Compréhension de l'image: En utilisant l'oreiller, nous pouvons traiter les images:

import os
from google import genai

API_KEY = os.environ.get("GEMINI_API_KEY")
client = genai.Client(api_key=API_KEY)

response = client.models.generate_content_stream(
    model="gemini-2.0-pro-exp-02-05",
    contents=["Explain how the Stock Market works"])
for chunk in response:
    print(chunk.text, end="")

3. Compréhension audio: GEMINI 2.0 Pro traite directement l'audio:

from google import genai
from google.genai import types
import PIL.Image

image = PIL.Image.open('image.png')
response = client.models.generate_content_stream(
    model="gemini-2.0-pro-exp-02-05",
    contents=["Describe this image", image])
for chunk in response:
    print(chunk.text, end="")

4. Compréhension du document: Traitez directement les PDF sans Langchain ou Rag:

with open('audio.wav', 'rb') as f:
    audio_bytes = f.read()

response = client.models.generate_content_stream(
  model='gemini-2.0-pro-exp-02-05',
  contents=[
    'Describe this audio',
    types.Part.from_bytes(
      data=audio_bytes,
      mime_type='audio/wav',
    )
  ]
)

for chunk in response:
    print(chunk.text, end="")

5. Génération et exécution de code: La fonctionnalité remarquable de Gemini 2.0 Pro est sa capacité à générer et à exécuter du code dans l'API:

from google import genai
from google.genai import types
import pathlib

prompt = "Summarize this document"
response = client.models.generate_content_stream(
  model="gemini-2.0-pro-exp-02-05",
  contents=[
      types.Part.from_bytes(
        data=pathlib.Path('cv.pdf').read_bytes(),
        mime_type='application/pdf',
      ),
      prompt])

for chunk in response:
    print(chunk.text, end="")

(Remarque: Le code complet de l'application Gradio, des affichages d'image et une gestion détaillée des erreurs sont disponibles dans le référentiel GitHub mentionné dans le texte d'origine. Cette réponse est une version condensée pour plus de clarté.)

Bâtiment et déploiement de l'application Gradio

Le référentiel GitHub fourni (gemini-2-pro-chat) contient le code d'application Gradio. Après le clonage et la configuration de l'environnement, exécutez python app.py localement. Le déploiement dans des espaces faciaux étreintes implique la création d'un nouvel espace, le clonage du référentiel, l'ajout d'un fichier requirements.txt (contenant google-genai==1.0.0), de modification README.md comme indiqué et de pousser les modifications. N'oubliez pas d'ajouter votre GEMINI_API_KEY comme secret dans les paramètres des espaces de visage étreintes.

Conclusion

GEMINI 2.0 Pro simplifie la création d'applications AI haute performance. Ses capacités multimodales et ses fonctionnalités d'exécution de code sont les changeurs de jeu. Bien que actuellement gratuit avec les limites d'utilisation, n'oubliez pas d'adhérer aux conditions d'utilisation de Google. Ce tutoriel fournit un guide complet pour exploiter sa puissance et le déploiement des applications au cloud.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!