Bauen Sie einen multimodalen Agenten für die Analyse der Produktzutat auf

Entsperren Sie die Geheimnisse der Produktzutaten mit einem multimodalen AI -Agenten! Sind Sie es leid, komplexe Zutatlisten zu entschlüsseln? Dieser Artikel zeigt, wie Sie mit Gemini 2.0, Phidata und Tavily Web Search einen leistungsstarken Produktzutatanalysator aufbauen können. Verabschieden Sie sich von zeitaufwändigen individuellen Zutatensuche und Hallo zu sofortigen, umsetzbaren Erkenntnissen!

wichtige Lernergebnisse

Dieses Tutorial führt Sie durch:

• Entwerfen einer multimodalen AI-Agentenarchitektur, die Phidata und Gemini 2.0 für Visionsprachenaufgaben nutzt.
• Integrieren Sie die Tavily -Web -Suche nach verbessertem Kontext und Informationsabruf in Ihren Agent -Workflow.
• Erstellen eines Produkts für Produktzutatenanalysator, der die Bildverarbeitung und Web -Suche nach einer detaillierten Produktanalyse kombiniert.
• Beherrschen der Kunst des Erstellens effektiver Systemaufforderungen und -anweisungen zur Optimierung der Agentenleistung in multimodalen Szenarien.
• Entwickeln einer benutzerfreundlichen Stromversorgungs-Benutzeroberfläche für Echtzeit-Bildanalyse, Ernährungsinformationen und personalisierte Gesundheitsempfehlungen.

Dieser Artikel ist Teil des Data Science -Blogathons.

Inhaltsverzeichnis

• multimodale Systeme verstehen
• reale multimodale Anwendungen
• Die Kraft multimodaler Wirkstoffe
• Konstruktion Ihres Produkts Analysator Agent
• Essentielle Links
• Schlussfolgerung
• häufig gestellte Fragen

multimodale Systeme verstehen

multimodale Systeme sind so konzipiert, dass sie verschiedene Datentypen gleichzeitig verarbeiten und interpretieren - einschließlich Text, Bildern, Audio und Videos. Visionsprachel-Modelle wie Gemini 2.0 Flash, GPT-4O, Claude Sonnet 3.5 und Pixtral-12b erkennen die komplizierten Beziehungen zwischen diesen Modalitäten und extrahieren wertvolles Wissen aus komplexen Eingaben. Dieser Artikel konzentriert sich auf Visionsprachmodelle, die Bilder analysieren und textuelle Erklärungen generieren. Diese Systeme mischen nahtlos Computer Vision und natürliche Sprachverarbeitung, um visuelle Informationen basierend auf Benutzeranforderungen zu interpretieren.

reale multimodale Anwendungen

multimodale Systeme revolutionieren verschiedene Branchen:

• Finanzen: Verstehen Sie die komplexen finanziellen Begriffe sofort, indem Sie einfach einen Screenshot aufnehmen.
• E-Commerce: detaillierte Inhaltsstoffanalyse und Gesundheitseinblicke erhalten, indem Produktetiketten fotografiert werden.
• Ausbildung: Vereinfache Erklärungen für komplexe Diagramme und Konzepte aus Lehrbüchern.
• Gesundheitswesen: Erhalt klare Erklärungen zu medizinischen Berichten und verschreibungspflichtigen Beschriftungen.

Die Leistung multimodaler Mittel

Die Verschiebung zu multimodalen Wirkstoffen stellt einen signifikanten Fortschritt bei der AI -Wechselwirkung dar. Hier ist der Grund, warum sie so effektiv sind:

• gleichzeitige Verarbeitung visueller und Textdaten führt zu genauen und kontextreichen Antworten.
• komplexe Informationen werden vereinfacht, sodass sie für ein breiteres Publikum leicht zugänglich sind.
• Benutzer laden ein einzelnes Bild für eine umfassende Analyse hoch und beseitigen die Notwendigkeit einer manuellen Inhaltsstoffsuche.
• Kombination der Websuche und Bildanalyse liefert vollständigere und zuverlässigere Erkenntnisse.

Konstruktion Ihres Produktzutaters Analysator Agent

bauen wir die Produktzutatanalyse-Agent Schritt für Schritt auf:

Schritt 1: Abhängigkeiten einrichten

Wir brauchen:

• Gemini 2.0 Flash: Für leistungsstarke multimodale Verarbeitung.
• suche: nach nahtloser Websuche Integration.
• Phidata: Um das Agentensystem zu orchestrieren und Workflows zu verwalten.
• streamlit: Erstellen einer benutzerfreundlichen Webanwendung.

!pip install phidata google-generativeai tavily-python streamlit pillow

Schritt 2: API -Setup und Konfiguration

API -Schlüssel erhalten von:

• Gemini API -Schlüssel: https://www.php.cn/link/feac4a1c91eb74bfce13cb7c052c233b
• Tavily API -Schlüssel: https://www.php.cn/link/c73ff6dceadedf3652d678cd790ff167

from phi.agent import Agent
from phi.model.google import Gemini # needs a api key
from phi.tools.tavily import TavilyTools # also needs a api key

import os
TAVILY_API_KEY = "<replace-your-api-key>"
GOOGLE_API_KEY = "<replace-your-api-key>"
os.environ['TAVILY_API_KEY'] = TAVILY_API_KEY
os.environ['GOOGLE_API_KEY'] = GOOGLE_API_KEY</replace-your-api-key></replace-your-api-key>

Schritt 3: Systemaufforderung und Anweisungen

Klare Anweisungen sind für eine optimale LLM -Leistung von entscheidender Bedeutung. Wir definieren die Rolle und Verantwortung des Agenten:

SYSTEM_PROMPT = """
You are an expert Food Product Analyst specialized in ingredient analysis and nutrition science. 
Your role is to analyze product ingredients, provide health insights, and identify potential concerns by combining ingredient analysis with scientific research. 
You utilize your nutritional knowledge and research works to provide evidence-based insights, making complex ingredient information accessible and actionable for users.
Return your response in Markdown format. 
"""

INSTRUCTIONS = """
* Read ingredient list from product image 
* Remember the user may not be educated about the product, break it down in simple words like explaining to 10 year kid
* Identify artificial additives and preservatives
* Check against major dietary restrictions (vegan, halal, kosher). Include this in response. 
* Rate nutritional value on scale of 1-5
* Highlight key health implications or concerns
* Suggest healthier alternatives if needed
* Provide brief evidence-based recommendations
* Use Search tool for getting context
"""

Schritt 4: Definieren des Agentenobjekts

Der Phidata -Agent ist so konfiguriert, dass er Markdown und Anweisungen verarbeitet und betrieben wird. Gemini 2.0 Flash wird als Argumentationsmodell verwendet, und die Tavily -Suche wird für eine effiziente Websuche integriert.

agent = Agent(
    model = Gemini(),
    tools = [TavilyTools()],
    markdown=True,
    system_prompt = SYSTEM_PROMPT,
    instructions = INSTRUCTIONS
)

Schritt 5: Multimodale Bildverarbeitung

Geben Sie den Bildpfad oder die URL zusammen mit einer Eingabeaufforderung an, um eine Analyse zu initiieren. Beispiele, die beide Ansätze verwenden, finden Sie im ursprünglichen Artikel.

Schritt 6 & 7: Streamlit Web App -Entwicklung

(detaillierter Code im Originalartikel)

Eine streamlitische Anwendung wird erstellt, um eine benutzerfreundliche Schnittstelle für Bild-Upload, Analyse und Ergebnisanzeige für Bild anzubieten. Die App enthält Registerkarten, beispielsweise Produkte, Bild -Uploads und Live -Fotoerfassung. Bild -Größen- und -daching werden für eine optimale Leistung implementiert.

Essentielle Links

Voller Code: [GitHub Link hier einfügen]
Bereitete App: [Der bereitgestellte App -Link hier einfügen]

Schlussfolgerung

multimodale AI -Mittel transformieren, wie wir mit komplexen Informationen interagieren und verstehen. Der Produktzutatanalysator für Produkte demonstriert die Kraft, Vision, Sprache und Websuche zu kombinieren, um zugängliche, umsetzbare Erkenntnisse zu liefern.

häufig gestellte Fragen

• Q1. Open-Source Multimodal Vision-Sprach-Modelle: llava, pixtral-12b, multimodal-gpt, nvila und qwen sind Beispiele.
• Q2. Ist Lama 3 multimodal ?: Ja, Lama 3 und Lama 3.2 Vision -Modelle sind multimodal.
• Q3. Multimodal LLM vs. Multimodal Agent: A LLM verarbeitet multimodale Daten; Ein Agent verwendet LLMs und andere Tools, um Aufgaben auszuführen und Entscheidungen basierend auf multimodalen Eingängen zu treffen.

Denken Sie daran, die Platzhalter durch Ihre tatsächlichen API -Schlüssel zu ersetzen. Der vollständige Code und die bereitgestellten App -Links sollten für eine vollständige und funktionale Anleitung hinzugefügt werden.

Das obige ist der detaillierte Inhalt vonBauen Sie einen multimodalen Agenten für die Analyse der Produktzutat auf. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!