Bina ejen multimodal untuk analisis ramuan produk

Buka rahsia bahan -bahan produk dengan ejen AI multimodal! Bosan dengan menguraikan senarai ramuan kompleks? Artikel ini menunjukkan kepada anda bagaimana untuk membina penganalisis ramuan produk yang kuat menggunakan Gemini 2.0, Phidata, dan carian web yang tavily. Ucapkan selamat tinggal kepada carian ramuan individu yang memakan masa dan hello kepada pandangan segera, yang boleh diambil tindakan!

Hasil Pembelajaran Utama

tutorial ini akan membimbing anda melalui:

• Merancang seni bina ejen AI multimodal yang memanfaatkan Phidata dan Gemini 2.0 untuk tugas-tugas bahasa.
• Mengintegrasikan carian web yang tavily untuk konteks yang dipertingkatkan dan pengambilan maklumat dalam aliran kerja ejen anda.
• Membina ejen penganalisis ramuan produk yang pakar menggabungkan pemprosesan imej dan carian web untuk analisis produk terperinci.
• Menguasai seni kerajinan sistem yang berkesan dan arahan untuk mengoptimumkan prestasi ejen dalam senario multimodal.
• Membangunkan UI Streamlit mesra pengguna untuk analisis imej masa nyata, maklumat pemakanan, dan cadangan kesihatan yang diperibadikan.

Artikel ini adalah sebahagian daripada Blogathon Sains Data.

Jadual Kandungan

Memahami Sistem Multimodal

Aplikasi multimodal dunia sebenar

• Kekuatan agen multimodal
• Membina Ejen Penganalisis Bahan Produk Anda
• Pautan penting
• Kesimpulan
• Soalan Lazim
• Memahami sistem multimodal

Sistem multimodal direka untuk memproses dan mentafsirkan pelbagai jenis data serentak - termasuk teks, imej, audio, dan video. Model bahasa penglihatan seperti Gemini 2.0 Flash, GPT-4O, Claude Sonnet 3.5, dan Pixtral-12B cemerlang dalam mengiktiraf hubungan rumit antara modaliti ini, mengekstrak pengetahuan berharga dari input kompleks. Artikel ini memberi tumpuan kepada model bahasa penglihatan yang menganalisis imej dan menghasilkan penjelasan teks. Sistem ini dengan lancar menggabungkan visi komputer dan pemprosesan bahasa semulajadi untuk mentafsirkan maklumat visual berdasarkan arahan pengguna.

Aplikasi multimodal dunia sebenar

Sistem multimodal merevolusi pelbagai industri:

Kewangan:

dengan serta -merta memahami istilah kewangan yang kompleks dengan hanya mengambil tangkapan skrin.

• e-dagang: Dapatkan analisis ramuan terperinci dan pandangan kesihatan dengan memotret label produk.
• Pendidikan: Dapatkan penjelasan ringkas mengenai rajah dan konsep kompleks dari buku teks.
• penjagaan kesihatan: Terima penjelasan yang jelas mengenai laporan perubatan dan label preskripsi.
• Kuasa agen multimodal

Peralihan ke arah agen multimodal mewakili kemajuan yang signifikan dalam interaksi AI. Inilah sebabnya mereka begitu berkesan:

• pemprosesan serentak data visual dan tekstual membawa kepada tindak balas yang lebih tepat dan kaya konteks.
• Maklumat kompleks dipermudahkan, menjadikannya mudah diakses oleh khalayak yang lebih luas.
• Pengguna memuat naik imej tunggal untuk analisis komprehensif, menghapuskan keperluan untuk carian bahan manual.
• Menggabungkan carian web dan analisis imej memberikan lebih banyak pandangan yang lengkap dan boleh dipercayai.

Membina Ejen Penganalisis Bahan Produk Anda

mari kita membina ejen analisis bahan produk langkah demi langkah:

Langkah 1: Menyediakan kebergantungan

kita perlukan:

Gemini 2.0 Flash: Untuk pemprosesan multimodal yang kuat.
Carian Tavily: Untuk integrasi carian web lancar.
phidata: untuk mengatur sistem ejen dan menguruskan aliran kerja.
streamlit: untuk membuat aplikasi web mesra pengguna.

!pip install phidata google-generativeai tavily-python streamlit pillow

Langkah 2: Persediaan dan Konfigurasi API

Dapatkan kunci API dari:

Gemini API Key:
• https://www.php.cn/link/feac4a1c91eb74bfce13cb7c052c233b kekunci API tavily:

Langkah 3: Sistem Prompt dan Arahan

from phi.agent import Agent
from phi.model.google import Gemini # needs a api key
from phi.tools.tavily import TavilyTools # also needs a api key

import os
TAVILY_API_KEY = "<replace-your-api-key>"
GOOGLE_API_KEY = "<replace-your-api-key>"
os.environ['TAVILY_API_KEY'] = TAVILY_API_KEY
os.environ['GOOGLE_API_KEY'] = GOOGLE_API_KEY</replace-your-api-key></replace-your-api-key>

Arahan yang jelas adalah penting untuk prestasi LLM yang optimum. Kami akan menentukan peranan dan tanggungjawab ejen:

Langkah 4: Menentukan objek ejen

SYSTEM_PROMPT = """
You are an expert Food Product Analyst specialized in ingredient analysis and nutrition science. 
Your role is to analyze product ingredients, provide health insights, and identify potential concerns by combining ingredient analysis with scientific research. 
You utilize your nutritional knowledge and research works to provide evidence-based insights, making complex ingredient information accessible and actionable for users.
Return your response in Markdown format. 
"""

INSTRUCTIONS = """
* Read ingredient list from product image 
* Remember the user may not be educated about the product, break it down in simple words like explaining to 10 year kid
* Identify artificial additives and preservatives
* Check against major dietary restrictions (vegan, halal, kosher). Include this in response. 
* Rate nutritional value on scale of 1-5
* Highlight key health implications or concerns
* Suggest healthier alternatives if needed
* Provide brief evidence-based recommendations
* Use Search tool for getting context
"""

Ejen Phidata dikonfigurasikan untuk memproses markdown dan beroperasi berdasarkan sistem dan arahan sistem. Flash Gemini 2.0 digunakan sebagai model penalaran, dan carian tavily disepadukan untuk carian web yang cekap.

Langkah 5: Pemprosesan Imej Multimodal

agent = Agent(
    model = Gemini(),
    tools = [TavilyTools()],
    markdown=True,
    system_prompt = SYSTEM_PROMPT,
    instructions = INSTRUCTIONS
)

Sediakan laluan imej atau URL, bersama -sama dengan segera, untuk memulakan analisis. Contoh menggunakan kedua -dua pendekatan disediakan dalam artikel asal.

Langkah 6 & 7: Pembangunan Aplikasi Web StreamLit

(kod terperinci dalam artikel asal)

Aplikasi StreamLit dibuat untuk menyediakan antara muka mesra pengguna untuk muat naik, analisis, dan paparan hasil. Aplikasi ini termasuk tab contoh produk, muat naik imej, dan penangkapan foto secara langsung. Saiz semula imej dan caching dilaksanakan untuk prestasi yang optimum.

Pautan penting

kod penuh: [masukkan pautan github di sini]

aplikasi yang digunakan: [masukkan pautan aplikasi yang digunakan di sini]
Kesimpulan

ejen AI multimodal mengubah cara kita berinteraksi dan memahami maklumat yang kompleks. Penganalisis ramuan produk menunjukkan kuasa menggabungkan penglihatan, bahasa, dan carian web untuk memberikan pandangan yang boleh diakses dan boleh dilakukan.

Soalan -soalan yang sering ditanya

• Q1. Model bahasa multimodal sumber terbuka: llava, pixtral-12b, multimodal-gpt, nvila, dan qwen adalah contoh.
• Q2. Adakah llama 3 multimodal ?: Ya, llama 3 dan llama 3.2 Model penglihatan adalah multimodal.
• Q3. Multimodal LLM vs ejen multimodal: Proses LLM Data multimodal; Ejen menggunakan LLMS dan alat lain untuk melaksanakan tugas dan membuat keputusan berdasarkan input multimodal.

ingat untuk menggantikan ruang letak dengan kunci API sebenar anda. Kod lengkap dan pautan aplikasi yang digunakan hendaklah ditambah untuk panduan lengkap dan berfungsi.

Atas ialah kandungan terperinci Bina ejen multimodal untuk analisis ramuan produk. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!