Gemini 1.5 Pro API Tutorial: Bermula dengan Google ' s LLM

Gemini 1.5 Pro: menyelam mendalam ke AI multimodal maju Google dan API

Google's Gemini 1.5 Pro mewakili lonjakan yang ketara ke hadapan dalam AI, yang membanggakan keupayaan penalaran konteks panjang di seluruh teks, video, dan modaliti audio. Tutorial ini membimbing anda melalui penyambungan dan menggunakan API Gemini 1.5 Pro untuk tugas-tugas seperti pengambilan semula, menjawab soalan, dan pembelajaran dalam konteks. Untuk pemahaman yang lebih luas tentang keluarga Gemini, terokai sumber ini: Apa itu Google Gemini .

Keluarga Gemini: Spektrum Keupayaan

Keluarga Gemini AI terdiri daripada beberapa model AI generatif yang dibangunkan oleh Google Research dan Google DeepMind. Model-model ini cemerlang dalam pelbagai tugas multimodal, membantu pemaju dengan penciptaan kandungan dan penyelesaian masalah. Setiap varian model disesuaikan untuk aplikasi tertentu, mengoptimumkan prestasi merentasi pelbagai senario. Keluarga mengimbangi keperluan dan fungsi pengiraan dengan menawarkan tiga peringkat saiz:

Model	Size	Capabilities	Ideal Use Cases
Gemini Ultra	Largest	Most capable; handles highly complex tasks	Demanding applications, large-scale projects, intricate problem-solving
Gemini Pro	Medium	Versatile; suitable for a wide range of tasks, scalable	General-purpose applications, adaptable to diverse scenarios, projects balancing power and efficiency
Gemini Nano	Smallest	Lightweight and efficient; optimized for on-device and resource-constrained environments	Mobile applications, embedded systems, tasks with limited computational resources, real-time processing

Tutorial ini memberi tumpuan kepada Gemini 1.5 Pro, model sulung dalam siri 1.5.

Gemini 1.5 Pro: Pemahaman konteks panjang yang belum pernah terjadi sebelumnya

tetingkap konteks besar Gemini 1.5 Pro (sekurang -kurangnya 10 juta token) membolehkan ia memahami konteks yang luas di pelbagai aplikasi. Ujian yang ketat merentasi tugas-tugas ketergantungan yang panjang menunjukkan keupayaannya yang luar biasa. Ia mencapai ingat yang hampir sempurna (& gt; 99%) dalam senario "jarum-in-a-haystack", walaupun dengan haystacks melebihi 10 juta token. Gemini 1.5 PRO melebihi pesaing, termasuk yang menggunakan kaedah pengambilan luaran, terutamanya pada tugas yang memerlukan pemahaman saling ketergantungan merentasi banyak kandungan. Keupayaannya untuk melakukan pembelajaran dalam konteks, seperti menerjemahkan bahasa baru dari satu dokumen linguistik, juga luar biasa. Prestasi konteks panjang yang dipertingkatkan ini tidak menjejaskan kebolehan multimodal yang wujud; Ia bertambah baik berbanding pendahulunya (Gemini 1.0 Pro) di pelbagai bidang (28.9% dalam matematik, sains, dan penalaran), malah melampaui model Gemini 1.0 Ultra dalam banyak tanda aras.

sumber data.

Untuk butiran komprehensif, rujuk kepada laporan teknikal: "Gemini 1.5: Membuka pemahaman multimodal di seluruh berjuta -juta token konteks".

Aplikasi dunia nyata Gemini 1.5 Pro

Gemini 1.5 Pro keupayaan untuk memproses berjuta -juta token membuka pintu kepada aplikasi inovatif:

• Kejuruteraan Perisian: Ia boleh menentukan lokasi kod tertentu dalam kod besar (mis., Mengenal pasti kaedah pembezaan automatik teras dalam codebase JAX 746,152).
• Terjemahan bahasa: Ia boleh diterjemahkan antara bahasa dengan data dalam talian yang terhad, bergantung semata -mata pada konteks yang disediakan (mis., Menerjemahkan dari Bahasa Inggeris ke Kalamang menggunakan buku tatabahasa dan senarai kata). Ini menunjukkan janji untuk memelihara bahasa yang terancam.
Analisis Imej dan Video:
• menyambung ke Gemini 1.5 Pro API: Panduan Langkah demi Langkah mari kita meneroka cara mengakses kuasa Gemini 1.5 Pro melalui API.

Langkah 1: Dapatkan kekunci API

Navigasi ke halaman Google AI untuk pemaju (pastikan anda log masuk). Klik "Dapatkan Kunci API" untuk menghasilkan satu. Anda perlu menyediakan projek.

Langkah 2: Sediakan persekitaran python anda

Pasang pakej python yang diperlukan:

pip install google-generativeai

Import perpustakaan yang diperlukan dalam buku nota Jupyter anda:

import google.generativeai as genai
from google.generativeai.types import ContentType
from PIL import Image
from IPython.display import Markdown
import time
import cv2

Langkah 3: Buat Panggilan API

Konfigurasikan API dengan kunci anda:

GOOGLE_API_KEY = 'your-api-key-goes-here'
genai.configure(api_key=GOOGLE_API_KEY)

Semak model yang tersedia:

for m in genai.list_models():
    if 'generateContent' in m.supported_generation_methods:
        print(m.name)

Access Gemini 1.5 Pro:

model = genai.GenerativeModel('gemini-1.5-pro-latest')

Buat teks ringkas:

response = model.generate_content("Please provide a list of the most influential people in the world.")
print(response.text)

Gemini AI menyediakan pelbagai calon respons; Pilih yang terbaik.

imej yang mendorong dengan Gemini 1.5 Pro

mari kita tunjukkan pemprosesan imej. Anggapkan anda mempunyai imej bernama "bookshelf.jpeg":

text_prompt = "List all the books and help me organize them into three categories."
bookshelf_image = Image.open('bookshelf.jpeg')
prompt = [text_prompt, bookshelf_image]
response = model.generate_content(prompt)
Markdown(response.text)

Kesimpulan

Gemini 1.5 Pro, dengan tetingkap konteks lanjutan dan keupayaan multimodal, menawarkan alat yang berkuasa untuk pelbagai aplikasi. APInya menyediakan fleksibiliti untuk bekerja dengan pelbagai jenis data, menjadikannya aset yang berharga bagi pemaju. Untuk melanjutkan pengetahuan AI anda, pertimbangkan trek kemahiran ini:

Fundamental AI Fundamentals Track

.

Atas ialah kandungan terperinci Gemini 1.5 Pro API Tutorial: Bermula dengan Google ' s LLM. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!