Visiagent Andrew Ng: Menyelaraskan Penyelesaian Visi AI

VisionAgent: merevolusikan pembangunan aplikasi penglihatan komputer

Visi komputer mengubah industri seperti penjagaan kesihatan, pembuatan, dan runcit. Walau bagaimanapun, membina penyelesaian berasaskan penglihatan sering kompleks dan memakan masa. Landingai, yang diketuai oleh Andrew Ng, memperkenalkan VisionAgent, pembina aplikasi visual AI generatif yang direka untuk mempermudah keseluruhan proses - dari penciptaan dan lelaran untuk penempatan.

Pengesanan objek agentik Visiagent menghapuskan keperluan untuk pelabelan data dan latihan model yang panjang, melampaui kaedah pengesanan objek tradisional. Pengesanan berasaskan teksnya membolehkan prototaip dan penempatan pesat, menggunakan penalaran maju untuk hasil yang berkualiti tinggi dan pengiktirafan objek kompleks serba boleh.

Ciri -ciri utama termasuk:

• Pengesanan berasaskan prompt teks: Tiada pelabelan data atau latihan model yang diperlukan.
• Penalaran Lanjutan: Memastikan output yang tepat, berkualiti tinggi.
• Pengiktirafan serba boleh: Mengendalikan objek dan senario kompleks dengan berkesan.

Visiagent melepasi penjanaan kod mudah; Ia bertindak sebagai pembantu berkuasa AI, membimbing pemaju melalui perancangan, pemilihan alat, penjanaan kod, dan penempatan. Bantuan AI ini membolehkan pemaju berulang dalam beberapa minit, bukan minggu.

Jadual Kandungan

Ecosystem Visiagent
Penilaian penanda aras
Visiagent in Action
• prompt: "Mengesan sayur -sayuran di dalam dan di sekitar bakul"
• prompt: "Kenal pasti kereta merah dalam video"
Kesimpulan

Ecosystem Visiagent

Visiagent terdiri daripada tiga komponen teras untuk pengalaman pembangunan yang diselaraskan:

App Web VisionAgent

1. Perpustakaan Visiagent
2. Perpustakaan Visiagent Tools
Memahami interaksi mereka adalah penting untuk memaksimumkan potensi penglihatan.

1. Visiagent Web App

Aplikasi Web VisionAgent adalah platform yang mesra pengguna, dihoskan untuk prototaip, penapisan, dan menggunakan aplikasi penglihatan tanpa persediaan yang luas. Antara muka web intuitifnya membolehkan pengguna untuk:

mudah memuat naik dan memproses data.

menghasilkan dan menguji kod penglihatan komputer.
menggambarkan dan menyesuaikan hasil.
menggunakan penyelesaian sebagai titik akhir awan atau aplikasi streamlit.
• Pendekatan kod rendah ini sesuai untuk bereksperimen dengan aplikasi penglihatan AI yang berkuasa tanpa persekitaran pembangunan tempatan yang kompleks.

2. Perpustakaan Visiagent



Perpustakaan Visiagent membentuk teras rangka kerja, menyediakan fungsi penting untuk mewujudkan dan menggunakan aplikasi penglihatan yang didorong oleh AI-Programmatically. Ciri -ciri utama termasuk:
Perancangan berasaskan ejen
• : menjana pelbagai penyelesaian dan secara automatik memilih yang optimum.
• Pemilihan dan pelaksanaan alat: secara dinamik memilih alat yang sesuai untuk pelbagai tugas penglihatan.
• Generasi dan Penilaian Kod: menghasilkan pelaksanaan berasaskan python yang cekap.
• Sokongan Model Visi Terbina: Menggunakan model penglihatan komputer yang pelbagai untuk pengesanan objek, klasifikasi imej, dan segmentasi.
• Integrasi tempatan dan awan: membolehkan pelaksanaan tempatan atau menggunakan model host-host untuk skalabilitas Landingai.
aplikasi sembang berkuasa streamlit menyediakan interaksi yang lebih intuitif untuk pengguna yang lebih suka antara muka sembang.
3. Perpustakaan Alat Visiagent

Perpustakaan Alat Visiagent menawarkan koleksi alat berasaskan python yang telah dibina untuk tugas-tugas penglihatan komputer tertentu:

Pengesanan objek:
• Mengenal pasti dan mencari objek dalam imej atau video.
klasifikasi imej:
• mengkategorikan imej berdasarkan model AI terlatih.
QR Code Reading:
• Ekstrak maklumat dari kod QR.
Pengiraan item:
• mengira objek untuk inventori atau penjejakan.
Alat ini berinteraksi dengan pelbagai model penglihatan melalui pendaftaran model dinamik, yang membolehkan penukaran model lancar. Pemaju juga boleh mendaftarkan alat tersuai. Perhatikan bahawa perkhidmatan penempatan tidak termasuk dalam Perpustakaan Alat.

Penilaian penanda aras

1. Model & Pendekatan

pendaratan ai (pengesanan objek agentik):
kategori agentik.
• Microsoft Florence-2:
Buka Pengesanan Objek Set.
• Google OWLV2:
Buka Pengesanan Objek Set.
• Alibaba Qwen2.5-VL-7B-Instruct:
Model Multimodal Besar (LMM).
• 2. Metrik penilaian
Model dinilai menggunakan:

• ingat: mengukur keupayaan model untuk mengenal pasti semua objek yang relevan.
• Precision: mengukur ketepatan pengesanan (kurang positif palsu).
• skor F1: ukuran yang seimbang ketepatan dan ingat.

3. Perbandingan Prestasi

Model ingat Precision f1 skor pendaratan ai 77.0% 82.6%

Model	Recall	Precision	F1 Score
Landing AI	77.0%	82.6%	79.7% (highest)
Microsoft Florence-2	43.4%	36.6%	39.7%
Google OWLv2	81.0%	29.5%	43.2%
Alibaba Qwen2.5-VL-7B-Instruct	26.0%	54.0%	35.1%

79.7% (tertinggi) Microsoft Florence-2 43.4% 36.6% 39.7% Google OWLV2 81.0% 29.5% 43.2% Alibaba qwen2.5-vl-7b-instruct 26.0% 54.0% 35.1%

4. Penemuan Utama

pendaratan pengesanan objek agentik AI mencapai skor F1 tertinggi, menunjukkan keseimbangan terbaik dan ingat. Model lain menunjukkan perdagangan antara penarikan balik dan ketepatan.

Visiagent in Action

Visiagent menggunakan aliran kerja berstruktur:

1. memuat naik imej atau video.

2. memberikan prompt teks (mis., "Mengesan orang dengan cermin mata").

3. Visiagent menganalisis input.

4. menerima keputusan pengesanan.

5. prompt: "Mengesan sayur -sayuran di dalam dan di sekitar bakul"

Langkah 1: Interaksi

Pengguna memulakan permintaan menggunakan bahasa semulajadi. Visiagent mengesahkan pemahaman.

Imej input

Contoh Interaksi

"Saya akan menjana kod untuk mengesan sayur -sayuran di dalam dan di luar bakul menggunakan pengesanan objek."

Langkah 2: Perancangan

Visiagent menentukan pendekatan terbaik:

memahami kandungan imej menggunakan menjawab soalan visual (VQA).
menghasilkan cadangan untuk kaedah pengesanan.
Pilih alat yang sesuai (pengesanan objek, klasifikasi berasaskan warna).

Langkah 3: Pelaksanaan

Pelan ini dilaksanakan menggunakan Perpustakaan Perpustakaan dan Alat Visiagent.

pemerhatian dan output

Visiagent memberikan hasil berstruktur:

dikesan sayur -sayuran yang dikategorikan oleh lokasi (bakul di dalam/luar).
Koordinat Kotak Bounding untuk setiap sayuran.
model AI yang boleh dikerahkan.

Contoh output

2. prompt: "Kenal pasti kereta merah dalam video"

Contoh ini mengikuti proses yang sama, menggunakan bingkai video, VQA, dan cadangan untuk mengenal pasti dan menjejaki kereta merah. Output akan menunjukkan kereta yang dikesan sepanjang video. (Contoh imej output yang ditinggalkan untuk keringkasan, tetapi akan sama dengan gaya kepada output pengesanan sayur).

Kesimpulan

Visiagent menyelaraskan pembangunan aplikasi penglihatan AI-Diteruskan, mengautomasikan tugas-tugas yang membosankan dan menyediakan alat siap sedia. Kelajuan, fleksibiliti, dan skalabilitasnya memberi manfaat kepada penyelidik AI, pemaju, dan perniagaan. Kemajuan masa depan mungkin akan menggabungkan model yang lebih berkuasa dan sokongan aplikasi yang lebih luas.

Atas ialah kandungan terperinci Visiagent Andrew Ng: Menyelaraskan Penyelesaian Visi AI. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!