Biarkan ChatGPT memanggil 100,000+ model AI sumber terbuka! Ciri baharu HuggingFace sedang berkembang pesat: model besar boleh diambil dan digunakan sebagai alat AI berbilang modal

Hanya bersembang dengan ChatGPT dan ia akan membantu anda menghubungi 100,000+ model HuggingFace!

Ini ialah Ejen HuggingFace Transformers, ciri terbaharu yang dilancarkan oleh Hugging Face Ia telah mendapat perhatian hebat sejak pelancarannya:

Ciri ini , yang setara dengan melengkapkan model besar seperti ChatGPT dengan keupayaan "berbilang modal" -

tidak terhad kepada teks, tetapi boleh menyelesaikan sebarang tugas berbilang modal seperti imej, suara, dokumen, dsb. .

Sebagai contoh, anda boleh membuat permintaan "kapsyen imej ini" kepada ChatGPT dan memberikannya gambar memerang. Menggunakan ChatGPT, anda boleh memanggil penterjemah imej dan mengeluarkan "seorang memerang sedang berenang"

Kemudian, ChatGPT memanggil teks ke pertuturan, dalam beberapa minit Anda boleh membaca ayat ini:

Memerang sedang berenang di dalam air Audio: 00:0000:01

Ia bukan sahaja boleh menyokong model besar OpenAI, seperti ChatGPT, tetapi juga menyokong yang lain. Model besar percuma seperti OpenAssistant.

Ejen Transformer bertanggungjawab untuk "mengajar" model besar ini untuk memanggil terus mana-mana model AI pada Wajah Memeluk dan mengeluarkan hasil yang diproses.

Jadi apakah prinsip di sebalik fungsi yang baru dilancarkan ini?

Bagaimana untuk membiarkan model besar "memerintah" pelbagai AI?

Ringkasnya, Ejen Transformers ialah "pakej integrasi alat AI pemeluk muka" eksklusif untuk model besar.

Pelbagai model AI besar dan kecil pada HuggingFace disertakan dalam pakej ini, dan dikelaskan kepada "penjana imej", "jurubahasa imej", "alat teks ke pertuturan"...

Pada masa yang sama, setiap alat akan mempunyai penjelasan teks yang sepadan untuk memudahkan model besar memahami model yang harus mereka panggil.

Dengan cara ini, anda hanya memerlukan sekeping kod ringkas + perkataan gesaan dan model besar boleh membantu anda menjalankan model AI secara langsung dan output Hasilnya dikembalikan kepada anda dalam masa nyata Proses ini dibahagikan kepada tiga langkah:

Pertama, sediakan model besar yang anda ingin gunakan Anda boleh menggunakan model besar OpenAI di sini (sudah tentu,. API dicaj):

<code>from transformers import OpenAiAgentagent = OpenAiAgent(model="text-davinci-003", api_key="<your_api_key>")</your_api_key></code>

Anda juga boleh menggunakan model besar percuma seperti BigCode atau OpenAssistant:

<code>from huggingface_hub import loginlogin("<your_token>")</your_token></code>

Kemudian, sediakan Ejen Peluk Transformers. Di sini kita mengambil Ejen lalai sebagai contoh:

<code>from transformers import HfAgent# Starcoderagent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoder")# StarcoderBase# agent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoderbase")# OpenAssistant# agent = HfAgent(url_endpoint="https://api-inference.huggingface.co/models/OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5")</code>

Kemudian, anda boleh menggunakan arahan run() atau chat() untuk menjalankan Ejen Transformers.

run() sesuai untuk memanggil berbilang model AI pada masa yang sama untuk melaksanakan tugas yang lebih kompleks dan profesional.

Alat AI tunggal boleh dipanggil.

Sebagai contoh, jika anda melaksanakan agent.run("Lukiskan saya gambar sungai dan tasik."), ia akan memanggil alat rajah AI ​​​​wensheng untuk membantu anda menjana imej:

Anda juga boleh memanggil berbilang alatan AI pada masa yang sama.

Sebagai contoh, jika anda melaksanakan agent.run("Lukiskan saya gambar laut kemudian ubah gambar itu untuk menambah pulau"), ia akan memanggil "Rajah Wen Sheng" dan "Rajah Tu Sheng" alat untuk membantu anda menjana imej yang sepadan:

sembang() sesuai untuk "menyiapkan tugasan secara berterusan" melalui sembang.

Sebagai contoh, mula-mula panggil alat AI Sembang Ejen untuk menjana gambar sungai dan tasik: agent.chat("Jana gambar sungai dan tasik")

Buat ubah suai "gambar berasaskan gambar" berdasarkan gambar ini: agent.chat("Ubah gambar supaya ada batu di sana")

Model AI yang akan dipanggil boleh ditetapkan sendiri atau anda boleh menggunakan set tetapan lalai yang disertakan dengan Huohuan Face.

Satu set model AI lalai telah disediakan

Pada masa ini, Ejen Transformers telah menyepadukan satu set model AI lalai, yang dilengkapkan dengan memanggil model AI berikut dalam pustaka Transformer:

1. Model pemahaman Dokumen Visi Donut. Selagi anda menyediakan fail dalam format imej (termasuk imej yang ditukar daripada PDF), anda boleh menggunakannya untuk menjawab soalan tentang fail tersebut.

Sebagai contoh, jika anda bertanya "Di manakah mesyuarat Jawatankuasa Penasihat Saintifik TRRF akan diadakan?" 🎜>2. Model menjawab soalan teks Flan-T5. Memandangkan artikel yang panjang dan soalan, ia boleh menjawab pelbagai soalan teks dan membantu anda dengan pemahaman bacaan.

3. Model bahasa visual tangkapan sifar BLIP. Ia boleh memahami secara langsung kandungan dalam imej dan memberikan penerangan teks untuk imej.

4. Model berbilang modal ViLT. Ia boleh memahami dan menjawab soalan dalam imej yang diberikan,

5. Model pembahagian imej berbilang mod CLIPseg. Hanya sediakan model dan perkataan gesaan, dan sistem boleh membahagikan kandungan yang ditentukan (topeng) dalam imej berdasarkan perkataan gesaan.

6. Model pengecaman pertuturan automatik Whisper. Ia boleh mengecam teks secara automatik dalam rakaman dan melengkapkan transkripsi.

7. Model sintesis pertuturan PertuturanT5. untuk teks-ke-ucapan.

8. Model bahasa pengekodan sendiri BART. Selain mengklasifikasikan sekeping kandungan teks secara automatik, ia juga boleh membuat ringkasan teks.

9. 200 model terjemahan bahasa NLLB. Selain bahasa biasa, ia juga boleh menterjemah beberapa bahasa yang kurang biasa, termasuk Lao dan Kamba.

Dengan memanggil model AI di atas, tugasan termasuk soal jawab imej, pemahaman dokumen, pembahagian imej, rakaman kepada teks, terjemahan, kapsyen, teks kepada pertuturan dan klasifikasi teks boleh diselesaikan.

Selain itu, Huohuan Lian juga mengandungi "barangan peribadi", termasuk beberapa model di luar perpustakaan Transformer, termasuk memuat turun teks, gambar Vincent, gambar dan video Vincent daripada web:

Model ini bukan sahaja boleh dipanggil secara individu, tetapi juga boleh digabungkan sebagai contoh, jika anda meminta model besar untuk "menjana dan menerangkan foto yang tampan beaver", ia akan memanggil model AI "Venture Picture" dan "Picture Understanding" masing-masing.

Sudah tentu, jika kami tidak mahu menggunakan model AI lalai ini dan mahu menyediakan "pakej integrasi alat" yang lebih berguna, kami juga boleh menyediakannya sendiri mengikut langkah-langkah.

Bagi Ejen Transformers pula, beberapa netizen menyatakan bahawa ia agak seperti "penggantian" ejen LangChain:

Sudahkah anda mencuba kedua-dua alat ini? Mana satu yang anda rasa lebih berguna?

Pautan rujukan: [1]https://twitter.com/huggingface/status/1656334778407297027[2]https://huggingface.co/docs/transformers/transformers_agents

Atas ialah kandungan terperinci Biarkan ChatGPT memanggil 100,000+ model AI sumber terbuka! Ciri baharu HuggingFace sedang berkembang pesat: model besar boleh diambil dan digunakan sebagai alat AI berbilang modal. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!