Kawal lebih daripada 100,000 model AI dengan satu klik, HuggingFace mencipta 'APP Store” untuk model seperti ChatGPT

Daripada berbual kepada pengaturcaraan kepada menyokong pelbagai pemalam, ChatGPT yang berkuasa telah lama tidak lagi menjadi pembantu perbualan yang mudah, tetapi telah bergerak ke arah "pengurusan" dunia AI.

Pada 23 Mac, OpenAI mengumumkan bahawa ChatGPT mula menyokong pelbagai pemalam pihak ketiga, seperti artifak sains dan kejuruteraan Wolfram Alpha yang terkenal. Dengan bantuan artifak ini, ChatGPT, yang asalnya ayam dan arnab dalam sangkar yang sama, menjadi pelajar terbaik dalam sains dan kejuruteraan. Ramai orang di Twitter mengulas bahawa pelancaran pemalam ChatGPT kelihatan sedikit seperti pelancaran iPhone App Store pada tahun 2008. Ini juga bermakna bahawa chatbots AI sedang memasuki peringkat evolusi baharu - peringkat "aplikasi meta".

Susulan itu, pada awal April, penyelidik dari Universiti Zhejiang dan Microsoft Asia Research mencadangkan kaedah yang dipanggil "HuggingGPT" " Kaedah penting boleh dianggap sebagai demonstrasi besar-besaran laluan di atas. HuggingGPT membolehkan ChatGPT bertindak sebagai pengawal (boleh difahami sebagai lapisan pengurusan), yang menguruskan sejumlah besar model AI lain untuk menyelesaikan beberapa tugas AI yang kompleks. Khususnya, HuggingGPT menggunakan ChatGPT untuk perancangan tugas apabila ia menerima permintaan pengguna, memilih model berdasarkan perihalan ciri yang tersedia dalam HuggingFace, melaksanakan setiap subtugas dengan model AI yang dipilih dan mengagregatkan respons berdasarkan hasil pelaksanaan.

Pendekatan ini boleh menampung banyak kelemahan model besar semasa, seperti modaliti terhad yang boleh diproses dan dalam beberapa aspek tidak sebaik model profesional.

Walaupun model HuggingFace dijadualkan, HuggingGPT bukanlah produk rasmi HuggingFace. Tadi, HuggingFace akhirnya mengambil tindakan.

Sama seperti HuggingGPT, mereka telah melancarkan API baharu - Ejen HuggingFace Transformers. Melalui Ejen Transformers, anda boleh mengawal lebih daripada 100,000 model Hugging Face untuk menyelesaikan pelbagai tugas berbilang modal.

Dalam contoh di bawah, anda mahu Ejen Transformers menerangkan dengan lantang perkara yang digambarkan pada gambar. Ia akan cuba memahami arahan anda (Baca dengan kuat kandungan imej), kemudian tukarkannya menjadi gesaan, dan pilih model dan alatan yang sesuai untuk menyelesaikan tugasan yang anda tentukan.

Saintis AI NVIDIA Jim Fan mengulas: Hari ini akhirnya tiba, dan ini merupakan langkah penting ke arah "APP Semuanya".

Walau bagaimanapun, sesetengah orang mengatakan bahawa ini tidak sama dengan lelaran automatik AutoGPT Ia lebih kepada menghapuskan keperluan untuk menulis segera dan secara manual menyatakan langkah-langkah alat ini, masih terlalu awal untuk APP Master of All Things.

Alamat Agen Transformers: https://huggingface.co/docs/transformers/transformers_agents

Bagaimana untuk menggunakan Ejen Transformers?

Pada masa yang sama dengan keluaran, HuggingFace mengeluarkan alamat Colab dan sesiapa sahaja boleh mencubanya:

https://huggingface . co/docs/transformers/en/transformers_agents

Ringkasnya, ia menyediakan API bahasa semula jadi di atas transformer: mula-mula tentukan set alatan yang dipilih susun dan Ejen direka untuk mentafsir bahasa semula jadi dan menggunakan alat ini.

Tambahan pula, Ejen Transformers direka bentuk untuk diperluaskan.

Pasukan telah mengenal pasti satu set alat yang boleh diwakilkan kepada ejen, berikut ialah senarai alatan yang telah disepadukan:

• Soal Jawab Dokumentasi: Memandangkan dokumen Format imej (seperti PDF), jawab soalan tentang dokumen (Donut)
• Teks Soal Jawab: Memandangkan teks panjang dan soalan, jawab soalan dalam teks (Flan -T5 )
• Kapsyen Imej Tanpa Syarat: Tambahkan kapsyen pada imej (BLIP)
• Soal Jawab Imej: Diberikan imej, jawab soalan tentang masalah Imej ini (VILT)
• Pembahagian imej: diberi imej dan gesaan, keluarkan topeng pembahagian gesaan (CLIPSeg)
• Teks-ke-ucapan Suara: Diberikan rakaman seseorang bercakap, transkripsikan ucapan itu ke dalam teks (Bisikan)
• Teks-ke-ucapan: Tukar teks kepada ucapan (SpeechT5)
• Klasifikasi teks tangkapan sifar: diberi teks dan senarai teg, tentukan teg mana yang paling sepadan dengan teks (BART)
• Ringkasan teks: ringkaskan dalam satu atau beberapa ayat Teks panjang (BART)
• Terjemahan: Terjemah teks ke dalam bahasa tertentu (NLLB)

Alat ini disepadukan dalam transformer, yang juga boleh digunakan secara manual:

<code>from transformers import load_tooltool = load_tool("text-to-speech")audio = tool("This is a text to speech tool")</code>

Pengguna juga boleh menolak kod alat ke Hugging Face Space atau repositori model untuk menggunakan alat terus melalui ejen, seperti:

• Pemuat turun teks: muat turun teks daripada URL web
• Teks ke imej: jana imej mengikut gesaan, menggunakan Resapan Stabil
• Penukaran imej: ubah suai imej yang diberikan imej awal dan gesaan, menggunakan arahan resapan stabil pix2pix
• Teks kepada video: dijana mengikut gesaan Video pendek, menggunakan damo-vilab

Untuk permainan tertentu, mari kita lihat beberapa contoh HuggingFace:

Jana penerangan imej :

<code>agent.run("Caption the following image", image=image)</code>

Baca teks:

<code>agent.run("Read the following text out loud", text=text)</code>

Input: Seekor memerang sedang berenang di dalam air

Output:

tts_exampleAudio: 00:0000:01

Baca Fail:

Sebelum menjalankan agent.run, anda perlu membuat contoh model bahasa yang besar ejen. Ia menyokong model OpenAI dan model sumber terbuka seperti BigCode dan OpenAssistant.

Mula-mula, sila pasang add-on ejen untuk memasang semua kebergantungan lalai:

<code>pip install transformers[agents]</code>

Untuk menggunakan model openAI, anda perlu memasang kebergantungan selepas Instantiate openai "OpenAiAgent":

<code>pip install openaifrom transformers import OpenAiAgentagent = OpenAiAgent(model="text-davinci-003", api_key="<your_api_key>")</your_api_key></code>

Untuk menggunakan BigCode atau OpenAssistant, log masuk dahulu untuk mengakses API inferens:

<code>from huggingface_hub import loginlogin("<your_token>")</your_token></code>

Kemudian, ejen contoh:

<code>from transformers import HfAgentStarcoderagent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoder")StarcoderBaseagent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoderbase")OpenAssistantagent = HfAgent(url_endpoint="https://api-inference.huggingface.co/models/OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5")</code>

Jika pengguna mempunyai titik akhir inferens sendiri untuk model ini (atau model lain), dia boleh menggantikan URL di atas dengan titik akhir URLnya sendiri.

接下来，我们了解一下 Transformers Agents 提供的两个 API：

单次执行

单次执行是在使用智能体的 run () 方法时：

<code>agent.run("Draw me a picture of rivers and lakes.")</code>

它会自动选择适合要执行的任务的工具并适当地执行，可在同一指令中执行一项或多项任务（不过指令越复杂，智能体失败的可能性就越大）。

<code>agent.run("Draw me a picture of the sea then transform the picture to add an island")</code>

每个 run () 操作都是独立的，因此可以针对不同的任务连续运行多次。如果想在执行过程中保持状态或将非文本对象传递给智能体，用户可以通过指定希望智能体使用的变量来实现。例如，用户可以生成第一张河流和湖泊图像，并通过执行以下操作要求模型更新该图片以添加一个岛屿：

<code>picture = agent.run("Generate a picture of rivers and lakes.")updated_picture = agent.run("Transform the image in picture to add an island to it.", picture=picture)</code>

当模型无法理解用户的请求并混合使用工具时，这会很有帮助。一个例子是：

<code>agent.run("Draw me the picture of a capybara swimming in the sea")</code>

在这里，模型可以用两种方式解释：

• 让 text-to-image 水豚在海里游泳
• 或者，生成 text-to-image 水豚，然后使用 image-transformation 工具让它在海里游泳

如果用户想强制执行第一种情况，可以通过将 prompt 作为参数传递给它来实现：

<code>agent.run("Draw me a picture of the prompt", prompt="a capybara swimming in the sea")</code>

基于聊天的执行 

智能体还有一种基于聊天的方法：

<code>agent.chat("Generate a picture of rivers and lakes")</code>

<code>agent.chat ("Transform the picture so that there is a rock in there")</code>

这是一种可以跨指令保持状态时。它更适合实验，但在单个指令上表现更好，而 run () 方法更擅长处理复杂指令。如果用户想传递非文本类型或特定 prompt，该方法也可以接受参数。

Atas ialah kandungan terperinci Kawal lebih daripada 100,000 model AI dengan satu klik, HuggingFace mencipta 'APP Store” untuk model seperti ChatGPT. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!