Saya Menjalankan GPT Chatbot Tersuai dalam Windows: Inilah Sebab dan Cara Melakukannya

Terdapat beberapa kelebihan untuk menjalankan bot sembang GPT/AI pada komputer anda sendiri daripada mengaksesnya di Internet. Kami akan menunjukkan sebab anda mungkin mahu, dan cara paling mudah untuk menyediakannya pada Windows.

Mengapa Anda Mahukan AI Chatbot Tempatan Anda Sendiri?

Walaupun chatbot AI dalam talian seperti ChatGPT adalah dominan, dengan akses kepada sejumlah besar data latihan dan maklumat terkini, terdapat beberapa sebab anda mungkin mahu menjalankan chatbot tempatan anda sendiri pada komputer Windows anda.

Menjalankan alatan AI anda sendiri secara tempatan adalah percuma, dan datang tanpa sekatan alatan dalam talian: Tiada penapisan, dan anda boleh memuatkan apa-apa model pembelajaran mesin, menyesuaikan tindak balas dan tingkah laku mereka, serta memberikan sebarang segera, semuanya tanpa sekatan (dan dalam privasi total). Ini juga merupakan cara yang baik untuk mendapatkan pemahaman tentang cara alat AI model bahasa besar (LLM) moden berfungsi di bawah hud, terutamanya jika anda ingin memasuki industri AI atau teknologi.

Anda boleh mencari model untuk apa sahaja, daripada interaksi watak fiksyen, kepada pengaturcaraan, kepada pengetahuan am dan banyak kes penggunaan lain yang mungkin tidak meliputi model dalam talian yang lebih umum.

Cara Menghoskan Bot Chat GPT Tempatan Anda Sendiri pada Windows

Tutorial ini akan menggunakan text-generation-web-ui-docker, antara muka sumber terbuka untuk model bahasa yang besar, yang memudahkan pemasangan dan penggunaan LLM.

text-generation-web-ui-docker menggabungkan projek text-generation-web-ui menggunakan Docker, yang menghilangkan keperluan untuk memasang dan mengurus semua kebergantungan kompleks yang biasanya diperlukan oleh alatan AI tempatan dengan menyimpan segala-galanya dalam bekas yang berasingan untuk sistem anda. Satu-satunya perkara yang anda perlukan untuk menjalankan chatbot tempatan anda ialah PC Windows yang menyokong Docker berjalan menggunakan Windows Subsystem untuk Linux (WSL). Anda juga memerlukan GPU yang agak terkini, sebaik-baiknya daripada NVIDIA, untuk keserasian maksimum.

Langkah 1: Pasang Docker dan Aplikasi Terminal Windows

Bekas Docker adalah serupa dengan mesin maya kerana ia mengandungi keseluruhan sistem berjalan, tetapi ia lebih ringan dan sesuai untuk mengedarkan aplikasi dan semua keperluannya dalam satu , himpunan mudah dipasang. Untuk menjalankan text-generation-web-ui-docker dalam Docker, muat turun dan pasang Docker pada sistem Windows anda.

Docker boleh berjalan pada Windows dalam salah satu daripada dua cara: mod WSL atau Hyper-V. WSL disyorkan untuk kebanyakan pengguna, jadi anda mungkin perlu mendayakannya sebelum memasang Docker.

Anda juga disyorkan untuk memasang apl Windows Terminal, kerana ia menyediakan antara muka yang mudah untuk WSL, PowerShell dan baris arahan Windows.

Langkah 2: Muat turun Repositori GitHub UI Web Penjanaan Teks

Untuk memuat turun text-generation-web-ui-docker, lawati halaman GitHubnya. Anda boleh memuat turun fail ".zip" yang mengandungi semua fail yang anda perlukan dengan mengklik pada butang "Kod" hijau dan kemudian mengklik pada "Muat Turun Zip" daripada menu lungsur turun.

Tangkapan skrin di bawah menunjukkan kepada anda tempat untuk mencari ini pada halaman GitHub.

Brad Morton / How-To Geek

Ekstrak fail ZIP yang dimuat turun ke dalam foldernya sendiri, dan kemudian buka folder yang mengandungi fail yang dinyahzip. Jangan terlalu risau tentang kandungan folder ini: ia adalah semua bahagian bergerak untuk AI chatbot anda, tetapi Docker akan menguruskan segala-galanya untuk anda.

Langkah 3: Lancarkan UI Web Penjanaan Teks

Sebelum anda melancarkan text-generation-web-ui-docker, anda perlu memastikan ia dikonfigurasikan untuk perkakasan PC anda. Edit fail docker-compose.yml untuk menentukan varian yang sepadan dengan perkakasan anda: default-nvidia atau default-cpu (jika anda tidak mempunyai GPU yang serasi).

Brad Morton / How-To Geek

Kemudian, masih dalam folder yang mengandungi fail yang dimuat turun dan diekstrak, klik kanan pada ruang kosong dan klik "Buka dalam Terminal" untuk membuka direktori dalam tetingkap PowerShell baharu.

Brad Morton / How-To Geek

Pastikan Docker Desktop berjalan sebelum menaip arahan Docker berikut ke dalam tetingkap Terminal:

docker compose up -d

Perintah ini akan melakukan perkara berikut:

• Melaksanakan karang buruh pelabuhan, program yang menguruskan aplikasi Docker
• Mulakan bekas menggunakan arahan atas
• Jalankan bekas di latar belakang (dipanggil mod tertanggal, yang ditentukan oleh -d) Brad Morton / How-To Geek

  Jika anda belum menjalankan arahan ini sebelum ini dan aplikasi perlu dimuat turun (ditarik), anda mungkin perlu pergi dan membuat secawan teh, kerana ia mungkin mengambil sedikit masa. Setelah arahan selesai berjalan dengan jayanya, anda akan melihat bahawa bekas Docker generasi teks-web-ui-docker telah dibuat dan dimulakan.

  Brad Morton / How-To Geek

  Bekas yang sedang berjalan juga akan muncul dalam Docker Desktop, di mana anda boleh berhenti, memulakan dan mengurusnya.

  Brad Morton / How-To Geek

  Langkah 4: Pasang Model GPT-2 Dari OpenAI

  Sebaik sahaja text-generation-web-ui-docker siap dan berjalan di Docker, anda boleh mengaksesnya dengan menaip alamat http: //localhost:7860 ke dalam bar alamat penyemak imbas anda. Localhost ialah alamat yang komputer anda gunakan untuk mengakses perkhidmatan yang dijalankannya sendiri, setiap satunya diberikan nombor port unik (dalam kes ini 7860). Anda boleh melihat port yang disediakan oleh bekas Docker yang sedang berjalan pada localhost dengan membukanya dalam desktop Docker.

  Ini ialah versi GPT yang lebih lama daripada yang anda dapat apabila anda menggunakan ChatGPT di internet. Akibatnya, ia tidak akan menjadi pintar atau seintuitif seperti yang anda jangkakan, tetapi ia boleh disesuaikan dan peribadi.

  Navigasi ke tab Model dalam antara muka web dan masukkan openai-community/gpt2 ke dalam kotak "Muat turun model atau LoRA", dan kemudian klik butang Muat Turun. Ini mungkin mengambil masa beberapa minit.

  Brad Morton / How-To Geek

  Klik ikon Muat Semula di bahagian atas sebelah kiri, kemudian pilih openai-community/gpt2 yang baru dimuat turun daripada menu lungsur turun Model bersebelahan. Akhir sekali, klik butang "Muat", dan tunggu beberapa minit sehingga anda melihat mesej kejayaan.

  Brad Morton / How-To Geek

  Model ini berfungsi di luar kotak dan tidak memerlukan sebarang pendaftaran. Apabila anda memasuki AI dan ingin bereksperimen dengan model dan alatan AI yang berbeza, anda boleh mendapatkan lebih banyak lagi di HuggingFace.

  Langkah 5: Mula Menggunakan GPT AI Chatbot Tersuai Anda

  Ini tidak seperti chatbot AI yang biasa anda gunakan dalam talian, yang telah disediakan untuk kegunaan umum yang merangkumi banyak situasi. Anda perlu memberitahu model bagaimana untuk berkelakuan sebelum berinteraksi dengannya, jika tidak, outputnya akan menjadi sedikit... tidak berengsel.

  Brad Morton / How-To Geek

  Hoo budak lelaki, sementara ia mendapat jawapan yang betul, chatbot AI ini memerlukan sedikit penalaan. pertama, tetapi dengan latihan dan pengalaman, anda boleh membina chatbot yang khusus untuk penggunaan anda sendiri, dan yang menyimpan data anda 100% pada komputer anda sendiri, yang bagus untuk perniagaan dan kes penggunaan sulit yang lain. Untuk mengetahui cara mengkonfigurasi dan melatih bot sembang GPT tempatan anda, lihat dokumentasi penjanaan teks-web-ui dan dokumen OpenAI GP2 pada HuggingFace.

  Jika anda ingin menjana imej menggunakan AI daripada PC Windows anda, anda boleh menggunakan Fooocus untuk mendapatkan hasil yang lebih mudah dan segera.

Atas ialah kandungan terperinci Saya Menjalankan GPT Chatbot Tersuai dalam Windows: Inilah Sebab dan Cara Melakukannya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!