MLC LLM: Chatbot AI sumber terbuka yang menyokong operasi luar talian dan sesuai untuk komputer dan iPhone dengan kad grafik bersepadu.

Berita pada 2 Mei, kebanyakan bot sembang AI pada masa ini perlu disambungkan ke awan untuk diproses, malah mereka yang boleh dijalankan secara tempatan mempunyai keperluan konfigurasi yang sangat tinggi. Jadi adakah terdapat chatbots ringan yang tidak memerlukan sambungan internet?

Projek sumber terbuka baharu yang dipanggil MLC LLM telah dilancarkan di GitHub Ia berjalan sepenuhnya secara tempatan tanpa memerlukan sambungan Internet malah boleh dijalankan pada komputer lama dan telefon mudah alih Apple .

Pengenalan projek MLC LLM menyatakan: "MLC LLM ialah penyelesaian universal yang membenarkan mana-mana model bahasa digunakan secara tempatan pada set bahagian belakang perkakasan dan aplikasi asli yang berbeza Secara pemprograman, terdapat juga merupakan rangka kerja yang cekap untuk semua orang untuk terus mengoptimumkan prestasi model untuk kes penggunaan mereka sendiri Semuanya berjalan secara tempatan tanpa sokongan pelayan dan dipercepatkan oleh GPU tempatan pada telefon mudah alih dan komputer riba Semua orang boleh membangunkan, mengoptimumkan dan menggunakan model AI secara setempat pada peranti mereka. ”

▲ Demo rasmi projek MLC LLM

Pertanyaan IT House Penemuan halaman GitHub , pembangun projek ini berasal dari Program Catalyst Carnegie Mellon University, SAMPL Kumpulan Penyelidikan Pembelajaran Mesin, Universiti Washington, Universiti Shanghai Jiao Tong, OctoML, dsb. Mereka juga mempunyai program yang dipanggil Web LLM

▲ MLC ialah singkatan daripada Machine Learning Compilation

MLC LLM menggunakan Vicuna-7B-V1.1, kemudian Ia adalah LLM ringan berdasarkan LLaMA Meta Walaupun kesannya tidak sebaik GPT3.5 atau GPT4, ia lebih menguntungkan dari segi saiz.

Pada masa ini, MLC LLM tersedia untuk platform Windows, Linux, macOS dan iOS Tiada versi tersedia untuk

Android lagi.

Menurut ujian oleh tomshardware media asing, telefon Apple

iPhone 14 Pro Max dan iPhone 12 Pro Max dengan memori 6GB berjaya menjalankan MLC LLM, dengan saiz pemasangan 3GB. Apple iPhone 11 Pro Max dengan memori 4GB tidak boleh menjalankan MLC LLM.

▲ Perisian tomshardware sumber gambar

Selain itu, ThinkPad X1 Carbon (generasi ke-6) turut diuji dengan jayanya menjalankan MLC LLM, iaitu model yang dilengkapi dengan i7- 8550U Buku nota dengan pemproses, tiada kad grafik diskret dan GPU Intel UHD 620. MLC LLM perlu dijalankan melalui baris arahan pada platform PC Prestasi ujian media asing adalah purata, masa tindak balas mengambil masa hampir 30 saat, dan hampir tiada keupayaan dialog yang berterusan versi.

▲ Sumber gambar tomshardware

Halaman GitHub MLC LLM:

Klik di sini untuk melihat

Atas ialah kandungan terperinci MLC LLM: Chatbot AI sumber terbuka yang menyokong operasi luar talian dan sesuai untuk komputer dan iPhone dengan kad grafik bersepadu.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!