Rumah >Peranti teknologi >AI >Bagaimana untuk menjalankan LLMs secara tempatan dalam 1 minit?
Mari kita lihat bagaimana untuk menjalankan LLM pada sistem anda dengan Ollama dan memeluk wajah hanya beberapa langkah mudah!
Video berikut menerangkan langkah demi langkah:
Bagaimana untuk menjalankan llm secara tempatan dalam satu minit [pemula mesra]
Pautan video
- Dylan (@dylan Ebert ) 6 Januari 2025
Pertama, cari "Ollama" pada penyemak imbas anda, muat turun dan pasang pada sistem anda.
Langkah 2: Cari sumber terbuka yang terbaik LLM
Seterusnya, cari "Ranking LLM yang memeluk" untuk mencari senarai model bahasa sumber terbuka.
Langkah 3: Tapis model berdasarkan peranti anda
Selepas melihat senarai, gunakan penapis untuk mencari model terbaik untuk persediaan anda. Sebagai contoh:
Klik pada model peringkat atas, seperti Qwen/Qwen2.5-35b . Di sudut kanan atas skrin, klik "Gunakan model ini". Walau bagaimanapun, anda tidak dapat mencari Ollama sebagai pilihan di sini.
Ini kerana Ollama menggunakan format khas yang dipanggil GGUF, yang merupakan versi yang lebih kecil, lebih cepat dan kuantitatif model.
(Nota: kuantisasi sedikit akan mengurangkan kualiti, tetapi menjadikannya lebih sesuai untuk kegunaan tempatan.)
Dapatkan model dalam format GGUF: Susun model -model ini dengan muat turun yang paling.Cari model dengan "gguf" dalam nama mereka, seperti Bartowski . Ini adalah pilihan yang baik.
Langkah 5: Muat turun dan mula menggunakan model
Salin arahan yang disediakan untuk model pilihan anda dan tampalnya ke terminal anda. Tekan kekunci "Enter" dan tunggu muat turun selesai.
Selepas muat turun selesai, anda boleh mula berbual dengan model seperti yang anda lakukan dengan LLM lain. Mudah dan menyeronokkan!
Itu sahaja! Anda kini menjalankan LLM yang kuat di dalam peranti anda. Sila beritahu saya jika langkah -langkah ini berfungsi untuk anda di bahagian komen di bawah.
Atas ialah kandungan terperinci Bagaimana untuk menjalankan LLMs secara tempatan dalam 1 minit?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!