Pengenalan kepada LMQL: Jambatan Antara SQL dan Model Bahasa Besar

SQL, bahasa pertanyaan berstruktur, adalah asas pengurusan pangkalan data, membolehkan penyimpanan data yang cekap, pengambilan, dan manipulasi. Adopsi yang meluasnya berpunca daripada kesederhanaan dan keberkesanannya dalam mengendalikan dataset yang luas. Walau bagaimanapun, landskap data yang berkembang memperkenalkan cabaran baru.

Kebangkitan kecerdasan buatan dan model bahasa yang besar (LLMS) membentangkan alat yang berkuasa, tetapi berinteraksi dengan mereka boleh menjadi rumit. Di sinilah langkah LMQL masuk.

dibangunkan oleh makmal SRI di ETH Zürich, LMQL bertindak sebagai jambatan antara pemaju dan LLM. Ia membawa kuasa pertanyaan berstruktur SQL ke dunia model bahasa, memperkemas interaksi dan meningkatkan kecekapan.

Tutorial ini merangkumi:

Apa itu lmql?
mengapa menggunakan lmql?
Menyediakan LMQL
Aplikasi LMQL praktikal
batasan LMQL
Amalan Terbaik

Apa itu lmql?

LMQL, atau bahasa pertanyaan model bahasa, adalah bahasa pengaturcaraan baru yang direka untuk LLMS. Ia menggabungkan ciri-ciri seperti SQL deklaratif dengan sintaks skrip penting, yang menawarkan pendekatan yang lebih berstruktur untuk pengekstrakan maklumat dan penjanaan tindak balas dari LLMS.

yang penting, LMQL memanjangkan Python, menambah fungsi baru dan mengembangkan keupayaannya. Ini membolehkan pemaju untuk mencipta bahasa semulajadi menggabungkan teks dan kod, meningkatkan fleksibiliti pertanyaan dan ekspresi. Sebagai penciptanya menyatakan, LMQL dengan lancar mengintegrasikan interaksi LLM ke dalam kod program, bergerak melampaui templat tradisional. Ia diperkenalkan dalam kertas penyelidikan, "Menggalakkan adalah pengaturcaraan: bahasa pertanyaan untuk model bahasa yang besar," sebagai penyelesaian untuk "model bahasa yang mendorong" (LMP).

LLMS Excel pada tugas seperti menjawab soalan dan penjanaan kod, menghasilkan urutan logik berdasarkan kebarangkalian input. LMP memanfaatkan ini dengan menggunakan arahan bahasa atau contoh untuk mencetuskan tugas. Teknik lanjutan juga membolehkan interaksi antara pengguna, model, dan alat luaran.

Cabaran terletak pada mencapai prestasi yang optimum atau menyesuaikan LLM untuk tugas-tugas tertentu, sering memerlukan program khusus yang kompleks, yang mungkin masih bergantung kepada interaksi ad-hoc. LMQL menangani ini dengan menyediakan gabungan intuitif teks yang mendorong dan skrip, membolehkan pengguna menentukan kekangan pada output LLM.

mengapa menggunakan lmql?

Walaupun LLM moden boleh diminta secara konseptual, memaksimumkan potensi mereka dan menyesuaikan diri dengan model baru memerlukan pemahaman yang mendalam tentang kerja dalaman mereka dan alat khusus vendor. Tugas -tugas seperti mengehadkan output ke perkataan atau frasa tertentu boleh menjadi rumit kerana tokenisasi. Tambahan pula, menggunakan LLMS, sama ada secara tempatan atau melalui API, mahal kerana saiznya.

LMQL mengurangkan isu -isu ini. Ia mengurangkan panggilan LLM dengan memanfaatkan tingkah laku yang telah ditetapkan dan kekangan carian. Ia juga memudahkan teknik -teknik yang sering melibatkan komunikasi berulang antara pengguna dan model atau antara muka khusus. Keupayaan kekangan LMQL adalah penting untuk persekitaran pengeluaran, memastikan output yang boleh diramal dan boleh diproses. Sebagai contoh, dalam analisis sentimen, LMQL memastikan output yang konsisten seperti "positif," "negatif," atau "neutral," daripada lebih banyak verbose, kurang mudah dihuraikan respons. Kekangan yang boleh dibaca manusia menggantikan keperluan untuk bekerja dengan token model secara langsung.

Menyediakan LMQL

LMQL boleh dipasang secara tempatan atau diakses melalui IDE Playground dalam talian. Pemasangan tempatan diperlukan untuk model host sendiri menggunakan transformer atau llama.cpp.

persediaan pemasangan dan persekitaran

pemasangan tempatan adalah mudah:

pip install lmql

untuk sokongan GPU dengan pytorch & gt; = 1.11:

pip install lmql[hf]

Menggunakan persekitaran maya disyorkan.

tiga cara untuk menjalankan program LMQL wujud:

1. Playground: lmql playground Melancarkan IDE berasaskan pelayar (memerlukan Node.js). Akses melalui https://www.php.cn/link/4A914E5C38172AE9B61780FFBD0B2F90 Jika tidak dilancarkan secara automatik.
command-line:
2. Melaksanakan fail Integrasi python Python: lmql run import .lmql dan gunakan
atau penghias
3. . lmql Apabila menggunakan model pengubah tempatan di taman permainan atau baris arahan, lancarkan API Inference LMQL menggunakan lmql.run. @lmql.query
Memahami sintaks LMQL

Program LMQL mempunyai lima bahagian utama: lmql serve-model

pertanyaan:

Kaedah komunikasi utama antara pengguna dan LLM. Menggunakan

untuk teks yang dihasilkan dan

untuk pengambilan semula berubah -ubah.
• Decoder: [varname] Menentukan algoritma penyahkodan (mis., Carian rasuk). Boleh ditakrifkan dalam pertanyaan atau luaran (dalam python). {varname}
• Model: LMQL menyokong pelbagai model (OpenAI, Llama.cpp, Transformers Huggingface). Model dimuatkan menggunakan , dan diserahkan kepada pertanyaan sama ada secara luaran atau menggunakan klausa
.
• lmql.model(...) Pengagihan: from mentakrifkan format dan struktur output.
• batasan LMQL dan sokongan komuniti
kebaruan relatif LMQL membawa kepada komuniti kecil dan dokumentasi yang kurang komprehensif. Batasan dengan API OpenAI juga menyekat penggunaan penuh dengan model tertentu seperti CHATGPT. Walau bagaimanapun, pembangunan berterusan menjanjikan penambahbaikan.

• Kesimpulan

  LMQL menawarkan pendekatan yang diilhamkan oleh SQL yang kuat untuk berinteraksi dengan LLMS. Keupayaan integrasi dan kekangan Python menjadikannya alat yang berharga untuk pelbagai aplikasi. Untuk pembelajaran selanjutnya, meneroka sumber -sumber mengenai Llamaindex, alternatif ChATGPT, latihan LLM dengan pytorch, Langchain, dan API Cohere.

Atas ialah kandungan terperinci Pengenalan kepada LMQL: Jambatan Antara SQL dan Model Bahasa Besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!