> SQL是数据库管理的基石,可实现有效的数据存储,检索和操纵。 它的广泛采用源于其在处理大量数据集中的简单性和有效性。但是,不断发展的数据格局引入了新的挑战。
人工智能和大语言模型(LLM)的兴起提供了强大的工具,但是与它们进行互动可能很麻烦。 这是lmql进入的地方。
LMQL由SRI实验室开发,LMQL充当开发人员和LLM之间的桥梁。 它将SQL的结构化查询能力带入了语言模型的世界,简化了互动并提高效率。此教程封面:
什么是lmql?
llms excel在问题回答和代码生成等任务上,基于输入概率生成逻辑序列。 LMP通过使用语言说明或示例来触发任务来利用此功能。 高级技术甚至允许用户,模型和外部工具之间进行交互。
挑战在于为特定任务实现最佳性能或量身定制LLM,通常需要复杂的,特定于任务的程序,这些程序仍可能取决于临时交互。 LMQL通过提供文本提示和脚本的直观混合来解决此问题,从而使用户能够在LLM输出上定义约束。为什么使用lmql?
>虽然可以从概念上提示现代LLM,从而最大程度地发挥其潜力并适应新模型,需要深入了解其内部工作和供应商特定的工具。 由于令牌化,诸如将输出限制为特定单词或短语的任务可能很复杂。 此外,使用LLM,无论是在本地还是通过API,由于其尺寸而昂贵。LMQL减轻这些问题。它通过利用预定义的行为和搜索约束来减少LLM调用。 它还简化了提示技术,通常涉及用户和模型或专用接口之间的迭代通信。 LMQL的约束功能对于生产环境至关重要,可确保可预测且可加工的产出。 例如,在情感分析中,LMQL可确保像“正”,“负”或“中性”之类的一致输出,而不是更多的冗长,不容易解析的响应。 人类可读的约束取代了直接与模型令牌一起使用的需求。
>
>设置LMQL本地安装很简单:
用于使用pytorch> = 1.11:
pip install lmql建议使用虚拟环境。
>
存在运行LMQL程序的三种方法:pip install lmql[hf]
>
>游乐场:
lmql playground
import lmql run
启动LMQL推理API
.lmql
理解LMQL语法lmql
lmql.run
查询:@lmql.query
用户和LLM之间的主要通信方法。 用于生成的文本,>
lmql serve-model
[varname]
> LMQL限制和社区支持{varname}
LMQL的相对新颖性导致了一个小社区和不那么全面的文档。 OpenAI API的限制还限制了某些模型(例如ChatGpt)的全面利用。 但是,正在进行的发展有望得到改进。以上是LMQL简介:SQL和大语言模型之间的桥梁的详细内容。更多信息请关注PHP中文网其他相关文章!