在Sqlite中检索增强发电

这个分为两部分的系列使用SQLite进行机器学习探索。 上一篇文章讨论了SQLite在生产就绪的Web应用程序中的越来越多的作用。本文着重于使用sqlite实施检索功能。

>

>用于使用生成AI的自定义Web应用程序，请访问losangelesaiapps.com >

代码可用

>在此处。。

传统的抹布实施通常涉及：

>在抹布上搜索教程。
选择一个流行的框架（Langchain，LlamainDex）。
2. 选择一个云向量数据库（Pinecone，Weaviate）。
>
3. 集成这些组件。
有效，这种方法可能过于复杂，尤其是对于初学者而言。 本文使用SQLITE和

扩展和OpenAI API演示了一种更简单的方法。 本系列的第1部分提供了SQLite功能的详细概述。 对于本文，将SQLite的简单性视为单文件数据库就足够了。

> sqlite-vec这种方法消除了对云矢量数据库和笨重框架的需求。

>

sqlite-vec：扩展sqlite的功率

Sqlite的强度在于其可扩展性。 与Python库类似的扩展名添加了C中写入的功能。一个很好的示例是全文搜索（FTS）扩展。 添加矢量搜索功能，从而使语义理解超出关键字匹配。 寻找“马”可能会返回“马术”或“小马”。

使用虚拟表，提供：sqlite-vec

>sqlite-vec>自定义数据源：

数据可以驻留在数据库文件之外（例如，CSV，API）。

• 灵活功能：支持专业的索引和复杂的数据类型。
• >无缝集成：与标准sqlite查询语法集成。
>模块：
• 后端逻辑是在单独的模块中实现的。 使用：
>创建虚拟表
• >指定模块（在此，

）。

CREATE VIRTUAL TABLE my_table USING my_extension_module();

代码演练

my_extension_module() vec0代码（sqlite-vecrepo link

）使用

文件作为示例数据（主要是物理相关）。 是sqlite数据库文件。

>安装：.txtmy_docs.db>列出了必要的库（

，

，
1. ）。创建一个虚拟环境并运行

   requirements.txt sqlite-vec>openaiopenai api键：python-dotenv获取openai api键。pip install -r requirements.txt

2. > 加载扩展名：python代码加载sqlite-vec>扩展名并创建一个虚拟表：

CREATE VIRTUAL TABLE my_table USING my_extension_module();

documents表存储嵌入式（embedding），fileNames（file_name）和content（content）。 表示辅助字段。

4. >>嵌入和插入：.txt代码通过
文件迭代，使用OpenAI API生成嵌入式，然后将它们插入数据库：>

db.enable_load_extension(True)
sqlite_vec.load(db)
db.enable_load_extension(False)

db.execute('''
    CREATE VIRTUAL TABLE documents USING vec0(
        embedding float[1536],
        +file_name TEXT,
        +content TEXT
    )
''')

5. rag查询：

# ... (OpenAI embedding function) ...

for file_name in os.listdir("data"):
    # ... (Open file, get content, get embedding) ...
    db.execute(
        'INSERT INTO documents (embedding, file_name, content) VALUES (?, ?, ?)',
        (serialize_float32(embedding), file_name, content)
    )
db.commit()

然后将结果用作openai聊天完成的上下文来回答查询。

>

结论

>大大简化了抹布。 它消除了对复杂框架和云服务的需求，使其具有成本效益且易于迭代。 虽然缩放可能最终需要一个更健壮的数据库，但sqlite-vec>为较小的项目提供了引人注目的解决方案。 扩展名支持多种编程语言。sqlite-vec

以上是在Sqlite中检索增强发电的详细内容。更多信息请关注PHP中文网其他相关文章！