Eksperimen dengan antara muka AI Chainlit dengan RAG pada Upsun

Chainlit: Rangka Kerja AI Perbualan Boleh Skala

Chainlit ialah rangka kerja Python tak segerak sumber terbuka yang direka untuk membina aplikasi AI perbualan yang teguh dan berskala. Ia menawarkan asas yang fleksibel, membolehkan pembangun menyepadukan API luaran, logik tersuai dan model tempatan dengan lancar.

Tutorial ini menunjukkan dua pelaksanaan Retrieval Augmented Generation (RAG) dalam Chainlit:

1. Memanfaatkan Pembantu OpenAI dengan dokumen yang dimuat naik.
2. Menggunakan llama_index dengan folder dokumen setempat.

Persediaan Rantaian Tempatan

Persekitaran Maya

Buat persekitaran maya:

mkdir chainlit && cd chainlit
python3 -m venv venv
source venv/bin/activate

Pasang Ketergantungan

Pasang pakej yang diperlukan dan simpan kebergantungan:

pip install chainlit
pip install llama_index  # For implementation #2
pip install openai
pip freeze > requirements.txt

Cahaya Rantai Ujian

Mulakan Chainlit:

chainlit hello

Akses pemegang tempat di https://www.php.cn/link/2674cea93e3214abce13e072a2dc2ca5

Pengedaran Upsun

Permulaan Git

Memulakan repositori Git:

git init .

Buat fail .gitignore:

<code>.env
database/**
data/**
storage/**
.chainlit
venv
__pycache__</code>

Penciptaan Projek Upsun

Buat projek Upsun menggunakan CLI (ikut gesaan). Upsun akan mengkonfigurasi repositori jauh secara automatik.

Tatarajah

Contoh konfigurasi Upsun untuk Chainlit:

applications:
  chainlit:
    source:
      root: "/"
    type: "python:3.11"
    mounts:
      "/database":
        source: "storage"
        source_path: "database"
      ".files":
        source: "storage"
        source_path: "files"
      "__pycache__":
        source: "storage"
        source_path: "pycache"
      ".chainlit":
        source: "storage"
        source_path: ".chainlit"
    web:
      commands:
        start: "chainlit run app.py --port $PORT --host 0.0.0.0"
      upstream:
        socket_family: tcp
      locations:
        "/":
          passthru: true
        "/public":
          passthru: true
    build:
      flavor: none
    hooks:
      build: |
        set -eux
        pip install -r requirements.txt
      deploy: |
        set -eux
      # post_deploy: |
routes:
  "https://{default}/":
    type: upstream
    upstream: "chainlit:http"
  "https://www.{default}":
    type: redirect
    to: "https://{default}/"

Tetapkan OPENAI_API_KEY pembolehubah persekitaran melalui Upsun CLI:

upsun variable:create env:OPENAI_API_KEY --value=sk-proj[...]

Pengerahan

Komit dan gunakan:

git add .
git commit -m "First chainlit example"
upsun push

Semak status penempatan. Penggunaan yang berjaya akan menunjukkan Chainlit berjalan pada persekitaran utama anda.

Pelaksanaan 1: Pembantu OpenAI & Fail Dimuat Naik

Pelaksanaan ini menggunakan pembantu OpenAI untuk memproses dokumen yang dimuat naik.

Penciptaan Penolong

Buat pembantu OpenAI baharu pada Platform OpenAI. Tetapkan arahan sistem, pilih model (dengan format respons teks) dan pastikan suhu rendah (cth., 0.10). Salin ID pembantu (asst_[xxx]) dan tetapkannya sebagai pembolehubah persekitaran:

upsun variable:create env:OPENAI_ASSISTANT_ID --value=asst_[...]

Muat Naik Kandungan

Muat naik dokumen anda (Markdown diutamakan) kepada pembantu. OpenAI akan mencipta kedai vektor.

Logik Penolong (app.py)

Ganti app.py kandungan dengan kod yang disediakan. Bahagian penting: @cl.on_chat_start mencipta urutan OpenAI baharu dan @cl.on_message menghantar mesej pengguna ke urutan dan menstrimkan respons.

Komit dan gunakan perubahan. Uji pembantu.

Pelaksanaan 2: OpenAI llama_index

Pelaksanaan ini menggunakan llama_index untuk pengurusan pengetahuan tempatan dan OpenAI untuk penjanaan respons.

Penciptaan Cawangan

Buat cawangan baharu:

mkdir chainlit && cd chainlit
python3 -m venv venv
source venv/bin/activate

Penciptaan dan Lekapan Folder

Buat folder data dan storage. Tambahkan pelekap pada konfigurasi Upsun.

Kemas Kini app.py

Kemas kini app.py dengan kod llama_index yang disediakan. Kod ini memuatkan dokumen, mencipta VectorStoreIndex dan menggunakannya untuk menjawab pertanyaan melalui OpenAI.

Letakkan persekitaran baharu dan muat naik folder data. Uji aplikasi.

Bonus: Pengesahan

Tambahkan pengesahan menggunakan pangkalan data SQLite.

Persediaan Pangkalan Data

Buat folder database dan tambah pelekap pada konfigurasi Upsun. Cipta pembolehubah persekitaran untuk laluan pangkalan data:

pip install chainlit
pip install llama_index  # For implementation #2
pip install openai
pip freeze > requirements.txt

Logik Pengesahan (app.py)

Tambah logik pengesahan pada app.py menggunakan @cl.password_auth_callback. Ini menambah borang log masuk.

Buat skrip untuk menjana kata laluan cincang. Tambahkan pengguna ke pangkalan data (menggunakan kata laluan cincang). Gunakan pengesahan dan log masuk ujian.

Kesimpulan

Tutorial ini menunjukkan penggunaan aplikasi Chainlit pada Upsun dengan dua pelaksanaan dan pengesahan RAG. Seni bina yang fleksibel membolehkan pelbagai penyesuaian dan penyepaduan.

Atas ialah kandungan terperinci Eksperimen dengan antara muka AI Chainlit dengan RAG pada Upsun. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!