Platform Terbuka vs Google AI Studio untuk Finetuning LLM

Model Bahasa Besar Fine-Tuning (LLMS) adalah teknik penting untuk menyesuaikan LLM untuk keperluan khusus, seperti mengamalkan gaya penulisan tertentu atau memberi tumpuan kepada domain tertentu. Openai dan Google AI Studio adalah dua platform utama yang menawarkan alat untuk tujuan ini, masing -masing dengan ciri -ciri dan aliran kerja yang berbeza. Dalam artikel ini, kami akan mengkaji bagaimana platform ini dilakukan dalam tugas-tugas penalaan, menggunakan artikel saya yang telah ditulis sebelum ini sebagai data latihan. Kami akan menilai keupayaan Platform OpenAI dan Google AI Studio untuk menyempurnakan LLM untuk menghasilkan kandungan yang mencerminkan gaya penulisan saya.

Jadual Kandungan

• Platform Terbuka
  • Penyediaan data
  • Pelaksanaan kod
  • Penalaan halus di platform terbuka
• Google AI Studio
  • Muat naik data
  • Penalaan halus di AI Studio
• Soalan yang sering ditanya

Platform Terbuka

Platform OpenAI menawarkan penyelesaian yang komprehensif untuk model penalaan halus, membolehkan pengguna menyesuaikan dan mengoptimumkannya untuk tugas-tugas tertentu. Platform ini menyokong pelbagai model, termasuk GPT-4O dan GPT-4O-Mini. OpenAI juga menyediakan panduan untuk penyediaan data, latihan model, dan penilaian. Dengan memanfaatkan platform OpenAI, pengguna dapat meningkatkan prestasi model dalam domain tertentu. Ini menjadikan mereka lebih berkesan dan cekap untuk aplikasi yang disasarkan.

Kos penalaan halus adalah seperti berikut:

Model	Harga
GPT-4O-2024-08-06	Token input $ 3.750 / 1m Token output $ 15.000 / 1m Token latihan $ 25.000 / 1m
GPT-4O-MINI-2024-07-18	Token input $ 0.300 / 1m Token output $ 1.200 / 1m Token latihan $ 3.000 / 1m

Kos kesimpulan untuk model halus adalah dua kali ganda daripada model yang sedia ada.

Penyediaan data

LLMS memerlukan data dalam format khusus untuk penalaan halus. Berikut adalah format contoh untuk model GPT-4O dan GPT-4O-MINI.

 {"Mesej": [{"Peranan": "Sistem", "Kandungan": "Marv adalah chatbot faktual yang juga sarkastik."}, {"Role": "User", "Content": "Apa Capital of France?"}, {"Role": "Pembantu"

Apabila kita menyesuaikan model, ia akan belajar untuk menghasilkan respons yang serupa dengan pembantu kandungan peranan untuk kandungan peranan pengguna yang diberikan.

Oleh kerana kami mahu model menghasilkan kandungan yang serupa dengan kami, kami harus menggunakan kandungan kami sebagai ganti kandungan pembantu.

Mari kita pertimbangkan kandungan ini dari salah satu artikel saya:

"Jadi, bukannya melintasi semua nod menggunakan graf menggunakan HNSW, kami menyetempatkan ruang carian menggunakan pokok titik dinamik dalam algoritma ini.

Gabungan ini menggunakan kedua -dua pokok dan graf menjadikannya salah satu algoritma terpantas dan paling tepat. "

Oleh kerana kita mahu LLM menjana kandungan seperti yang di atas, ia harus ditambah sebagai pembantu kandungan seperti ini:

 {"Peranan": "Pembantu", "Kandungan": "Jadi, bukannya melintasi semua nod menggunakan graf menggunakan HNSW, kami menyetempatkan ruang carian menggunakan pokok titik dinamik dalam algoritma ini.

 Gabungan ini menggunakan kedua -dua pokok dan graf menjadikannya salah satu algoritma terpantas dan paling tepat. "}

Bagi LLM untuk menjana kandungan seperti ini, ia memerlukan kandungan pengguna (iaitu prompt). Seperti yang kita tidak memilikinya, kita boleh menjana kandungan pengguna menggunakan LLM. Kandungan pengguna boleh seperti berikut:

 {"Peranan": "Pengguna", "Kandungan": "Bolehkah anda menerangkan bagaimana gabungan pokok -pokok sudut dinamik dan grafik kecil yang dilayari hierarki (HNSW) meningkatkan kecekapan dan ketepatan carian dalam algoritma?"}

Kami juga memasukkan sistem yang sesuai untuk meminta contoh untuk penalaan halus kami akan menjadi seperti berikut

 {"Mesej": [{"Peranan": "Sistem", "Kandungan": "Anda adalah pembantu yang menulis dengan gaya yang jelas, bermaklumat, dan menarik."}, {"Peranan": "Pengguna", "Kandungan" "Pembantu", "Kandungan": "Jadi, bukannya melintasi semua nod menggunakan graf menggunakan HNSW, kami melokalisasikan ruang carian menggunakan pokok titik dinamik dalam algoritma ini.

Jika kita menggunakan saiz kandungan yang kecil, mungkin model mungkin terlepas konteksnya. Kita perlu ingat ini semasa penyediaan data. Saya hanya menggunakan 38 contoh di sini, tetapi 100 hingga 500 akan lebih baik. Saya telah membuat fail 'kandungan saya.csv' di mana setiap baris mempunyai kandungan yang ditulis oleh saya di bawah nama lajur 'kandungan'.

Sekarang mari kita melalui kod untuk membuat data yang diperlukan dalam format yang betul.

Pelaksanaan kod

OpenAI Versi 1.57.0 digunakan di sini.

1. Import perpustakaan.

 dari dotenv import load_dotenv
LOAD_DOTENV ('/. env')
Import Pandas sebagai PD
import tiktoken
dari OpenAI Oped Openai

# Inisialisasi Pelanggan Terbuka
pelanggan = openai ()

2. Semak saiz token.

 df = pd.read_csv ('kandungan saya.csv')
pengekodan = tiktoken.get_encoding ('o200k_base')

total_token_count = 0
untuk saya di df ['kandungan']:
    token_count = len (encoding.encode (i))
    total_token_count = token_count

Mengira token akan membantu kami untuk menganggarkan kos penalaan halus.

3. Menjana kandungan pengguna untuk LLM .

 def Generate_USER_Content (Assistant_Response):
    
    # System_Message = {"Role": "System", "Content": "Anda adalah pembantu yang membantu. Tugas anda adalah untuk menjana pertanyaan pengguna berdasarkan respons pembantu."}
    
    System_message = {"Role": "System", "Content": "" Memandangkan Respons Pembantu, Buat Pertanyaan Pengguna atau 
    pernyataan yang secara logik akan membawa kepada respons itu. 
    Kandungan pengguna boleh dalam bentuk soalan atau permintaan untuk penjelasan yang mendorong 
    pembantu memberikan jawapan yang disediakan "" "}
    
    
    pembantu_message = {"peranan": "pembantu", "kandungan": pembantu_response}
    Mesej = [System_Message, Assistant_Message]

    response = client.chat.completions.create (
        mesej = mesej,
        Model = "GPT-4O-Mini",
        suhu = 1
    )

    user_content = response.choices [0] .message.content
    kembali user_content

Seperti yang dapat kita lihat, saya telah menyediakan kandungan yang saya tulis sebagai pembantu kandungan dan meminta LLM untuk menjana kandungan pengguna.

 user_contents = []

untuk saya di df ['kandungan']:
    user_content = Generate_user_content (i)
    user_contents.append (user_content)
    
df ['user_content'] = user_contents

Kami boleh menambah kandungan pengguna yang dihasilkan ke data data sebagai lajur. Data akan kelihatan seperti ini:

Di sini, kandungan ditulis oleh saya dan user_content dihasilkan oleh LLM untuk digunakan sebagai kandungan peranan pengguna (prompt) semasa penalaan halus.

Kami boleh menyimpan fail sekarang.

 df.to_csv ('user_content.csv', index = false)

4. Buat fail JSONL.

Sekarang kita boleh menggunakan fail CSV di atas untuk membuat fail JSONL seperti yang diperlukan untuk penalaan halus.

 mesej = pd.read_csv ('user_content.csv')
Mesej.enae (lajur = {'kandungan': 'Assistant_Content'}, Inplace = true)

dengan terbuka ('mesej_dataset.jsonl', 'w', encoding = 'utf-8') sebagai jsonl_file:
    
    untuk _, baris dalam mesej.iterrows ():
        
        user_content = row ['user_content']
        pembantu_content = row ['Assistant_Content']

        jsonl_entry = {
            "Mesej": [
                {"Peranan": "Sistem", "Kandungan": "Anda adalah pembantu yang menulis dengan gaya yang jelas, bermaklumat, dan menarik."},
                {"peranan": "pengguna", "kandungan": user_content},
                {"peranan": "pembantu", "kandungan": pembantu_content}]
        }

        jsonl_file.write (json.dumps (jsonl_entry) '\ n')

Seperti yang ditunjukkan di atas, kita boleh meleleh melalui DataFrame untuk membuat fail JSONL.

Penalaan halus di platform terbuka

Sekarang, kita boleh menggunakan 'mesej_dataset.jsonl' untuk menyempurnakan llms terbuka.

Pergi ke laman web dan log masuk jika tidak log masuk.

Sekiranya tidak ada pekerjaan penalaan yang baik, antara muka akan menjadi seperti berikut:

Kita boleh mengklik pada 'Ketahui lebih lanjut' untuk mempelajari semua butiran yang diperlukan untuk penalaan halus, termasuk parameter hyper yang boleh disesuaikan.

Sekarang mari kita pelajari bagaimana untuk menyempurnakan model di platform terbuka.

1. Klik pada 'Buat'. Tingkap kecil akan dibuka.

2. Pilih kaedah sebagai 'diselia'
3. Pilih model asas sama ada 'GPT-4O' atau 'GPT-4O-MINI'. Saya mendapat kesilapan semasa menggunakan GPT-4O-Mini jadi saya telah menggunakan GPT-4O.
4. Muat naik fail JSONL.
5. Tambahkan 'akhiran' yang berkaitan dengan pekerjaan penalaan halus
6. Gunakan mana -mana nombor sebagai 'benih' untuk reproducibility.
7. Pilih parameter hyper dan biarkan mereka menggunakan nilai lalai. Rujuk kepada dokumentasi yang disebutkan di atas untuk garis panduan memilihnya.

Sekarang, kita boleh mengklik 'Buat' untuk memulakan penalaan halus.

Setelah penalaan halus selesai, ia akan dipaparkan seperti berikut:

Kami boleh membandingkan model yang disesuaikan dengan respons model yang sedia ada di taman permainan dengan mengklik butang di sudut bawah bawah.

Berikut adalah contoh respons yang membandingkan kedua -dua model:

Seperti yang dapat kita lihat, terdapat perbezaan yang signifikan antara respons kedua -dua model.

Jika kita menggunakan lebih banyak contoh, maka hasilnya dapat bertambah baik.

Sekarang mari kita pelajari mengenai Google AI Studio.

Google AI Studio

Google AI Studio adalah alat berasaskan web untuk membina aplikasi menggunakan Gemini LLMS. Ia juga membolehkan pengguna menyempurnakan LLMS menggunakan data mereka sendiri. Penyesuaian ini meningkatkan prestasi model untuk tugas atau industri tertentu, menjadikannya lebih relevan dan berkesan. Ciri penalaan halus untuk model Gemini baru dilancarkan dan kini tersedia untuk Gemini 1.5 Flash sahaja. Penalaan adalah percuma pada Januari 2025 dan kos kesimpulan adalah sama dengan model yang sedia ada.

Ketahui lebih lanjut: Google's AI Studio: Gateway Anda ke Alam Semesta Kreatif Gemini!

Muat naik data

Untuk model Gemini, format data harus seperti berikut:

 latihan_data = [<br><br> {"text_input": "1", "output": "2"},<br><br> {"text_input": "3", "output": "4"},]

Google AI Studio menyediakan GUI (antara muka pengguna grafik) untuk memuat naik data dari fail CSV. Untuk melakukan ini:

1. Buka https://aistudio.google.com/prompts/new_data
2. Klik pada 'Tindakan', kemudian 'Contoh Import'.
3. Kemudian muat naik fail CSV. Skrin akan kelihatan seperti ini:

4. Tetapkan user_content sebagai lajur input dan kandungan sebagai lajur output.
5. Kemudian, import contoh. Kami boleh memadam mana-mana lajur yang tidak perlu dan kemudian simpan data menggunakan butang 'Simpan' di sudut kanan atas.

Penalaan halus di AI Studio

Untuk menapis model, pergi ke https://aistudio.google.com/tune.

Skrin akan kelihatan seperti ini:

Sekarang, ikuti langkah -langkah di bawah:

1. Pilih data yang diimport dari menu dropdown.
2. Beri nama model yang ditala.
3. Untuk mengetahui lebih lanjut mengenai tetapan lanjutan, rujuk https://ai.google.dev/gemini-api/docs/model-tuning.
4. Setelah selesai, klik pada 'Tune'.

Anda boleh menemui model yang ditala di 'perpustakaan' seperti berikut:

Kami juga boleh menggunakan model dalam sembang seperti yang ditunjukkan dalam imej di atas.

Kesimpulan

Model bahasa yang besar menggunakan platform OpenAI dan Google AI Studio membolehkan pengguna menyesuaikan model untuk keperluan khusus. Ini boleh menjadikan LLM mengamalkan gaya penulisan yang unik atau meningkatkan prestasi khusus domainnya. Kedua -dua platform menyediakan aliran kerja intuitif untuk penyediaan data dan latihan, menyokong format berstruktur untuk mengoptimumkan tingkah laku model. Dengan alat yang boleh diakses dan dokumentasi yang jelas, mereka memberi kuasa kepada pengguna untuk membuka potensi penuh LLM dengan menyelaraskan mereka dengan tugas dan objektif yang dikehendaki.

Soalan yang sering ditanya

Q1. Apakah penalaan dalam konteks model bahasa besar (LLMS)?

A. Penalaan halus adalah proses latihan model bahasa pra-terlatih pada data tersuai untuk menyesuaikan tingkah laku kepada tugas, gaya, atau domain tertentu. Ia melibatkan penyediaan contoh pasangan input-output untuk membimbing tindak balas model sejajar dengan keperluan pengguna.

S2. Format data apa yang diperlukan untuk penalaan halus di platform terbuka dan studio Google AI?

A. Platform OpenAI memerlukan data dalam format JSONL berstruktur, biasanya dengan peranan seperti "sistem," "pengguna," dan "pembantu." Google AI Studio menggunakan format yang lebih mudah dengan bidang `text_input` dan` output`, di mana input dan output yang dikehendaki jelas ditakrifkan.

Q3. Berapa banyak data yang diperlukan untuk penalaan halus yang berkesan?

A. Walaupun dataset kecil dengan 30-50 contoh mungkin menunjukkan beberapa hasil, dataset yang lebih besar dengan 100-500 contoh umumnya menghasilkan prestasi yang lebih baik dengan menyediakan model dengan senario yang kaya dan kaya konteks.

Q4. Bagaimanakah kos penalaan denda antara OpenAI Platform dan Google AI Studio?

A. Caj OpenAI untuk penalaan halus berdasarkan penggunaan token semasa latihan, dengan kos yang lebih tinggi untuk model yang lebih besar. Google AI Studio kini menawarkan penalaan halus percuma untuk model Flash Gemini 1.5, menjadikannya pilihan kos efektif untuk percubaan.

S5. Apakah manfaat utama penalaan halus llm?

A. Penalaan halus membolehkan pengguna menyesuaikan model untuk menyelaraskan dengan keperluan tertentu, seperti menghasilkan kandungan dalam nada atau gaya tertentu, meningkatkan ketepatan untuk tugas khusus domain, dan meningkatkan pengalaman pengguna keseluruhan dengan menjadikan model lebih relevan dengan kes penggunaan yang dimaksudkan.

Atas ialah kandungan terperinci Platform Terbuka vs Google AI Studio untuk Finetuning LLM. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!