Cari dan Betulkan N ueries dalam Django Menggunakan AppSignal

Dalam artikel ini, anda akan mempelajari tentang pertanyaan N 1, cara mengesannya dengan AppSignal dan cara membetulkannya untuk mempercepatkan apl Django anda dengan ketara.

Kita akan mulakan dengan aspek teori dan kemudian beralih kepada contoh praktikal. Contoh praktikal akan mencerminkan senario yang mungkin anda hadapi dalam persekitaran pengeluaran.

Jom mulakan!

Apakah Pertanyaan N 1?

Masalah pertanyaan N 1 ialah isu prestasi yang lazim dalam aplikasi web yang berinteraksi dengan pangkalan data. Pertanyaan ini boleh menyebabkan kesesakan yang ketara, yang semakin meningkat apabila pangkalan data anda berkembang.

Masalah berlaku apabila anda mendapatkan semula koleksi objek dan kemudian mengakses objek yang berkaitan untuk setiap item dalam koleksi. Sebagai contoh, untuk mengambil senarai buku memerlukan satu pertanyaan (1 pertanyaan), tetapi mengakses pengarang untuk setiap buku mencetuskan pertanyaan tambahan untuk setiap item (N pertanyaan).

Masalah N 1 juga boleh berlaku apabila mencipta atau mengemas kini data dalam pangkalan data. Contohnya, melelaran melalui gelung untuk membuat atau mengemas kini objek secara individu, dan bukannya menggunakan kaedah seperti bulk_create() atau bulk_update(), boleh mengakibatkan pertanyaan yang berlebihan.

Pertanyaan N 1 adalah sangat tidak cekap kerana melaksanakan banyak pertanyaan kecil adalah lebih perlahan dan lebih intensif sumber berbanding menyatukan operasi kepada pertanyaan yang lebih sedikit dan lebih besar.

Tingkah laku QuerySet lalai Django secara tidak sengaja boleh membawa kepada isu N 1, terutamanya jika anda tidak mengetahui cara QuerySets berfungsi. Set pertanyaan dalam Django adalah malas, bermakna tiada pertanyaan pangkalan data dilaksanakan sehingga Set Pertanyaan dinilai.

Prasyarat

Pastikan anda mempunyai:

• Python 3.9 dan Git dipasang pada mesin tempatan anda
• Sistem pengendalian yang disokong AppSignal
• Akaun AppSignal

Nota: Kod sumber untuk projek ini boleh didapati dalam repositori GitHub appsignal-django-n-plus-one.

Persediaan Projek

Kami akan bekerjasama dengan apl web pengurusan buku. Apl web dibina untuk menunjukkan masalah pertanyaan N 1 dan cara menyelesaikannya.

Mulakan dengan mengklon cabang asas repo GitHub:

$ git clone git@github.com:duplxey/appsignal-django-n-plus-one.git \
    --single-branch --branch base && cd appsignal-django-n-plus-one

Seterusnya, cipta dan aktifkan persekitaran maya:

$ python3 -m venv venv && source venv/bin/activate

Pasang keperluan:

(venv)$ pip install -r requirements.txt

Pindah dan isikan pangkalan data:

(venv)$ python manage.py migrate
(venv)$ python manage.py populate_db

Akhir sekali, mulakan pelayan pembangunan:

(venv)$ python manage.py runserver

Buka pelayar web kegemaran anda dan navigasi ke http://localhost:8000/books. Apl web harus mengembalikan senarai JSON bagi 500 buku daripada pangkalan data.

Tapak pentadbir Django boleh diakses di http://localhost:8000/admin. Bukti kelayakan admin ialah:

user: username
pass: password

Pasang AppSignal untuk Django

Untuk memasang AppSignal pada projek Django anda, ikuti dokumen rasmi:

• Pemasangan AppSignal Python
• Peralatan AppSignal Django
• Instrumentasi AppSignal SQLite

Pastikan semuanya berfungsi dengan memulakan semula pelayan pembangunan:

$ git clone git@github.com:duplxey/appsignal-django-n-plus-one.git \
    --single-branch --branch base && cd appsignal-django-n-plus-one

Apl anda harus menghantar ralat tunjuk cara secara automatik ke AppSignal. Mulai saat ini, semua ralat anda akan dihantar ke AppSignal. Selain itu, AppSignal akan memantau prestasi apl anda dan mengesan sebarang isu.

Logik Apl Web

Prasyarat untuk membetulkan pertanyaan N 1 ialah memahami skema pangkalan data apl anda. Beri perhatian kepada hubungan model anda: mereka boleh membantu anda mengenal pasti masalah N 1 yang berpotensi.

model

Apl web mempunyai dua model — Pengarang dan Buku — yang berkongsi perhubungan satu-dengan-banyak (1:M). Ini bermakna setiap buku dikaitkan dengan pengarang tunggal, manakala pengarang boleh dipautkan ke berbilang buku.

Kedua-dua model mempunyai kaedah to_dict() untuk mensiri contoh model kepada JSON. Selain itu, model Buku menggunakan pensirilan mendalam (mensiri buku serta pengarang buku).

Model ditakrifkan dalam buku/model.py:

$ python3 -m venv venv && source venv/bin/activate

Mereka kemudiannya didaftarkan untuk tapak pentadbir Django dalam books/admin.py, seperti:

(venv)$ pip install -r requirements.txt

Perhatikan bahawa AuthorAdmin menggunakan BookInline untuk memaparkan buku pengarang dalam halaman pentadbir pengarang.

Pandangan

Apl web menyediakan titik akhir berikut:

1. /books/ mengembalikan senarai buku
2. /books// mengembalikan buku tertentu
3. /books/by-authors/ mengembalikan senarai buku yang dikumpulkan mengikut pengarang
4. /books/authors/ mengembalikan senarai pengarang
5. /books/authors// mengembalikan pengarang tertentu

Pautan di atas boleh diklik jika anda menjalankan pelayan web pembangunan.

Dan mereka ditakrifkan dalam buku/views.py seperti:

(venv)$ python manage.py migrate
(venv)$ python manage.py populate_db

Bagus, anda kini tahu cara apl web berfungsi!

Dalam bahagian seterusnya, kami akan menanda aras apl kami untuk mengesan pertanyaan N 1 dengan AppSignal dan kemudian mengubah suai kod untuk menghapuskannya.

Kesan Pertanyaan N 1 dalam Apl Django Anda dengan AppSignal

Mengesan isu prestasi dengan AppSignal adalah mudah. Apa yang anda perlu lakukan ialah menggunakan/uji apl seperti biasa (contohnya, lakukan ujian pengguna akhir dengan melawati semua titik akhir dan mengesahkan respons).

Apabila titik akhir dipukul, AppSignal akan membuat laporan prestasi untuknya dan mengumpulkan semua lawatan berkaitan bersama-sama. Setiap lawatan akan direkodkan sebagai sampel dalam laporan titik akhir.

Kesan N 1 Pertanyaan dalam Paparan

Pertama sekali, lawati semua titik akhir apl anda untuk menjana laporan prestasi:

1. /buku/
2. /buku//
3. /buku/oleh-pengarang/
4. /buku/pengarang/
5. /buku/pengarang//

Seterusnya, mari gunakan papan pemuka AppSignal untuk menganalisis titik akhir yang perlahan.

Contoh 1: Hubungan Satu Dengan Satu (select_related())

Navigasi ke apl AppSignal anda dan pilih Prestasi > Senarai isu pada bar sisi. Kemudian klik Min untuk mengisih isu dengan menurunkan min masa respons.

Klik pada titik akhir yang paling perlahan (buku/) untuk melihat butirannya.

Melihat pada sampel terbaharu, kita dapat melihat bahawa titik akhir ini mengembalikan respons dalam 1090 milisaat. Pecahan kumpulan menunjukkan bahawa SQLite mengambil masa 651 milisaat manakala Django mengambil masa 439.

Ini menunjukkan masalah kerana titik akhir semudah ini tidak sepatutnya mengambil masa yang lama.

Untuk mendapatkan butiran lanjut tentang perkara yang berlaku, pilih Sampel dalam bar sisi dan kemudian sampel terbaharu.

Tatal ke bawah ke Garis Masa Acara untuk melihat pertanyaan SQL yang telah dilaksanakan.

Melayang di atas teks query.sql memaparkan pertanyaan SQL sebenar.

Lebih daripada 1000 pertanyaan telah dilaksanakan:

$ git clone git@github.com:duplxey/appsignal-django-n-plus-one.git \
    --single-branch --branch base && cd appsignal-django-n-plus-one

Ini adalah tanda jelas pertanyaan N 1. Pertanyaan pertama mengambil buku (1), dan setiap pertanyaan berikutnya mengambil butiran pengarang buku (N).

Untuk membetulkannya, navigasi ke books/views.py dan ubah suai book_list_view() seperti:

$ python3 -m venv venv && source venv/bin/activate

Dengan menggunakan kaedah select_related() Django, kami memilih data objek berkaitan tambahan (iaitu, pengarang) dalam pertanyaan awal. ORM kini akan memanfaatkan gabungan SQL, dan pertanyaan akhir akan kelihatan seperti ini:

(venv)$ pip install -r requirements.txt

Tunggu pelayan pembangunan dimulakan semula dan uji semula titik akhir yang terjejas.

Selepas penanda aras sekali lagi, masa respons berubah dari 1090 kepada 45 dan bilangan pertanyaan menurun daripada 1024 kepada 2. Ini ialah peningkatan 24x dan 512x, masing-masing.

Contoh 2: Hubungan Banyak-Dengan-Satu (prefetch_related())

Seterusnya, mari lihat titik akhir kedua paling perlahan (buku/oleh-pengarang/).

Gunakan papan pemuka seperti yang kami lakukan pada langkah sebelumnya untuk memeriksa pertanyaan SQL titik akhir. Anda akan melihat corak N 1 yang serupa tetapi kurang teruk dengan titik akhir ini.

Prestasi titik akhir ini kurang teruk kerana Django cukup bijak untuk menyimpan cache pertanyaan SQL yang kerap dilaksanakan, iaitu, berulang kali mengambil pengarang buku. Semak dokumen rasmi untuk mengetahui lebih lanjut tentang caching Django.

Mari gunakan prefetch_related() dalam books/views.py untuk mempercepatkan titik akhir:

$ git clone git@github.com:duplxey/appsignal-django-n-plus-one.git \
    --single-branch --branch base && cd appsignal-django-n-plus-one

Dalam bahagian sebelumnya, kami menggunakan kaedah select_related() untuk mengendalikan perhubungan satu dengan satu (setiap buku mempunyai pengarang tunggal). Walau bagaimanapun, dalam kes ini, kami mengendalikan perhubungan satu-dengan-banyak (pengarang boleh mempunyai berbilang buku), jadi kami mesti menggunakan prefetch_related().

Perbezaan antara dua kaedah ini ialah select_related() berfungsi pada tahap SQL, manakala prefetch_related() mengoptimumkan pada tahap Python. Kaedah terakhir juga boleh digunakan untuk perhubungan banyak-ke-banyak.

Untuk mendapatkan maklumat lanjut, lihat dokumen rasmi Django di prefetch_related().

Selepas penanda aras, masa tindak balas berlangsung daripada 90 hingga 44 milisaat dan bilangan pertanyaan berkurangan daripada 32 kepada 4.

Kesan N 1 Pertanyaan dalam Django Admin

Menemui pertanyaan N 1 dalam tapak pentadbir Django berfungsi sama.

Mula-mula, log masuk ke tapak pentadbir anda dan jana laporan prestasi (contohnya, buat beberapa pengarang atau buku, kemas kini dan padamkannya).

Seterusnya, navigasi ke papan pemuka apl AppSignal anda, kali ini menapis isu oleh pentadbir:

Dalam kes saya, dua titik akhir yang paling perlahan ialah:

1. /admin/log masuk
2. /admin/books/author/

Kami tidak boleh berbuat banyak tentang /admin/login, kerana ia dikendalikan sepenuhnya oleh Django, jadi mari fokus pada titik akhir kedua paling perlahan. Memeriksanya akan mendedahkan masalah pertanyaan N 1. Pengarang diambil secara berasingan untuk setiap buku.

Untuk membetulkannya, ganti get_queryset() dalam BookInline untuk mengambil butiran pengarang dalam pertanyaan awal:

$ python3 -m venv venv && source venv/bin/activate

Tanda aras sekali lagi dan sahkan bahawa bilangan pertanyaan telah berkurangan.

Membungkus

Dalam siaran ini, kami telah membincangkan mengesan dan membetulkan pertanyaan N 1 dalam Django menggunakan AppSignal.

Memanfaatkan perkara yang anda pelajari di sini boleh membantu anda mempercepatkan apl web Django anda dengan ketara.

Dua kaedah paling penting untuk diingat ialah select_related() dan prefetch_related(). Yang pertama digunakan untuk hubungan satu dengan satu, dan yang kedua adalah untuk hubungan satu-dengan-banyak dan banyak-ke-banyak.

Selamat pengekodan!

P.S. Jika anda ingin membaca siaran Python sebaik sahaja ia keluar dari akhbar, langgan surat berita Python Wizardry kami dan jangan sekali-kali terlepas satu pun siaran!

Atas ialah kandungan terperinci Cari dan Betulkan N ueries dalam Django Menggunakan AppSignal. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!