Rumah  >  Artikel  >  pembangunan bahagian belakang  >  Pustaka python ringan untuk mengikis dengan LLM

Pustaka python ringan untuk mengikis dengan LLM

WBOY
WBOYasal
2024-08-13 20:30:10553semak imbas

Lightweight python library for scraping with LLMs

Hai Semua,

Saya ingin berkongsi perpustakaan Python saya kerana malas membuang :)

Saya telah memanfaatkan LLM untuk mengekstrak data berstruktur dengan cepat daripada tapak web tanpa berurusan dengan struktur DOM dan menulis pengikis web. Selepas beberapa bulan percubaan, saya berkongsi kod saya sebagai pustaka Python sumber terbuka.

Berbanding dengan perpustakaan sumber terbuka yang serupa, faedah utama ialah kesederhanaan dan fokus pada penggunaan token yang minimum, yang membawa kepada kos yang lebih rendah dan pemprosesan yang lebih pantas.

Lihat perpustakaan GitHub: https://github.com/raznem/parsera

Senang mendengar maklum balas anda!

Atas ialah kandungan terperinci Pustaka python ringan untuk mengikis dengan LLM. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan:
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn