Cara Mengikis Web dengan Puppeteer: Panduan Mesra Pemula

Mengikis web ialah alat yang sangat berkuasa untuk mengumpul data daripada tapak web. Dengan Puppeteer, pustaka penyemak imbas tanpa kepala Google untuk Node.js, anda boleh mengautomasikan proses menavigasi halaman, mengklik butang dan mengekstrak maklumat—semuanya sambil meniru tingkah laku penyemakan imbas manusia. Panduan ini akan membimbing anda melalui perkara penting mengikis web dengan Puppeteer dengan cara yang mudah, jelas dan boleh diambil tindakan.

Apa itu Puppeteer?

Puppeteer ialah perpustakaan Node.js yang membolehkan anda mengawal versi tanpa kepala Google Chrome (atau Chromium). Penyemak imbas tanpa kepala berjalan tanpa antara muka pengguna grafik (GUI), menjadikannya lebih pantas dan sesuai untuk tugas automasi seperti mengikis. Walau bagaimanapun, Puppeteer juga boleh berjalan dalam mod penyemak imbas penuh jika anda perlu melihat perkara yang berlaku secara visual.

Mengapa Pilih Puppeteer untuk Mengikis Web?

Fleksibiliti: Puppeteer mengendalikan tapak web dinamik dan aplikasi satu halaman (SPA) dengan mudah.
Sokongan JavaScript: Ia melaksanakan JavaScript pada halaman, yang penting untuk mengikis apl web moden.
Kuasa Automasi: Anda boleh melaksanakan tugas seperti mengisi borang, mengklik butang dan juga mengambil tangkapan skrin.

Menggunakan Proksi dengan Puppeteer

Apabila mengikis tapak web, proksi adalah penting untuk mengelakkan larangan IP dan mengakses kandungan geo-terhad. Proksi bertindak sebagai perantara antara pengikis anda dan tapak web sasaran, menutup alamat IP sebenar anda. Untuk Puppeteer, anda boleh menyepadukan proksi dengan mudah dengan menghantarnya sebagai hujah pelancaran:

javascript
Salin kod
pelayar const = tunggu puppeteer.launch({
args: ['--proxy-server=your-proxy-server:port']
});
Proksi amat berguna untuk meningkatkan usaha mengikis anda. Proksi berputar memastikan setiap permintaan datang daripada IP yang berbeza, mengurangkan peluang pengesanan. Proksi kediaman, yang terkenal dengan keasliannya, sangat baik untuk memintas pertahanan bot, manakala proksi pusat data lebih pantas dan lebih berpatutan. Pilih jenis yang selaras dengan keperluan mengikis anda dan sentiasa uji prestasi untuk memastikan kebolehpercayaan.

Menubuhkan Puppeteer

Sebelum anda mula mengikis, anda perlu menyediakan Puppeteer. Mari selami proses langkah demi langkah:
Langkah 1: Pasang Node.js dan Puppeteer
Pasang Node.js: Muat turun dan pasang Node.js daripada tapak web rasmi.
Sediakan Puppeteer: Buka terminal anda dan jalankan arahan berikut:
bash
Salin kod
npm pasang dalang

Ini akan memasang Puppeteer dan Chromium, penyemak imbas yang dikawalnya.
Langkah 2: Tulis Skrip Dalang Pertama Anda
Buat fail JavaScript baharu, scraper.js. Ini akan menempatkan logik pengikisan anda. Mari tulis skrip ringkas untuk membuka halaman web dan mengekstrak tajuknya:
javascript
Salin kod
const puppeteer = memerlukan('puppeteer');

(async () => {
pelayar const = tunggu puppeteer.launch();
halaman const = tunggu browser.newPage();

// Navigasi ke tapak web
tunggu page.goto('https://example.com');

// Ekstrak tajuk
const title = tunggu page.title();
console.log(Tajuk halaman: ${tajuk});

tunggu pelayar.close();
})();

Jalankan skrip menggunakan:
bash
Salin kod
pengikis nod.js

Anda baru sahaja menulis pengikis Puppeteer pertama anda!

Ciri Dalang Teras untuk Mengikis

Sekarang anda sudah menguasai asasnya, mari terokai beberapa ciri Puppeteer utama yang akan anda gunakan untuk mengikis.

1. Menavigasi ke Halaman
   Kaedah page.goto(url) membolehkan anda membuka sebarang URL. Tambahkan pilihan seperti tetapan tamat masa jika perlu:
   javascript
   Salin kod
   tunggu page.goto('https://example.com', { tamat masa: 60000 });

2. Memilih Elemen
   Gunakan pemilih CSS untuk menentukan elemen pada halaman. Puppeteer menawarkan kaedah seperti:
   halaman.$(selector) untuk perlawanan pertama
   halaman.$$(pemilih) untuk semua perlawanan
   Contoh:
   javascript
   Salin kod
   elemen const = halaman tunggu.$('h1');
   teks const = tunggu page.evaluate(el => el.textContent, elemen);
   console.log(Tajuk: ${teks});

3. Berinteraksi dengan Elemen
   Simulasikan interaksi pengguna, seperti klik dan menaip:
   javascript
   Salin kod
   tunggu page.click('#submit-button');
   tunggu page.type('#search-box', 'Puppeteer scraping');

4. Menunggu Elemen
   Halaman web dimuatkan pada kelajuan yang berbeza. Puppeteer membenarkan anda menunggu elemen sebelum meneruskan:
   javascript
   Salin kod
   tunggu page.waitForSelector('#dynamic-content');

5. Mengambil Tangkapan Skrin
   Penyahpepijatan visual atau menyimpan data sebagai imej adalah mudah:
   javascript
   Salin kod
   tunggu page.screenshot({ path: 'screenshot.png', fullPage: true });

Mengendalikan Kandungan Dinamik

Banyak tapak web hari ini menggunakan JavaScript untuk memuatkan kandungan secara dinamik. Puppeteer bersinar di sini kerana ia melaksanakan JavaScript, membolehkan anda mengikis kandungan yang mungkin tidak kelihatan dalam sumber halaman.
Contoh: Mengekstrak Data Dinamik
javascript
Salin kod
tunggu page.goto('https://news.ycombinator.com');
tunggu page.waitForSelector('.storylink');

tajuk utama = halaman menanti.$$eval('.storylink', links => links.map(link => link.textContent));
console.log('Tajuk:', tajuk);

Berurusan dengan CAPTCHA dan Pengesanan Bot

Sesetengah tapak web mempunyai langkah untuk menyekat bot. Puppeteer boleh membantu memintas cek mudah:
Gunakan Mod Stealth: Pasang pemalam tambahan boneka:
bash
Salin kod
npm pasang puppeteer-extra puppeteer-extra-plugin-stealth
Tambahkannya pada skrip anda:
javascript
Salin kod
const puppeteer = memerlukan('puppeteer-extra');
const StealthPlugin = memerlukan('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

Tiru Tingkah Laku Manusia: Rawak tindakan seperti pergerakan tetikus dan kelajuan menaip untuk kelihatan lebih manusiawi.
Putar Ejen Pengguna: Tukar ejen pengguna penyemak imbas anda dengan setiap permintaan:
javascript
Salin kod
tunggu page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64)');

Menyimpan Data Dikikis

Selepas mengekstrak data, anda mungkin mahu menyimpannya. Berikut ialah beberapa format biasa:
JSON:
javascript
Salin kod
const fs = memerlukan('fs');
data const = { nama: 'Puppeteer', taip: 'library' };
fs.writeFileSync('data.json', JSON.stringify(data, null, 2));

CSV: Gunakan perpustakaan seperti csv-writer:
bash
Salin kod
npm pasang csv-writer
javascript
Salin kod
const createCsvWriter = memerlukan('csv-writer').createObjectCsvWriter;

const csvWriter = createCsvWriter({
laluan: 'data.csv',
pengepala: [
{ id: 'nama', tajuk: 'Nama' },
{ id: 'jenis', tajuk: 'Jenis' }
]
});

rekod const = [{ name: 'Puppeteer', type: 'library' }];
csvWriter.writeRecords(rekod).then(() => console.log('fail CSV ditulis.'));
Amalan Mengikis Web Beretika
Sebelum anda mengikis tapak web, ingatlah garis panduan etika ini:
Semak Syarat Perkhidmatan: Sentiasa pastikan tapak web membenarkan pengikisan.
Had Kadar Hormat: Elakkan menghantar terlalu banyak permintaan dalam masa yang singkat. Gunakan setTimeout atau halaman Puppeteer.waitForTimeout() untuk menjarakkan permintaan:
javascript
Salin kod
tunggu page.waitForTimeout(2000); // Tunggu selama 2 saat

Elakkan Data Sensitif: Jangan sekali-kali mengikis maklumat peribadi atau peribadi.

Menyelesaikan Masalah Isu Biasa

Halaman Tidak Dimuatkan Dengan Betul: Cuba tambahkan tamat masa yang lebih lama atau dayakan mod penyemak imbas penuh:
javascript
Salin kod
pelayar const = tunggu puppeteer.launch({ tanpa kepala: palsu });

Pemilih Tidak Berfungsi: Periksa tapak web menggunakan alat pembangun penyemak imbas (Ctrl Shift C) untuk mengesahkan pemilih.
Disekat oleh CAPTCHA: Gunakan pemalam stealth dan tiru tingkah laku manusia.

Soalan Lazim (Soalan Lazim)

1. Adakah Puppeteer Percuma? Ya, Puppeteer adalah sumber terbuka dan percuma untuk digunakan.
2. Bolehkah Puppeteer Mengikis Laman Web yang Berat JavaScript? Sudah tentu! Puppeteer melaksanakan JavaScript, menjadikannya sempurna untuk mengikis tapak dinamik.
3. Adakah Mengikis Web Sah? Ia bergantung. Sentiasa semak syarat perkhidmatan tapak web sebelum mengikis.
4. Bolehkah Puppeteer Bypass CAPTCHA? Puppeteer boleh menangani cabaran asas CAPTCHA, tetapi cabaran lanjutan mungkin memerlukan alatan pihak ketiga.

Atas ialah kandungan terperinci Cara Mengikis Web dengan Puppeteer: Panduan Mesra Pemula. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!