Erstellen eines Webcrawlers in Node.js, um KI-gestützte JavaScript-Repos auf GitHub zu entdecken

GitHub ist eine Fundgrube innovativer Projekte, insbesondere in der sich ständig weiterentwickelnden Welt der künstlichen Intelligenz. Aber die unzähligen Repositories durchsuchen, um diejenigen zu finden, die KI und JavaScript kombinieren? Das ist, als würde man in einem riesigen Codemeer Edelsteine ​​finden. Geben Sie unseren Node.js-Webcrawler ein – ein Skript, das die Suche automatisiert und Repository-Details wie Name, URL und Beschreibung extrahiert.

In diesem Tutorial erstellen wir einen Crawler, der auf GitHub zugreift und Repositorys aufspürt, die mit KI und JavaScript funktionieren. Lassen Sie uns in den Code eintauchen und mit dem Schürfen dieser Edelsteine ​​beginnen.

---

Teil 1: Einrichten des Projekts

Initialisieren Sie das Node.js-Projekt

Erstellen Sie zunächst ein neues Verzeichnis für Ihr Projekt und initialisieren Sie es mit npm:

mkdir github-ai-crawler
cd github-ai-crawler
npm init -y

Als nächstes installieren Sie die erforderlichen Abhängigkeiten:

npm install axios cheerio

• axios: Zum Senden von HTTP-Anfragen an GitHub.
• cheerio: Zum Parsen und Bearbeiten von HTML, ähnlich wie jQuery.

---

Teil 2: GitHubs Suche verstehen

GitHub bietet eine leistungsstarke Suchfunktion, auf die über URL-Abfragen zugegriffen werden kann. Mit dieser Abfrage können Sie beispielsweise nach JavaScript-Repositories im Zusammenhang mit KI suchen:

https://github.com/search?q=ai+language:javascript&type=repositories

Unser Crawler ahmt diese Suche nach, analysiert die Ergebnisse und extrahiert relevante Details.

---

Teil 3: Das Crawler-Skript schreiben

Erstellen Sie eine Datei mit dem Namen crawler.js in Ihrem Projektverzeichnis und beginnen Sie mit dem Codieren.

Schritt 1: Abhängigkeiten importieren

const axios = require('axios');
const cheerio = require('cheerio');

Wir verwenden axios, um die Suchergebnisse von GitHub abzurufen, und cheerio, um den HTML-Code zu analysieren.

---

Schritt 2: Definieren Sie die Such-URL

const SEARCH_URL = 'https://github.com/search?q=ai+language:javascript&type=repositories';

Diese URL zielt auf Repositories ab, die sich auf KI beziehen und in JavaScript geschrieben sind.

---

2220 KOSTENLOS RESSOURCEN FÜR ENTWICKLER!! ❤️ ?? _{(täglich aktualisiert)}

1400 kostenlose HTML-Vorlagen

351 kostenlose Nachrichtenartikel

67 kostenlose KI-Eingabeaufforderungen

315 kostenlose Code-Bibliotheken

52 kostenlose Code-Snippets und Boilerplates für Node, Nuxt, Vue und mehr!

25 kostenlose Open-Source-Icon-Bibliotheken

Besuchen Sie dailysandbox.pro für kostenlosen Zugang zu einer Schatzkammer voller Ressourcen!

---

Schritt 3: HTML abrufen und analysieren

const fetchRepositories = async () => {
    try {
        // Fetch the search results page
        const { data } = await axios.get(SEARCH_URL);
        const $ = cheerio.load(data); // Load the HTML into cheerio

        // Extract repository details
        const repositories = [];
        $('.repo-list-item').each((_, element) => {
            const repoName = $(element).find('a').text().trim();
            const repoUrl = `https://github.com${$(element).find('a').attr('href')}`;
            const repoDescription = $(element).find('.mb-1').text().trim();

            repositories.push({
                name: repoName,
                url: repoUrl,
                description: repoDescription,
            });
        });

        return repositories;
    } catch (error) {
        console.error('Error fetching repositories:', error.message);
        return [];
    }
};

Hier ist, was passiert:

• HTML abrufen: Die axios.get-Methode ruft die Suchergebnisseite ab.
• Parsen mit Cheerio: Wir verwenden Cheerio, um durch das DOM zu navigieren und zielen auf Elemente mit Klassen wie .repo-list-item.
• Details extrahieren: Für jedes Repository extrahieren wir den Namen, die URL und die Beschreibung.

---

Schritt 4: Zeigen Sie die Ergebnisse an

Zum Schluss rufen Sie die Funktion auf und protokollieren die Ergebnisse:

mkdir github-ai-crawler
cd github-ai-crawler
npm init -y

---

Teil 4: Ausführen des Crawlers

Speichern Sie Ihr Skript und führen Sie es mit Node.js aus:

npm install axios cheerio

Sie sehen eine Liste der KI-bezogenen JavaScript-Repositories, jedes mit seinem Namen, seiner URL und seiner Beschreibung, übersichtlich in Ihrem Terminal angezeigt.

---

Teil 5: Verbesserung des Crawlers

Möchten Sie noch weiter gehen? Hier sind einige Ideen:

1. Paginierung: Fügen Sie Unterstützung für das Abrufen mehrerer Suchergebnisseiten hinzu, indem Sie die URL mit &p=2, &p=3 usw. ändern.
2. Filtern: Filtern Sie Repositorys nach Sternen oder Forks, um beliebte Projekte zu priorisieren.
3. Daten speichern: Speichern Sie die Ergebnisse zur weiteren Analyse in einer Datei oder Datenbank.

Beispiel für das Speichern in einer JSON-Datei:

https://github.com/search?q=ai+language:javascript&type=repositories

---

Die Schönheit der Automatisierung

Mit diesem Crawler haben Sie die mühsame Aufgabe, relevante Repositories auf GitHub zu finden, automatisiert. Kein manuelles Durchsuchen oder endloses Klicken mehr – Ihr Skript erledigt die harte Arbeit und präsentiert die Ergebnisse in Sekundenschnelle.

Weitere Tipps zur Webentwicklung finden Sie unter DailySandbox und abonnieren Sie unseren kostenlosen Newsletter, um immer auf dem Laufenden zu bleiben!

Das obige ist der detaillierte Inhalt vonErstellen eines Webcrawlers in Node.js, um KI-gestützte JavaScript-Repos auf GitHub zu entdecken. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!