tag. Contohnya:
<div role="rowheader">
<a href="/owner/repo/tree/main/folder-name">folder-name</a>
</div>
3. Melaksanakan Pengikis
3.1. Fungsi Merangkak Berulang
Skrip akan mengikis folder secara rekursif dan mencetak strukturnya. Untuk mengehadkan kedalaman rekursi dan mengelakkan beban yang tidak perlu, kami akan menggunakan parameter kedalaman.
import requests
from bs4 import BeautifulSoup
import time
def crawl_github_folder(url, depth=0, max_depth=3):
"""
Recursively crawls a GitHub repository folder structure.
Parameters:
- url (str): URL of the GitHub folder to scrape.
- depth (int): Current recursion depth.
- max_depth (int): Maximum depth to recurse.
"""
if depth > max_depth:
return
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, headers=headers)
if response.status_code != 200:
print(f"Failed to access {url} (Status code: {response.status_code})")
return
soup = BeautifulSoup(response.text, 'html.parser')
# Extract folder and file links
items = soup.select('div[role="rowheader"] a')
for item in items:
item_name = item.text.strip()
item_url = f"https://github.com{item['href']}"
if '/tree/' in item_url:
print(f"{' ' * depth}Folder: {item_name}")
crawl_github_folder(item_url, depth + 1, max_depth)
elif '/blob/' in item_url:
print(f"{' ' * depth}File: {item_name}")
# Example usage
if __name__ == "__main__":
repo_url = "https://github.com/<owner>/<repo>/tree/<branch>/<folder>"
crawl_github_folder(repo_url)
4. Ciri-ciri Diterangkan
-
Pengepala untuk Permintaan: Menggunakan rentetan Ejen Pengguna untuk meniru penyemak imbas dan mengelak daripada menyekat.
-
Merangkak Rekursif:
- Mengesan folder (/tree/) dan memasukkannya secara rekursif.
- Menyenaraikan fail (/blob/) tanpa memasukkan lebih jauh.
-
Inden: Mencerminkan hierarki folder dalam output.
-
Penghadan Kedalaman: Menghalang pengulangan yang berlebihan dengan menetapkan kedalaman maksimum (kedalaman_maks).
5. Penambahbaikan
Peningkatan ini direka untuk meningkatkan kefungsian dan kebolehpercayaan perangkak. Mereka menangani cabaran biasa seperti mengeksport hasil, mengendalikan ralat dan mengelakkan had kadar, memastikan alat itu cekap dan mesra pengguna.
5.1. Mengeksport Hasil
Simpan output ke fail JSON berstruktur untuk penggunaan yang lebih mudah.
pip install requests beautifulsoup4
5.2. Ralat Pengendalian
Tambahkan pengendalian ralat yang mantap untuk ralat rangkaian dan perubahan HTML yang tidak dijangka:
<div role="rowheader">
<a href="/owner/repo/tree/main/folder-name">folder-name</a>
</div>
5.3. Mengehadkan Kadar
Untuk mengelak daripada dihadkan kadar oleh GitHub, perkenalkan kelewatan:
import requests
from bs4 import BeautifulSoup
import time
def crawl_github_folder(url, depth=0, max_depth=3):
"""
Recursively crawls a GitHub repository folder structure.
Parameters:
- url (str): URL of the GitHub folder to scrape.
- depth (int): Current recursion depth.
- max_depth (int): Maximum depth to recurse.
"""
if depth > max_depth:
return
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, headers=headers)
if response.status_code != 200:
print(f"Failed to access {url} (Status code: {response.status_code})")
return
soup = BeautifulSoup(response.text, 'html.parser')
# Extract folder and file links
items = soup.select('div[role="rowheader"] a')
for item in items:
item_name = item.text.strip()
item_url = f"https://github.com{item['href']}"
if '/tree/' in item_url:
print(f"{' ' * depth}Folder: {item_name}")
crawl_github_folder(item_url, depth + 1, max_depth)
elif '/blob/' in item_url:
print(f"{' ' * depth}File: {item_name}")
# Example usage
if __name__ == "__main__":
repo_url = "https://github.com/<owner>/<repo>/tree/<branch>/<folder>"
crawl_github_folder(repo_url)
6. Pertimbangan Etika
Dikarang oleh Shpetim Haxhiu, pakar dalam automasi perisian dan pengaturcaraan beretika, bahagian ini memastikan pematuhan kepada amalan terbaik semasa menggunakan perangkak GitHub.
-
Pematuhan: Patuhi Syarat Perkhidmatan GitHub.
-
Minimumkan Muatan: Hormati pelayan GitHub dengan mengehadkan permintaan dan menambah kelewatan.
-
Kebenaran: Dapatkan kebenaran untuk merangkak secara meluas repositori peribadi.
7. Kod Lengkap
Berikut ialah skrip disatukan dengan semua ciri disertakan:
import json
def crawl_to_json(url, depth=0, max_depth=3):
"""Crawls and saves results as JSON."""
result = {}
if depth > max_depth:
return result
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, headers=headers)
if response.status_code != 200:
print(f"Failed to access {url}")
return result
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.select('div[role="rowheader"] a')
for item in items:
item_name = item.text.strip()
item_url = f"https://github.com{item['href']}"
if '/tree/' in item_url:
result[item_name] = crawl_to_json(item_url, depth + 1, max_depth)
elif '/blob/' in item_url:
result[item_name] = "file"
return result
if __name__ == "__main__":
repo_url = "https://github.com/<owner>/<repo>/tree/<branch>/<folder>"
structure = crawl_to_json(repo_url)
with open("output.json", "w") as file:
json.dump(structure, file, indent=2)
print("Repository structure saved to output.json")
Dengan mengikuti panduan terperinci ini, anda boleh membina perangkak folder GitHub yang mantap. Alat ini boleh disesuaikan untuk pelbagai keperluan sambil memastikan pematuhan etika.
Sila tinggalkan soalan di bahagian komen! Juga, jangan lupa untuk berhubung dengan saya:
-
E-mel: shpetim.h@gmail.com
-
LinkedIn: linkedin.com/in/shpetimhaxhiu
-
GitHub: github.com/shpetimhaxhiu
Atas ialah kandungan terperinci Tutorial Terperinci: Merangkak Folder Repositori GitHub Tanpa API. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
