꼬리표. 예:
<div role="rowheader">
<a href="/owner/repo/tree/main/folder-name">folder-name</a>
</div>
3. 스크레이퍼 구현
3.1. 재귀 크롤링 기능
스크립트는 폴더를 재귀적으로 스크랩하고 해당 구조를 인쇄합니다. 재귀 깊이를 제한하고 불필요한 로드를 피하기 위해 깊이 매개변수를 사용하겠습니다.
import requests
from bs4 import BeautifulSoup
import time
def crawl_github_folder(url, depth=0, max_depth=3):
"""
Recursively crawls a GitHub repository folder structure.
Parameters:
- url (str): URL of the GitHub folder to scrape.
- depth (int): Current recursion depth.
- max_depth (int): Maximum depth to recurse.
"""
if depth > max_depth:
return
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, headers=headers)
if response.status_code != 200:
print(f"Failed to access {url} (Status code: {response.status_code})")
return
soup = BeautifulSoup(response.text, 'html.parser')
# Extract folder and file links
items = soup.select('div[role="rowheader"] a')
for item in items:
item_name = item.text.strip()
item_url = f"https://github.com{item['href']}"
if '/tree/' in item_url:
print(f"{' ' * depth}Folder: {item_name}")
crawl_github_folder(item_url, depth + 1, max_depth)
elif '/blob/' in item_url:
print(f"{' ' * depth}File: {item_name}")
# Example usage
if __name__ == "__main__":
repo_url = "https://github.com/<owner>/<repo>/tree/<branch>/<folder>"
crawl_github_folder(repo_url)
4. 기능 설명
-
요청 헤더: 사용자 에이전트 문자열을 사용하여 브라우저를 모방하고 차단을 방지합니다.
-
재귀 크롤링:
- 폴더(/tree/)를 감지하여 재귀적으로 입력합니다.
- 추가 입력 없이 파일(/blob/)을 나열합니다.
-
들여쓰기: 출력에 폴더 계층 구조를 반영합니다.
-
깊이 제한: 최대 깊이(max_length)를 설정하여 과도한 재귀를 방지합니다.
5. 향상된 기능
이러한 개선 사항은 크롤러의 기능과 안정성을 향상시키기 위해 설계되었습니다. 결과 내보내기, 오류 처리, 속도 제한 방지 등의 일반적인 문제를 해결하여 도구가 효율적이고 사용자 친화적인지 확인합니다.
5.1. 결과 내보내기
더 쉽게 사용할 수 있도록 출력을 구조화된 JSON 파일로 저장하세요.
pip install requests beautifulsoup4
5.2. 오류 처리
네트워크 오류 및 예상치 못한 HTML 변경에 대한 강력한 오류 처리 기능을 추가합니다.
<div role="rowheader">
<a href="/owner/repo/tree/main/folder-name">folder-name</a>
</div>
5.3. 속도 제한
GitHub의 속도 제한을 방지하려면 지연을 도입하세요.
import requests
from bs4 import BeautifulSoup
import time
def crawl_github_folder(url, depth=0, max_depth=3):
"""
Recursively crawls a GitHub repository folder structure.
Parameters:
- url (str): URL of the GitHub folder to scrape.
- depth (int): Current recursion depth.
- max_depth (int): Maximum depth to recurse.
"""
if depth > max_depth:
return
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, headers=headers)
if response.status_code != 200:
print(f"Failed to access {url} (Status code: {response.status_code})")
return
soup = BeautifulSoup(response.text, 'html.parser')
# Extract folder and file links
items = soup.select('div[role="rowheader"] a')
for item in items:
item_name = item.text.strip()
item_url = f"https://github.com{item['href']}"
if '/tree/' in item_url:
print(f"{' ' * depth}Folder: {item_name}")
crawl_github_folder(item_url, depth + 1, max_depth)
elif '/blob/' in item_url:
print(f"{' ' * depth}File: {item_name}")
# Example usage
if __name__ == "__main__":
repo_url = "https://github.com/<owner>/<repo>/tree/<branch>/<folder>"
crawl_github_folder(repo_url)
6. 윤리적 고려
소프트웨어 자동화 및 윤리적 프로그래밍 전문가인 Shpetim Haxhiu가 작성한 이 섹션은 GitHub 크롤러를 사용하는 동안 모범 사례를 준수하도록 보장합니다.
-
규정 준수: GitHub의 서비스 약관을 준수하세요.
-
부하 최소화: 요청을 제한하고 지연을 추가하여 GitHub 서버를 존중하세요.
-
권한: 개인 저장소의 광범위한 크롤링에 대한 권한을 얻습니다.
7. 전체 코드
모든 기능이 포함된 통합 스크립트는 다음과 같습니다.
import json
def crawl_to_json(url, depth=0, max_depth=3):
"""Crawls and saves results as JSON."""
result = {}
if depth > max_depth:
return result
headers = {"User-Agent": "Mozilla/5.0"}
response = requests.get(url, headers=headers)
if response.status_code != 200:
print(f"Failed to access {url}")
return result
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.select('div[role="rowheader"] a')
for item in items:
item_name = item.text.strip()
item_url = f"https://github.com{item['href']}"
if '/tree/' in item_url:
result[item_name] = crawl_to_json(item_url, depth + 1, max_depth)
elif '/blob/' in item_url:
result[item_name] = "file"
return result
if __name__ == "__main__":
repo_url = "https://github.com/<owner>/<repo>/tree/<branch>/<folder>"
structure = crawl_to_json(repo_url)
with open("output.json", "w") as file:
json.dump(structure, file, indent=2)
print("Repository structure saved to output.json")
이 세부 가이드를 따르면 강력한 GitHub 폴더 크롤러를 구축할 수 있습니다. 이 도구는 윤리적 준수를 보장하면서 다양한 요구 사항에 맞게 조정할 수 있습니다.
댓글 섹션에 질문을 남겨주세요! 또한, 저에게 연락하는 것을 잊지 마세요:
-
이메일: shpetim.h@gmail.com
-
LinkedIn: linkedin.com/in/shpetimhaxhiu
-
GitHub: github.com/shpetimhaxhiu
위 내용은 세부 튜토리얼: API 없이 GitHub 리포지토리 폴더 크롤링의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
