# `ThreadPoolExecutor`로 Python 작업 향상

Python에서 여러 작업을 동시에 실행하는 경우 concurrent.futures 모듈은 강력하고 간단한 도구입니다. 이 글에서는 ThreadPoolExecutor를 사용하여 작업을 병렬로 실행하는 방법과 실제 예제를 살펴보겠습니다.

ThreadPoolExecutor를 사용하는 이유는 무엇입니까?

Python에서 스레드는 네트워크 호출이나 파일 읽기/쓰기 작업과 같이 I/O 작업이 지배적인 작업에 적합합니다. ThreadPoolExecutor를 사용하면 다음을 수행할 수 있습니다.

• 스레드를 수동으로 관리하지 않고도 여러 작업을 동시에 실행
• 활성 스레드 수를 제한하여 시스템에 부담을 주지 않도록 하세요.
• 직관적인 API를 활용하여 쉽게 결과를 수집하세요.

---

예: 병렬로 작업 실행

개념 이해를 위해 간단한 예를 살펴보겠습니다.

코드

from concurrent.futures import ThreadPoolExecutor
import time

# Function simulating a task
def task(n):
    print(f"Task {n} started")
    time.sleep(2)  # Simulates a long-running task
    print(f"Task {n} finished")
    return f"Result of task {n}"

# Using ThreadPoolExecutor
def execute_tasks():
    tasks = [1, 2, 3, 4, 5]  # List of tasks
    results = []

    # Create a thread pool with 3 simultaneous threads
    with ThreadPoolExecutor(max_workers=3) as executor:
        # Execute tasks in parallel
        results = executor.map(task, tasks)

    return list(results)

if __name__ == "__main__":
    results = execute_tasks()
    print("All results:", results)

예상 출력

이 코드를 실행하면 다음과 같은 내용이 표시됩니다(약간 병렬 순서로).

Task 1 started
Task 2 started
Task 3 started
Task 1 finished
Task 4 started
Task 2 finished
Task 5 started
Task 3 finished
Task 4 finished
Task 5 finished
All results: ['Result of task 1', 'Result of task 2', 'Result of task 3', 'Result of task 4', 'Result of task 5']

max_workers=3이므로 작업 1, 2, 3이 동시에 시작됩니다. 다른 작업(4 및 5)은 스레드를 사용할 수 있을 때까지 기다립니다.

---

언제 사용하나요?

일반적인 사용 사례:

• API에서 데이터 가져오기: 여러 URL을 동시에 로드합니다.
• 파일 처리: 여러 파일을 동시에 읽고, 쓰고, 변환합니다.
• 작업 자동화: 여러 스크립트 또는 명령을 병렬로 실행합니다.

---

모범 사례

1. 스레드 수 제한:

   • 스레드가 너무 많으면 CPU에 과부하가 걸리거나 병목 현상이 발생할 수 있습니다.

2. 예외 처리:

   • 한 작업이 실패하면 전체 풀에 영향을 미칠 수 있습니다. 함수에서 예외를 포착하세요.

3. CPU 바인딩 작업에 ProcessPoolExecutor 사용:

   • 스레드는 Python의 GIL(Global Interpreter Lock)로 인해 과도한 계산에 적합하지 않습니다.

---

고급 예: 병렬로 URL 가져오기

다음은 실제 예입니다. 여러 URL을 동시에 가져오는 것입니다.

import requests
from concurrent.futures import ThreadPoolExecutor

# Function to fetch a URL
def fetch_url(url):
    try:
        response = requests.get(url)
        return f"URL: {url}, Status: {response.status_code}"
    except Exception as e:
        return f"URL: {url}, Error: {e}"

# List of URLs to fetch
urls = [
    "https://example.com",
    "https://httpbin.org/get",
    "https://jsonplaceholder.typicode.com/posts",
    "https://invalid-url.com"
]

def fetch_all_urls(urls):
    with ThreadPoolExecutor(max_workers=4) as executor:
        results = executor.map(fetch_url, urls)
    return list(results)

if __name__ == "__main__":
    results = fetch_all_urls(urls)
    for result in results:
        print(result)

결론

ThreadPoolExecutor는 Python에서 스레드 관리를 단순화하고 I/O 바인딩 작업 속도를 높이는 데 이상적입니다. 단 몇 줄의 코드만으로 작업을 병렬화하고 귀중한 시간을 절약할 수 있습니다.

위 내용은 # `ThreadPoolExecutor`로 Python 작업 향상의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!