Python Celery를 배우고 비동기 작업을 쉽게 완료하세요.

최신 웹 애플리케이션은 그 어느 때보다 빠르고 편리하지만, 메인 스레드에서 작업하는 대신 무거운 작업을 시스템의 다른 부분으로 오프로드해야 하는 상황은 여전히 ​​많습니다.

이러한 상황의 예는 다음과 같습니다.

• 주기적 작업 – 특정 간격으로 실행되도록 예약된 작업입니다. 예를 들어 일일, 월간 보고서 생성이 있습니다.
• 타사 도구 - 애플리케이션은 다른 작업이 먼저 완료될 때까지 기다리지 않고 사용자에게 신속하게 응답을 반환해야 합니다. 예를 들어 이메일, 알림을 보내고 업데이트 진행 상황을 내부 도구에 전달합니다.
• 장기 실행 작업 – 복잡하거나 리소스가 많이 소모되고 사용자가 작업이 완료될 때까지 기다려야 하는 작업입니다. 예를 들어. DAG 워크플로, Map-Reduce 기반 작업, 장기 실행 Spark 작업 등

그러면 이러한 상황에 어떻게 대처해야 할까요? 이때 셀러리가 유용합니다.

셀러리란 무엇인가요?

Celery는 일반적인 요청-응답 주기 외부에서 비동기적으로 작업을 실행하기 위해 종종 Flask 및 Django와 같은 Python 기반 웹 프레임워크와 결합되는 오픈 소스 작업 대기열 구현입니다.

그래서 Celery는 본질적으로 분산 메시징을 기반으로 하는 작업 대기열입니다. 실행 단위 또는 작업은 다중 처리, gevent 또는 이벤트렛을 사용하여 하나 이상의 작업자에서 동시에 실행됩니다. 이러한 작업은 동기식(즉, 준비될 때까지 대기) 또는 비동기식(즉, 백그라운드에서)으로 실행될 수 있습니다.

셀러리는 어떻게 작동하나요?

Celery는 생산자-소비자 모델을 기반으로 하는 분산 작업 대기열입니다.

Task Queue는 스레드와 시스템 전체에 작업을 배포하기 위한 메커니즘으로, 본질적으로 생산자(웹 애플리케이션)와 소비자(Celery 작업자) 사이의 메시지 중개자입니다.

Celery는 클라이언트(생산자)와 작업자(소비자) 사이에서 중개자 역할을 하는 브로커와 메시지를 통해 상호 작용합니다. 작업을 시작하기 위해 클라이언트는 메시지를 대기열에 푸시하고 브로커는 메시지를 작업자에게 전달합니다.

셀러리 시스템은 다수의 워커와 브로커로 구성될 수 있어 고가용성과 수평적 확장 가능성을 제공합니다.

간단히 말하면 Celery 클라이언트는 메시지 브로커를 통해 대기열에 새 작업을 추가하는 생산자입니다. 그런 다음 Celery 작업자는 메시지 브로커를 통해 대기열에서 새 작업도 가져옵니다. 처리된 결과는 결과 백엔드에 저장됩니다.

작업 예제

아래 예제에서는 RedisMQ를 메시지 브로커로 사용합니다.

Redis 설정

linux/macOS 시스템에서는 다음 명령을 실행하여 Redis 서버를 로컬로 실행합니다.

$ wget http://download.redis.io/redis-stable.tar.gz
$ tar xvzf redis-stable.tar.gz
$ rm redis-stable.tar.gz
$ cd redis-stable
$ make

Redis를 설정한 후 다음 명령을 실행하여 Redis 서버를 실행합니다.

$ redis-server

서버는 다음에서 실행됩니다. 기본 포트는 6379입니다.

애플리케이션 설정

먼저 Python 프로젝트를 로컬로 설정합니다.

Celery는 pip 또는 easy_install과 같은 표준 도구를 통해 설치할 수 있습니다. 다음 명령을 통해 Celery 및 Redis를 설치합니다.

pip install celery redis==4.3.4

이제 애플리케이션을 실행하려면 Celery 인스턴스가 필요합니다. Celery에서 구현하는 모든 작업(예: 작업 생성 및 관리)은 인스턴스로 시작됩니다.

프로젝트에 task.py 파일을 만듭니다.

From celery import Celery

broker_url = 'redi://localhost:6379/0'

app = Celery('tasks',broker = broker_url)

@app.task
def add(x, y):
return x+y

여기에는 두 숫자의 합을 반환하는 간단한 작업 add()가 정의되어 있습니다.

Run Celery Worker

터미널에서 프로젝트 위치로 전환하고 다음 명령을 사용하여 Celery 작업자를 실행합니다.

$ celery -A tasks worker - loglevel=info

Celery 작업자 명령줄에 대한 자세한 내용을 보려면 도움말을 사용할 수 있습니다.

$ celery worker - help

작업 호출

셀러리에서는 지연() 메서드를 사용하여 작업을 호출합니다.

프로젝트의 다른 터미널 창을 열고 다음 명령을 실행하세요.

$ python

이렇게 하면 Python 명령줄이 열립니다.

>> from tasks import add
>> add.delay(1,2)

이 작업은 작업 상태를 확인하고, 반환 값을 가져오고, 작업이 완료될 때까지 기다리고, 실패 시 예외 및 역추적을 가져오는 데 사용할 수 있는 AsyncResult 인스턴스를 반환합니다.

add.delay() 명령을 실행한 후 작업이 대기열로 푸시된 다음 작업자가 획득합니다. 이는 작업이 수신되고 성공적으로 완료되는 것을 명확하게 볼 수 있는 Celery 작업자 터미널에서 확인할 수 있습니다.

위 내용은 Python Celery를 배우고 비동기 작업을 쉽게 완료하세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!