Python 서버 프로그래밍: django-celery를 사용한 작업 대기열

Python 서버 프로그래밍: django-celery를 사용한 작업 대기열

웹 애플리케이션의 인기가 높아지고 사용자 수가 증가함에 따라 최신 웹 애플리케이션은 복잡하고 시간에 민감한 작업을 처리하여 생산성과 안정성을 유지해야 합니다. 전자상거래 웹사이트의 주문 처리, 시스템 로그 파일 처리부터 컴퓨터 비전 및 자연어 처리의 고급 응용 프로그램에 이르기까지 이러한 작업을 처리하려면 독립적인 프로세스가 필요합니다.

기존 접근 방식은 cron이나 유사한 작업 스케줄러를 사용하는 것이지만 다음과 같은 문제가 있습니다.

• 작업을 동적으로 관리하고 할당하기가 어렵습니다.
• 실패한 작업을 다시 시도하기가 어렵습니다.
• 작업을 여러 서버에 쉽게 배포할 수 없습니다.
• 작업 및 태스크의 상태를 추적하고 모니터링할 방법이 없습니다.

그래서 이러한 문제를 해결하려면 작업 대기열 서비스가 필요합니다.

Python 생태계에서 Celery는 가장 일반적으로 사용되는 작업 대기열입니다. 분산 시스템용으로 설계된 작업 대기열이며 높은 동시성, 높은 처리량의 웹 애플리케이션에 적합합니다.

이 기사에서는 Celery와 Django를 사용하여 작업 대기열 서비스를 개발하는 방법을 소개합니다. Celery용 Django 통합으로 Django-Celery를 사용하겠습니다.

1. 관련 종속성 설치

먼저 프로젝트에 Celery와 Django-Celery의 종속성을 설치해야 합니다. pip 도구를 사용하여 설치할 수 있습니다.

pip install celery django-celery

2. Celery 구성

Celery 사용을 시작하기 전에 Celery를 구성해야 합니다. 이렇게 하려면 프로젝트의 루트 디렉터리에 있는 celery.py라는 파일을 만듭니다. 파일 내용은 다음과 같습니다.

from __future__ import absolute_import, unicode_literals

import os

from celery import Celery

# Set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'example.settings')

app = Celery('example')

# Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

참고: settings.py 파일에 지정된 구성을 사용하여 Celery를 구성하려면 'example.settings'를 실제 Django 프로젝트 이름으로 바꾸세요.

3. Django 구성

이제 settings.py 파일에서 Django가 Celery를 지원하도록 구성해야 합니다.

# Celery Configuration
CELERY_BROKER_URL = 'redis://localhost:6379/0'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'

CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'

# app注册
INSTALLED_APPS = (
    ...
    'django_celery_results',
    'django_celery_beat',
    ...
)

여기서 두 가지 주요 설정을 구성합니다. (1) CELERY_BROKER_URL – 이는 Celery에게 Redis를 미들웨어 서비스로 사용하도록 지시합니다. (2) INSTALLED_APPS – 애플리케이션에 Django-Celery의 두 애플리케이션을 등록해야 합니다.

4. 작업 만들기

이제 Celery와 Django가 구성되었으므로 몇 가지 작업 정의를 시작할 수 있습니다. 작업 구조와 구문을 보여주기 위해 샘플 작업을 만듭니다. app/tasks.py 파일에 다음 내용을 추가합니다.

from django.core.mail import send_mail
from celery import shared_task
from datetime import datetime


@shared_task
def send_email_task():
    subject = 'Celery Email Demo'
    message = 'This email is sent using celery!'
    from_email = 'demo@example.com'
    recipient_list = ['recipient@example.com']
    send_mail(subject, message, from_email, recipient_list)

    print('Email Sent Successfully')
    return None


@shared_task
def print_time():
    now = datetime.now()
    current_time = now.strftime("%H:%M:%S")
    print("Current Time =", current_time)

    return None

여기에서는 두 가지 작업을 정의합니다. 각각 send_email_task 및 print_time 작업입니다. 이것에 주의하세요. shared_task 데코레이터로 작업을 장식합니다. 이를 통해 작업을 어디에서나 액세스할 수 있으며 여러 프로세스에서 작업을 호출할 수 있습니다.

5. 작업자 프로세스 시작

작업을 정의했으므로 이제 작업자 프로세스를 시작하고 수행할 작업을 알려줘야 합니다.

터미널 창을 열고 다음 명령을 입력하세요.

$ celery -A example worker --loglevel=info

예제는 Django 프로젝트의 이름을 나타냅니다. 여기서는 --loglevel=info를 사용하여 작업자의 로그 수준을 제어합니다.

6. Django 관리 인터페이스를 통해 작업 예약

Django-Celery는 Django 관리 인터페이스에서 작업 관리 및 예약을 지원합니다. Django-Celery에 두 개의 애플리케이션을 등록해야 합니다. admin.py 파일에 다음 코드를 추가할 수 있습니다.

from django.contrib import admin
from django_celery_beat.admin import PeriodicTaskAdmin, IntervalScheduleAdmin
from django_celery_results.models import TaskResult
from django_celery_results.admin import TaskResultAdmin
from core.tasks import send_email_task, print_time


class Tasks(admin.ModelAdmin):
    actions = ['send_email_task', 'print_time']

    def send_email_task(self, request, queryset):
        send_email_task.delay()

    send_email_task.short_description = "Send Email Task"

    def print_time(self, request, queryset):
        print_time.delay()

    print_time.short_description = "Print Current Time"


admin.site.unregister(TaskResult)
admin.site.register(TaskResult, TaskResultAdmin)
admin.site.register(IntervalSchedule, IntervalScheduleAdmin)
admin.site.register(PeriodicTask, PeriodicTaskAdmin)
admin.site.register(Tasks)

여기서 관리 인터페이스에 작업을 추가합니다. "메일 작업 수행" 및 "현재 시간 인쇄" 버튼을 클릭하여 이러한 작업을 수행할 수 있습니다.

이제 Django-Celery를 사용하여 작업 대기열 서비스를 성공적으로 설정했습니다. 이를 다양한 애플리케이션에 사용할 수 있으며 WebSocket 및 HTTP 프로토콜과 같은 통신 프로토콜을 사용하여 여러 서버에 배포할 수 있습니다.

결론

이 글에서는 Celery와 Django를 사용하여 작업 대기열 서비스를 개발하는 방법을 소개합니다. Django-Celery를 Celery용 Django 통합으로 사용하고 작업 정의, Celery 구성, 작업자 시작, 작업 예약 및 작업 관리 방법을 보여줍니다. 작업 대기열 서비스는 복잡하고 시간이 많이 걸리는 작업을 처리하고 웹 애플리케이션의 성능과 안정성을 향상시키는 탁월한 방법을 제공합니다.

위 내용은 Python 서버 프로그래밍: django-celery를 사용한 작업 대기열의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!