CodeGeeX配置周期性的Celery任务调度【任务调度】

落静酱_1924

落静酱_1924

2026-04-20

735人浏览

原创

需通过Celery Beat配置周期性任务调度,包括配置Redis为Broker与Backend、定义CodeGeeX预热与健康检查任务、启动Beat与Worker协同运行、用crontab精确控制执行时间,并验证任务注册与触发。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

codegeex配置周期性的celery任务调度【任务调度】

如果您希望在Django项目中让CodeGeeX模型定期执行代码生成、健康检查或预热加载等操作,则需通过Celery Beat配置周期性任务调度。以下是实现此目标的步骤:

一、配置Celery Beat并启用Redis作为Broker与Backend

该方法确保调度器能可靠地将定时任务推入队列,并由Worker持续拉取执行,避免因进程重启导致任务丢失。

1、确认Redis服务已在本地或远程运行,端口为6379,数据库索引未被其他服务占用。

2、在Django项目的settings.py中添加以下配置:

CELERY_BROKER_URL = 'redis://127.0.0.1:6379/0'

CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379/1'

CELERY_TIMEZONE = 'Asia/Shanghai'

CELERY_ENABLE_UTC = False

3、在项目根目录(与manage.py同级)创建celeryconfig.py文件,写入周期性任务定义:

from celery.schedules import crontab

CELERY_BEAT_SCHEDULE = {

'codigeeex-warmup-hourly': {

'task': 'myapp.tasks.warmup_codigeeex_model',

'schedule': 3600.0,

'args': ()

},

'codigeeex-healthcheck-daily': {

'task': 'myapp.tasks.check_codigeeex_health',

'schedule': crontab(hour=2, minute=0),

'args': ()

}

}

二、定义可被周期调度的CodeGeeX相关任务

该方法将模型加载、轻量推理或状态校验逻辑封装为独立Celery任务,确保其可被Beat按计划触发,且不依赖HTTP请求上下文。

1、在应用目录(如myapp/tasks.py)中定义两个任务函数:

from celery import shared_task

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

import torch

@shared_task

def warmup_codigeeex_model():

model = AutoModelForSeq2SeqLM.from_pretrained("THUDM/codegeex-4b", low_cpu_mem_usage=True)

tokenizer = AutoTokenizer.from_pretrained("THUDM/codegeex-4b")

inputs = tokenizer("def hello():", return_tensors="pt")

with torch.no_grad(): model.generate(**inputs, max_length=64, do_sample=False)

return "CodeGeeX model warmed up successfully"

@shared_task

def check_codigeeex_health():

try:

CodeGeex 2.21.0
CodeGeex 2.21.0

CodeGeeX 2.21.0是智谱AI推出的AI编程助手版本,对Inline Chat功能进行了重大优化,包括UI设计升级、支持流式输出以提升响应速度,并新增“查看思路”按钮以便理解代码原理。同时,该版本在编辑器中新增CodeLens控件,支持一键“解释”代码或“添加注释”。目前该工具对个人开发者免费开放。

下载

from myapp.utils import is_codigeeex_ready

return {"status": "healthy" if is_codigeeex_ready() else "unavailable"}

except Exception as e:

return {"status": "error", "message": str(e)}

三、启动Celery Beat与Worker协同运行

该方法确保调度器与执行单元分离部署,满足生产环境高可用要求,同时避免单进程阻塞导致定时任务失效。

1、在终端中启动Celery Worker,指定任务模块并启用日志:

celery -A myproject worker -l info

2、另启一个终端,启动Celery Beat进程,显式指向配置模块:

celery -A myproject beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler

3、若使用django_celery_beat扩展(推荐用于动态管理周期任务),需先执行迁移并安装:

pip install django-celery-beat

python manage.py migrate django_celery_beat

python manage.py createsuperuser

4、登录Django Admin,在Periodic Tasks中手动添加warmup_codigeeex_model任务,设置Interval为“every 1 hour”。

四、使用crontab语法精确控制每日执行时间点

该方法适用于需要严格对齐业务低峰期(如凌晨2点系统维护窗口)执行模型健康检查的场景,避免资源争抢。

1、修改celeryconfig.py中CELERY_BEAT_SCHEDULE条目,替换为:

'codigeeex-daily-prefetch': {

'task': 'myapp.tasks.prefetch_codigeeex_examples',

'schedule': crontab(hour=3, minute=15, day_of_week='mon,tue,wed,thu,fri'),

'args': ('fibonacci',)

}

2、在myapp/tasks.py中新增对应任务:

@shared_task

def prefetch_codigeeex_examples(topic: str):

prompt = f"Write a Python function to calculate {topic}:"

# 调用已封装的CodeGeeX生成逻辑(非阻塞方式)

result = generate_code_with_codigeeex(prompt)

return {"prompt": prompt, "generated": result[:200]}

五、验证周期任务是否成功注册并触发

该方法通过命令行工具直接探查调度器状态与任务分发记录,无需等待实际执行时间点,提升调试效率。

1、执行以下命令查看当前活跃的Beat调度器是否识别到配置:

celery -A myproject inspect scheduled

2、检查Worker是否已订阅对应队列:

celery -A myproject inspect active_queues

3、手动触发一次任务以验证执行路径无异常:

from myapp.tasks import warmup_codigeeex_model; warmup_codigeeex_model.apply()

4、观察Worker终端输出是否包含"CodeGeeX model warmed up successfully"字样及时间戳。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

codegeex

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
C语言变量命名
C语言变量命名

c语言变量名规则是:1、变量名以英文字母开头;2、变量名中的字母是区分大小写的;3、变量名不能是关键字;4、变量名中不能包含空格、标点符号和类型说明符。php中文网还提供c语言变量的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

3489

3

c语言入门自学零基础
c语言入门自学零基础

C语言是当代人学习及生活中的必备基础知识,应用十分广泛,本专题为大家c语言入门自学零基础的相关文章,以及相关课程,感兴趣的朋友千万不要错过了。

2023.07.25

2408

9

c语言运算符的优先级顺序
c语言运算符的优先级顺序

c语言运算符的优先级顺序是括号运算符 > 一元运算符 > 算术运算符 > 移位运算符 > 关系运算符 > 位运算符 > 逻辑运算符 > 赋值运算符 > 逗号运算符。本专题为大家提供c语言运算符相关的各种文章、以及下载和课程。

2023.08.02

1340

5

c语言数据结构
c语言数据结构

数据结构是指将数据按照一定的方式组织和存储的方法。它是计算机科学中的重要概念,用来描述和解决实际问题中的数据组织和处理问题。数据结构可以分为线性结构和非线性结构。线性结构包括数组、链表、堆栈和队列等,而非线性结构包括树和图等。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.09

1298

4

c语言random函数用法
c语言random函数用法

c语言random函数用法:1、random.random,随机生成(0,1)之间的浮点数;2、random.randint,随机生成在范围之内的整数,两个参数分别表示上限和下限;3、random.randrange,在指定范围内,按指定基数递增的集合中获得一个随机数;4、random.choice,从序列中随机抽选一个数;5、random.shuffle,随机排序。

2023.09.05

1396

5

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2298

7

c语言get函数的用法
c语言get函数的用法

get函数是一个用于从输入流中获取字符的函数。可以从键盘、文件或其他输入设备中读取字符,并将其存储在指定的变量中。本文介绍了get函数的用法以及一些相关的注意事项。希望这篇文章能够帮助你更好地理解和使用get函数 。

2023.09.20

3760

8

c数组初始化的方法
c数组初始化的方法

c语言数组初始化的方法有直接赋值法、不完全初始化法、省略数组长度法和二维数组初始化法。详细介绍:1、直接赋值法,这种方法可以直接将数组的值进行初始化;2、不完全初始化法,。这种方法可以在一定程度上节省内存空间;3、省略数组长度法,这种方法可以让编译器自动计算数组的长度;4、二维数组初始化法等等。

2023.09.22

17595

6

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

549

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
CodeGeex使用手册
CodeGeex使用手册

共0课时 | 0人学习