应采用动态扩缩容机制：一、用ray serve内置autoscalingpolicy声明式扩缩；二、通过dashboard metrics api手动控制；三、基于job submission client实现任务级弹性扩缩。
如果您在使用Ray构建分布式应用时，发现服务负载波动较大，需要根据实时请求量自动调整计算资源，则可能是由于缺乏动态扩缩容机制。以下是实现Relax动态扩缩容Ray服务的多种代码方案：
一、基于Ray Serve内置AutoScalingPolicy的声明式扩缩容
该方法利用Ray Serve 2.0+提供的AutoScalingPolicy类，通过配置最小/最大副本数与目标并发请求数，由Serve内部控制器自动调节部署实例数量，无需手动轮询指标。
1、定义支持自动扩缩的Ray Serve部署类，继承from serve.deployment，并在装饰器中传入autoscaling_config参数。
2、设置autoscaling_config字典，包含min_replicas=1、max_replicas=10、target_num_ongoing_requests_per_replica=15三项关键参数。
3、调用serve.run()部署该应用，并通过serve.get_app_handle()获取句柄发起压测请求以触发扩缩行为。
二、基于Ray Dashboard Metrics API的手动扩缩控制
该方法绕过Serve内置策略，直接读取Ray集群运行时暴露的HTTP指标接口（如/metrics），解析当前每副本平均QPS或延迟，再调用serve.api.deploy()动态更新副本数，实现完全自定义决策逻辑。
1、启动Ray集群时启用metrics_export_port参数，例如ray start --head --metrics-export-port=8080。
2、使用Python requests库定时GET http://localhost:8080/metrics，提取ray_serve_deployment_queued_queries_total和ray_serve_deployment_processing_queries_total等指标。
3、根据滑动窗口内平均并发请求数计算所需副本数：new_replicas = max(min_replicas, min(max_replicas, ceil(current_ongoing / target_per_replica)))。
4、调用serve.deploy()传入新replica_count，强制重部署并等待就绪。
三、基于Ray Job Submission Client的弹性任务级扩缩
该方法不依赖Serve，而是将每个推理/处理任务封装为独立Ray Job，由外部调度器根据队列长度或任务积压延迟，动态提交或终止Job实例，适用于批处理或事件驱动型工作流。
1、使用ray.job_submission.JobSubmissionClient初始化客户端，指向ray cluster地址如http://localhost:8265。
2、定义任务入口脚本main.py，内含Ray Actor初始化与业务逻辑，确保其可被ray job submit执行。
3、监控ray.job_submission.list_jobs()返回的PENDING/RUNNING状态数量，当PENDING > 5且RUNNING
4、对超时RUNNING超过300秒的Job ID，调用client.stop_job()主动终止以释放资源。
四、基于Ray Core Actor生命周期的手动Actor池管理
该方法直接操作Ray Actor，构建一个可动态增删的Actor池，由中心化Manager Actor统一维护活跃Actor列表，并响应外部扩缩指令，适用于低延迟、强状态一致性要求场景。
1、定义ManagerActor类，内部维护actor_list = []和lock = threading.Lock()，提供add_actor()与remove_actor()方法。
2、在add_actor()中调用ray.remote(WorkerActor).options(max_concurrency=100).remote()生成新Actor，并append至actor_list。
3、实现scale_to(n: int)方法：若n > len(actor_list)，循环add_actor()；若n
4、所有业务请求经ManagerActor转发至actor_list[random.randint(0, len(actor_list)-1)]，实现简单负载均衡。
