Scipy Optimize约束加速:用稀疏线性约束替代重复函数调用

冬明小哥_9035

冬明小哥_9035

2026-07-18

450人浏览

原创

Scipy Optimize约束加速:用稀疏线性约束替代重复函数调用

本文介绍如何将22个独立的非线性不等式约束函数,重构为单个高效、向量化、基于稀疏矩阵的linearconstraint,从而避免重复索引查找与python层循环,将约束评估速度提升近10倍。

本文介绍如何将22个独立的非线性不等式约束函数,重构为单个高效、向量化、基于稀疏矩阵的linearconstraint,从而避免重复索引查找与python层循环,将约束评估速度提升近10倍。

在使用 scipy.optimize.minimize(尤其是 'trust-constr' 或 'SLSQP' 方法)进行大规模参数优化时,约束函数的执行效率对整体求解性能影响极大。你当前的实现中,22个硬编码切片的约束函数(如 MaxConstraint000, MaxConstraint001…)运行高效,但一旦改用动态查表式约束函数(如 MaxConstraint(parameters, keyValue)),性能骤降10倍——根本原因在于每次约束评估都触发了低效的Python级操作

  • np.where(DFData['KeyValues'].values == keyValue)[0]:全量扫描字符串数组,时间复杂度 O(n);
  • DFMaxValues.loc[[keyValue], ['MaxValue']].values[0][0]:Pandas索引开销大,且每次调用均重复解析;
  • np.array(parameters) 显式转换:冗余且阻碍向量化;
  • 22次独立函数调用 → 22次独立查表 + 22次索引定位 → 累积开销爆炸。

最优解不是“优化单个函数”,而是“消除函数调用本身”:你的所有约束本质都是线性不等式——即形如 A @ x ≤ b,其中 A 是一个稀疏的 22×75 系数矩阵,每行仅在对应参数索引位置为1,其余为0;b 是长度为22的上界向量。

✅ 推荐方案:使用 scipy.optimize.LinearConstraint(零Python开销)

LinearConstraint 将约束完全移至底层C/Fortran实现,无需Python函数回调,避免任何解释器开销。配合 scipy.sparse.csr_array 存储稀疏系数矩阵,内存与计算效率极高。

以下是完整重构步骤(适配你全部22个约束):

import numpy as np
from scipy.optimize import LinearConstraint
import scipy.sparse

# Step 1: 定义每组参数的起始/结束索引(按原始约束顺序)
# 例如:[0:2] → indices [0,1]; [2:5] → [2,3,4]; ...
slice_bounds = [
    (0, 2),   (2, 5),   (5, 8),   (8, 10),  (10, 13), (13, 16),
    (16, 21), (21, 25), (25, 28), (28, 30), (30, 33), (33, 38),
    (38, 43), (43, 45), (45, 47), (47, 51), (51, 53), (53, 57),
    (57, 64), (64, 67), (67, 72), (72, 75)
]

# Step 2: 构建稀疏约束矩阵 A (22 × 75)
# data: 全1(因约束是 sum(params[i:j]) ≤ bound → 系数全为1)
# indices: 每行对应的列索引(即参数下标)
# indptr: CSR格式的行指针(长度=23)
data = np.ones(75)  # 总共75个非零元(22组索引长度之和)
indices = np.concatenate([np.arange(start, end) for start, end in slice_bounds])
indptr = np.cumsum([0] + [end - start for start, end in slice_bounds])

A = scipy.sparse.csr_array((data, indices, indptr), shape=(22, 75))

# Step 3: 定义上界向量 ub(22维)
ub = np.array([
    129, 2571, 3857, 823, 823, 3857, 4714, 3429, 3429, 3429,
    2914, 6000, 6000, 429, 1457, 4286, 2143, 4286, 2143, 2571,
    1714, 4286
])

# Step 4: 创建线性约束对象(高效、无Python回调)
constraint = LinearConstraint(A=A, ub=ub)

# 在 optimize 中直接使用(替换原 _Constraints)
_Constraints = [constraint]  # 注意:LinearConstraint 返回单个对象,列表包装即可

⚠️ 关键优势与注意事项

  • 零运行时开销:LinearConstraint 内部直接调用BLAS/LAPACK,不经过Python函数栈;
  • 自动向量化:一次矩阵乘法完成全部22个约束计算,而非22次独立调用;
  • 内存友好:CSR格式仅存储75个非零值(而非22×75=1650个浮点数);
  • 可维护性强:ub 数组和 slice_bounds 列表可轻松从CSV或配置文件加载,完全避免硬编码;
  • 兼容性保障:trust-constr 和 SLSQP 均原生支持 LinearConstraint;
  • ❗ 不要混用:若存在非线性约束,可将线性部分用 LinearConstraint,非线性部分保留为 'fun' 字典,scipy 会自动混合处理。

✅ 验证约束等价性(可选)

快速验证新旧约束逻辑一致:

x_test = np.random.uniform(0, 10000, size=75)
old_vals = [f(x_test) for f in [
    MaxConstraint000, MaxConstraint001, ..., MaxConstraint021
]]
new_vals = (A @ x_test).flatten()  # 实际计算的是 sum(params),需对比 ub - sum
assert np.allclose(ub - new_vals, [f(x_test) for f in old_funcs], atol=1e-10)

通过此重构,你不仅恢复了原始性能,还获得了更清晰、更易维护、更符合数值优化最佳实践的约束表达方式——真正实现“配置驱动”与“高性能”兼得。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

2023.07.20

1571

4

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

2023.07.25

3724

7

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.31

1569

3

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

2023.08.03

21377

23

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2627

5

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.04

2687

5

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

1083

5

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.10

576

4

python是前端还是后端
python是前端还是后端

Python属于前端也属于后端,其灵活性和丰富的生态系统使得开发人员能够在不同的领域中灵活运用。本专题为大家提供python相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.11

2083

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.2万人学习