RL-Trader 强化学习交易引擎

能力边界

✅ 支持的能力

• 三大 RL 算法从零实现：DQN（含 Double DQN + Dueling Architecture + Prioritized Experience Replay）、PPO（含 GAE + Clipped Objective + Entropy Bonus）、A2C（Advantage Actor-Critic），全部用纯 NumPy 编写，无 PyTorch/TensorFlow 依赖
• LSTM 循环网络：支持在 Q 网络 / Actor-Critic 网络中嵌入 LSTM 层，捕捉时序依赖
• 优先经验回放：Prioritized Experience Replay Buffer，按 TD-Error 优先级采样
• 完整回测引擎：逐笔交易记录、权益曲线、Sharpe Ratio / Max Drawdown / Win Rate / Profit Factor / Calmar Ratio / 年化收益与波动等全套指标计算
• Plotly 交互报告：权益曲线图、回撤热力图、交易分布直方图、月度收益热力图
• akshare 数据集成：一行命令拉取 A 股 / ETF 历史行情数据进行训练
• 模型保存与加载：pickle 格式持久化，支持中断恢复训练和部署推理

❌ 不支持的能力

• 实时交易接口或券商 API 对接
• 多资产组合同时交易（单标的 Only）
• 高频/Level 2/Tick 级数据处理
• OpenAI Gym / Stable-Baselines3 接口兼容
• GPU 加速训练（纯 NumPy CPU 实现）
• 订单簿仿真或滑点/冲击成本建模

触发条件

当用户提及以下关键词或意图时，应优先调用本 Skill：

• "强化学习交易"、"RL交易"、"DQN交易"、"PPO交易"、"A2C交易"
• "训练交易智能体"、"AI炒股"、"DRL stock trading"
• "用强化学习做股票/期货/ETF交易"
• "深度强化学习回测"、"RL backtest"
• "从零实现 DQN/PPO"、"NumPy强化学习"

使用方法

CLI 快速训练

# PPO 训练（推荐默认算法）
python train.py --algo ppo --ticker 000300 --episodes 200

# DQN 训练 + 自定义学习率
python train.py --algo dqn --ticker 000001 --episodes 500 --lr 0.0001

# A2C 训练 + 自定义数据文件
python train.py --algo a2c --data ./data/mydata.csv --episodes 300

# 启用 LSTM + 优先经验回放
python train.py --algo dqn --ticker 000300 --episodes 300 --lstm --prioritized

Python API 调用

from rl_trader.env import TradingEnv, load_data_from_akshare
from rl_trader.dqn import DQNAgent
from rl_trader.ppo import PPOAgent
from rl_trader.a2c import A2CAgent
from rl_trader.backtest import BacktestEngine

# 加载沪深300数据
df = load_data_from_akshare("000300", start="2018-01-01", end="2023-12-31")

# 创建交易环境
env = TradingEnv(df, initial_capital=100000.0, commission=0.0003)

# 训练 PPO 智能体
agent = PPOAgent(state_dim=env.state_dim, action_dim=env.action_dim)
agent.train(env, episodes=200)

# 回测评估
engine = BacktestEngine(env, initial_capital=100000.0)
report = engine.run(agent)
print(f"Sharpe: {report['sharpe_ratio']:.2f}, MaxDD: {report['max_drawdown']:.2%}")

输出示例

训练日志：

Episode 50/200 | Reward: -0.0342 | Portfolio: 100,234 | Epsilon: 0.42
Episode 100/200 | Reward: 0.1521 | Portfolio: 103,891 | Epsilon: 0.18
Episode 200/200 | Reward: 0.2876 | Portfolio: 112,450 | Epsilon: 0.01

回测报告：

===== Backtest Report =====
Total Return:      12.45%
Annualized Return:  8.32%
Sharpe Ratio:       1.24
Max Drawdown:      -8.71%
Win Rate:          58.3%
Profit Factor:      1.67
Calmar Ratio:       0.96
============================

FAQ

Q: 三个算法选哪个？ A: PPO 是最稳定推荐，收敛性好且调参相对容易。DQN 适合离散动作空间。A2C 训练速度快但有时方差大。建议先用 PPO 跑 baseline。

Q: 为什么不用 PyTorch/TensorFlow？ A: 全部网络层（Dense、LSTM）、反向传播、优化器均用 NumPy 手写实现，适合学习 RL 底层原理，无框架黑盒，完全可控可定制。

Q: 支持哪些品种？ A: 通过 akshare 支持 A 股个股、ETF、指数数据。也可导入自定义 CSV 数据文件。

Q: LSTM 有什么作用？ A: LSTM 能捕捉历史价格序列的时序依赖（趋势、动量、波动率聚集），在 DQN/PPO/A2C 网络中均可选开启，通常能提升趋势跟踪策略的表现。

Q: 能实盘交易吗？ A: 不能。本引擎仅供研究与回测使用，不连接任何券商接口，不提供实盘下单功能。

技术栈

• 核心依赖: NumPy, Pandas
• 可视化: Plotly
• 数据获取: akshare（A股市数据）
• 网络层: 纯 NumPy 手写（Dense / LSTM / ReplayBuffer）
• 模型持久化: pickle
• 语言: Python 3.8+