高频交易系统极致低延迟内核优化需裁剪补丁、参数调优与硬件协同,核心是消除不确定性:关闭numa平衡与aslr,绑定线程至隔离核并设sched_fifo优先级99,禁用信号,网卡中断绑定非隔离核且启用busy poll,内存预分配hugetlb池。

要为高频交易系统定制极致低延迟内核,核心不是“换一个更快的内核”,而是通过裁剪、补丁、参数与硬件协同,把内核调度、中断、内存和网络路径的不确定性降到最低。Ubuntu 22.10 默认内核(5.19)虽新,但仍是通用设计,平均调度延迟约100μs,远未达HFT要求的
启用 PREEMPT_RT 实时调度补丁
这是最关键的一步。标准 Linux 内核采用 CFS 调度器,侧重吞吐公平性;而 PREEMPT_RT 将内核大部分不可抢占区域改为可抢占,使最高优先级线程能在几微秒内抢占 CPU,调度延迟从毫秒级压至
- 下载匹配版本源码与 RT 补丁(如 linux-5.19.17 + patch-5.19.17-rt.patch.xz)
- 打补丁后执行
make menuconfig,启用:
— Preemption Model → Fully Preemptible Kernel (RT)
— Timer subsystem → High Resolution Timer support
— CPU/Task time and stats accounting → Disable “CFS bandwidth control” - 关闭 CONFIG_MODULE_UNLOAD 和 CONFIG_KPROBES,减少运行时动态修改风险
精简内核功能与驱动
通用内核加载大量无用模块(蓝牙、声卡、USB HID、多种文件系统),不仅占内存,更会触发意外中断和软中断处理,引入抖动。
- 在
menuconfig中禁用:
— Device Drivers → Bluetooth, Sound card, Input device support(除键盘鼠标外)
— File systems → exFAT, NTFS, ISO9660, SquashFS(仅保留 ext4/xfs)
— Networking support → IPX, AppleTalk, DECnet(只留 IPv4/IPv6 + TCP/UDP) - 将网卡驱动(如 igb、i40e)编译进内核而非模块,避免模块加载延迟与符号解析开销
- 禁用 CONFIG_DEBUG_* 系列选项(除非调试阶段),它们显著拖慢中断响应
固化启动参数与运行时调优
内核行为需在启动时锁定,不能依赖运行时临时修改——某些参数(如 isolcpus)必须 boot-time 生效。
- GRUB 启动参数示例:
isolcpus=managed_irq,1,2,3,4 nohz_full=1,2,3,4 rcu_nocbs=1,2,3,4 irqaffinity=0 mce=ignore_ce intel_idle.max_cstate=1 processor.max_cstate=1 - 关键含义:
—isolcpus隔离 CPU 核心供交易线程独占,managed_irq允许 IRQ 迁移到非隔离核
—nohz_full在指定核上关闭周期性 tick,消除定时器抖动
—rcu_nocbs将 RCU 回调卸载到专用线程,避免干扰实时核 - 启动后立即执行:
echo never > /sys/kernel/mm/transparent_hugepage/enabledecho 0 > /proc/sys/kernel/numa_balancingecho 0 > /proc/sys/kernel/randomize_va_space
绑定用户态与内核协同优化
再低的内核延迟,若应用层不配合,也毫无意义。内核调优必须与 C/C++ 程序设计联动。
- 交易线程使用
SCHED_FIFO+ 最高优先级(如 99),并通过pthread_setaffinity_np()绑定到隔离核 - 禁用所有信号(
sigprocmask(SIG_BLOCK, &all, NULL)),防止异步中断打断关键路径 - 网卡中断绑定到非隔离核(如 CPU 0),并启用 busy poll:
echo 50 > /proc/sys/net/core/busy_pollecho 1 > /proc/sys/net/ipv4/tcp_low_latency - 内存分配全部走预分配池(HugeTLB 页面 + 对象池),杜绝
malloc和页错误











