为什么我无法在 Ubuntu 上分配大型 NumPy 数组，如何修复它？

Numpy 中大型数组的内存分配约束

在 Ubuntu 18 上尝试分配大型 numpy 数组时遇到错误，“无法分配具有形状和数据类型的数组”，在 MacOS 上不会遇到此问题。造成这种差异的原因在于系统的过量使用处理模式。

过量使用处理和内存分配

过量使用处理模式决定了系统如何管理内存分配请求。在默认模式 (0) 下，内核检查是否有足够的物理内存来提交分配请求。如果不是，则拒绝分配。在过度使用模式 1 下，无论可用物理内存如何，内核始终允许分配。

解决方案

要在 Ubuntu 上解决此问题，您需要启用过度使用模式1. 以 root 身份运行以下命令：

$ echo 1 > /proc/sys/vm/overcommit_memory

这会将过度使用处理模式更改为1，允许分配大型numpy数组。

稀疏数组和虚拟内存

过度使用模式1对于稀疏数组很有用，其中只有一小部分实际使用了分配的内存。这是因为系统只将物理内存提交给显式写入的页面，从而节省物理内存。

警告

需要注意的是，在过度使用模式下1 允许大量分配，如果分配的内存超过可用物理内存，可能会导致潜在的系统不稳定。谨慎使用过度使用模式 1，并密切监视系统的内存使用情况。

以上是为什么我无法在 Ubuntu 上分配大型 NumPy 数组，如何修复它？的详细内容。更多信息请关注PHP中文网其他相关文章！