搜索
首页运维Docker如何限制docker容器对内存的使用

如何限制docker容器对内存的使用

Feb 02, 2021 am 11:21 AM
docker内存容器

如何限制docker容器对内存的使用

Docker 容器是一个开源的应用容器引擎,让开发者可以以统一的方式打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何安装了docker引擎的服务器上(包括流行的Linux机器、windows机器),也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app)。几乎没有性能开销,可以很容易地在机器和数据中心中运行。最重要的是,他们不依赖于任何语言、框架包括系统。

默认情况下容器使用的资源是不受限制的。也就是可以使用主机内核调度器所允许的最大资源。但是在容器的使用过程中,经常需要对容器可以使用的主机资源进行限制,本文介绍如何限制容器可以使用的主机内存。

为什么要限制容器对内存的使用?

限制容器不能过多的使用主机的内存是非常重要的。对于 linux 主机来说,一旦内核检测到没有足够的内存可以分配,就会扔出 OOME(Out Of Memmory Exception),并开始杀死一些进程用于释放内存空间。糟糕的是任何进程都可能成为内核猎杀的对象,包括 docker daemon 和其它一些重要的程序。更危险的是如果某个支持系统运行的重要进程被干掉了,整个系统也就宕掉了!这里我们考虑一个比较常见的场景,大量的容器把主机的内存消耗殆尽,OOME 被触发后系统内核立即开始杀进程释放内存。如果内核杀死的第一个进程就是 docker daemon 会怎么样?结果是没有办法管理运行中的容器了,这是不能接受的!
针对这个问题,docker 尝试通过调整 docker daemon 的 OOM 优先级来进行缓解。内核在选择要杀死的进程时会对所有的进程打分,直接杀死得分最高的进程,接着是下一个。当 docker daemon 的 OOM 优先级被降低后(注意容器进程的 OOM 优先级并没有被调整),docker daemon 进程的得分不仅会低于容器进程的得分,还会低于其它一些进程的得分。这样 docker daemon 进程就安全多了。
我们可以通过下面的脚本直观的看一下当前系统中所有进程的得分情况:

#!/bin/bash
for proc in $(find /proc -maxdepth 1 -regex '/proc/[0-9]+'); do
    printf "%2d %5d %s\n" \
        "$(cat $proc/oom_score)" \
        "$(basename $proc)" \
        "$(cat $proc/cmdline | tr '\0' ' ' | head -c 50)"
done 2>/dev/null | sort -nr | head -n 40

此脚本输出得分最高的 40 个进程,并进行了排序:

478ef4822a24313f371e362e35834fe.png

第一列显示进程的得分,mysqld 排到的第一名。显示为 node server.js 的都是容器进程,排名普遍比较靠前。红框中的是 docker daemon 进程,非常的靠后,都排到了 sshd 的后面。

有了上面的机制后是否就可以高枕无忧了呢!不是的,docker 的官方文档中一直强调这只是一种缓解的方案,并且为我们提供了一些降低风险的建议:

  • 通过测试掌握应用对内存的需求

  • 保证运行容器的主机有充足的内存

  • 限制容器可以使用的内存

  • 为主机配置 swap

好了,啰嗦了这么多,其实就是说:通过限制容器使用的内存上限,可以降低主机内存耗尽时带来的各种风险。

压力测试工具 stress

为了测试容器的内存使用情况,笔者在 ubuntu 的镜像中安装了压力测试工作 stress,并新创建了镜像 u-stress。本文演示用的所有容器都会通过 u-stress 镜像创建(本文运行容器的宿主机为 CentOS7)。下面是创建 u-stress 镜像的 Dockerfile:

FROM ubuntu:latest

RUN apt-get update && \
        apt-get install stress

创建镜像的命令为:

$ docker build -t u-stress:latest .

限制内存使用上限

在进入繁琐的设置细节之前我们先完成一个简单的用例:限制容器可以使用的最大内存为 300M。
-m(--memory=) 选项可以完成这样的配置:

$ docker run -it -m 300M --memory-swap -1 --name con1 u-stress /bin/bash

下面的 stress 命令会创建一个进程并通过 malloc 函数分配内存:

# stress --vm 1 --vm-bytes 500M

通过 docker stats 命令查看实际情况:

25f9c2048435121a6083ed9bed17cb1.png

上面的 docker run 命令中通过 -m 选项限制容器使用的内存上限为 300M。同时设置 memory-swap 值为 -1,它表示容器程序使用内存的受限,而可以使用的 swap 空间使用不受限制(宿主机有多少 swap 容器就可以使用多少)。
下面我们通过 top 命令来查看 stress 进程内存的实际情况:

b40e3c0abc55f8dd23e66d94ee3d279.png

上面的截图中先通过 pgrep 命令查询 stress 命令相关的进程,进程号比较大的那个是用来消耗内存的进程,我们就查看它的内存信息。VIRT 是进程虚拟内存的大小,所以它应该是 500M。RES 为实际分配的物理内存数量,我们看到这个值就在 300M 上下浮动。看样子我们已经成功的限制了容器能够使用的物理内存数量。

限制可用的 swap 大小

强调一下 --memory-swap 是必须要与 --memory 一起使用的。

正常情况下, --memory-swap 的值包含容器可用内存和可用 swap。所以 --memory="300m" --memory-swap="1g" 的含义为:
容器可以使用 300M 的物理内存,并且可以使用 700M(1G -300M) 的 swap。--memory-swap 居然是容器可以使用的物理内存和可以使用的 swap 之和!

把 --memory-swap 设置为 0 和不设置是一样的,此时如果设置了 --memory,容器可以使用的 swap 大小为 --memory 值的两倍。

如果 --memory-swap 的值和 --memory 相同,则容器不能使用 swap。下面的 demo 演示了在没有 swap 可用的情况下向系统申请大量内存的场景:

$ docker run -it --rm -m 300M --memory-swap=300M u-stress /bin/bash
# stress --vm 1 --vm-bytes 500M

0329f51777da2c55e84c5beabea0a4a.png

demo 中容器的物理内存被限制在 300M,但是进程却希望申请到 500M 的物理内存。在没有 swap 可用的情况下,进程直接被 OOM kill 了。如果有足够的 swap,程序至少还可以正常的运行。

我们可以通过 --oom-kill-disable 选项强行阻止 OOM kill 的发生,但是笔者认为 OOM kill 是一种健康的行为,为什么要阻止它呢?

除了限制可用 swap 的大小,还可以设置容器使用 swap 的紧迫程度,这一点和主机的 swappiness 是一样的。容器默认会继承主机的 swappiness,如果要显式的为容器设置 swappiness 值,可以使用 --memory-swappiness 选项。

总结

通过限制容器可用的物理内存,可以避免容器内服务异常导致大量消耗主机内存的情况(此时让容器重启是较好的策略),因此可以降低主机内存被耗尽带来的风险。

相关推荐:docker入门教程

以上是如何限制docker容器对内存的使用的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:博客园。如有侵权,请联系admin@php.cn删除
Docker vs.虚拟机:比较Docker vs.虚拟机:比较May 09, 2025 am 12:19 AM

Docker和虚拟机各有优缺点,选择应根据具体需求。1.Docker轻量、快速,适合微服务和CI/CD,启动快,资源占用少。2.虚拟机提供高隔离性和多操作系统支持,但资源消耗大,启动慢。

Docker的体系结构:了解容器和图像Docker的体系结构:了解容器和图像May 08, 2025 am 12:17 AM

Docker架构的核心概念是容器和镜像:1.镜像是容器的蓝图,包含应用及其依赖。2.容器是镜像的运行实例,基于镜像创建。3.镜像由多个只读层组成,容器运行时添加可写层。4.通过Linux命名空间和控制组实现资源隔离和管理。

Docker的力量:集装箱化解释了Docker的力量:集装箱化解释了May 07, 2025 am 12:07 AM

Docker通过容器化技术简化了应用程序的构建、部署和运行。1)Docker是一个开源平台,使用容器技术打包应用及其依赖,确保跨环境一致性。2)镜像和容器是Docker的核心,镜像为应用的可执行包,容器为镜像的运行实例。3)Docker的基本用法如运行Nginx服务器,高级用法如使用DockerCompose管理多容器应用。4)常见错误包括镜像下载失败和容器启动失败,调试技巧包括查看日志和检查端口。5)性能优化和最佳实践包括镜像优化、资源管理和安全性提升。

Kubernetes和Docker:部署和管理集装箱应用程序Kubernetes和Docker:部署和管理集装箱应用程序May 06, 2025 am 12:13 AM

使用Kubernetes和Docker部署容器化应用的步骤包括:1.构建Docker镜像,使用Dockerfile定义应用镜像并推送到DockerHub。2.在Kubernetes中创建Deployment和Service来管理和暴露应用。3.使用HorizontalPodAutoscaler实现动态扩展。4.通过kubectl命令调试常见问题。5.优化性能,定义资源限制和请求,并使用Helm管理配置。

Docker:容器化技术简介Docker:容器化技术简介May 05, 2025 am 12:11 AM

Docker是一个开源平台,用于开发、打包和运行应用程序,通过容器化技术解决应用在不同环境中的一致性问题。1.构建镜像:通过Dockerfile定义应用环境和依赖,使用dockerbuild命令构建。2.运行容器:使用dockerrun命令从镜像启动容器。3.管理容器:通过dockerps、dockerstop、dockerrm等命令管理容器生命周期。

Docker和Linux:构建便携式应用程序Docker和Linux:构建便携式应用程序May 03, 2025 am 12:17 AM

如何利用Docker和Linux构建可移植的应用程序?首先,使用Dockerfile容器化应用,然后在Linux环境中管理和部署容器。1)编写Dockerfile,将应用及其依赖打包成镜像。2)使用dockerbuild和dockerrun命令在Linux上构建和运行容器。3)通过DockerCompose管理多容器应用,定义服务依赖关系。4)优化镜像大小和资源配置,增强安全性,提升应用性能和可移植性。

Docker和Kubernetes:集装箱编排的力量Docker和Kubernetes:集装箱编排的力量May 02, 2025 am 12:06 AM

Docker和Kubernetes通过容器编排提升应用部署和管理效率。1.Docker通过Dockerfile构建镜像并运行容器,确保应用一致性。2.Kubernetes通过Pod、Deployment和Service管理容器,实现自动化部署和扩展。

Docker vs. Kubernetes:主要差异和协同作用Docker vs. Kubernetes:主要差异和协同作用May 01, 2025 am 12:09 AM

Docker和Kubernetes是容器化和编排的领军者。Docker专注于容器生命周期管理,适合小型项目;Kubernetes则擅长容器编排,适用于大规模生产环境。两者结合可提升开发和部署效率。

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

SecLists

SecLists

SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合,这些列表在安全评估过程中经常使用,都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表,帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上,他就可以访问到所需的每种类型的列表。

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )专业的PHP集成开发工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

mPDF

mPDF

mPDF是一个PHP库,可以从UTF-8编码的HTML生成PDF文件。原作者Ian Back编写mPDF以从他的网站上“即时”输出PDF文件,并处理不同的语言。与原始脚本如HTML2FPDF相比,它的速度较慢,并且在使用Unicode字体时生成的文件较大,但支持CSS样式等,并进行了大量增强。支持几乎所有语言,包括RTL(阿拉伯语和希伯来语)和CJK(中日韩)。支持嵌套的块级元素(如P、DIV),

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)