1200字范文 > 【云原生Docker篇】Docker Cgroups资源控制管理

【云原生Docker篇】Docker Cgroups资源控制管理

时间：2020-06-06 22:20:56

一、cgroups简介

cgroups，是一个非常强大的linux内核工具，他不仅可以限制被namespace 隔离起来的资源，还可以为资源设置权重、计算使用量、操控进程启停等等。所以cgroups (Control groups) 实现了对资源的配额和度量。

cgroups有四大功能：

资源限制：可以对任务使用的资源总额进行限制。优先级分配：通过分配的cpu时间片数量以及磁盘IO带宽大小，实际上相当于控制了任务运行优先级。资源统计：可以统计系统的资源使用量，如cpu时长，内存用量等。任务控制： cgroup可以对任务执行挂起、恢复等操作。

二、cpu时间片的概念

时间片即CPU分配给各个程序的时间，每个线程被分配一个时间段，称作它的时间片，即该进程允许运行的时间，使各个程序从表面上看是同时进行的。如果在时间片结束时进程还在运行，则CPU将被剥夺并分配给另一个进程。如果进程在时间片结束前阻塞或结束，则CPU当即进行切换。而不会造成CPU资源浪费。

在宏观上：我们可以同时打开多个应用程序，每个程序并行不悖，同时运行。但在微观上：由于只有一个CPU，一次只能处理程序要求的一部分，如何处理公平，一种方法就是引入时间片，每个程序轮流执行。

三、对CPU使用的限制

3.1 设置CPU使用率上限

Linux通过CFS （Completely Fair Scheduler，完全公平调度器）来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。

我们可以设置每个容器进程的调度周期，以及在这个周期内各个容器最多能使用多少CPU时间。

使用 --cpu-period 即可设置调度周期，使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。CFS周期的有效范围是1ms ~ 1s，对应的 --cpu-period 的数值范围是 1000 ~1000000 （单位微秒）。而容器的CPU配额必须不小于1ms，即 --cpu-quota 的值必须 >= 1000。

（1）查看容器的默认CPU使用限制

#创建并启动容器[root@yuji ~]# docker run -itd --name test1 centos:7 /bin/bashWARNING: IPv4 forwarding is disabled. Networking will not work.059823a1abbe2ac6ed35599ca0d3d68049e49263ff9add8f65cc55daa094ec08#查看容器状态[root@yuji ~]# docker ps -aCONTAINER ID IMAGE COMMAND CREATEDSTATUSPORTS NAMES059823a1abbe centos:7 "/bin/bash" 12 seconds ago Up 10 seconds test1#切换到cgroup下针对容器的相关配置目录[root@yuji ~]# cd /sys/fs/cgroup/cpu/docker/[root@yuji docker]# ls059823a1abbe2ac6ed35599ca0d3d68049e49263ff9add8f65cc55daa094ec08 cpu.cfs_quota_uscgroup.clone_children cpu.rt_period_uscgroup.event_control cpu.rt_runtime_uscgroup.procs cpu.sharescpuacct.stat cpu.statcpuacct.usage notify_on_releasecpuacct.usage_percpu taskscpu.cfs_period_us##切换到test1容器的目录[root@yuji docker]# cd 059823a1abbe2ac6ed35599ca0d3d68049e49263ff9add8f65cc55daa094ec08[root@yuji 059823a1abbe2ac6ed35599ca0d3d68049e49263ff9add8f65cc55daa094ec08]# lscgroup.clone_children cgroup.procs cpuacct.usagecpu.cfs_period_us cpu.rt_period_us cpu.shares notify_on_releasecgroup.event_control cpuacct.stat cpuacct.usage_percpu cpu.cfs_quota_us cpu.rt_runtime_us cpu.stat tasks##查看test1容器的CPU使用限额。即每个调度周期内可占用的CPU时间（单位：微秒）[root@yuji 059823a1abbe2ac6ed35599ca0d3d68049e49263ff9add8f65cc55daa094ec08]# cat cpu.cfs_quota_us-1#默认为-1，表示不限制##查看CPU调度周期（单位：微秒）[root@yuji 059823a1abbe2ac6ed35599ca0d3d68049e49263ff9add8f65cc55daa094ec08]# cat cpu.cfs_period_us100000 #单位微秒，即100毫秒，0.1秒#cpu.cfs_period_us：分配的周期（微秒，所以文件名中用u）,默认为100000。#cpu.cfs_quota_us：表示该cgroups限制占用的时间（微秒），默认为-1，表示不限制。#cpu.cfs_quota_us 如果设为50000，表示占用 50000/100000=50%的CPU。

（2）进行压力测试

[root@yuji ~]# docker exec -it test1 bash #进入容器[root@059823a1abbe /]# vi /cpu.sh#写个死循环脚本#!/bin/bashi=0while truedolet i++done[root@059823a1abbe /]# chmod +x cpu.sh #给脚本权限[root@059823a1abbe /]# ./cpu.sh#运行脚本#再开一个终端，查看cpu.sh进程的cpu使用率[root@localhost ~]# top #可以看到使用率接近100%PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND3328 root 20 0 11688 1100 916 R 99.7 0.1 7:04.44 cpu.sh#之后在容器中使用ctrl+c，停止脚本的执行，再top观察CPU使用率

（3）创建容器时设置CPU使用时间限制

#创建容器test2，并限制CPU使用时间为50000微秒，表示最多占用50%的CPU。[root@yuji ~]# docker run -itd --name test2 --cpu-quota 50000 centos:7WARNING: IPv4 forwarding is disabled. Networking will not work.8e7ba758a231b29dad1f668ba83092e8f637d2a9785999c6d23b27c60935b12b#查看CPU限额文件[root@yuji ~]# cd /sys/fs/cgroup/cpu/docker/[root@yuji docker]# ls059823a1abbe2ac6ed35599ca0d3d68049e49263ff9add8f65cc55daa094ec08 cpuacct.usagecpu.shares8e7ba758a231b29dad1f668ba83092e8f637d2a9785999c6d23b27c60935b12b cpuacct.usage_percpu cpu.statcgroup.clone_children cpu.cfs_period_us notify_on_releasecgroup.event_control cpu.cfs_quota_us taskscgroup.procs cpu.rt_period_uscpuacct.stat cpu.rt_runtime_us[root@yuji docker]# cd 8e7ba758a231b29dad1f668ba83092e8f637d2a9785999c6d23b27c60935b12b[root@yuji 8e7ba758a231b29dad1f668ba83092e8f637d2a9785999c6d23b27c60935b12b]# cat cpu.cfs_quota_us50000#登录容器test2，写个死循环脚本并运行[root@yuji ~]# docker exec -it test2 bash[root@8e7ba758a231 /]# vi /cpu.sh#!/bin/bashi=0while truedolet i++done[root@8e7ba758a231 /]# chmod +x cpu.sh[root@8e7ba758a231 /]# ./cpu.sh #再开一个终端，查看cpu使用率[root@yuji ~]# top#CPU使用率在50%左右PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND3746 root 20 0 11688 1096 916 R 50.0 0.1 1:55.26 cpu.sh#容器的CPU使用时间限制设为50000，而调度周期为100000，表示容器占用50000/100000=50%的CPU。

（4）对已存在的容器进行CPU限制

直接修改 /sys/fs/cgroup/cpu/docker/容器id/cpu.cfs_quota_us 文件即可

#进入test1容器目录，修改CPU使用时间限制[root@yuji ~]# cd /sys/fs/cgroup/cpu/docker/[root@yuji docker]# ls059823a1abbe2ac6ed35599ca0d3d68049e49263ff9add8f65cc55daa094ec08 cpuacct.usagecpu.shares8e7ba758a231b29dad1f668ba83092e8f637d2a9785999c6d23b27c60935b12b cpuacct.usage_percpu cpu.statcgroup.clone_children cpu.cfs_period_us notify_on_releasecgroup.event_control cpu.cfs_quota_us taskscgroup.procs cpu.rt_period_uscpuacct.stat cpu.rt_runtime_us[root@yuji docker]# cd 059823a1abbe2ac6ed35599ca0d3d68049e49263ff9add8f65cc55daa094ec08#修改CPU使用时间限制[root@yuji 059823a1abbe2ac6ed35599ca0d3d68049e49263ff9add8f65cc55daa094ec08]# echo "33000" >cpu.cfs_quota_us[root@yuji 059823a1abbe2ac6ed35599ca0d3d68049e49263ff9add8f65cc55daa094ec08]# cat cpu.cfs_quota_us33000#此时再进入test1容器执行之前创建好的脚本，进行压力测试[root@yuji ~]# docker exec -it test1 bash[root@059823a1abbe /]# ./cpu.sh#再开一个终端，查看cpu使用率[root@localhost ~]# topPID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND4635 root 20 0 11688 1096 916 R 33.3 0.1 1:27.62 cpu.sh#容器的CPU使用时间限制设为33000，而调度周期为100000，表示容器占用33000/100000=33%的CPU。

3.2 设置CPU资源占用比（设置多个容器时才有效）

Docker 通过 --cpu-shares 指定CPU份额，默认值为1024，值为1024的倍数。

（1）创建两个容器，设置CPU资源占用比

#先删除所有容器[root@yuji ~]# docker rm -f $(docker ps -aq)9c48e09ea1567c7e024b557e#创建两个容器为c1和c2#只有这2个容器的情况下，cpu资源分摊给这两个容器，512:1024等于1:2，一个占1/3，一个占2/3。[root@yuji ~]# docker run -itd --name c1 --cpu-shares 512 centos:7WARNING: IPv4 forwarding is disabled. Networking will not work.300b50f13ebef4921029e352f5850b1c81f8f8e28827a8d11f20e55eec94642b[root@yuji ~]# docker run -itd --name c2 --cpu-shares 1024 centos:7WARNING: IPv4 forwarding is disabled. Networking will not work.7a999b00c9eef7fdb916c2914087809e7eba55b1c52aaaabeeda16a4006f57a9[root@yuji ~]# docker ps -aCONTAINER ID IMAGE COMMAND CREATEDSTATUSPORTS NAMES7a999b00c9ee centos:7 "/bin/bash" 4 seconds ago Up 3 seconds c2300b50f13ebe centos:7 "/bin/bash" 6 seconds ago Up 5 seconds c1

（2）分别进入两个容器，进行压力测试

#宿主机开启路由转发功能，使容器能够连通外网[root@yuji ~]# echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf[root@yuji ~]# sysctl -pnet.ipv4.ip_forward = 1#进入c1容器，进行压力测试docker exec -it c1 bashyum install -y epel-release #下载epel源yum install -y stress#安装stress工具stress -c 4 #产生四个进程，每个进程都反复不停地计算随机数的平方根#进入c2容器，进行压力测试docker exec -it c2 bashyum install -y epel-release #下载epel源yum install -y stress#安装stress工具stress -c 4 #产生四个进程，每个进程都反复不停的计算随机数的平方根

3.3 设置容器绑定指定的CPU（绑核）

注意：CPU编号从0开始。编号1、3代表第二个核和第四个核。

#先为虚拟机分配4个CPU核数#创建容器c3时，绑定1号和3号这两个CPU[root@yuji ~]# docker run -itd --name c3 --cpuset-cpus 1,3 centos:7 /bin/bash#进入容器，进行压力测试docker exec -it c3 bashyum install -y epel-release #下载epel源yum install -y stress#安装stress工具stress -c 4 #产生四个进程，每个进程都反复不停地计算随机数的平方根#退出容器，执行top命令再按1查看CPU使用情况[root@yuji ~]# top #可以看到CPU1和CPU3占满，其他CPU使用率为0top - 01:12:49 up 4:01, 3 users, load average: 3.47, 2.96, 2.49Tasks: 183 total, 6 running, 177 sleeping, 0 stopped, 0 zombie%Cpu0 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st%Cpu1 :100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st%Cpu2 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st%Cpu3 :100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 stKiB Mem : 2031912 total, 150852 free, 635800 used, 1245260 buff/cacheKiB Swap: 4194300 total, 4194236 free, 64 used. 1138692 avail Mem

四、对内存使用的限制

4.1 限制容器可以使用的最大内存

-m （或--memory=）选项用于限制容器可以使用的最大内存#-m(--memory=)选项用于限制容器可以使用的最大内存。

4.2 限制容器可用的swap 大小

#限制可用的swap 大小，--memory-swap●强调一下， --memory-swap是必须要与 --memory（或-m）一起使用的。●正常情况下， --memory-swap 的值包含容器可用内存和可用swap 。●所以 -m 300m --memory-swap=1g 的含义为：容器可以使用300M 的物理内存，并且可以使用700M (1G - 300M)的swap。设置为0或者不设置，则容器可以使用的 swap 大小为 -m 值的两倍。如果 --memory-swap 的值和 -m 值相同，则容器不能使用swap。如果 --memory-swap 值为 -1，它表示容器程序使用的内存受限，而可以使用的swap空间使用不受限制（宿主机有多少swap 容器就可以使用多少）。

五、对磁盘IO的配置控制（blkio）的限制

--device-read-bps：限制某个设备上的读速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。--device-write-bps : 限制某个设备上的写速度bps ( 数据量)，单位可以是kb、mb (M)或者gb。--device-read-iops :限制读某个设备的iops (次数)--device-write-iops :限制写入某个设备的iops ( 次数)

5.1 创建容器，不限制写速度

#创建容器tt01，不限制写入速度docker run -it --name tt01 centos:7 /bin/bash#通过dd来验证写速度，拷贝50M的数据dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct #添加oflag参数以规避掉文件系统cache#创建容器tt01，不限制写入速度[root@yuji ~]# docker run -it --name tt01 centos:7 /bin/bash#通过dd来验证写速度，拷贝50M的数据到容器中[root@a62f5b811e58 /]# dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct #添加oflag参数以规避掉文件系统cache5+0 records in5+0 records out52428800 bytes (52 MB) copied, 0.0948474 s, 553 MB/s#没有限制写速度的情况下，写入很快，0.09秒的时间内已写入50M的数据，写入速度为553M/s。

5.2 创建容器，并限制写速度

#创建容器，并限制写入速度为1MB/s，即每秒只能写入1MB的数据量。[root@yuji ~]# docker run -it --name tt02 --device-write-bps /dev/sda:1mb centos:7 bash#通过dd来验证写速度，拷贝50M的数据到容器中[root@655f6cca0175 /]# dd if=/dev/zero of=/opt/test.out bs=10M count=5 oflag=direct #添加oflag参数以规避掉文件系统cache5+0 records in5+0 records out52428800 bytes (52 MB) copied, 50.0048 s, 1.0 MB/s#写入50M的数据，需要50s左右，因为限制了容器的写速度是 1.0 MB/s。

六、清除docker占用的磁盘空间

docker system prune -a 可用于清理磁盘，删除关闭的容器、无用的数据卷和网络。