↓Skip to main content
  1. Docs/

Linux cgroup 资源控制

··14 mins· ·
Cgroup Cgroup
Owl Dawn
Author
Owl Dawn
Table of Contents

Linux cgroup 资源控制
#

cgroup(control group,控制组)是 Linux 内核用来按组组织进程,并统计、限制或分配系统资源的机制。它常与 namespace、capabilities、seccomp 等机制一起构成容器运行环境,但 cgroup 本身不负责隔离进程可见的 PID、网络或挂载视图。

本篇以 cgroup v2 为主线,也解释 v1 的多层级模型。建议先记住三点:cgroup 是资源管理层级,不是进程父子树;父级约束会限制后代;资源限制不等同于预留。 接口是否可用还取决于内核、挂载方式、systemd、运行时和权限,排障时以实际节点为准。

1. cgroup 和容器的关系
#

机制 主要作用 例子
cgroup 按进程组做资源记账和资源控制 CPU 配额、内存限制、任务数、块设备 I/O 控制
namespace 限制进程能看到的资源和名称空间 PID、mount、network、cgroup namespace
capabilities / LSM 控制特权操作和安全边界 限制容器进程可执行的管理操作
seccomp 限制系统调用 拒绝特定 syscall

容器是这些机制、文件系统和用户态运行时的组合。cgroup 不会自动隐藏主机进程,也不单独构成完整的安全隔离边界。

2. 核心对象与内核数据结构
#

  • task:内核调度和管理的任务。传统 cgroup 文档常用 task 泛指进程/线程;用户态接口通常使用 PID 或 TID。
  • process / thread:一个进程可以包含多个线程。v1 的 tasks 接口可单独迁移线程;v2 默认按进程管理,但 threaded 子树支持特定控制器下的线程级组织。
  • cgroup:层级树中的一个节点,包含进程成员关系和控制器接口。
  • controller:统计或控制特定资源的内核组件,例如 cpu、memory、io、pids、cpuset。
  • hierarchy:cgroup 节点组成的一棵树。v1 可有多棵分别关联控制器的树;v2 使用单一统一树。
  • css_set:内核把 task 与各控制器状态关联起来的内部结构。每个 task 关联一个 css_set,多个 task 可以共享一个;在 v1 多层级环境中,它组合了该 task 在不同 hierarchy 中的 cgroup 状态。

每个 v1 hierarchy 中,一个 task 属于该树中的一个 cgroup;同一 task 可以在不同 hierarchy 中分别归属不同 cgroup。v2 中,所有进程位于统一的 cgroup 树。创建子进程时,子进程通常进入创建者当时所在的 cgroup。

下图展示 v1 的概念关系:控制器层级通过 css_set 关联到 task。CPU 组上的百分比是权重关系的示意,不能当作固定 CPU 配额或保证值。

cgroup v1 中 hierarchy、css_set 与 task 的关联关系

3. v1 的多棵树与 v2 的统一树
#

3.1 v1:控制器可以用不同方式分组
#

v1 允许多个 hierarchy。一个 hierarchy 可以挂一个或多个控制器;同一个控制器不能同时任意绑定到多棵活动 hierarchy。这样,管理员可以按资源种类组织不同层级。例如 CPU 按工作类型分组,内存按服务分组:

CPU hierarchy                   Memory hierarchy
cpu-root                        memory-root
├── batch                       ├── service-a
│   ├── PID 101                  │   ├── PID 101
│   └── PID 202                  │   └── PID 303
└── interactive                 └── service-b
    └── PID 303                      └── PID 202

PID 101 在 CPU 树和内存树中的成员关系不同;进程没有被复制。这种灵活性也带来复杂性:查看一个 task 时,必须分别理解它在每棵 hierarchy 的位置。

3.2 v2:单一层级,控制器逐层启用
#

v2 将资源控制器统一到一棵树中。父 cgroup 通过 cgroup.subtree_control 向子节点启用控制器,子节点只有拿到父层传下来的控制器后,才能继续向下一层分配资源。某些过渡系统仍会同时挂载 v1 和 v2:这是混合模式,不代表 v2 自己有多棵统一层级。

统一层级(cgroup v2)
/
└── system.slice
    └── app.slice                 ← 父组资源边界
        ├── api.service           ← API 进程及其线程
        └── worker.service        ← Worker 进程及其线程

假设 app.slice 的 CPU 配额约为 4 CPU,API 子组上限为 2 CPU,Worker 子组上限为 3 CPU。两个子组各自可能用到自己的上限,但同时运行时,总量仍受父组约 4 CPU 的约束。子组限制只能进一步收紧,不能突破祖先边界。

3.3 v1 与 v2 的主要区别
#

方面 v1 v2
层级 可有多个 hierarchy,按控制器组合挂载 一棵统一 hierarchy;系统可在迁移期间与 v1 混用
文件接口 文件名、行为因控制器和历史接口而异 统一核心接口,控制器向子树逐层启用
进程归属 每棵 hierarchy 各有一个 cgroup 归属 通常在统一树中只有一个 cgroup 归属
线程迁移 tasks 移单个 task;cgroup.procs 移整个线程组 默认 cgroup.procs 移整个进程;threaded 子树可用 cgroup.threads 移线程
层级约束 控制器可以有不同的分组结构 父级约束递归作用于子树,并有无内部进程等规则

4. 检查当前系统
#

stat -fc %T /sys/fs/cgroup
findmnt -t cgroup,cgroup2
cat /proc/self/cgroup

/sys/fs/cgroup 类型为 cgroup2fs、且 /proc/self/cgroup 出现 0::/path,通常表示该进程使用 v2。v1 环境通常会在 /proc/self/cgroup 中看到控制器名称和多行层级。/proc/cgroups 是 v1 时代的信息,在 v2 中不能用来确认控制器挂载布局。

容器里的 cgroup namespace 可能把路径显示成相对自身根目录的形式;容器内路径不一定是主机上的绝对路径。要查主机实际归属,还需结合主机上的 /proc/<pid>/cgroup、挂载信息和运行时。

5. v2 层级规则和核心文件
#

5.1 控制器逐层向下启用
#

  • cgroup.controllers:列出当前 cgroup 可供其子节点启用的控制器。
  • cgroup.subtree_control:列出当前节点已经启用、用于控制子节点资源分配的控制器。
  • 在适当父节点写入 +cpu +memory 等操作,才会向子组暴露相应控制器接口;子组如需继续向下分配,还需要在自己的 cgroup.subtree_control 中启用。
  • 一次写入包含多个启用/禁用操作时,内核要么全部应用,要么全部失败;同一控制器出现多次时,最后一次操作生效。

**无内部进程规则:**非根 domain cgroup 要把域控制器启用给子节点时,通常不能同时直接容纳进程。常见结构是让父组承担管理和资源分配,工作负载放进子组。threaded 子树有单独规则。

5.2 常见核心文件
#

文件 作用与注意事项
cgroup.procs 列出当前组的进程 PID;写入 PID 会迁移该进程的所有线程。每次写入迁移一个进程。
cgroup.threads 列出线程 TID;只能在同一 threaded resource domain 中按线程迁移。
cgroup.type 显示 domain、threaded 等类型;新组默认是 domain。
cgroup.events 非根组常见接口;populated 表示本组或后代是否有活动进程,frozen 表示冻结状态。
cgroup.freeze 非根组的冻结开关;冻结可能需要时间,完成状态查看 cgroup.events。冻结是暂停运行,不是杀进程。
cgroup.kill 非根组的只写接口;写入 1 会对本组及后代进程发送 SIGKILL,不是删除 cgroup。
cgroup.max.descendants 限制当前组下可创建的后代 cgroup 数量。
cgroup.max.depth 限制当前组下面允许的最大层级深度。
cgroup.stat 提供后代及控制器状态统计;字段依内核版本而异。

文件是否存在,取决于内核版本、控制器支持与启用状态、所在层级和权限。不要把某台机器的文件列表当成所有 Linux 内核都固定不变的接口。

6. 进程迁移
#

迁移是改变进程的 cgroup 成员关系,不是重启进程或改变其父子关系。v1 中每个 task 在每棵活动 hierarchy 各有一个归属,因此将 PID 写到某棵树的目标组,只改变该 hierarchy 的归属。v2 通常通过目标组的 cgroup.procs 迁移整个进程及其线程;具备 threaded 结构时,cgroup.threads 才能按线程迁移。

# 示例:需要对目标组有写权限,并且来源/目标均在允许管理的子树中
echo 1234 > /sys/fs/cgroup/app-b/cgroup.procs

已有子进程不会随父进程迁移;之后由它创建的新进程通常继承创建者的新 cgroup。v2 中,已分配的内存页等有状态资源不会随进程迁移,仍可能计在原 cgroup;频繁迁移来切换限制不是推荐的治理方式。应尽量在进程启动时放入正确组,运行中需要调整时优先修改控制器配置。

迁移可能因权限、委派边界、控制器条件或层级规则而失败。不要在 systemd 或容器运行时管理的子树里擅自写文件;应由对应管理器执行迁移或明确委派该子树。

7. 常用资源控制器
#

7.1 CPU
#

配额:CPU 时间上限
#

v1 使用 cpu.cfs_quota_us 和 cpu.cfs_period_us;v2 使用 cpu.max,格式为 MAX PERIOD,单位为微秒。比如 200000 100000 代表每 100ms 最多累计使用 200ms CPU 时间,约等于 2 个 CPU 的带宽上限。max 100000 表示该组不设 quota 上限。

这不是绑定两个特定核心,也不是保证随时得到两个核心。父组也可能先耗尽配额,使子组即使自身尚有预算仍被节流。并行度、CPU affinity/cpuset、周期、突发设置和祖先配额都会影响观察到的节流时机。

权重:竞争时的相对份额
#

v1 的 cpu.shares 和 v2 的 cpu.weight 用于同级可运行组竞争 CPU 时的相对分配;它们不是硬上限,也不保证一个固定百分比。v2 cpu.weight 常见默认值为 100,有效范围通常为 1–10000。仅有竞争时才体现相对权重。

观测
#

  • v1:cpu.stat 的 nr_periods、nr_throttled、throttled_time 等字段。
  • v2:cpu.stat,以及支持时的 cpu.pressure;注意 cpu.stat 的分层统计字段与 cpu.stat.local 语义不同。

7.2 内存
#

常见 v2 文件包括:

  • memory.current:当前组及其子树的计费用量。
  • memory.high:高水位。超过后会施加回收压力和分配节流;它本身不触发 OOM killer,数值也可能暂时被突破。
  • memory.max:硬上限。内核会尝试回收;无法满足分配时可能在该 cgroup 中触发 OOM 处理。
  • memory.min、memory.low:内存回收中的保护语义,受祖先保护额度及 overcommit 影响,不等于独占预留。
  • memory.swap.max:限制组可使用的 swap(如内核和系统配置支持)。
  • memory.events:记录 high、max、oom、oom_kill 等事件。默认会包含子树计数;挂载选项 memory_localevents 可改变这一统计行为。
  • memory.stat、memory.pressure:提供分类统计和内存压力信息(字段依内核而异)。

memory.current 不等于各进程 RSS 的简单求和:页缓存、共享页、后代记账和内核记账都可能造成差异。v2 中,内存区域通常记在创建它的 cgroup,直到区域释放;迁移进程不自动搬走旧的内存账目。因此判断 OOM 时要同时查看目标组和祖先组、memory.events、内核日志,以及运行时事件,区分 cgroup OOM、主机 OOM 和 Kubernetes eviction。

7.3 PIDs
#

pids.max 限制该组可创建的任务数量,线程也计入。达到限制时,fork() 或 clone() 可能失败并返回 EAGAIN。用 pids.current、pids.events 排查线程/进程创建失败;祖先的 PID 限制同样会影响后代。

7.4 I/O
#

v2 io.max 按块设备 major:minor 设置读写字节速率(B/s)或 IOPS 上限,io.stat 用于观测。io.weight 是相对权重。效果取决于内核、设备、I/O 调度器和文件系统栈;先核对设备号与真实底层设备,不能只凭容器路径判断。

7.5 cpuset
#

cpuset.cpus 限定允许运行的 CPU 集合,cpuset.mems 限定 NUMA 内存节点。它们与 CPU quota 不同:前者限制“可以在哪些 CPU 上运行”,quota 限制“单位时间最多使用多少 CPU 时间”。集合必须满足父级约束并包含在线资源。

其他控制器包括 hugetlb、rdma、misc 等,取决于内核配置和平台。不要假设 v1 的每个控制器都在 v2 中有同名、完全等价的接口。

8. systemd、容器与 Kubernetes
#

现代 Linux 上 systemd 通常是 cgroup 树的管理者。服务、scope 和 slice 对应树中的组。检查层级可用:

systemd-cgls
systemctl show nginx.service -p ControlGroup -p CPUQuotaPerSecUSec -p MemoryHigh -p MemoryMax -p TasksMax

服务资源限制应优先通过 systemd unit 属性(例如 CPUQuota=、CPUWeight=、MemoryHigh=、MemoryMax=、TasksMax=)配置,并以本机 systemd.resource-control(5) 的版本为准。需要让容器管理器在服务组下自行建立子 cgroup 时,应使用 Delegate=;systemd 与容器管理器不要同时写同一个 cgroup 子树。

Docker、containerd、CRI-O 等运行时会把 OCI 资源设置映射到内核 cgroup。Kubernetes request 主要用于调度和 QoS/份额决策,limit 通常映射为内核资源上限;具体行为受版本、运行时、cgroup 版本和 kubelet 配置影响。内存超限导致的 cgroup OOM 与 kubelet 基于节点压力触发的 eviction 是不同事件。

9. 实操与排障顺序
#

9.1 先读取现状
#

cat /proc/self/cgroup
findmnt -t cgroup,cgroup2
cat /sys/fs/cgroup/cgroup.controllers 2>/dev/null
cat /sys/fs/cgroup/cgroup.subtree_control 2>/dev/null

在容器内执行时,路径可能经过 namespace 映射;文件不存在也可能是控制器没启用、没委派或挂载只读。

9.2 按症状定位
#

症状 先看什么 常见原因
CPU 延迟、使用率不高却卡顿 当前及祖先组 quota、cpu.stat throttling、CPU pressure、cpuset 父级配额耗尽、周期预算已耗尽、同级竞争或 CPU 集合过小
进程突然被杀 memory.events、memory.max/high、祖先内存限制、内核日志、容器事件 cgroup OOM 或主机级 OOM;也需与 kubelet eviction 区分
创建线程失败 pids.current/max/events、系统调用 errno、祖先限制 PID controller 触顶,通常返回 EAGAIN
磁盘变慢 io.max、io.stat、块设备 major:minor、主机 I/O 延迟 I/O 限速、设备映射不符或底层存储拥塞
控制器文件缺失/写入失败 版本、挂载、cgroup.controllers、父级 cgroup.subtree_control、权限和委派 控制器不可用/未启用、管理权不在当前进程或违反层级规则

按这个顺序排查通常更快:确认进程实际所在路径 → 判断 v1/v2 与挂载 → 看当前组和祖先限制 → 读计数器/pressure → 查 systemd/运行时配置 → 在测试环境验证。

10. 常见误区
#

  1. 容器就是 cgroup。 容器还需要 namespace、权限控制、文件系统和运行时等机制。
  2. CPU quota 是固定绑核。 quota 是 CPU 时间预算;CPU 集合看 cpuset/affinity。
  3. CPU weight 是保底或硬限制。 它是竞争条件下的相对权重。
  4. v2 的每个线程都必须处在同一个 cgroup。 默认如此;threaded 子树是例外。
  5. 父组参数都会复制给子组。 父级约束会影响后代,但每个控制器具体的默认和继承语义不同。
  6. 迁移进程会把所有资源账目一起转移。 尤其 v2 内存页账目不会因为进程迁移而自动搬迁。
  7. 在容器内看到的 cgroup 路径就是主机路径。 cgroup namespace 可能重映射视图。
  8. 手动改文件就是永久配置。 systemd 或运行时可能重新协调或覆盖;生产策略应在实际管理者处设置。

11. 常见问题与参考回答
#

基础
#

1. cgroup 是什么?与 namespace 有何区别?
cgroup 按组统计和控制资源;namespace 隔离资源的可见范围和名称空间。容器经常把两者组合起来。

2. cgroup 层级是否等同于进程树?
不是。它是资源管理树;进程由管理器放入组中,和进程父子关系独立。迁移父进程不会递归迁移已有子进程。

3. v1 的多棵树有什么意义?
能按不同资源采用不同分组,例如 CPU 按工作类型划分,内存按服务划分;代价是成员关系、路径和管理更复杂。

4. v1 与 v2 的核心区别?
v1 可以有多棵关联不同控制器的 hierarchy;v2 使用统一层级、控制器向子树逐层启用,并引入更明确的层级和委派约束。

5. cgroup.controllers 和 cgroup.subtree_control 有何区别?
前者列出当前节点可供子节点启用的控制器;后者列出当前节点已经启用来控制子节点资源分配的控制器。

6. v2 的无内部进程规则是什么?
非根 domain cgroup 要启用域控制器向子组分配资源时,通常不能同时直接承载进程;把工作负载放到子组是常见方案。threaded 子树有专门规则。

资源控制
#

7. cpu.max 如何计算?
MAX PERIOD 是每周期的 CPU 时间预算。比如 200000 100000 等价于约 2 个 CPU 的带宽上限,但不是固定两颗核心。

8. CPU quota 与权重有何区别?
quota 是硬带宽上限;weight 是同级竞争时的相对分配。没有竞争时,权重可能不体现效果。

9. 4 CPU quota 为什么会发生 throttling?
进程可并行消耗多个 CPU;当一个周期内累计预算耗尽,组会被限制到下个周期补充。祖先 quota 也可能先耗尽。检查本组与祖先组的配额、cpu.stat 和压力指标。

10. memory.high 和 memory.max 的区别?
high 超限会施加回收压力和节流,不会直接触发 OOM killer;max 是硬边界,回收无法满足分配时可能发生组内 OOM。

11. 为什么 RSS 之和不等于 memory.current?
共享页、页缓存、内核记账、后代统计和进程采样时差会造成差异;迁移进程也不会自动搬迁既有内存页账目。

12. pids.max 限制进程还是线程?
限制 task 数,线程也计入。触顶时 fork/clone 常见返回 EAGAIN。

13. cpuset 和 quota 区别?
cpuset 限定可运行在哪些 CPU 上,quota 限制单位时间内的 CPU 时间预算。

14. 如何确认是 cgroup OOM?
结合该组和祖先组的 memory.events、内核 OOM 日志、容器运行时事件及 kubelet 事件,区分组内 OOM、主机 OOM 与 eviction。

容器和排障
#

15. Kubernetes 的 CPU request 与 limit 分别是什么?
request 主要参与调度和相对资源配置;limit 通常映射为 CPU quota。具体映射随 kubelet、运行时和 cgroup 版本而异。

16. 为什么容器里没有 memory.max?
可能仍是 v1、memory controller 未编译/未挂载/被绑定到 v1、v2 父级未启用、容器没有委派权限,或挂载只读。

17. 为什么手动修改的值被覆盖?
该 cgroup 归 systemd 或容器运行时管理。应由树的所有者通过其配置接口设置,避免多个写入者互相覆盖。

18. 如何委派 cgroup 子树?
由 systemd 等管理器明确对 service/scope 开启 Delegate=,只在委派的子树操作,并遵守父级限制、控制器启用顺序和单写入者规则。

19. 容器内路径为何与宿主机不一样?
cgroup namespace 和 mount namespace 会改变可见路径;需结合宿主机上的 /proc/<pid>/cgroup 及运行时信息映射。

20. 为什么不建议频繁迁移进程?
迁移有同步和记账开销,有状态资源(尤其已计费的内存)不会一起移动;更适合在启动时确定工作负载归属,运行中调整时优先修改控制器参数。

12. 官方资料
#

内核接口、systemd 属性和容器运行时映射会随版本与配置变化;生产排障应优先检查当前节点的真实文件和管理器配置。

Related

Cgroup v1 和 v2 的区别
··6 mins
Cgroup Cgroup
LevelDB
·14 mins
Redis 高可用的实现
·8 mins
linux 文件系统
·12 mins
redis
·19 mins
一些 c++ 规范
·2 mins
Cpp Cpp