跳到正文

Kubernetes 自动扩缩容图:HPA、VPA、KEDA、Cluster Autoscaler 与 Karpenter

用一张图讲清 Kubernetes 自动扩缩容的各个循环:它们监控什么、多久动作一次,以及如何避免互相冲突。

· 创始人兼开发者

发布于

orders 队列驱动 KEDA,KEDA 扩缩 worker Deployment。metrics-server 为 HPA 和 VPA 提供指标,HPA 扩缩 api Deployment,VPA 设定其内存 requests。Pending 的 Pod 交给 Cluster Autoscaler 或 Karpenter,它们调用云 API,新节点随之加入。

流量在 9:00 翻了一倍。大约 30 秒内,HorizontalPodAutoscaler 要求再增加六个 API 副本。四个启动了;另外两个保持 Pending,因为没有任何节点有足够空间满足它们的 CPU requests。节点自动扩缩器向云申请一台机器,等它启动并加入集群后,最后两个副本才开始运行。

那个早晨靠的是好几个控制循环,每个都有自己的输入和自己的时钟。调得好,没人会注意到它们。requests 设错了,或者两个自动扩缩器互相打架,就会出现 Pod 被循环驱逐,或节点始终缩不下来的情况。

本文介绍每个循环当前的默认值(Kubernetes 1.37)、循环之间的冲突点,以及一张展示全部循环的图。

自动扩缩容循环总览

循环 修改什么 监控什么 默认周期
HorizontalPodAutoscaler (HPA) 副本数 Resource、Custom 和 External 指标 15 秒
VerticalPodAutoscaler (VPA) CPU 和内存 requests 使用量历史 1 分钟
KEDA 副本数,可缩至零 队列长度等事件源 每 30 秒轮询
Cluster Autoscaler 节点组大小 无法调度的 Pod 每 10 秒扫描
Karpenter 单个节点 无法调度的 Pod、节点成本 1 到 10 秒的批次

Pod 把各层连在一起,而 requests 就是通行货币:正如 Kubernetes 节点自动扩缩容文档所强调的,调度器和两个节点自动扩缩器依据的是请求的 CPU 和内存,而不是实际使用量。

HPA:根据指标调整副本数

HPA 控制器运行在 kube-controller-manager 中,每 15 秒重新计算一次。CPU 和内存来自 metrics.k8s.io,由 metrics-server 提供,后者每 15 秒抓取一次每个 kubelet。这个 API 在 Kubernetes 1.37 中以 v1 进入稳定版,但 HPA 仍然读取 v1beta1。其他指标通过适配器接入你的指标管道:custom.metrics.k8s.io 用于每秒请求数之类的值,external.metrics.k8s.io 用于云队列这类集群之外的值。HPA 参考文档给出了公式:

desiredReplicas = ceil(currentReplicas × currentMetricValue / desiredMetricValue)

4 个副本的 CPU 使用率为 90%,目标为 60%,HPA 会要求 ceil(4 × 90 / 60) = 6 个。在 64% 时它什么都不做:1.07 的比值在默认 10% 的容差之内。使用率是相对于 requests 计算的,所以没有 CPU request 的容器会让 HPA 无法基于 CPU 动作。有多个指标时,取结果最大的那个。

设置 默认值
同步周期 15 秒
容差 10%;每个 HPA 单独的字段自 1.37 起为稳定版
缩容稳定窗口 300 秒,取该窗口内最高的推荐值
扩容上限 每 15 秒 100% 或 4 个 Pod,取较大者
CPU 初始化期 5 分钟;尚未就绪的 Pod 的 CPU 会被忽略

缩容至零目前是 beta,并在 1.37 中默认启用:使用 object 或 external 指标时,可以设置 minReplicas: 0,详见发布公告。CPU 和内存无法把工作负载从零唤醒,因为它们是在运行中的 Pod 上测得的。

spec:
  minReplicas: 3
  maxReplicas: 30
  metrics:
  - type: Resource
    resource:
      name: cpu
      target: {type: Utilization, averageUtilization: 60}
  behavior:
    scaleUp:
      tolerance: 0.05
    scaleDown:
      stabilizationWindowSeconds: 300

VPA:根据使用量历史调整 requests

VPA 是 Kubernetes autoscaler 项目的附加组件,当前的发布线是 1.8。它有三个组件:

  1. recommender 每分钟为每个容器计算一个目标值、一个下限和一个上限。内存跟随 8 天内的峰值;CPU 历史的权重每 24 小时减半。
  2. updater 每分钟检查 Pod,驱逐或调整那些超出上下限的 Pod,同时遵守 PodDisruptionBudget。
  3. admission controller 是一个 mutating webhook,把推荐的 requests 写入新 Pod。
更新模式 效果
Off 仅给出推荐值
Initial 仅在创建 Pod 时设置 requests
Recreate 驱逐并重建 Pod
InPlaceOrRecreate 原地调整,失败则驱逐
InPlace 仅原地调整;在 VPA 1.7 中为 alpha
Auto Recreate 的已弃用别名

Pod 原地调整大小自 Kubernetes 1.35 起为稳定版,InPlaceOrRecreate 自 VPA 1.6 起正式可用。当调整不可行,或被推迟超过五分钟时,updater 仍会驱逐。启用更新之前,先运行一周 Off,把推荐值和你现有的 requests 对比。VPA 目前还不支持使用 Pod 级 resources 的工作负载;其余细节见 VPA 参考文档。

Cluster Autoscaler 对比 Karpenter

两者都对被调度器标记为无法调度的 Pod 作出反应,并且都用 requests 而不是节点使用量来模拟调度。

Cluster Autoscaler 扩展你事先定义好的节点组,例如 AWS Auto Scaling 组。每 10 秒,它会在每个组的模板节点上尝试放置无法调度的 Pod,用 expander 选出一个组(默认 least-waste),并请求云扩容;它的 FAQ 在少于 100 个节点的集群上把这一步的目标定在 30 秒以内。如果一个节点上的 Pod 请求的资源不到其可分配 CPU 和内存的 50%,并且可以迁移到别处,该节点会在 10 分钟后被移除。严格的 PodDisruptionBudget、本地存储,以及带有 safe-to-evict: "false" 注解的 Pod 都会阻止这一点。

Karpenter 没有节点组。NodePool 设定实例系列、可用区和上限等约束;NodeClass 保存云相关的设置。Karpenter 把待处理的 Pod 按 1 到 10 秒攒成一批,做装箱计算,并直接启动实例;在 AWS 上,它向 EC2 Fleet 提供最多 60 种实例类型。节点移除的部分见其干扰(disruption)文档:整合(consolidation)会删除或替换利用率低的节点(默认 WhenEmptyOrUnderutilized),发生漂移的节点会被替换,预算默认把两者都限制在一个 NodePool 节点数的 10% 以内。节点还会在 720 小时后过期。

Cluster Autoscaler Karpenter
扩缩单位 预先定义的节点组 单个节点,按批次选择
实例类型 每个组固定 NodePool 允许的任意类型
移除节点 请求量低于 50% 持续 10 分钟 预算范围内的整合与漂移,外加过期
云服务商 很多 较少,包括 AWS 和 Azure

撰写本文时(2026 年 11 月),EKS Auto Mode 基于 Karpenter 构建,AKS 节点自动预配为你运行 Karpenter,GKE 则管理自己的 cluster autoscaler。每一组节点只运行一个节点自动扩缩器;Karpenter 的迁移指南会把 Cluster Autoscaler 缩到零副本。

KEDA:队列与缩容至零

KEDA 是 CNCF 毕业项目,通过 70 多种 scaler 增加事件驱动的扩缩容:Kafka 分区上的消费者 lag、RabbitMQ 或 SQS 队列长度、Prometheus 查询、cron。ScaledObject 指向一个 Deployment。KEDA operator 自己处理 0 到 1 以及反向的切换,每 30 秒轮询一次,并在 300 秒冷却后缩至零。从 1 到 N,它管理一个 HPA,并通过 external metrics API 向其提供指标,详见 ScaledObject 参考文档。

apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
  name: worker
spec:
  scaleTargetRef:
    name: worker
  minReplicaCount: 0
  maxReplicaCount: 50
  triggers:
  - type: rabbitmq
    metadata:
      queueName: orders
      mode: QueueLength
      value: "20"
      hostFromEnv: RABBITMQ_HOST

缩容至零要付出冷启动的代价,这适合持久化的队列。HTTP 需要一个缓冲层,因为在没有任何 Pod 就绪时,Service 不会保留请求。随着 HPA 缩容至零进入 beta,基于 external 指标的 HPA 现在可以独自缩到零,但 KEDA 仍然带来 scaler、触发器认证,以及用于批处理任务的 ScaledJob。事件驱动架构图展示了这类 worker 周围的队列。

循环如何相互作用,又在哪里冲突

  • 同一指标上的 HPA 和 VPA。 VPA 提高 CPU requests,使用率下降,HPA 减少副本,剩下的 Pod 负载更高,VPA 再次提高 requests。把基于 CPU 的 HPA 与仅限内存的 VPA(controlledResources: ["memory"])搭配,或者改用 Custom 指标来扩缩。
  • KEDA 加上你自己的 HPA。 两个控制器会去写同一个副本数。用 KEDA 的 transfer-hpa-ownership 注解移交现有的 HPA。
  • DaemonSet 上的 VPA。 它会破坏节点自动扩缩器对新节点上将运行什么的预测;Kubernetes 文档不建议这样做。
  • 错误的 requests。 太低,新节点帮不上忙;太高,节点永远看起来没被充分利用。

时间点同样重要。一次 CPU 峰值要经过最多 15 秒等下一次抓取,再加 15 秒等下一次 HPA 同步,才会形成决策。放不下的 Pod 还要再等最多 10 秒的 Cluster Autoscaler 扫描,或 Karpenter 的 1 到 10 秒批次。然后是 VM 启动:AWS 称 Karpenter 在一分钟内启动容量;Cluster Autoscaler 的 FAQ 给出的数字是 Google Compute Engine 上三到四分钟。想更快地获得余量,可以运行低优先级的占位 Pod,让真实 Pod 抢占它们,这个 FAQ 里有说明。

Kubernetes 自动扩缩容图

orders 队列驱动 KEDA,KEDA 扩缩 worker Deployment。metrics-server 为 HPA 和 VPA 提供指标,HPA 扩缩 api Deployment,VPA 设定其内存 requests。Pending 的 Pod 交给 Cluster Autoscaler 或 Karpenter,它们调用云 API,新节点随之加入。

21 个组件 · 13 个连接

在 Archboard 中打开
图表内容
  • orders queue
  • KEDA
  • worker
  • new pod
  • metrics-server
  • HPA: api
  • api
  • VPA: api memory
  • Cluster Autoscaler
  • Karpenter
  • Cloud provider API
  • New node
  • queue length
  • replicas 0–N
  • CPU usage
  • replicas
  • memory usage
  • memory requests
  • new replica
  • Unschedulable
  • resize node group
  • launch instances
  • VM joins
一个集群的自动扩缩容循环。HPA 每 15 秒根据 CPU 设定副本数,VPA 设定内存 requests,KEDA 根据队列长度扩缩 worker,Pending 的 Pod 则交给 Cluster Autoscaler 或 Karpenter,由它们向云申请节点。

这张图的读法如下:

  • 上排,青色: KEDA 读取 orders 队列,并在零到 N 个副本之间扩缩 worker Deployment。
  • 中排,蓝色: HPA 每 15 秒根据 CPU 使用率扩缩 api Deployment。
  • 下方,紫色: VPA 只设置 api 的内存 requests,因此永远不会与 HPA 竞争。
  • 中央: 放不进任何节点的副本会保持 Pending。节点层响应的是这个 Pod,而不是 CPU。
  • 右侧,琥珀色: Cluster Autoscaler 调整节点组大小,或者 Karpenter 启动实例,都通过云 API 完成,新的 VM 随之加入。Markdown 块列出了默认值。

清晰地绘制自动扩缩容图

  • 一个循环,一条线。 信号进入控制器;它所修改的东西从控制器出去。
  • 在每个控制器旁边写上周期。 它能回答大多数「为什么没有扩容」的问题。
  • 标出每个自动扩缩器所拥有的资源, 这样同一个工作负载上的 HPA 和 VPA 显然没有重叠。
  • 画出 Pending 的 Pod。 它是 Pod 层与节点层之间的交接点。
  • 省略: 单个副本、kubelet 和额外的 scaler。

常见错误包括:画一条从 HPA 直接指向节点的箭头,把两个节点自动扩缩器画得好像在一起运行,以及完全不提 requests。关于这些循环周围的集群,请参阅如何绘制 Kubernetes 架构图。

在 Archboard 中构建

  1. 用 Google 或 GitHub 登录并创建一个图表。
  2. 从 Kubernetes 包中添加两个 Deployment 节点,worker 和 api,再为 api 添加一个 HPA 和一个 VPA。把 VPA 的更新模式设为 InPlaceOrRecreate。
  3. 从 DevOps 包中为 metrics-server 添加一个 指标 节点,从 数据 包中添加一个 队列。
  4. 从 Kubernetes 包中为 KEDA 添加一个 kind 为 ScaledObject 的 自定义资源,并在两个 Deployment 之间添加一个阶段为 Pending 的 Pod。
  5. 对于节点层,为 Cluster Autoscaler 添加一个 Deployment,为 Karpenter 添加一个 kind 为 NodePool 的 自定义资源,为云 API 添加一个来自 云 包的 云资源,再添加一个 Node。
  6. 用带标签的边把它们连起来(CPU usage、replicas、Unschedulable 等),给每个循环一种颜色,并添加一个来自基础包的 文本 标签,写上它的周期。
  7. 从 基础 包中添加一个 Markdown 块,写入默认值。

Kubernetes YAML 转图表工具可以把现有的清单转成工作负载的初稿;把 YAML 变成易读图表的可复用方法展示了后续的整理。更多内容见 Kubernetes 使用场景页面。

这个示例共用 13 个图表节点,在 Free 套餐的限制之内。

常见问题

HPA 和 VPA 有什么区别? HPA 根据 CPU 使用率等指标,改变运行的 Pod 数量。VPA 根据使用量历史,改变每个 Pod 的 CPU 和内存 requests。

可以同时使用 HPA 和 VPA 吗? 可以,前提是它们作用于不同的指标:基于 CPU 的 HPA 搭配仅限内存的 VPA,或者基于 Custom 或 External 指标的 HPA 搭配同时管理两者的 VPA。

应该用 Cluster Autoscaler 还是 Karpenter? 如果你的云支持 Karpenter,并且希望由它选择实例类型、用更便宜的节点替换旧节点,就用 Karpenter。其他服务商和固定节点组用 Cluster Autoscaler。不要在同一批节点上同时使用两者。

Kubernetes 能把 Deployment 缩到零吗? 能,可以用 KEDA,或者用 HPA 缩容至零,后者自 Kubernetes 1.37 起为 beta 并默认启用。两者都需要一个在没有运行中 Pod 时也存在的指标,例如队列长度。

为什么我的 HPA 显示 CPU 目标未知? 通常是缺少 metrics-server,或者某个容器没有 CPU request,导致无法计算使用率。运行 kubectl describe hpa 可以看到错误信息。

免费开始 — 1 个席位,无需信用卡。

相关文章

← 返回博客

一分钟打开画布

使用 Google 或 GitHub 登录。单席位免费,团队加入后再升级。