トラフィックが 9:00 に 2 倍になります。約 30 秒以内に HorizontalPodAutoscaler が API のレプリカをあと 6 つ要求します。4 つは起動しますが、2 つは Pending のままです。CPU requests を満たす空きがどのノードにもないためです。ノードオートスケーラーがクラウドにマシンを要求し、マシンが起動してクラスターに参加すると、残りの 2 つが起動します。
この朝の動きには、複数の制御ループが関わっていました。ループごとに入力もクロックも異なります。うまく調整されていれば、誰も気づきません。requests が間違っていたり、2 つのオートスケーラーが食い違ったりすると、Pod が繰り返し退避されたり、ノードがいつまでもスケールダウンしなかったりします。
この記事では、各ループの現在のデフォルト値 (Kubernetes 1.37)、ループが衝突する場所、そして全体を示す 1 枚の図を取り上げます。
オートスケーリングのループ一覧
| ループ | 変更するもの | 監視するもの | デフォルトの周期 |
|---|---|---|---|
| HorizontalPodAutoscaler (HPA) | レプリカ数 | Resource、Custom、External メトリクス | 15 秒 |
| VerticalPodAutoscaler (VPA) | CPU とメモリの requests | 使用量の履歴 | 1 分 |
| KEDA | レプリカ数 (ゼロまで) | キュー長などのイベントソース | 30 秒ごとにポーリング |
| Cluster Autoscaler | ノードグループのサイズ | スケジュールできない Pod | 10 秒ごとにスキャン |
| Karpenter | 個々のノード | スケジュールできない Pod、ノードのコスト | 1 から 10 秒のバッチ |
Pod が各層をつなぎ、requests が通貨の役割を果たします。Kubernetes のノードオートスケーリングのドキュメントが強調しているとおり、スケジューラーと 2 つのノードオートスケーラーは、実際の使用量ではなく、要求された CPU とメモリで判断します。
HPA: メトリクスからレプリカ数を決める
HPA コントローラーは kube-controller-manager 内で動き、15 秒ごとに再計算します。CPU とメモリは、metrics-server が提供する metrics.k8s.io から取得されます。metrics-server は 15 秒ごとにすべての kubelet からメトリクスを収集します。この API は Kubernetes 1.37 で v1 として安定版になりましたが、HPA は今も v1beta1 を読み取ります。それ以外のメトリクスは、メトリクスパイプライン向けのアダプター経由で届きます。1 秒あたりのリクエスト数のような値には custom.metrics.k8s.io、クラウドのキューのようなクラスター外の値には external.metrics.k8s.io を使います。HPA のリファレンスに計算式が記載されています。
desiredReplicas = ceil(currentReplicas × currentMetricValue / desiredMetricValue)
レプリカが 4 つで CPU 使用率が 90%、目標が 60% の場合、HPA は ceil(4 × 90 / 60) = 6 を要求します。64% のときは何もしません。比率 1.07 はデフォルトの許容範囲 10% 以内だからです。使用率は requests を基準にするため、CPU request のないコンテナがあると、HPA は CPU に基づいて動けません。複数のメトリクスがある場合は、最大の結果が採用されます。
| 設定 | デフォルト |
|---|---|
| 同期周期 | 15 秒 |
| 許容範囲 | 10%。HPA ごとのフィールドは 1.37 から安定版 |
| スケールダウンの安定化 | 300 秒。その期間内で最も高い推奨値を使用 |
| スケールアップの上限 | 15 秒あたり 100% または 4 Pod のどちらか大きい方 |
| CPU の初期化期間 | 5 分。まだ準備できていない Pod の CPU は無視 |
ゼロへのスケールはベータ版で、1.37 ではデフォルトで有効です。object または external メトリクスを使えば minReplicas: 0 を設定できます。詳しくはリリース告知をご覧ください。CPU とメモリは実行中の Pod で測定されるため、ゼロの状態からワークロードを起こすことはできません。
spec:
minReplicas: 3
maxReplicas: 30
metrics:
- type: Resource
resource:
name: cpu
target: {type: Utilization, averageUtilization: 60}
behavior:
scaleUp:
tolerance: 0.05
scaleDown:
stabilizationWindowSeconds: 300
VPA: 使用量の履歴から requests を決める
VPA は Kubernetes autoscaler プロジェクトのアドオンで、現在のリリースラインは 1.8 です。3 つのコンポーネントで構成されます。
- recommender は、コンテナごとに目標値、下限、上限を毎分計算します。メモリは 8 日間のピークに従い、CPU の履歴は 24 時間ごとに重みが半分になります。
- updater は Pod を毎分チェックし、上下限の外にある Pod を退避またはリサイズします。PodDisruptionBudget は尊重されます。
- admission controller は mutating webhook で、推奨された requests を新しい Pod に書き込みます。
| 更新モード | 効果 |
|---|---|
Off |
推奨値のみ |
Initial |
Pod の作成時にのみ requests を設定 |
Recreate |
Pod を退避して再作成 |
InPlaceOrRecreate |
その場でリサイズし、失敗したら退避 |
InPlace |
その場でのリサイズのみ。VPA 1.7 ではアルファ版 |
Auto |
Recreate の非推奨エイリアス |
Pod のインプレースリサイズは Kubernetes 1.35 から安定版で、InPlaceOrRecreate は VPA 1.6 から一般提供されています。リサイズが実行不可能な場合や、5 分を超えて保留される場合は、updater は今も退避します。更新を有効にする前に、Off を 1 週間実行して、推奨値と現在の requests を比較してください。VPA は、Pod レベルの resources を持つワークロードにはまだ対応していません。残りの点は VPA のリファレンスにまとまっています。
Cluster Autoscaler と Karpenter の比較
どちらも、スケジューラーがスケジュール不可とマークした Pod に反応し、どちらもノードの使用量ではなく requests でスケジューリングをシミュレートします。
Cluster Autoscaler は、AWS Auto Scaling グループのように、あらかじめ定義したノードグループを拡大します。10 秒ごとに、スケジュールできない Pod を各グループのテンプレートノードで試し、expander (デフォルトは least-waste) でグループを選び、クラウドにそのグループの拡大を依頼します。FAQ では、ノード数 100 未満のクラスターでこれを 30 秒未満で行うことを目標としています。ノード上の Pod が割り当て可能な CPU とメモリの 50% 未満しか要求しておらず、別のノードへ移せる場合、そのノードは 10 分後に削除されます。厳しい PodDisruptionBudget、ローカルストレージ、safe-to-evict: "false" が付いた Pod は、これを妨げます。
Karpenter にはノードグループがありません。NodePool がインスタンスファミリー、ゾーン、上限などの制約を定め、NodeClass がクラウド固有の設定を保持します。Karpenter は保留中の Pod を 1 から 10 秒バッチにまとめ、ビンパッキングして、インスタンスを直接起動します。AWS では EC2 Fleet に最大 60 のインスタンスタイプを提示します。ノードの削除についてはディスラプションのドキュメントで説明されています。コンソリデーションは使用率の低いノードを削除または置換し (デフォルトは WhenEmptyOrUnderutilized)、ドリフトしたノードは置換され、バジェットがその両方を、デフォルトで NodePool のノードの 10% までに制限します。ノードは 720 時間後にも期限切れになります。
| Cluster Autoscaler | Karpenter | |
|---|---|---|
| スケーリングの単位 | あらかじめ定義したノードグループ | 個々のノード。バッチごとに選択 |
| インスタンスタイプ | グループごとに固定 | NodePool が許可する任意のタイプ |
| ノードの削除 | 10 分間、要求量が 50% 未満 | バジェットの範囲内でのコンソリデーションとドリフト、および期限切れ |
| クラウドプロバイダー | 多数 | 少数。AWS と Azure を含む |
執筆時点 (2026 年 11 月) では、EKS Auto Mode は Karpenter をベースにしており、AKS のノード自動プロビジョニングは Karpenter を代わりに実行し、GKE は独自の cluster autoscaler を管理しています。ノードの集合ごとに、ノードオートスケーラーは 1 つだけ実行してください。Karpenter の移行ガイドでは、Cluster Autoscaler をレプリカ 0 にスケールします。
KEDA: キューとゼロへのスケール
CNCF の graduated プロジェクトである KEDA は、70 を超えるスケーラーでイベント駆動のスケーリングを追加します。Kafka パーティションのコンシューマーラグ、RabbitMQ や SQS のキュー長、Prometheus のクエリ、cron などです。ScaledObject は Deployment を指します。KEDA オペレーターは、0 から 1 への切り替えとその逆を自分で処理し、30 秒ごとにポーリングして、300 秒のクールダウン後にゼロへスケールします。1 から N までは HPA を管理し、external metrics API 経由でメトリクスを渡します。詳しくは ScaledObject のリファレンスをご覧ください。
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
name: worker
spec:
scaleTargetRef:
name: worker
minReplicaCount: 0
maxReplicaCount: 50
triggers:
- type: rabbitmq
metadata:
queueName: orders
mode: QueueLength
value: "20"
hostFromEnv: RABBITMQ_HOST
ゼロへのスケールにはコールドスタートのコストがかかるため、永続的なキューに向いています。HTTP にはバッファリング層が必要です。Pod が 1 つも準備できていない間、Service はリクエストを保持しないからです。HPA のゼロへのスケールがベータ版になったため、external メトリクスを使う HPA は単独でゼロまで下げられるようになりましたが、KEDA にはスケーラー、トリガー認証、バッチ処理向けの ScaledJob という利点が今も残っています。イベント駆動アーキテクチャ図では、こうした worker を取り巻くキューを確認できます。
ループの相互作用と衝突する場所
- 同じメトリクスに対する HPA と VPA。 VPA が CPU requests を上げ、使用率が下がり、HPA がレプリカを減らし、残った Pod の負荷が上がり、VPA が再び requests を上げます。CPU に対する HPA は、メモリのみに限定した VPA (
controlledResources: ["memory"]) と組み合わせるか、Custom メトリクスでスケールしてください。 - KEDA と自前の HPA の併用。 2 つのコントローラーが 1 つのレプリカ数に書き込むことになります。既存の HPA は、KEDA の
transfer-hpa-ownershipアノテーションで引き渡してください。 - DaemonSet に対する VPA。 新しいノードで何が動くかというノードオートスケーラーの予測を狂わせます。Kubernetes のドキュメントでは推奨されていません。
- 誤った requests。 低すぎると新しいノードが役に立たず、高すぎるとノードが使用率の低い状態に見えなくなります。
タイミングも重要です。CPU のスパイクが判断に至るまでには、次のスクレイプまで最大 15 秒、次の HPA 同期までさらに 15 秒かかります。収まらない Pod は、Cluster Autoscaler のスキャンをさらに最大 10 秒、Karpenter のバッチなら 1 から 10 秒待ちます。そのあと VM が起動します。AWS によれば Karpenter は 1 分未満でキャパシティを起動します。Cluster Autoscaler の FAQ では、Google Compute Engine で 3 から 4 分とされています。より素早く余裕を確保するには、本物の Pod がプリエンプトできる低優先度のプレースホルダー Pod を実行します。この FAQ にその方法が書かれています。
Kubernetes オートスケーリング図
ダイアグラムの内容
- orders queue
- KEDA
- worker
- new pod
- metrics-server
- HPA: api
- api
- VPA: api memory
- Cluster Autoscaler
- Karpenter
- Cloud provider API
- New node
- queue length
- replicas 0–N
- CPU usage
- replicas
- memory usage
- memory requests
- new replica
- Unschedulable
- resize node group
- launch instances
- VM joins
図の読み方は次のとおりです。
- 上段、ティール: KEDA が orders キューを読み取り、worker Deployment をゼロから N レプリカの間でスケールします。
- 中段、青: HPA が api Deployment を、CPU 使用率に基づいて 15 秒ごとにスケールします。
- 下段、紫: VPA は api のメモリ requests だけを設定するため、HPA と競合しません。
- 中央: どのノードにも収まらないレプリカは Pending のままです。ノード層が反応するのは、CPU ではなくこの Pod です。
- 右、アンバー: Cluster Autoscaler がノードグループをリサイズするか、Karpenter がインスタンスを起動します。どちらもクラウド API を通じて行い、新しい VM が参加します。Markdown ブロックにデフォルト値を載せています。
オートスケーリング図をわかりやすく描くには
- 1 つのループに 1 本の線。 シグナルはコントローラーに入り、変更対象がそこから出ます。
- すべてのコントローラーの横に周期を書く。 「なぜスケールしなかったのか」という疑問の大半に答えられます。
- 各オートスケーラーが管理するリソースに名前を付ける。 同じワークロードの HPA と VPA が重ならないことが、見てわかります。
- Pending の Pod を描く。 Pod 層とノード層の引き継ぎ点です。
- 省くもの: 個々のレプリカ、kubelet、追加のスケーラー。
よくある間違いは、HPA の矢印をノードに直接つなぐこと、2 つのノードオートスケーラーを一緒に動いているかのように描くこと、requests に触れないことです。ループを取り巻くクラスターについては、Kubernetes アーキテクチャ図の描き方をご覧ください。
Archboard で作る
- Google または GitHub でサインインし、ダイアグラムを作成します。
- Kubernetes パックから、worker と api の 2 つの Deployment ノードに加え、api 用の HPA と VPA を追加します。VPA の更新モードを InPlaceOrRecreate に設定します。
- DevOps パックから metrics-server 用の メトリクス ノードを、データ パックから キュー を追加します。
- Kubernetes パックから、KEDA 用に kind を ScaledObject にした カスタムリソース を追加し、Deployment の間にフェーズが Pending の Pod を追加します。
- ノード層には、Cluster Autoscaler 用の Deployment、Karpenter 用に kind を NodePool にした カスタムリソース、クラウド API 用に クラウド パックの クラウドリソース、そして Node を追加します。
- ラベル付きのエッジ (CPU usage、replicas、Unschedulable など) で接続し、ループごとに色を付け、基本パックの テキスト ラベルで周期を書き添えます。
- 基本 パックから、デフォルト値を載せた Markdown ブロックを追加します。
Kubernetes YAML からダイアグラムへのツールを使うと、既存のマニフェストからワークロードの下書きを作れます。整え方はYAML を読みやすいダイアグラムにする再現可能な手順で紹介しています。詳しくは Kubernetes のユースケースページをご覧ください。
この例で使うダイアグラムノードは 13 個で、Free プランの範囲に収まります。
よくある質問
HPA と VPA の違いは何ですか? HPA は、CPU 使用率などのメトリクスに基づいて、実行する Pod の数を変えます。VPA は、使用量の履歴に基づいて、各 Pod の CPU とメモリの requests を変えます。
HPA と VPA は併用できますか? はい、異なるメトリクスに対して動かす場合に限ります。CPU に対する HPA とメモリのみの VPA、または Custom や External メトリクスに対する HPA と両方に対する VPA、という組み合わせです。
Cluster Autoscaler と Karpenter のどちらを使うべきですか? クラウドが対応していて、インスタンスタイプの選択と、より安いノードへの置き換えを任せたいなら Karpenter です。それ以外のプロバイダーや固定のノードグループには Cluster Autoscaler です。同じノードで両方を使ってはいけません。
Kubernetes で Deployment をゼロにスケールできますか? はい。KEDA を使うか、Kubernetes 1.37 からベータ版でデフォルト有効になった HPA のゼロへのスケールを使います。どちらも、キュー長のように、Pod が動いていなくても存在するメトリクスが必要です。
HPA の CPU ターゲットが unknown と表示されるのはなぜですか?
たいていは metrics-server がないか、コンテナに CPU request がなく、使用率を計算できないためです。エラーは kubectl describe hpa で確認できます。