FinOps
11 min de lecture •

Kubernetes : -34 % sur la facture d'un client, et le chemin vers -65 % (VPA + Goldilocks)

Audit FinOps d'un cluster Scaleway Kapsule à plus de 20 k€/mois : snapshots orphelins, PVC sur-provisionnés, rightsizing des requests via VPA et Goldilocks, et les 4 pièges de debugging qui font perdre du temps.

Arthur Zinck
Arthur Zinck
Expert DevOps Kubernetes & Cloud

Un client m’a contacté pour une raison simple : sa facture Kubernetes Scaleway dépassait les 20 000 € par mois et personne dans l’équipe ne savait vraiment dire pourquoi. Au bout de la mission, on a sorti environ un tiers de la facture (-34 %) sans rien casser, et préparé une migration de pool qui doit l’amener entre -49 % et -65 %. Le coût, c’était la partie facile. Ce qui m’intéresse ici, c’est le chemin : du rightsizing VPA + Goldilocks, et quatre pièges de debugging sur lesquels j’ai laissé pas mal de temps. Je documente cette partie-là parce qu’il n’existe quasiment rien en français dessus.

Le contexte

Un cluster Kapsule managé sur Scaleway, un pool unique d’une cinquantaine de nœuds “high-CPU” en 4 vCPU / 8 Go. Dessus, l’infra interne de l’équipe : l’application, la CI, le SSO, une stack d’observabilité VictoriaMetrics + VictoriaLogs, ArgoCD, du CNPG pour les Postgres. Rien d’exotique. Le cluster avait grossi organiquement, comme tous les clusters qui marchent : on ajoute, on déploie, on ne revient jamais en arrière. Ce n’est pas un reproche, quand ça tourne on ne casse pas ce qui tourne.

Première chose que je regarde toujours, la conso réelle face à ce qui est facturé. Le CPU du cluster était utilisé à environ 4 %, la RAM à environ 47 %, et le compute pesait à peu près 60 % de la facture totale.

Le cluster payait donc pour des CPU qu’il ne touchait pas. Un profil d’instance en ratio 1:2 CPU/RAM n’a rien à faire sur un workload qui est en réalité RAM-bound : une cinquantaine de nœuds dimensionnés pour du calcul, sur une charge qui ne demande que de la mémoire. Mais avant de toucher au profil des nœuds, il faut faire baisser les requests, sinon on ne fait que déplacer le problème. Et avant ça, il y avait des poches de gaspillage évidentes à fermer.

Les quick wins, du storage qui ne sert à rien

Trois trous, dont deux que je n’avais pas vus venir.

Le premier, c’était un système NFS prod + staging monté pour fournir du RWX, qu’aucun PVC ne consommait depuis 14 jours. Le provisioner était cassé (une résolution DNS qui tombait), plus personne ne s’en servait, mais ça tournait et ça facturait. Suppression des releases helm, et les volumes block sont partis tout seuls grâce au reclaimPolicy: Delete. Environ 11 % de la facture.

Le deuxième, c’est le vrai trou noir. Le cron de backup du NFS créait des VolumeSnapshot en deletionPolicy: Retain. À chaque rotation, l’objet Kubernetes était bien supprimé, mais le snapshot Scaleway en dessous restait. Jour après jour, prod + staging. Au moment de l’audit, il y avait plus de 2 000 snapshots orphelins, environ 150 To qui ne servaient strictement à rien. Je cherchais le gaspillage côté compute, et c’est en croisant la ligne “Block Snapshot” de la facture avec l’inventaire réel que c’est tombé. Le cleanup tient en une boucle :

for z in fr-par-2 fr-par-3; do
  scw block snapshot list zone=$z -o json \
    | jq -r '.[] | select(.parent_volume.name == null) | .id' \
    | while read id; do
        scw block snapshot delete "$id" zone=$z
      done
done

Tout tient dans le select(.parent_volume.name == null) : un snapshot dont le volume parent n’existe plus est orphelin par définition. Près de 20 % de la facture, la plus grosse ligne de la mission, et la plus bête.

Le troisième, des PVC sur-provisionnés. VictoriaMetrics tournait sur 4 To pour ~150 Go d’usage réel (4 %), VictoriaLogs sur 800 Go pour ~96 Go (12 %), plus un PVC orphelin de ~300 Go resté après une migration vers CNPG. Point qu’on oublie souvent, Scaleway SBS ne supporte pas le shrink de volume. On ne réduit pas un PV en place, il faut le détruire et le recréer à la bonne taille.

Pour VictoriaMetrics, dont le PVC est géré par l’opérateur via la CRD VMSingle :

# 1. on baisse la taille dans l'IaC (values helmfile : 4Ti -> 800Gi)
# 2. on supprime la CRD pour libérer le pod + le PVC
kubectl -n monitoring delete vmsingle vm
# 3. on ré-applique, l'opérateur recrée tout à la nouvelle taille
helmfile -l name=victoria-metrics apply

Pour VictoriaLogs, géré en StatefulSet, c’est le PVC du STS qu’on supprime à la main :

kubectl -n monitoring delete sts victoria-logs-vl-server
kubectl -n monitoring delete pvc server-volume-victoria-logs-vl-server-0
helmfile -l name=victoria-logs apply

Le trade-off était assumé et validé avec le client : on perd l’historique métriques/logs. Sur une prod où cet historique compte, ça veut dire backup + restore avant de jouer la manip, pas un delete sec. Environ 4 To rendus, un peu moins de 4 % de la facture.

Mis bout à bout, ces quick wins font les -34 %, réalisés tout de suite. Sauf que le levier qui débloque la migration de pool, c’est la baisse des requests, et c’est là que ça s’est compliqué.

Rightsizing via VPA + Goldilocks

Le cluster avait déjà Goldilocks installé, en mode dashboard. Il affichait de jolies recommandations de requests que personne n’appliquait, et le VPA updater était désactivé. Goldilocks pose des objets VerticalPodAutoscaler et expose un dashboard, mais c’est le VPA updater qui fait le vrai boulot : évincer les pods pour que le scheduler les recrée avec les nouvelles requests. Sans updater actif, Goldilocks est un site web.

L’objectif était de passer le VPA en mode Recreate (eviction-based) sur tous les namespaces. Sur le papier, deux lignes de config. En pratique, quatre pièges.

Goldilocks 4.14.1 casse InPlaceOrRecreate

Je voulais utiliser InPlaceOrRecreate, le redimensionnement in-place sans tuer le pod. Annotation posée, et rien, aucun VPA en mode in-place. En allant lire le code de Goldilocks 4.14.1, la valeur de l’annotation passe par strings.Title(strings.ToLower(v)), donc InPlaceOrRecreate devient Inplaceorrecreate. L’admission webhook du VPA est en camelCase strict, elle rejette, et côté utilisateur rien ne le signale. En attendant un fix upstream je suis resté sur Recreate. On tue le pod pour le redimensionner, c’est moins élégant, mais ça marche.

Le VPA updater ignore vos plus gros consommateurs

Mode Recreate activé, et les workloads les plus gourmands ne bougeaient toujours pas. Par défaut, le VPA updater tourne avec --min-replicas=2 : il refuse d’évincer un pod dont le controller a moins de 2 replicas. L’idée se défend, on ne veut pas créer d’indisponibilité sur un singleton. Sauf que les plus gros consommateurs de RAM sont justement des singletons : le vmsingle, le serveur SSO, des opérateurs. Ils restaient intouchés. Le fix :

updater:
  extraArgs:
    min-replicas: "1"

Des RBAC manquants sur les CRDs

Toujours pas de VPA pour le vmsingle, les vmagent/vmalert, ni pour les clusters CNPG. Goldilocks part d’un pod et remonte sa chaîne d’ownership (Pod, puis ReplicaSet ou StatefulSet, jusqu’au controller racine) pour décider quoi cibler. Quand ce controller racine est une CRD, il faut avoir le droit de la lister. Le goldilocks-controller n’avait les RBAC ni pour clusters.postgresql.cnpg.io ni pour les vm*.operator.victoriametrics.com, donc il ne traversait pas la chaîne et ne générait aucun VPA pour ces workloads, qui étaient précisément les plus lourds. Le fix dans les values du chart :

controller:
  rbac:
    extraRules:
      - apiGroups: ["postgresql.cnpg.io"]
        resources: ["clusters"]
        verbs: ["get", "list", "watch"]
      - apiGroups: ["operator.victoriametrics.com"]
        resources: ["vmsingles", "vmagents", "vmalerts", "vmalertmanagers"]
        verbs: ["get", "list", "watch"]

Le mode Auto est deprecated

Un piège plus discret pour finir. Le mode VPA Auto, qu’on voit dans tous les vieux tutos, est deprecated upstream. Il faut passer à Recreate, son équivalent fonctionnel aujourd’hui, ou à InPlaceOrRecreate quand l’outillage suivra. Autant prendre l’habitude maintenant plutôt que de le découvrir pendant un upgrade de cluster.

Garder le metadata des namespaces dans Git

Il restait à poser les labels Goldilocks et l’annotation vpa-update-mode: Recreate sur tous les namespaces, de façon déclarative. Pas à coups de kubectl label à la main : ce genre de commande crée une dette qui ressort six mois plus tard, le jour où un namespace est recréé et que personne ne se souvient des labels.

J’ai mis ça dans un chart custom charts/namespaces qui gère le metadata des namespaces. Pour adopter les namespaces existants dans Helm sans tout recréer, une boucle d’adoption one-shot :

for ns in monitoring app sso argocd ...; do
  kubectl annotate ns "$ns" \
    meta.helm.sh/release-name=namespaces \
    meta.helm.sh/release-namespace=kube-system --overwrite
  kubectl label ns "$ns" app.kubernetes.io/managed-by=Helm --overwrite
done

Une fois adoptés, le chart reprend la main et le metadata vit dans Git avec le reste.

Au passage, un peu de nettoyage : des dizaines de blocs nodeAffinity preferredDuringScheduling copiés-collés sur une quarantaine de fichiers de values, qui pointaient une zone précise sans aucune raison (le scheduler par défaut suffisait largement). Zéro euro d’économie, juste du YAML en moins et un cluster plus lisible.

Ce que ça a donné sur les requests

La RAM demandée sur tout le cluster est passée d’environ 600 Gi au départ à 510 Gi après le VPA sur le monitoring et le SSO (-16 %), puis à 430 Gi une fois le VPA étendu à tout le cluster (-29 %). Les plus gros gains viennent de l’application et de la CI (-43 %), du monitoring (-46 %) et du SSO (-49 %). Ces workloads demandaient deux fois ce qu’ils consommaient.

Le rightsizing ne fait pas que baisser, il révèle aussi du sous-dimensionnement. Le VPA a remonté les requests de plusieurs composants qui vivaient sous-provisionnés : node-problem-detector, external-secrets, cert-manager, external-dns. Autant d’OOM latents évités en passant à des valeurs réalistes.

La migration de pool

Avec des requests stabilisées autour de 430 Gi, la migration de profil devient enfin viable. Le plan est de passer d’une cinquantaine de nœuds high-CPU (4C/8G), taillés pour du calcul qu’on n’utilise pas, à 28-30 nœuds high-memory (4C/16G), en gardant la même marge pour survivre à un nœud down. Le profil d’instance colle alors à la nature RAM-bound du workload, et l’économie compute supplémentaire attendue représente entre 14 et 30 % de la facture de départ. Avec les quick wins déjà faits, on arrive entre -49 % et -65 %.

Sur un workload RAM-bound, le profil d’instance compte plus que le nombre de nœuds. Moins de machines, plus grosses, au bon ratio, ça bat une flotte de petits nœuds mal taillés.

Si je ne devais garder qu’un réflexe de cette mission, ce serait de lire la facture ligne par ligne avant de toucher au moindre YAML. La plus grosse économie ne venait ni du VPA ni des nœuds, elle venait de snapshots que plus personne ne regardait. Une facture Kubernetes ou cloud qui grimpe sans explication claire, c’est souvent ce genre de poche qui se cache dessous, et on peut en parler.

Points clés à retenir

  • ✓ Goldilocks en mode dashboard ne fait rien : sans VPA updater actif, bonne annotation et bons RBAC, c'est juste un site web de recommandations
  • ✓ Les snapshots en deletionPolicy: Retain s'accumulent en silence : ici plus de 2 000 orphelins, environ 150 To et près de 20 % de la facture
  • ✓ Le VPA updater ignore vos plus gros consommateurs : min-replicas=2 par défaut bloque l'éviction des singletons, passez-le à 1
  • ✓ Scaleway SBS ne shrink pas : pour réduire un PV il faut delete + recreate (CRD ou StatefulSet selon le cas)
  • ✓ Sur un workload RAM-bound, le profil d'instance compte plus que le nombre de nœuds : -34 % réalisés, -49 à -65 % visés avec la migration de pool

Cet article t'a plu ?

Je publie régulièrement mes retours d'expérience infra, Kubernetes et FinOps sur LinkedIn. Abonne-toi pour les suivre. Mes MP sont ouverts, tu peux m'écrire direct.

finops kubernetes rightsizing vpa goldilocks victoria-metrics cnpg scaleway

Partager cet article

Twitter LinkedIn

Articles similaires

Diagnostic gratuit

Ce problème,
c'est chez toi ?

Diagnostic gratuit — 30 min

30 minutes en visio. Tu repars avec 2 ou 3 pistes chiffrées, même si on ne travaille pas ensemble.