Archives pour la catégorie enioka

Topologie CPU & VMware vSphere

Quelle est la performance des processeurs dans un contexte virtualisé ? L’architecture des processeurs ne peut être complètement oubliée quand il s’agit de virtualiser des infrastructures importantes. NUMA ? Virtual CPU ? Virtual Socket ? Wide VM ? Cet article fait le point sur ces concepts clés de la virtualisation, leur impact sur la performance des VM et comment cela se matérialise avec VMware vSphere.

Introduction

Contexte

Au cours d’une mission chez un de mes clients, j’ai accompagné un certain nombre de projets sur la partie architecture infrastructure. L’un de ces projets reposait sur la technologie Active Pivot. Ce logiciel permet, à partir d’un jeu de données, de créer des cubes en mémoire et de l’offrir aux utilisateurs sous la vue d’un tableau croisé dynamique.

La question de la configuration et l’optimisation des processeurs sur ce type de technologie dans un environnement dédié et virtualisé (VMware) s’est posé. L’enjeu était de valider les performances des traitements sur un gros volume de données en mémoire (128/256 Go par VM) et comprendre l’impact de la virtualisation.

Problématique

La première fois que l’on voit l’interface de vSphere, certains paramètres peuvent sembler étranges sur la partie CPU. En particulier :

  • Le paramètre « core per socket »
  • Le paramètre « vSocket »

Plus globalement, il faut comprendre que, chercher à optimiser le traitement CPU d’une machine virtuelle revient à s’interroger sur l’optimisation CPU de la totalité de la stack de virtualisation: l’hôte -> l’hyperviseur-> le matériel virtuel. Ces deux paramètres ont des impacts sur deux des composants de cette stack, nous allons expliquer pourquoi dans cet article.

Périmètre de l’article

Le sujet est large. C’est pourquoi cet article se limite volontairement à l’impact de la topologie des processeurs sur la virtualisation avec VMware et ESXi. Par exemple, le CPU scheduling n’est pas traité et pourra faire l’objet d’un autre article.

Rappel des composants VMware vSphere

Dans un datacenter, on va trouver des serveurs physiques sur lesquels sont installés des hyperviseurs natifs (type 1) nommés ESXi. Ces serveurs (des hosts) par le biais des ESXi portent des VMs (des guests). Le tout est  opéré par une suite logicielle nommée vCenter. L’administrateur à l’aide de l’IHM web ou du client lourd vSphere administre l’ensemble de cette ferme. Un lexique technique est proposé en fin d’article.

Dans la suite de cet article, nous ne parlerons que de VMware vSphere.

Structure d’un processeur et NUMA

En vrai

Une socket est l’emplacement physique sur lequel se branche le composant qui contient le ou les processeur(s).

Sur cette image on voit que les barrettes de RAM sont plus rapprochées de certaines sockets que d’autres. Cette affinité entre les processeurs et la mémoire est au cœur de la problématique NUMA (cf. chapitre suivant).

Ici on peut imaginer deux nœuds NUMA qui comprennent une socket chacun et la RAM immédiatement positionnée au dessus et en dessous de la dite socket.

Les nœuds NUMA

Mais qu’est-ce donc qu’un noeud NUMA ? Et pourquoi est-ce important de le comprendre ?

Une socket peut contenir plusieurs processeurs, des cœurs physiques. Ces cœurs font partie d’un ensemble que l’on nomme CPU package. Un CPU package contient donc X cœurs et un cœur ne peut faire parti que d’une seul CPU package.

Un nœud NUMA est l’association entre un CPU package et la mémoire accessible localement par l’ensemble des cœurs du CPU package. Quand on parle d’un nœud NUMA, on parle autant de processeurs que de mémoire.

Dans cette exemple, nous avons un serveur de 512 Go de RAM et de 16 cores répartis sur deux sockets.

  • Serveur physique de 512Go de RAM et de 16 cores
    • Socket 0:
      • Un package CPU
        • 8 cœurs
      • A accès à 256Go de mémoire en local et 256 Go en distant
    • Socket 1:
      • Un package CPU
        • 8 cœurs
      • A accès à 256Go de mémoire et 256 Go en distant

Il existe différents types de sockets et de processeurs. On peut trouver des sockets avec plusieurs CPU packages et donc plusieurs nœuds NUMA. On parle dans ce cas d’architecture Cluster-On-Die.

Le schéma ci-dessous illustre ce concept. On a une socket de 16 cœurs mais ces cores sont répartis en deux CPU packages de 8 cœurs. Chacun de ces CPU Packages ont un accès local à une partie de la RAM (256 Go pour être précis) ce qui fait deux nœuds NUMA pour un seul processeur.

Un autre exemple avec le processeur AMD Opteron 6174. Cette gamme de processeur dispose de 12 cœurs par socket mais répartis en deux CPU Packages de 6 cœurs. Si on dispose donc de 4 sockets, on va voir apparaître 8 nœuds NUMA de 6 cœurs.

Accès à la mémoire

Nous avons dit précédemment qu’un nœud NUMA est l’association entre un ensemble de cœurs regroupés dans un CPU Package et la mémoire (RAM). Pourquoi ?

Tout simplement parce qu’avec le concept NUMA (Non Unified Memory Access) il existe deux types d’accès à la mémoire :

  • Un accès dit local (un accès direct à la mémoire « proche », c’est à dire sans passer par les liaisons QPI (QuickPath Interconnect, bus de données entre les CPU) pour les technologies Intel

  • Un accès dit en remote, c’est-à-dire que l’on est obligé de passer à travers les liens QPI pour avoir accès à la mémoire

On trouve l’équivalent de la technologie QPI chez AMD sous le nom de HyperTransport.

Ce qu’il faut retenir c’est que l’accès, du fait que l’on soit obligé de passer par des bus supplémentaire, augmente le temps d’accès à la mémoire. Cette problématique d’accès à la mémoire est au cœur ( 🙂 ) des enjeux des constructeurs de CPU, et l’arrivée d’une nouvelle gamme de CPU est souvent accompagnée d’optimisations côté QPI ou HyperTransport.

La mémoire cache

L’accès à la mémoire est au centre des problématiques de performance, parce qu’un accès long à la mémoire bloque un processeur (qui attend, « iowait »). Plus le temps d’accès à la mémoire est long plus le processeur sera bloqué et terminera son calcul tardivement.

Pour palier à cette problématique les constructeurs ont implémenté différents niveaux de cache pour améliorer les temps d’accès. L’image ci dessous montre à quoi ressemble ces caches au sein d’un CPU.

Il existe deux grands types de cache:

  • Les caches non partagés (L1 et L2) c’est à dire ceux qui appartiennent à un cœur physique
  • Les caches partagés entre les cœurs d’une même socket physique. C’est le cas des caches type L3 et L4 qui font partis d’un ensemble que l’on nomme LLC (Last Level Cache)

Ce qu’il est intéressant de regarder, dans le tableau ci-dessus, sont les temps d’accès aux caches et à la mémoire. On remarque globalement une grande différence entre les temps d’accès aux différents niveaux de caches (Lx) et la RAM qu’elle soit locale ou non. Ces temps d’accès nous permettent de nous rendre compte de l’importance de rester le plus possible dans un contexte mémoire local et donc au sein d’un même nœud NUMA.

Résumé et Hyperthreading

Deux grands axes intimement liés quand on parle des nœuds NUMA :

  • L’accès mémoire qui se doit d’être le plus local et optimisé possible
  • les cœurs sur lesquels repose la VM doivent faire partis du même nœud NUMA pour optimiser l’allocation et l’accès mémoire par ces cœurs

Le schéma ci-dessous résume les différentes couches que nous avons vu dans les chapitres précédents:

L’hyperThreading (HT) est un terme commercial Intel. On trouve l’équivalent chez AMD avec l’architecture Bulldozer, qui implémente du CMT (Cluster Multi Threading), et plus récemment sur l’architecture Zen qui implémente du SMT (Simultaneous Multi Threading).

Il est à noter que dans le cas d’une utilisation de technologies type HyperThreading, les caches L1 et L2 sont partagés entre les deux cœurs logiques d’un même cœur physique.

L’enjeu du NUMA alignment

L’enjeu de cette partie est de décrire et expliquer l’importance des nœuds NUMA dans un contexte non virtualisé dans un premier temps et dans un contexte virtualisé dans un second temps.

Les nœuds NUMA sur du bare metal

Les nœuds NUMA n’ont pas une importance qu’au sein de contextes virtualisés.

Prenons l’exemple ici d’un serveur physique sur lequel est installé un système d’exploitation. L’OS quel qu’il soit voit la topologie NUMA des processeurs qui lui sont rattachés. Par des appels système, l’OS optimise lui même les allocations mémoires affectées aux applications installées. Cette optimisation se fait, tant que faire se peut, en fonction de la quantité de RAM demandée initialement par l’application et les espaces mémoires disponibles sur le serveur.

Au cours du temps, si l’application demande plus de RAM à l’OS ces même optimisations peuvent être assurées par l’OS ou par un administrateur système avec des outils type numad sous Linux.

Exemple :

Les nœuds NUMA pour une VM

Les nœuds NUMA, s’ils sont mal gérés, peuvent poser deux problèmes :

  1.  Le cas le plus classique : des cœurs sont alloués à une VM mais répartis sur deux nœuds NUMA distincts. Dans l’exemple ci-dessous, nous avons une VM de 8 vCPU répartis sur deux nœuds NUMA. Si on part du principe que la RAM allouée à la VM a été provisionnée sur la mémoire accessible en local par le nœud NUMA 0, les deux cœurs du nœud NUMA 1 y accèdent en remote
  2. Le second cas possible : la quantité de RAM demandée par la VM est plus importante que la quantité de RAM au sein d’un nœud NUMA. Dans ce cas, la RAM de la VM va être partagée au sein des deux nœuds NUMA et un accès en remote à cette mémoire va avoir lieu

Nous verrons dans les chapitres suivants comment se prémunir et superviser ces comportements.

Revenons à la problématique

On l’a vu en première partie de cet article, la définition d’une VM passe par la définition d’éléments de configuration qu’il est important de comprendre.

Une VM dans VMware vSphere

Une VM, c’est :

  • un OS
  • des resources de stockage
  • des interfaces réseaux
  • de la mémoire RAM
  • des resources de traitement (un nombre de vCPU)

Sur ce dernier point, celui qui nous intéresse le plus, on remarque que plusieurs éléments, configurables, définissent le nombre de vCPU :

  • vCPU = nombre de vSocket x cores per socket

Comme le montre l’image ci-dessus, le paramètre vSocket correspond à la socket « physique » vue par l’OS. Dans la VM de test Archlinux utilisée ici, dont le paramétrage sur l’hyperviseur VMware Fusion apparait à droite, on identifie clairement grâce à la commande « lscpu » :

  • 2 sockets
  • 2 processeurs (l’OS voit une socket de 1 cœur physique, chaque cœur possède un thread unique, il n’y a pas d’hyperthreading)
  • 1 nœud NUMA

Dans la suite de la présentation, ces paramétrages seront représentés sous la forme suivante :

vSocket et cores per socket

La notion de vSocket a été introduite dans vSphere 4.1 pour passer outre les restrictions des OS sur le nombre de CPU – dans les versions précédentes il n’y avait pas possibilité de paramétrer le nombre de cœurs par vSocket :

  • Le vSocket est vu par l’OS comme étant le CPU (la socket)
  • Le nombre de « cores per socket » est vu comme le nombre de cœurs par CPU
  • Ex : Un Microsoft Windows Server 2008 R2 Standard Edition ne supporte que 4 processeurs maximum

Les éléments de configuration « vSocket» et « cores per sockets » :

  • Affectent les performances lorsque le nombre de vCPU (totaux) paramétrés sur la VM est plus grand que le nombre de CPU dans le CPU package
  • N’affectent (normalement) pas les performances dans le cas contraire et peuvent permettre d’économiser en licence
Je dis « normalement » parce que VMware est on ne peut plus claire (cf. VMware Performance Best Practices on vSphere 6.0 White Paper) :
For non-wide virtual machines, the number of cores per virtual socket is not as critical as for wide virtual machines. On rare occasions, however, configuring cores per socket to a value other than 1 could influence guest CPU scheduling in either helpful or harmful ways. Careful testing is therefore recommended before changing this configuration.
Résumé : sur une VM dont les vCPU ne tournent pas dans un seul noeud NUMA (non wide), toucher au cores per socket n’a normalement pas de conséquences mais rien ne permet d’en être certain. Chaque cas nécessite d’être testé.
L’objectif n’est pas de tourner en dérision les propos de VMware, dans de nombreux cas (réel) la gestion des fermes VMware changent du tout au tout :
  • différentes gammes de serveurs au sein d’une même ferme
  • différentes gammes de CPU au sein d’une même ferme
  • parfois les administrateurs VMware privilégient la modification des cores per socket plutôt que le nombre de vSocket (ce qui va à l’encontre des best practices VMware)
  • souvent la configuration de la VM dépend plus de l’admin que des standards d’infrastructure

Pour conclure, dans une entreprise qui a un SI depuis plusieurs années, une ferme VMware est en général très hétérogène et ce sur plusieurs plans (software, hardware, etc.).

Dans ce genre de contexte, difficile de déterminer l’évolution des performances de la VM (que ce soit sur le CPU ou autre) au cours de son évolution dans le temps, en particulier si on ajoute un déplacement automatique de la VM sur les hosts qui composent la ferme VMware…

vSocket vs cores per socket

Pour vous montrer les conséquences de ces paramétrages depuis la machine invitée, voici quelques exemples:

L’OS voit 4 processeurs de 1 cœur physique (1 thread montre qu’il n’y a pas de HT parce que: x threads = x cœurs).

L’OS voit 2 sockets de 2 cœurs physiques.

L’OS voit 1 sockets de 4 cœurs physiques.

Les bonnes pratiques

Dans la littérature, il est recommandé de laisser le nombre de core per sockets à 1.

Pour de nombreuses raisons (en général du licencing), on peut être amené à mettre plus de 1 core per socket, dans ce cas :

  • Pour une « wide » VM, le nombre de cores par socket va déterminer la taille des vNUMA exposés à la VM (cf. chapitre suivant)
  • Pour une « non-wide » VM, modifier cette configuration peut, dans de rares cas, améliorer ou détériorer les performances de la machine par son influence sur le CPU scheduler (host)

Les « wides » VMs

Exposition du vNUMA

Depuis vSphere 5.0 il est possible de présenter au système invité la topologie NUMA via la technologie vNUMA. Le terme vNUMA est un terme spécifique à  VMware.

Ça a donc pour effet de permettre :

  • des optimisations NUMA depuis l’OS invité
  • des optimisations NUMA pour le/les application(s) du système invité

Par défaut, une VM est considérée comme « wide VM » si :

  • Le nombre de vCPU vu par la VM est strictement supérieur à 8 (chiffre par défaut dans la configuration VMware vSphere)
  • Le nombre de vCPU de la machine invitée dépasse le nombre de cœurs d’un nœud NUMA

La terminologie « wide VM » est un terme commercial utilisé par VMware.

Ce qu’il faut retenir: Quand une VM est une wide VM, la topologie NUMA est remontée à l’OS. On parle alors de vNUMA.

Faire remonter la topologie NUMA au guest

Plusieurs éléments de configuration permettent de paramétrer et gérer l’exposition de la topologie NUMA à l’OS de la VM. Ces configurations peuvent se faire par VM ou directement par host.

Comment vérifier la topologie NUMA remontée

De manière générale, sur un OS (ex avec Linux)

Nous l’avons vu, la topologie concerne autant les machines physiques que les VMs. Regardons ici comment afficher les informations liées à la topologie NUMA et comment les interpréter.

Nous l’avons vu, lscpu permet d’avoir des informations génériques sur tout ce qui est lié aux processeurs:

Sur notre machine de test, il y a deux sockets physiques, chacune contient:

  • 1 core physique (« cœurs par socket »)
  • de 1 thread (pas de HT, ligne « threads par cœur »)
  • 1 nœud NUMA (« nœuds NUMA »)
  • la taille des caches et leur nombre (cf. chapitre précédent)

On peut obtenir la correspondance et les relations entre ces différentes informations avec l’option « -p » ou « -e »:

Il faut lire cette sortie comme un tableau à double entrée. Le cœur physique 0 (« core » dans le tableau) appartient au nœud NUMA 0 (tout comme le core 1) et est sur la socket 0. Il a un unique cœur logique (« CPU » dans le tableau). Aucun des caches ne sont partagés (logique puisque sur des sockets distinctes, rappelez-vous).

L’exemple n’est ici pas très complexe, en voici un autre avec l’option « -p » qui a un peu plus la classe :

$ lscpu -p
# The following is the parsable format, which can be fed to other
# programs. Each different item in every column has an unique ID
# starting from zero.
# CPU,Core,Socket,Node,,L1d,L1i,L2,L3
0,0,0,0,,0,0,0,0
1,1,1,1,,1,1,1,1
2,2,0,0,,2,2,2,0
3,3,1,1,,3,3,3,1
4,4,0,0,,4,4,4,0
5,5,1,1,,5,5,5,1
6,6,0,0,,6,6,6,0
7,7,1,1,,7,7,7,1
8,8,0,0,,8,8,8,0
9,9,1,1,,9,9,9,1
10,10,0,0,,10,10,10,0
11,11,1,1,,11,11,11,1
12,0,0,0,,0,0,0,0
13,1,1,1,,1,1,1,1
14,2,0,0,,2,2,2,0
15,3,1,1,,3,3,3,1
16,4,0,0,,4,4,4,0
17,5,1,1,,5,5,5,1
18,6,0,0,,6,6,6,0
19,7,1,1,,7,7,7,1
20,8,0,0,,8,8,8,0
21,9,1,1,,9,9,9,1
22,10,0,0,,10,10,10,0
23,11,1,1,,11,11,11,1

On peut voir que les cœurs logiques (CPU) 0 et 12 partagent un certain nombre de choses :

  • ils sont sur la même socket (0)
  • ils sont sur le même cœur physique (0)
  • ils sont sur le même nœud NUMA (0)
  • ils partagent les même caches
    • L1i et L1d (évident, ils sont sur le même cœur physique)
    • L2 (idem)
    • L3 (parce que sur la même socket)

A propos des caches, on peut voir que le cœur logique (CPU) numéro 2 n’appartient pas au même cœur physique (core) que les 0 et 12 mais la même socket. Il n’a donc pas les mêmes cache L1x/L2 mais le même cache L3.

La commande « numactl –hardware » permet d’avoir plus de détails sur ce qui nous intéresse :

La distance ici exprime la latence d’accès à la mémoire. La  configuration de cet exemple étant simple, voici un autre exemple avec cette fois-ci 8 nœuds NUMA :

node   0   1   2   3   4   5   6   7
  0:  10  21  21  21  21  21  21  21
  1:  21  10  21  21  21  21  21  21
  2:  21  21  10  21  21  21  21  21
  3:  21  21  21  10  21  21  21  21
  4:  21  21  21  21  10  21  21  21
  5:  21  21  21  21  21  10  21  21
  6:  21  21  21  21  21  21  10  21
  7:  21  21  21  21  21  21  21  10

La valeur 10 représente un accès local à la mémoire (entre les nœuds 0 et 0 ou les nœuds 1 et 1, etc…). les autres des accès en remote.

Vu de la machine invitée (VM VMware) : coreinfo

Configuration des machines de l’infra pour ces exemples.

Host :

  • Socket: 2
  • CPU Package: 10
  • NUMA: 2

VM :

  • vSocket : 16
  • Cores per socket : 1

la commande « coreinfo » (équivalent de « lscpu » sous Linux):

On retrouve ici les même informations que dans le chapitre précédent mais sous une autre forme :

  • la quantité de cœurs physiques et le mapping par rapport aux cœurs logiques
  • la quantité de sockets et le mapping des cœurs physique par rapport aux sockets
  • des infos sur les nœuds NUMA et les cœurs physiques associés
  • des infos sur les caches

Vu du host

La commande « vmdumper » permet d’avoir les configurations d’une machine allumée sur un ESXi :

On y retrouve nos configurations VMware vSphere :

  • Mémoire/CPU de la VM
  • Cores per socket
  • vSocket
  • Nœuds NUMA
  • Nous parlerons des autres métriques dans le chapitre suivant

La commande « esxtop » permet de sortir des métriques plus liées à la vie de la VM au sein de l’ESX :

Les métriques intéressantes :

  • NRMEM : NUMA Remote Memory (doit être le plus bas possible)
  • NLMEM : NUMA Local Memory (doit être le plus élevé possible)
  • N%L:  pourcentage de la mémoire accédée en local par la VM
  • NMIG  : NUMA migration: Nombre de fois que la VM à migré d’un NUMA à un autre

La topologie processeur par VMware vSphere

Les couches

Chaque couche qui compose la stack de virtualisation (ici ESX et VM) s’approprie et enrichie la topologie CPU du host.

Reprenons notre modèle de nœud NUMA sur un host :

Ajoutons à ce modèle la couche ajoutée par l’ESX (hyperviseur de VMware).

On retrouve de nouveaux concepts :

  • NUMA Home Node : Surcouche de l’ESX qui interprète la topologie NUMA présente sur le host
  • pCPU : pour physical CPU, représente un cœur physique ou un cœur logique dans l’hyperviseur
  • NUMA Client : ensemble cœurs/mémoire remonté à la VM. Ça ne veut pas forcément dire que la VM voit la topologie NUMA

On ajoute la couche VM. On retrouve les vSocket et vCPU :

Décomposition du vNUMA

Plongeons donc au sein de ce NUMA Client qui nous intéresse tant. En le décomposant, on retrouve deux choses :

  • le Physical Proximity Domain (PPD)
    • il assure la corrélation entre un pool de vCPU et un pool de cœur physique au sein du même CPU package
    • C’est la garant de la relation suivante :
      • « j’assure que tel groupe de vCPU sera affilié à tel CPU Package » (qui peut changer au cours du temps en fonction des choix du CPU scheduler)
      • Ce n’est pas du pinning
    • il se construit automatiquement à partir du nombre de cœurs physiques présents au sein d’un CPU Package (sauf si le paramétrage « core per socket » n’est pas égal à 1, dans ce cas, c’est ce paramétrage qui détermine la taille du PPD)
    • il est utilisé pour le placement initial des vCPU et pour le load-balancing
  • le Virtual Proximity Domain (VPD)
    • il expose la topologie vNUMA à la VM
    • sa taille dépend du nombre de vCPU et du nombre de cœurs physiques sur la machine physique ou du paramétrage « core per socket » (pour les version ESX inférieures 6.5)
    • Peut reposer sur plusieurs PPDs

Reprenons notre modèle et ajoutons les VPDs et les PPDs. Vous trouverez ci-dessous, sous forme de schémas, tous les impacts possibles en fonction de la configuration pour laquelle on opte.

Dans cet exemple, on a créé une machine virtuelle. Ses configuration sont les suivantes :

  • cores per socket: 1
  • vSocket: 16
  • Total vCPU: 16 (16 x 1)

On a donc suivi les bonnes pratiques de base recommandées par VMware (cf. VMware Performance Best Practices on vSphere 6.0 White Paper) :

When creating a virtual machine you have the option to specify the number of virtual sockets and the number of cores per virtual socket. In general, we recommend leaving this at the default value of 1 core per socket (with the number of virtual sockets therefore equal to the number of vCPUs).
Ce qui nous donne la modélisation suivante :

Le VMdumper nous confirme cette modélisation :

On remarque cependant un commentaire intéressant : « Exposing multicore topology with cpuid.CoresPerSocket = 8 is suggested for best performance ».

Il serait donc intéressant, selon VMware, de modifier la configuration « cores per socket » pour avoir de meilleurs performances. Ce qui est normal :

  • Comme vu dans le chapitre précédent sur les Wides VMs, une VM est considérée comme étant une wide VM si la machine possède plus de 8 vCPU (paramètre par défaut)
  • ou si le nombre de vCPU de la machine invitée dépasse le nombre de cœurs d’un nœud NUMA

Ce log est cohérent avec les bonnes pratiques de VMware dans le cas de wide WMs (cf. VMware Performance Best Practices on vSphere 6.0 White Paper):

For wide virtual machines, be very careful about setting cores per virtual socket to a value other than the default (1 core per socket). It’s best to first try the default to determine what vNUMA size ESXi selects for your virtual machine in your environment. Once you know the vNUMA size, use it to choose a value for cores per socket.
For example, when running a 16-vCPU virtual machine on a host system with 10 cores per physical socket, ESXi will select a vNUMA size of 8. Once this vNUMA size is known, you would configure this virtual machine to have 8 cores per virtual socket.
Donc, si on crée une wide VM, cette fois-ci de 20 vCPU, et en suivant tous les conseils de VMware :
  • cores per socket: 10
  • vSocket: 2
  • Total vCPU: 20 (10 x 2)

On a la modélisation suivante :

  • Nos PPD sont répartis sur nos deux nœuds NUMA et se composent de l’intégralité des processeurs du host
  • On trouve autant de VPDs que de PPDs et ceux ci se composent d’autant de cores que ces derniers

Bref, tout est bien aligné… On voit qu’a travers cette configuration le travail du CPU Scheduler s’en retrouve simplifié. Vous aurez le temps de vous en rendre compte en jetant un œil aux modélisations suivantes 😉

Entrons maintenant dans la maison des horreurs de la configuration VMware.

Prenons l’exemple de l’élève qui à tout compris de travers et qui a toujours modifié le nombre de cores per socket plutôt que le nombre de vSocket.

Configuration de notre nouvelle VM:

  • cores per socket: 12
  • vSocket: 1
  • Total vCPU: 12 (12 x 1)

La modélisation associée :

  • un VPD de 12 cœurs et réparti sur deux PPDs
  • deux PPDs de 6 cœurs répartis sur les deux nœuds NUMA

On sent que ça va bien se passer…

On a donc une VM dont l’OS va voir un nœud NUMA au lieu de deux. La mémoire va vite se retrouver répartie entre les deux NHN (NUMA Home Node) et des accès en remote vont apparaitre. Le travaille du CPU scheduler au sein de l’ESXi va s’en trouver affecté et on peut s’attendre à beaucoup de context switch.

Prenons maintenant l’élève qui a compris à peu près la moitié de tous les concepts et qui, pour se rassurer, va donc tout mélanger.

Configuration de notre nouvelle VM :

  • cores per socket: 2
  • vSocket: 6
  • Total vCPU: 12 (2 x 6)

La modélisation associée :

  • six VPDs de 2 cœurs
  • six PPDs de 2 cœurs

Un carnage, la VM va voir une topologie de six nœuds NUMA au lieu des deux qui existent réellement. Au niveau de l’ESXi, le CPU scheduler va devoir scheduler 6 PPD au lieu de 2. L’OS quant à lui va être amené à faire beaucoup plus d’optimisations que nécessaire et qui, au final, n’en seront pas.

Tous ces exemples montrent bien l’impacte de l’option « cores per socket » sur la taille des VPDs/PPDs et toutes les horreurs associées si l’on ne fait pas attention.

L’article « Does corespersocket Affect Performance » publié sur le blog de VMware appuie ces théories.

Faut-il le répéter ? Le plus simple reste tout de même de faire en sorte de n’occuper qu’un seul nœud NUMA.  Pourquoi ? Tout simplement parce que le travail de l’OS de la VM et de l’ESXi vont s’en trouver simplifiés. Comment faire si la quantité de vCPU de la VM dépasse le nombre de cœurs d’un nœud NUMA ? (Je pars ici du principe que la quantité de RAM souhaitée sur la VM soit inférieur à la quantité de RAM du nœud NUMA.)

C’est là que l’option PerferHT entre en jeux. Pour rappel, cette option va faire en sorte que les cœurs logiques comptent lors de la contruction du NUMA Home Node.

Configuration de notre nouvelle VM :

  • cores per socket: 12
  • vSocket: 1
  • Total vCPU: 12 (12 x 1)

La modélisation associée :

  • un VPD de 12 cœurs
  • un PPD de 10 cœurs

Au final notre VM, même si elle a plus de vCPU que de cœurs physiques sur notre nœud NUMA, tient au sein d’un même NUMA Home Node. Attention cependant, il faut avoir en tête que ce sont des cœurs logiques (HyperThreading ici) qui vont être utilisés. En fonction de l’applicatif de la VM cela peut dégrader ou améliorer les performances.

Et si on validait cela avec un vrai benchmark ?

Pour valider ces différentes configurations et les théories associées, enioka prépare un benchmark qui prendra en compte :

  • les config CPU (dans un contexte de stress sur l’host ou non)
  • l’applicatif sur la VM (workload court et long)
  • d’autres technologies de virtualisation

Dès que ce benchmark sera réalisé, un compte rendu sera fait dans ce blog.

Les nouveautés (vSphere 6.5)

vSphere 6.5 permet de rattraper beaucoup de bêtises, en particulier, pour la topologie vNUMA :

  • L’option cores per socket est découplée de la taille du VPD
  • Le sizing du VPD se fait automatiquement par VMware

Conclusions

Quand on ne connait pas, on ne touche pas

Dans le doute, laissez le paramètre « cores per socket » à 1. Faites des tests dans le cas contraire.

Les bonnes questions à se poser

Le sujet est complexe, il y a beaucoup de paramètres à prendre en compte et deux bonnes questions à se poser :

  • Ai-je vraiment besoin de ce niveau de performance ?
  • Ai-je vraiment vraiment besoin d’autant de vCPU ?

Diagramme de choix

Si la réponse à ses deux questions est « oui », vous pouvez-vous aider de ce diagramme de choix pour déterminer la configuration CPU à faire sur votre VM.

Faites tout de même attention, ce diagramme n’a pas la prétention de vous donner à coup sûr la bonne configuration pour votre VM et surtout il ne remplace en rien des tests de performance et d’intégration. Il est peut probable que votre VM soit seule au monde, mais plutôt ajoutée au sein d’une ferme existante et potentiellement vieillissante (la version des ESXi a une grande importance). Sans compter que les hosts qui composent cette ferme peuvent porter des CPU de gammes différentes et donc avec des topologies NUMA différentes. Les impacts peuvent être très visibles si le DRS en mode automatique est activé.

Webo/Biblio/Humanographie

  • Les livres :
    • The CPU scheduler in VMware vSphere 5.1 : pour les impacts du NUMA alignment
    • VMware vSphere Performance : Designing CPU, Memory, Storage, and Networking for Performance-Intensive Workloads. Pour les éléments de configuration et plus tard pour le CPU scheduling
  • Et les hommes :
    • Gael Lalleman : pour nos discussions passionnées sur le sujet

Lexique

  • vCenter : API et IHM qui permet d’opérer les fermes vSphere VMware (permet de communiquer avec les ESX)
  • vSphere : Solution qui comprend vCenter + ESXi + Modules vCenter (ex: vSAN)
  • ESXi: vSphere ESXi est un hyperviseur bare-metal (type 1 – natif)
  • Host: Machine physique sur laquelle est installée ESXi et qui héberge les VMs crées
  • Guest: Une VM qui repose sur un host
  • NUMA: Non Unified Memory Access, architecture répartissant la mémoire physique par ensemble de cœurs processeurs
  • Hyperthreading: Technologie Intel (HyperTransport chez AMD) permettant de présenter deux cœurs logique à partir d’un cœur physique
  • Socket: Connexion physique d’un processeur à la carte mère (HW)
  • vCPU: Virtual CPU, le matériel présenté à la machine virtuelle
  • «Wide » VM : Une VM dont la topologie NUMA lui est remontée par la technologie vNUMA
  • PPD: Physical Proximity Domain, pool de cœurs physiques associés à un CPU package
  • VPD: Virtual Proximity Domain, (ensemble de) pool(s) de cœurs logiques/physiques associé(s) à un ou plusieurs PPD
  • pCPU: Physical CPU vu par l’ESX (peut-être associée à un processeur logique ou physique)
  • vSocket: Virtual Socket (vu par la VM comme une socket physique)
  • core/coeur physique: processeur physique intégré à une socket physique
  • core/coeur logique: processeur logique s’exécutant sur un processeur physique

Pour aller plus loin

Des articles complémentaires sont en cours de rédaction pour prolonger la réflexion  :

  • Benchmark sur les configurations CPU pour VMware/KVM/Hyper-V (permettra de valider/réfuter les théories avancées ci-dessus en fonction des contextes et des paramétrages) – à venir
  • VMware CPU Scheduling: fonctionnement et principes – à venir
  • Virtualisation des CPU – à venir

Benchmark de l’Open Source dans les grandes sociétés

enioka a réalisé un benchmark de l’usage de l’Open Source dans les grandes entreprises Françaises. Les équipes informatiques de 8 grandes sociétés représentatives (dont la moitié font partie du CAC 40) ont été contactées dans différents secteurs d’activité :

  • Télécom,
  • Agribusiness,
  • Médias,
  • Institution Financière publique,
  • Transports,
  • Banques (x2),
  • Grande Distribution.

Voici les thèmes abordés dans ce benchmark :

  • Quel est votre usage de l’Open Source ?
  • Quels sont les modèles de support ?
  • Comment gérer la contribution ?
  • Quelles sont les motivations pour utiliser de l’Open Source ?

Ce benchmark s’appuie sur des sociétés représentatives et donne donc une illustration de la perception de l’Open Source en France par ces grandes entreprises. L’échantillon utilisé ne permet toutefois pas de généraliser ces informations. Les informations données ici sont le reflet et les opinions de ces sociétés, rien de plus.

Le terme Open Source est utilisé en lieu et place de Logiciel Libre car c’est ainsi que ces sociétés le désigne. En pratique, le coté Libre est en fait un critère plus important que l’on pourrait l’imaginer au premier abord pour ces sociétés.

Usage : un effort général vers l’Open Source

100% des participants disent qu’ils ont une approche Open Source first, c’est à dire que pour un nouveau projet, un composant Open Source est toujours privilégié en priorité, et qu’il faut argumenter pour utiliser un composant propriétaire à sa place.

L’étude a aussi montré deux catégories de systèmes d’information :

  • la partie IT de gestion pour les fonctions support (finance, RH, …) utilisant principalement des progiciels propriétaires ;
  • la partie informatique métier, plus souvent développée en interne, principalement construite sur un socle Open Source.

Les trois quarts des sociétés envisagent des composants Open Source pour réduire l’empreinte du propriétaire dans leur système d’information dans l’année à venir

La moitié des sociétés ont une stratégie qui encourage l’Open Source depuis plusieurs années (3 à 8 ans)

Analyse des modèles de support : un modèle de support ne peut couvrir tous les cas

La plupart du support est fait en interne. Chaque société possède des experts techniques en interne formés aux technologies Open Source choisies. Comme l’Open Source tend à faciliter le support en propre sur les composants logiciels, les experts en interne se révèlent souvent être le meilleur modèle de support disponible.

Les services professionnels de support sont chers, rarement utilisés, mais valent le prix dans les cas extrêmes d’urgence. Les sociétés qui font appels à des services professionnels de support sont d’accord pour dire qu’elles utilisent très peu leur abonnement à ce service. Elles ont néanmoins indiqué que cela les avait sauvé plus d’une fois. Il s’agit plus d’une assurance qu’autre chose, permettant aussi une transition plus aisée depuis un modèle propriétaire.

Le modèle de support communautaire et des distributeurs est envisagé dans le cas de composants simples ou maîtrisés. Les services de support professionnels ou de l’éditeur sont préférés pour les composants critiques.

Contribution et gestion des licences : des processus inexistants ou trop lourds pour être appliqués

Toutes les sociétés distribuent des logiciels à leurs clients avec des composants open source (applications web et mobiles principalement). Mais uniquement deux sur huit ont un processus de revue des licences formalisé.

100% des participants estiment que s’il n’existe aucun processus formalisé, ou si celui-ci est trop lourd, alors les équipes contribuent régulièrement en leur propre nom, sans aucun contrôle ni validation.

La contribution publique est encore une pratique peu représentée, bien que tous les participants soient d’accord sur les bénéfices techniques et opérationnels apportés quand ils ont contribué.

Différents niveaux de validation sont nécessaires pour garder le contrôle sur les contributions. Les profils Open Source ont la contribution dans leur ADN, et s’ils ne sont pas autorisés à contribuer ou si c’est trop compliqué, ils vont trouvés d’autres moyens (la contribution fantôme), mais les bénéfices en sont réduits et cela pourrait même induire des risques.

Motivations : l’Open Source permet aux sociétés de reprendre le contrôle de leur exploitation et du déploiement

100% des participants reconnaissent que le principal inducteur pour l’Open Source est l’agressivité de la politique de licence des logiciels propriétaires.

À égalité avec le coût, c’est l’absence ou la limitation du verrouillage qui motive les grandes entreprises à réaliser des choix stratégiques d’adoption des logiciels libres.

Quelques domaines métiers verrouillés par des mainframes sont les derniers bastions résistant à l’Open Source. Exception faite de ces systèmes, en particulier au coeur des grands systèmes bancaires, l’Open Source est le bienvenu dans tous les domaines.

Les meilleurs profils Open Source sont dur à trouver… et dur à garder. Les experts dans l’Open Source partiront s’ils n’ont pas assez de liberté (pas de droit de contribution, pas de droit d’exploitation), ou si le modèle opérationnel est trop rigide.

Le développement et l’exploitation avec des équipes internes sont un des leviers principaux dans l’adoption de l’Open Source.

  • Les grands éditeurs ont tendance à ignorer les composants Open Source ;
  • Les équipes de développement internes sont partisanes des composants Open Source ;
  • Les fournisseurs de services d’exploitation (infogérance) de niveau 1 sont globalement défavorables à l’Open Source ;
  • Les équipes d’exploitation internes préfèrent les plateformes Open Source.

L’Open Source est maintenant globalement accepté comme un acteur à part entière dans les environnements de production dans la plupart des secteurs d’activité.

La nature ouverte de l’Open Source entraîne un regain d’intérêt des équipes exploitation sur leurs plateformes. Les logiciels Open Source leur permettent d’être assez agile pour répondre aux challenges apportés par l’innovation, tout en répondant aux enjeux de Time-to-Market.

Retour d’expérience

Voici les principaux retours d’expérience que ces grandes entreprises partagent après leur adoption de l’Open Source.

Les communautés Open Source doivent être auditées. Les communautés sont un des piliers fondamentaux des logiciels Open Source, et doivent donc à ce titre être auditées comme le serait n’importe quel fournisseur de solution logicielle propriétaire.

Les experts dans le monde propriétaire deviennent de bons experts de l’Open Source. La transition n’est pas toujours facile, mais généralement les experts du monde propriétaire évoluent rapidement vers une position d’expert du monde Open Source sur  le même domaine.

Les licences doivent être auditées. Bien que les licences Open Source ne soient pas en général un problème, un projet peut parfois être amené à utiliser une licence plus restrictive, qui impacterait l’utilisabilité du logiciel dans un environnement professionnel.

Les personnes contribuant en leur nom propre sont courtisés par les autres sociétés. Des contributions Open Source rendent visibles les meilleurs profils, ils seront alors très naturellement approchés par de nombreuses autres sociétés.

L’implication dans les communautés Open Source est un bon investissement :

  • capitalisation sur les compétences techniques ;
  • développement personnel des employés ;
  • incidence positive sur le recrutement.

Pour un urbanisme concret

L’urbanisme est un gros mot. Après avoir volé le mot architecte au génie civil, pourquoi s’arrêter en si bon chemin ? Au delà d’une définition pas toujours évidente d’un terme très français (les anglo-saxons parlent d’Enterprise Architecture), c’est d’abord beaucoup de théorie… mais un cruel manque de pratique.

L’échec (relatif) de l’urbanisme des SI peut être expliqué par plusieurs facteurs :

  • Les urbanistes sont souvent très éloignés des réalités du SI et des projets. La littérature est plutôt bien fournie… mais délicate à appliquer. La plupart du temps, c’est l’architecture transcendantale qui prévaut, au détriment de l’expérience et la pratique ;
  • Les urbanistes ont en général une faible culture technique qui les poussent à faire du top-down au mépris des réalités techniques. On cherche ainsi un découpage du SI avant tout guidé par un découpage fonctionnel, lui-même calqué sur une organisation ou la représentation à date de la chaîne de valeur de l’entreprise ;
  • La recherche de la cible idéale (et idéalisée) passant par des transformations big-bang (qui se soldent souvent par des big-crash) au lieu de privilégier des transitions douces et flexibles ;
  • Les vraies questions d’urbanismes (nous essaierons d’en poser quelques unes ci-dessous) sont souvent rapidement abandonnées au profit des projets phares des urbanistes : mettre en place un MDM ou un ESB ou les deux à la fois. L‘outil magique comme réponse à un problème…
  • L’intérêt court terme d’un projet (budget, planning et réponse à un périmètre circonscrit) n’est pas toujours compatible  avec la feuille de route d’évolution du SI imaginée par les urbanistes.

L’attitude la plus fréquente face à cela est d’ignorer les urbanistes ou tout du moins ce qu’ils disent et écrivent. C’est ce que font la plupart des directeurs de projets afin de préserver leur projet. On les comprends !

Les urbanistes restent trop souvent dans leur tour d’ivoire et, au mieux, cartographient le SI (à l’échelle 1:1 de préférence !), mais n’ont pas de réelle influence sur l’organisation du SI.

À défaut d’enlever les taches, au moins, les urbanistes n’abiment pas le linge

L’alternative est de promouvoir un urbanisme plus simple, plus concret et plus appliqué. Loin des salons et plus près des projets et des architectes applicatifs et techniques. Esquissons les contours ce que pourrait être cet urbanisme concret.

À quoi sert l’urbanisme ?

Dans ce contexte, on peut se demander à quoi sert l’urbanisme… Les besoins sont pourtant véritables, et répondent à des problématiques très concrètes. On peut distinguer quatre objectifs majeurs :

  1. Donner une visibilité globale du SI à tous les acteurs pour améliorer leur efficacité collective en explicitant les principaux processus, fonctions (hiérarchisées et regroupées), les applications, les données et les flux du SI.
  2. Permettre au SI d’obtenir des qualités globales et transverses sur différents plans :
    • Alignement aux besoins métier de « bout en bout »
    • Cohérence transversale des données et des processus
    • Efficacité dans la durée
    • Agilité aux évolutions
  3. Faire contribuer les projets à la dynamique d’ensemble en orientant les choix projets vers des décisions cohérentes.
  4. Aider à arbitrer les choix ou décisions en identifiant toutes les options, avec une meilleure visibilité sur leurs conséquences, court/moyen/long terme.

Il faut faire des choix…

L’urbanisme n’a pas de réponse absolue à des questions absolues. La plupart du temps les choix d’urbanisme sont à faire entre plusieurs options réellement possibles.

L’urbanisme vise à remettre les choix unitaires des projets en perspective de la globalité du SI. Les choix principaux d’urbanisme jouent typiquement sur :

  • Le niveau de partage des processus et des données entre organisations
  • La décomposition du SI en applications
  • L’allocation des fonctions aux applications
  • Le niveau de partage des applications entre organisations
  • Les processus de gestion et de diffusion des référentiels
  • La duplication (ou non) d’informations entre applications
  • Les flux d’échange et/ou de synchronisation de données entre applications

Les choix d’urbanisme ne sont ni des choix fonctionnels, ni des choix d’organisation, même s’il peut il y avoir un lien.

… guidés par certains principes…

Les choix d’urbanisme doivent pouvoir s’appuyer sur des règles d’urbanisme (ou plus généralement SI) partagées, compréhensibles et largement reconnues. L’objectif de ces principes est d’expliciter les règles souvent implicites qui gouvernent le fonctionnement du SI.

Le SI peut ne pas avoir d’urbaniste, il y a toujours un urbanisme. Plus ou moins spontané, plus ou moins anarchique, mais le résultat est là : les projets construisent et transforment des briques applicatives et techniques qui façonnent le SI. Le rôle de l’urbaniste est de mettre en lumière ces règles et principes, les rendre visible, faire prendre conscience aux parties prenantes des clés d’arbitrage.

Certaines de ces règles sont d’ordre générales et applicables à tous les domaines, notamment :

  • Règles de découplage et de modularité du SI
  • Règles de gestion des référentiels
  • Règles d’intégration des applications

D’autres règles résultent de choix d’urbanisme spécifiques sur des périmètres fonctionnels qui peuvent être plus variables dans le temps, par exemple :

  • Règles définissant les objets structurants du SI (données, domaines, etc.)
  • Règles identifiant les applications maîtresses des principaux objets du SI
  • Règles spécifiques entérinant des arbitrages passés

Ces règles ne sont pas absolues et peuvent, pour des raisons tactiques ou stratégiques, être enfreintes. Il s’agit de guides plutôt que de limites. Enfreindre ces règles indique simplement qu’il faut être en mesure de justifier et motiver son choix.

Enfin, et surtout, ces règles doivent s’enrichir et évoluer avec le SI et son environnement.

… et bâtis sur des modèles

Pour raisonner efficacement sur le SI et être en mesure de l’appréhender de manière globale, il faut s’appuyer sur un modèle simplifié du SI. Ce modèle traite de plusieurs plans dont les principaux sont :

  • Plan métier : quels sont les processus métier ? quelle est la chaîne de valeur de l’entreprise ?
  • Plan fonctionnel : quels sont les fonctions rendues par le SI pour supporter ces processus ? Comment organise-t-on ces fonctions en domaines ? Quels sont les objets métiers manipulés ? Selon quelles facettes ?
  • Plan applicatif : comment sont implémentés les fonctions du SI ? Quelles sont les applications du SI ? Comment sont-elles déclinées sur un périmètre ? Quelles données échangent-elles ?

Ces modèles doivent avoir des représentations et une structure permettant de communiquer sur l’organisation du SI à tous les acteurs impliqués dans sa transformations, du développeur au management, aux métiers en passant par les équipes de production.

 

Projets et urbanisme

L’urbanisme devrait être le plus possible porté par les projets. Ces derniers restent les meilleurs vecteurs de transformation du SI et donc de l’évolution de l’urbanisme du SI.

Souvent, les grands projets portent intrinsèquement des transformations structurantes du SI.  L’urbaniste doit savoir surfer sur ces grandes évolutions du SI.

Il peut parfois être nécessaire d’investir dans le cadre d’un projet métier au-delà de ses besoins propres et court terme pour constituer un bien commun plus large.

Une approche d’urbanisme doit favoriser ces investissements sans plomber les projets.

Il s’agit alors d’entrer dans un cercle vertueux à chaque projet : l’approche d’urbanisme sera d’autant plus efficace si la transformation s’opère étape par étape, du moment que ces états intermédiaires sont suffisamment stables. Il ne s’agit donc pas d’imposer des arbitrages par une réponse absolue, mais de remettre en perspective les choix des projets dans la globalité du SI : il convient alors de convaincre et de séduire les projets du bien fondé de cette démarche. C’est finalement une approche d’amélioration continue, avec ses bons côté (les améliorations des uns profitent aux autres projets et vice versa), mais qui possède son pendant vicieux bien connu : chaque projet porte alors le fardeau des prédécesseurs.

Quelques exceptions toutefois : il peut être nécessaire, à moyen/long terme, de faire des investissements transversaux que les projets métier ne peuvent pas toujours (planning…) ou ne doivent pas (indépendance…) porter. Par exemple des services d’intégration transverses, des référentiels, des services décisionnels…  Idéalement, ces investissements doivent pouvoir être valorisés par des projets métier bien identifiés qui en seront les clients et bénéficiaires à chaque étape. Il ne s’agit donc pas d’être en dehors des projets mais transverse aux projets.

Comment faire ?

L’urbanisme est avant tout un processus de réflexion transversal. Ce processus a besoin d’éléments partagés qui supportent de manière opérationnelle les choix :

  • Un référentiel qui décrit l’existant du SI (modèle)
  • Une cible et une trajectoire d’évolution qui définissent les orientations d’évolution du SI à 2/3 ans
  • Un guide d’urbanisme qui explicite les principes d’urbanisme partagés et les choix faits qui expliquent la trajectoire
  • Une organisation opérationnelle qui permette aux projets de construire leur trajectoire en cohérence avec celle du SI et aux responsables de domaines (métier et applicatif) de piloter les évolutions SI et amender la cible et la trajectoire

Il est essentiel que les urbanistes acquièrent non seulement une bonne compréhension du métier mais aussi de la technique (développement, système, exploitation…). Sans cette clé technique de compréhension du SI, le dialogue avec les équipes de développement et de production restera en grande partie stérile et les plus belle idées d’urbanismes conduiront à des catastrophes.

Le bon sens est trop souvent négligé par des urbanistes, on les caricature souvent comme des monarques un peu éloignés des réalités du SI. Au delà de toutes les méthodes, démarches, modèles d’urbanismes etc., il faut savoir viser la simplicité et faire preuve de pragmatisme. Les SI actuels sont déjà des monstres de complexité. Un urbaniste et architecte talentueux ne se distingue pas en construisant un énième composant tapageur dans le SI composé de toutes les dernières technologies ou principes à la mode mais en construisant quelque chose de simple, sobre et fonctionnel. La parcimonie n’est pas souvent à la mode chez les urbanistes, c’est pourtant un principe essentiel.

Pluralitas non est ponenda sine necessitate (G. d’Ockham)

En définitive, on voit que l’urbanisme tient plus à l’urbaniste qu’aux théories, concepts et autres éléments de littérature pourtant nombreux (Zachman, Togaf…) qui n’ont pas vraiment changé le monde, au contraire. C’est un constat amère d’un coté (tant d’énergie et de complexité pour en rester aux balbutiements) mais également porteur d’espoir : tout reste à construire, à reconstruire et à transformer.

Mesdames et messieurs les urbanistes, mettons nous au travail !

Quelle organisation autour de la Business Intelligence et du Big data dans les grandes entreprises ? (5/5)

Quels sont les enjeux de sécurité autour du BI ?

La donnée devient un élément de plus en plus critique pour la performance des entreprises. La donnée a de la valeur pour trois raisons :

  • parce qu’elle a une valeur intrinsèque monétisable qui mérite de la protéger (fichier client, ratios types,…)
  • parce que la diffusion de certaines données confidentielles est un facteur de risque élevé pour l’entreprise (ratios financiers, structure de coûts, marché, …) notamment vis à vis de la concurrence.
  • parce que la maîtrise et l’autonomie de l’accès aux données est un enjeu :  externaliser certaines données au risque d’en perdre l’autonomie de gestion et d’exploitation est un risque important qui peut entraver l’autonomie business.

Ces enjeux de sécurité méritent une gouvernance globale pour laquelle la DSI est probablement (avec son RSSI) la plus à même de mettre en perspective les risques et de prendre les mesures de protection adaptées. Cela peut se traduire par des actions internes sur la sécurisation des stocks de données mais aussi vis à vis de l’extérieur en veillant aux cadres contractuels et aux risques associés à l’externalisation de certaines données (et fonctions d’analyse associées).

Conclusion

Cet article était la conclusion d’une série de cinq articles sur l’organisation autour du BI dans les grandes entreprise (partie 1, partie 2, partie 3, partie 4).

En résumé, ce n’est qu’une cartographie des usages métiers, des enjeux associés, de leur portée (très locale jusqu’au très large) et des gains à attendre d’une mutualisation qu’on peut mettre en place une gouvernance alignée. Dans cette période de forte effervescence sur les sujets big data, cette gouvernance doit trouver un juste équilibre dans le temps qui créée un éco système favorable à l’émergence de solutions rapidement. Et se prépare à pérenniser, durcir et industrialiser ce qui mérite de l’être, et cela progressivement…

Quelle organisation autour de la Business Intelligence et du Big data dans les grandes entreprises ? (4/5)

Dans quelle mesure le BI est-il bousculé par les nouvelles technologies ? Au delà des apports technologiques, il y a un impact certain sur l’organisation.

Quel est l’impact du Big data sur les organisations ?

Le big data apporte finalement la promesse de l’analyse rapide de très grands volumes de données…

Le vrai big data (a contrario des déguisements de projet en big data pour surfer sur la mode) exige des architectures très nouvelles et des manières de les exploiter très différentes.

La logique n’est plus tant de construire des cathédrales décisionnelles qui vont durer 5 ou 10 ans que de monter des projets pour répondre à une question particulière, en acceptant que la solution ne durera peut être que 6 mois.

Il y a donc une vraie logique à accepter des expérimentations étroitement liées au métier et à des enjeux de certains domaines fonctionnels clés pour l’entreprise.  Expérimentations à mener au plus près des métiers dans des équipes fortement intégrées avec experts métiers, analystes de données spécialisés sur les méthodes et outils à employer dans le domains, équipes études et développement agiles avec une forte connexité métier, équipes techniques d’exploitation temporaire mais qui conservent un lien avec des équipes de production cibles (surtout si elles sont internes). L’objectif est d’incuber les solutions au sens large et de se préparer à internaliser une partie des compétences et des solutions si cela constitue de la valeur et un enjeu stratégique durable.

Quelles options prendre vis à vis du Cloud (IaaS,  PaaS, SaaS) ?

Le cloud fait partie d’une logique d’optimisation des infrastructures. Qui peut s’avérer indispensable dans une logique de réponse élastique aux besoins. Cela a du sens. Mais ne doit pas faire oublier la dimension stockage des grands volumes de données. Il ne s’agit (souvent) pas de cloud classique. Il doit être adossé à une solution de stockage performante (en volumétrie bien sur, mais aussi en capacité de traitement de flux et de montée en charge).

Le cloud spécialisé type cloud SAP HANA par exemple, est à prendre avec précautions. Cela peut être un kick starter efficace… Mais qui pose question sur la maîtrise du niveau de service, sur la sécurité et à terme sur la structure de coûts tout court… Il n’y a pas de solution magique. S’il faut vraiment des ressources informatiques, celles ci ne
seront pas gratuites…

Les solutions SaaS sous différentes formes sont des accélérateurs encore plus tentants. Ils permettent de s’affranchir de à la fois des infrastructures, mais aussi (en grande partie) des technologies voire des compétences… C’est également un accélérateur, et dans certaines niches une solution qui peut être pérenne. Mais la vigilance doit rester très importante sur les risques et les coûts. Et il est indispensable si de telles solutions au delà de premières expérimentations, deviennent des solutions stratégiques pour le fonctionnement de s’assurer auprès de la DSI que les compétences sont internalisées (même si la solution reste en SaaS).  Il faut impérativement que des sachants DSI soient en mesurer de challenger le fournisseur et veille à garantir des solutions de réversibilité dans la durée.

Le coût des performances

Après une première introduction à la problématique de la performance des SI, il est nécessaire de se préoccuper du coût des performances. La raison pour laquelle il n’y a pas de vérité absolue en matière de performance est que les trois points de vue essentiels à optimiser (le travail à effectuer, le temps imparti et les ressources utilisées) sont à équilibrer par rapport à des critères objectifs. L’un de ces critères essentiel est le coût. Ce n’est sans doute pas le seul critère (il y en a d’autres, comme la qualité de service, qui peuvent influer sur le comportement des utilisateurs ou des clients de manière indirecte), mais c’est en tout cas le plus objectif.

On distingue deux coûts à équilibrer : le coûts des ressources employées et le coût du temps consommé par le SI.

le coût des ressources employées.

Ce volet du coût est le plus simple à mesurer,  même si le plus souvent il ne l’est pas de manière satisfaisante :

  • ni complètement : le coût complet des ressources n’est pas si trivial à évaluer. Amortissement des investissements matériels, coûts de licence des logiciels, maintenance, opérations, coûts indirects de m2 ou de climatisation de  l’hébergement, etc.
  • ni analytiquement : quelle est la contribution de chaque fonction/usage au  coût des ressources ? La difficulté est à ce niveau double : avoir la capacité de tracer l’usage des ressources par les fonctions/utilisateurs et d’autre part discerner ce qui réellement dimensionne les ressources. Par exemple, un système peut être taillé pour supporter une activité transactionnelle de jour très lourde, et du coup, le coût de l’usage des (ou de certaines) ressources pour les traitements batch est sans influence sur le coût total.

le coût du temps consommé par le SI.

Il s’agit du temps pendant lequel les utilisateurs ou l’entreprise  ou les clients attendent ou travaillent à la place du SI. La valorisation de ce coût est très variable selon l’usage :

  • 10 secondes d’attente d’un utilisateur à chaque transaction représente peu si l’utilisateur utilise la fonction une fois par jour, beaucoup plus si l’utilisateur l’utilise
    des centaines de fois. Si très peu d’utilisateurs sont concernés, le compromis peut rester acceptable, surtout si la solution apporte par ailleurs des bénéfices.
  • En deçà d’un certain seuil (< 300 ms pour une fonction interactive par exemple) un gain de temps n’est plus pertinent, et ce surtout si ce gain correspond à une unité
    de travail de l’utilisateur naturellement associée à une rupture de charge (comme le passage à la facture suivante à traiter).
  • Le coût du temps est toujours délicat à valoriser. C’est une notion élastique qui est  souvent liée à l’organisation du travail ou du modèle d’activité de l’entreprise (selon le modèle d’activité, le temps de traitement SI est ou n’est pas un enjeu de compétitivité). Selon les activités il y a ou non des enjeux associés au temps de réponse ou au temps de traitement.
  • Il y a également quelquefois à considérer le coût d’un défaut de service : certains problèmes de performance (notamment lors de pics d’activité) peuvent créer une
    indisponibilité dont les conséquences financières peuvent être très graves.

Pour équilibrer ces coûts, un troisième coût est à prendre en compte : le coût d’optimisation ou d’alignement de la solution pour réduire l’usage des ressources et/ou réduire le temps de traitement. Ce coût est à considérer comme un investissement pour améliorer l’efficacité. L’optimisation suit souvent le principe de Pareto : 80% des
gains sont relativement faciles à obtenir mais les derniers 20% coûtent très chers à obtenir. Il faut donc toujours mesurer la valeur marginale des gains en comparaison des coûts engagés. Et les gains les plus forts ne sont pas toujours à attendre des investissements les plus lourds.

Cette approche de valorisation des coûts (et des bénéfices) du SI est d’ailleurs une approche d’analyse de la valeur qui va bien au-delà de la performance d’une application. Elle devrait s’appliquer comme dans l’industrie aux fonctions offertes par le SI aux utilisateurs comme moyen d’arbitrage des fonctions à implémenter dans le SI.

Gérer la complexité des SI

Une complexité croissante

La complexité est au cœur des systèmes d’information (SI) d’aujourd’hui. On ne peut que constater que les grandes organisations ont à gérer des SI de plus en plus vastes et hétérogènes à tout point de vue : des centaines d’applications, des milliers de serveurs, des centaines de milliers d’échanges et de transactions, des utilisateurs de plus en plus nombreux et répartis sur la planète, qu’ils soient collaborateurs, partenaires, clients ou fournisseurs. La pression des évolutions imposées aux entreprises, l’intégration toujours plus forte des processus intra et inter entreprises et la poussée de la dématérialisation dans tous les domaines de l’économie ne font qu’accélérer ce phénomène et confèrent un rôle de plus en plus critique au SI. L’accroissement inexorable du périmètre du SI s’accompagne mécaniquement d’une concentration des risques et des enjeux portés.

Les effets néfastes de cette complexité sont multiples et la cause profonde de beaucoup des difficultés dans la gestion du SI sur de nombreux plans comme la gouvernance de l’urbanisme du SI, la maîtrise de l’intégration des grands projets d’évolution, la maîtrise des coûts informatiques et de leur refacturation aux clients métier, la gestion des performances et de la disponibilité, la gestion des risques techniques, la sécurité, etc. La complexité rend en effet très délicat le traitement de ces problématiques transverses.

Tous les SI importants font aujourd’hui face à des difficultés croissantes pour maîtriser les coûts et les risques tout en apportant satisfaction aux besoins métier dans des délais raisonnables. Il n’est pas rare de constater que de petites structures agiles réagissent de manière plus adaptée, plus rapide et finalement plus efficace que de grandes structures dotées de plus de moyens. La complexité s’avère souvent un obstacle aux fameuses économies d’échelle promises par tous les projets de mutualisation, centralisation, ou externalisation des moyens informatiques.

Caractérisation de la complexité des SI

Avant tout, il faut mieux définir ce qui caractérise la complexité d’un système en général et la complexité d’un SI en particulier. Bien qu’il n’en existe pas de définition objective et formelle qui fasse consensus, notamment dans le domaine des SI, plusieurs éléments clés caractérisent un système complexe :

  • en premier lieu, la taille du système rapportée à ce qui finalement est la métrique la plus naturelle : le temps pris par un humain à le décrire, le spécifier ou le construire. Un « petit » système ne peut pas être complexe. Pour un SI, cette taille se mesure en nombre d’applications, de tables de données, de flux, etc.
  • l’impossibilité (ou à tout le moins la très grande difficulté) à subdiviser ce système en sous systèmes plus petits sans introduire un nombre de liens entre ces parties qui ne croisse plus vite que leur nombre (de manière quadratique typiquement). Pour un SI c’est la difficulté rencontrée à isoler des sous ensembles pertinents du SI pour le découper en éléments plus simples : processus, domaines, applications, infrastructures, etc.
  • le couplage « in-démêlable » de toute partie du système avec les autres et l’action indirecte et mal maîtrisée qu’elle peut avoir sur d’autres parties avec lesquelles elle est connectée même indirectement. Dans un SI, ce couplage est porté par les interfaces entre applications, par les moyens mutualisés d’infrastructure, par les données partagées de manière transverse, etc. En dépit des promesses de la SOA (Service Oriented Architecture), la gestion des évolutions relève souvent du casse tête avec des coûts et des délais qui ne sont plus en proportion avec la valeur des changements apportés.
  • l’hétérogénéité forte, voire l’incohérence des parties entre elles qui rend impossible l’application de règles ou d’opérations communes à toutes les parties. Au niveau d’un SI cette hétérogénéité se constate sur tous les plans : organisation et processus métier, données partagées, architectures applicatives, langages de développement,
    infrastructures, etc… Cette hétérogénéité se paye à toute action globale sur le SI : les économies d’échelle de mutualisation/industrialisation se transforment alors en surcoûts par rapport à une action strictement locale et spécifique sur chaque élément.
  • l’impossibilité de prévoir le comportement ou de tester le système dans son ensemble par rapport à l’ensemble de ces cas potentiels de fonctionnement et encore moins de dysfonctionnement. Cette impossibilité est la conséquence directe des éléments précédents qui vient de l’explosion combinatoire de ses états possibles. Au niveau SI, cette incapacité se traduit par la multiplication des incidents et problèmes (au sens ITIL) et la grande difficulté d’intégration de grands projets.

Les « fausses bonnes idées » pour résoudre la complexité des SI

Il y a quelques mirages récurrents et souvent dangereux sur les moyens de résoudre ces problèmes liés à la complexité des SI. Si ces idées apportent des éléments de réponse, elles sont souvent très dangereuses à considérer comme des solutions « magiques » en tant que telles, car elles sont toutes myopes aux phénomènes systémiques de la complexité et finalement en nient le caractère profondément structurel :

  • Le « top down » comme moyen de pilotage ou de gouvernance unique : à l’image des démarches en V classiques rassurantes qui partent d’un besoin et aboutissent à une solution technique, il y a le rêve de pouvoir appréhender de manière hiérarchisée et descendante un SI dans son ensemble. Ce serait possible si justement le SI n’était pas complexe et se prêtait à une description hiérarchisée, si ce n’est unique, au moins complète et représentative de l’ensemble de la complexité. Il est possible heureusement de gouverner un SI, mais rarement par un seul point de vue, fût il aussi prégnant que celui des coûts, des besoins métier ou des risques.
  • La centralisation, notamment autour d’un outil : un autre moyen de contrôle souvent préconisé est la mise en place d’un outil fédérateur et central qui permettrait de gérer et de piloter l’ensemble. Qu’on parle d’outil de CMDB (inspiration ITIL), d’outil de cartographie ou de solution d’intégration centralisée (EAI, ESB…) par exemple, le biais reste le même : l’idée d’un point fédérateur unique qui réussirait à capturer la complexité et à la gérer. L’expérience est plutôt que pour ce type d’outil, plus son périmètre est large, plus il est délicat à mettre en place et surtout quasi impossible à maintenir. Le fait est que cet élément central, qui
    cherche à capturer un objet d’une très grande complexité, se trouve lui même empêtré dans cette complexité, et à un degré de contraintes supérieur encore, parce que centralisé et donc très fragile. L’effort de sa maintenance s’avère finalement très souvent inférieur aux bénéfices réels qu’il apporte.
  • L’uniformisation comme solution ultime à tous les problèmes de complexité. L’industrie a répondu à la problématique de la gestion des processus complexes par une très forte normalisation et le travail en « séries » très homogènes. Si beaucoup de bénéfices sont à attendre d’approches de normalisation, le SI se trouve confronté à la réalité opérationnelle et humaine d’un SI structuré en strates hétérogènes historiques et technologiques qu’aucune volonté ne peut faire converger complètement à un instant donné. L’exception à la norme résiste au changement par le poids du patrimoine et s’introduit dans les nouveaux projets par le biais des nouvelles technologies, de nouveaux types de besoins ou de solutions progicialisées au socle incompatible avec les choix communs. Les opérations de fusion/acquisition entre sociétés rendent encore plus aléatoires les possibilités d’uniformisation. Enfin, traiter uniformément tous les éléments du SI strictement avec les mêmes normes amène à des solutions, lourdes, coûteuses et pas toujours adaptées aux attentes.
  • La transformation globale du patrimoine vers une cible idéale et enfin
    urbanisée. Toutes les initiatives qui constituent un choc sur le patrimoine et qui ne laissent pas la place à une trajectoire de convergence flexible et potentiellement partielle, sont vouées à l’échec. Pour deux raisons majeures : d’une part, un système complexe réagit de manière très violente et inattendue à une transformation trop rapide ou trop globale, et ce principalement parce que les impacts des changements importants ne peuvent pas réellement être maîtrisés dans un système complexe. D’autre part, la dimension temps est un facteur qui est un frein très direct aux transformations rapides : tout changement profond sur un SI complexe, que ce soit au niveau métier ou technique, prend un temps incompressible lié à son déploiement. Même des transformations relativement innocentes et apparemment simples comme le changement d’infrastructures de stockage ou de stratégie d’hébergement physique sont à mener en étapes progressives et en tout cas par étapes maîtrisées. Et la longueur de la trajectoire rend particulièrement incertaine cette fameuse cible globale initialement pensée comme idéale : la cible bouge finalement plus vite que la trajectoire…

Une décentralisation nécessaire

Ces approches font toutes plus ou moins l’hypothèse que la complexité est le fruit d’une histoire passée qu’il convient de redresser ou de corriger et recherchent une solution pour reprendre un contrôle central de l’ensemble. Le fait est que la complexité résiste à toute approche globale si celle ci n’est pas structurellement décentralisée. Autrement dit, les seules méthodes qui fonctionnent sont celles qui développent des caractéristiques locales au niveau des composantes élémentaires du SI et qui confèrent de manière systémique des caractéristiques intéressantes et vertueuses » à l’ensemble. Les éléments centraux, pour être nécessaires et utiles doivent rester extrêmement simples et robustes aux changements de toute nature.

Mais pour l’essentiel, un système complexe doit être décomposé en sous ensembles les plus découplés possibles entre eux. C’est la force clé attendue d’une approche décentralisée : la résolution des problèmes doit pouvoir être locale à chaque partie du système, et ainsi porter sur des sous ensembles moins complexes. La décentralisation doit minimiser les interactions, les interdépendances et les couplages entre les parties, pour permettre cette action locale, autonome, et adaptée au besoin. La difficulté réside finalement dans la qualité de ce découpage, qui n’est hélas pas naturel et surtout pas homogène selon les différentes facettes du SI. En fait, il n’existe pas un découpage unique. Il existe plutôt plusieurs découpages qui se superposent à la réalité du SI sur ses différents plans, des plans métiers et fonctionnels, aux plans des infrastructures et de l’exploitation.

L’approche enioka

Pour structurer son action et sa réflexion sur les systèmes complexes avec ses clients, enioka fonde son approche sur quatre éléments clés :

  • L’identification et la formalisation de plans ou points de vue du SI : pour percevoir un système complexe, il faut l’observer à travers des projections sur différents plans qui sont des points de vue du SI. Ces « plans de coupe » du SI permettent des analyses simplifiées focalisées sur des objectifs portés par différentes parties de l’organisation de la DSI, un peu à la manière d’une radiographie ou d’un scanner. Ces plans masquent certains aspects de la complexité pour se focaliser sur certains objectifs, comme le coûts, la sécurité, l’urbanisme, les infrastructures, l’exploitation, etc. Chacun de ces points de vue n’a pas besoin de traiter la complexité des autres points. Mais cette segmentation en points de vue se doit d’être cohérente et de ne pas introduire de biais dans les raisonnements.
  • La modélisation du SI : la difficulté rencontrée dans l’analyse et la maîtrise des systèmes complexes vient avant tout d’un manque de modèles formels du SI qui permettent de raisonner efficacement sur le SI par des vues simplifiées adaptées à certains types de questions sur le SI. Le pluriel à modèleS est volontaire, car il n’est pas à notre sens possible ni même intéressant de construire un modèle unique, central et uniforme du SI qui permettrait de répondre à toutes les questions sur la complexité du SI. Les modèles doivent être adaptés pour répondre à des questions concrètes ou comme support à une politique de gouvernance sur les différents plans et points de vue du SI… Ces modèles doivent être faiblement couplés entre eux mais fédérés autour de quelques notions pivot communes comme celles d’application, de flux, de service, etc. Ces modèles doivent en outre être déployés en fonction des objectifs et non de manière uniforme et systématique. Par exemple, on peut très bien avoir deux niveaux de modélisation de l’intégration des applications selon leur complexité et leur criticité : un niveau commun très simple pour le pilotage du patrimoine et un niveau fin réservé aux objets et processus critiques du SI.
  • L’approche service : une forme de modèle très générale et très puissante est la notion de service. Ce principe consiste à identifier des services généraux réutilisables et à en masquer l’implémentation aux clients par des interfaces formelles et abstraites. L’identification des services est une véritable démarche marketing d’analyse du « marché » des besoins et de promotion de solutions partagées (qui s’opposent souvent à l’axe « local » des projets métier).Cette démarche se décline sur les différents plans du SI, qu’il s’agisse de l’urbanisme, du développement ou des infrastructures ou de l’exploitation. De plus, cette vision de service est très utile comme support à la décomposition normalisée d’un SI complexe en éléments simples, et structurellement plus homogènes. Enfin, l’approche service permet à la fois d’unifier sans uniformiser : un même « service » peut être implémenté de différentes manières selon les cas d’usage. enioka s’attache notamment à développer un modèle des services du SI, structuré en différents plans de service, des infrastructures aux services applicatifs et métier.
  • La définition de trajectoires d’évolution : on raisonne trop sur la cible et pas assez
    sur le chemin qui y mène. Très souvent le chemin dicte des contraintes déterminantes sur la cible. Et comme on l’a vu, le chemin étant souvent long pour les projets de transformation significatifs, la cible « désirable » peut évoluer beaucoup au fil du parcours. Une bonne cible est avant tout une cible avec une trajectoire robuste aux événements inattendus, qui fait intelligemment levier sur les évolutions majeures et les grands projets incontournables pour porter les transformations systémiques. Enfin, la trajectoire elle même doit être modélisée
    et suivie pour être réactualisée.

L’ambition d’enioka à travers son activité et plus spécifiquement au travers de ce blog, est de contribuer de manière très concrète au développement de ces différents modèles du SI et d’en décliner l’usage à travers la réponse à des questions très opérationnelles sur les coûts, sur les analyses de risque, sur la maîtrise du niveau de service, sur la maîtrise du patrimoine applicatif et technique, etc. enioka développe en outre un outillage de modélisation permettant de supporter ces différents modèles et de collecter les informations déjà existantes dans le SI, qu’il s’agisse de référentiels du SI ou de sources de métriques adossées à ces référentiels. A travers ce blog, au fil des mois, nous tenterons de partager nos réflexions sur les différents aspects de la complexité autour de thèmes comme : l’industrialisation des processus, les normes et standards techniques, l’intégration des grands projets applicatifs, la gouvernance opérationnelle des flux, l’urbanisation des référentiels de l’entreprise, la maîtrise des coûts récurrents et notamment de licence, etc.