À l’automne 2023, Alliancy a organisé la première édition de son IT Excellence Sprint. Cet événement, centré sur une réflexion commune de directeurs de systèmes d’information venus de secteurs différents, a mis la question de la définition de la performance de la DSI au cœur du débat. En particulier, deux ateliers ont mis en avant le travail à mener sur les indicateurs clés de performances et sur l’observabilité des systèmes, afin de se projeter vers l’avenir.

« La performance de la DSI est un concept qui n’existe pas en tant que tel » rappelle François Raynaud, directeur des systèmes d’information et du numérique d’EDF Commerce, qui a dirigé l’un des ateliers de cette session. À l’occasion de l’IT Excellence Sprint, organisé par Alliancy avec une trentaine de DSI et décideurs technologiques le 7 novembre 2023 dans les salons de l’Aéroclub à Paris, c’est la « culture numérique » des organisations en transformation qui a donc été interrogée. Deux thèmes majeurs ont été discutés : d’une part la réinvention des KPI et de la mesure de la performance à l’aune de la nouvelle place prise par le numérique dans les organisations, et d’autre part la proactivité à mettre en œuvre en matière d’observabilité des systèmes.

La difficile objectivation de la mesure de la performance

Derrière la notion de performance, les DSI qui sont intervenus lors de l’IT Excellence Sprint notent que la question est celle de la création d’une boucle d’amélioration continue pour leur organisation. « Il existe une certaine « tragédie des communs » quand on parle d’indicateurs clés de performance pour une DSI, car le calcul ne peut pas être seulement technique ou financier. Nous nous retrouvons souvent à arbitrer un sujet contre l’autre » note l’un des décideurs présents, fort de sa longue expérience dans le secteur de l’énergie.

En ce sens, l’interrogation principale devient rapidement : à quel point les KPI définis reflètent-ils vraiment de la valeur pour l’entreprise et ses métiers ? Et comment favorisent-ils l’amélioration ? « Les attentes des métiers varient fortement, il est donc nécessaire de multiplier les approches complémentaires » souligne un DSI de l’industrie. Il distingue ainsi au quotidien une série de KPI portant sur la « vision de la DSI par la DSI » et mesurant en autoévaluation, chaque année, la maturité sur les sujets technologiques clés : « Est-ce qu’on est outillé ? Applique-t-on des standards ? Quelle a été la progression ? Et quels sont les objectifs d’amélioration à A+1 ? ».

Une approche qui doit fondamentalement être complémentaire d’indicateurs tournés vers les utilisateurs eux-mêmes, de type Net Promoter Score (NPS), dont la captation doit être automatisée au maximum. Elle doit également être complétée par une batterie d’indicateurs supplémentaires : « Nous y associons par exemple une « Voice of internal stakeholder » plus globale, mais aussi la mesure d’un « Product Market Fit », c’est-à-dire l’adéquation entre nos « produits » et le « marché » dans l’entreprise. La question sous-jacente est : si on vous enlève tel ou tel produit dans le système d’information, où est-ce que vous allez avoir mal au quotidien ? » complète le même DSI. D’autres indicateurs originaux, comme un « Nutriscore » sur la qualité des développements, intégrant maintenabilité et sécurité, sont également mis en avant.

Sans surprise, chaque DSI, selon son secteur et son périmètre, peut trouver ses propres nouveaux KPI centrés sur la valeur apportées pour son activité. « Cette visibilité est importante, mais elle ne doit pas faire oublier que le prérequis absolu de la performance, c’est la proximité avec le métier » insiste François Raynaud, d’EDF Commerce.

Tous les participants sont d’accord sur ce point : le défi principal reste la définition d’éléments de performance commun, qui serviront de facilitateur aux dialogues IT-métiers, alors que le numérique devient omniprésent et que les transformations accélérées bousculent à tous les niveaux. Au-delà de la mise en œuvre de tableaux de bord partagés, qui permettront de capitaliser sur cette définition de KPIs communs, le nœud de la relation se joue bien souvent au niveau de la clarté de l’expression des besoins, soulignent encore les DSI présents.

En la matière, c’est donc aussi la culture numérique des collaborateurs, quel que soit leur métier, qui doit se développer. « Quand on veut faire comprendre le travail d’une DSI, l’impact d’un système d’information sur le quotidien, il ne s’agit pas seulement de présenter des KPI en comité exécutif. Il faut pouvoir redescendre au niveau de toutes les équipes et avoir une capacité à discuter de sujets communs de manière claire, en s’assurant de bien tous parler de la même chose » explique un participant.

L’Observabilité des systèmes au cœur des enjeux

Le décalage entre la perception des DSI et celle des métiers, apparait nettement quand il est question des performances du système d’information lui-même. « Il arrive très souvent que toutes les sondes disséminées dans un SI renvoient des signaux ‘verts’, mais que les utilisateurs se plaignent malgré tout », résume Vincent Lauriat, Directeur général et Deputy CIO de Veolia Water Information System, qui animait un deuxième atelier consacré au sujet de l’observabilité des SI. Son témoignage prouve que les DSI sont trop souvent aveugles par rapport à ce qui se passe au sein de leur propre système d’information, malgré les solutions, qui ont été déployées. Une situation qui a un impact majeur sur la performance de la DSI, mais aussi sur la perception de son action par les métiers. Et qui appelle à de la proactivité, d’après le DG de la filiale de Veolia.

« Au lieu de truffer le SI de sondes, il est préférable de monitorer des usages et des parcours utilisateurs qui, par définition, sont multi-applications. Pour cela, vous devez identifier les processus métier clés à monitorer. Cela peut être, par exemple, la création d’un nouveau client. Chez nous, ce parcours va impliquer plusieurs systèmes, notamment pour créer le compte client, renseigner les informations de facturation, attribuer un compteur, puis, sur le terrain, connecter ce dernier. La plupart du temps, en cas de dysfonctionnement, le problème se produit entre deux systèmes ou vient d’un flux asynchrone… D’où l’intérêt de monitorer la globalité du processus », explique Vincent Lauriat.

Les propos de Vincent Lauriat font écho à la réalité vécue par bien d’autres participants présents lors de cet atelier. « Il n’y a pas de sonde magique et, effectivement, apprendre par les collaborateurs qu’une application ne fonctionne pas est assez frustrant. C’est la raison pour laquelle nous avons déployé une solution sur le poste de l’utilisateur final. Cela nous permet notamment de remonter jusqu’au serveur. Une des fonctionnalités que nous sommes par ailleurs en train de tester couvre toute la partie applicative. Nous avons rentré une liste d’applications à surveiller, ce qui nous permet d’observer la partie versioning de ce qui est utilisé, de voir le nombre d’utilisateurs qui s’y connectent, et la différence entre le back-end, le réseau et le poste client au niveau de la transaction », déclare un des participants dont l’entreprise évolue dans le secteur industriel.

La solution déployée sur le poste client permet de créer des tableaux de bord centrés sur les temps de réponse. « Nous sommes implantés dans plusieurs régions du monde : l’Inde, la Chine, les États-Unis, l’Europe de l’Est… Pour mettre en place de l’alerting, nous allons commencer par personnaliser, pour chaque site, les temps de réponse moyens. Par-dessus, nous aurons également un tableau nous permettant de rassembler le nombre de pages d’erreurs qui se produisent sur le poste client (pages 404…) », complète ce participant.

Être vigilant vis-à-vis de l’écosystème des solutions « new tech » (IA et SaaS)

Andréa Jacquemin, CEO et Cofondateur de Beamy, réagit lui aussi, en rappelant qu’il existe aujourd’hui un ensemble d’outils qui, même s’ils prennent une place de plus en plus importante dans les activités des métiers, ne sont pas considérés comme faisant partie du périmètre de la DSI.

« Nous avons énormément de retours de DSI qui nous disent que tel outil a créé une faille de sécurité, que tel autre est central chez les métiers mais qu’il rencontre un problème de continuité d’activité, et que tel autre encore se propage dans l’entreprise en créant un doublon avec un outil groupe… Il y a un donc un problème d’observabilité sur un écosystème d’outils ‘new tech’, composé de solutions IA et SaaS, qui doit être unifié avec l’environnement IT traditionnel », déclare Andréa Jacquemin.

Pour Vincent Lauriat, la question des solutions faisant partie du « shadow IT » ne l’inquiète qu’à moitié. « La question principale qu’il faut se poser est de savoir s’il y a des entrants, c’est-à-dire si ces solutions se nourrissent des données de l’entreprise – fichiers CSV, exports de bases de données, inventaires – ou pas. Si les outils, comme ChatGPT, se nourrissent des données de l’entreprise, alors les risques sont élevés. Si ce n’est pas le cas, ils sont plus limités », note-t-il.

In fine, tous les participants s’accordent à dire que l’enjeu principal de toutes ces questions d’observabilité et de gouvernance de la donnée repose une nouvelle fois sur la « culture » des collaborateurs, au sein de la DSI mais surtout du côté des métiers. « Il y a un véritable travail d’éducation à mener. Un salarié qui amène chez lui 10 kg de documents ‘papier’ s’aperçoit qu’il est en train de sortir des données de l’entreprise. Mais en utilisant une solution d’IA, il ne se rend pas forcément compte qu’il est en train de faire la même chose en un clic », avance un participant. Ces enjeux sont d’autant plus prégnants aujourd’hui avec l’émergence des solutions no code et low code qui fournissent, avec une simplicité déconcertante, des outils extrêmement performants à n’importe quel métier de l’entreprise, sans forcément être supervisés par la DSI. Au-delà de sa posture traditionnelle, une DSI performante pour les années à venir sera donc aussi celle qui montera au créneau de façon audacieuse pour ne pas laisser s’installer approximations et incompréhensions en interne.