Prédire le risque de changement avec la fiabilité

Il existe plusieurs catégories de facteurs de risque de changement et de nombreuses façons de les mesurer, comme l'illustre le tableau ci-dessous.

Ceux-ci peuvent être tirés de nombreux outils différents qui sont utilisés pour développer, tester, déployer et soutenir les changements, comme le montre la figure ci-dessous :

Figure : Sources de données sur les facteurs de risque de changement

Une solide capacité d'ingénierie des données est nécessaire pour extraire les données de diverses sources de données telles que celles mentionnées dans la figure 2, les intégrer et produire des dizaines d'indicateurs de facteurs de risque de changement à partir des données intégrées. Cela fournit les données d'entrée pour le Machine Learning.

Une question fréquemment posée par les organisations est de savoir si elles doivent intégrer toutes ces différentes sources et types de données avant de pouvoir commencer. Il est tout à fait possible de réussir à mettre en œuvre et à générer des avantages significatifs en utilisant uniquement les données du système de gestion des services informatiques, ce qui explique pourquoi il est étoilé dans la figure ci-dessus. Par exemple, une grande entreprise mondiale de produits de consommation a mis en œuvre avec succès la prédiction de l'échec des changements et a réduit son taux d'échec de moitié en utilisant uniquement les données de son système de gestion des services. Au fil du temps, vous pouvez ajouter des données provenant d'autres sources pour obtenir des informations plus approfondies sur les causes profondes et améliorer la précision des prédictions.

Passer au crible toutes les données relatives aux facteurs de risque décrites dans la figure 2, afin d'identifier les modèles qui différencient les changements infructueux des changements réussis, serait difficile à réaliser manuellement, même avec les meilleurs outils de veille stratégique. L'apprentissage automatique automatise ce processus de révélation des informations critiques sur les facteurs de risque.

La prédiction de l'échec d'un changement fait partie de la catégorie de problèmes d'apprentissage automatique appelée "classification binaire". Cela signifie que l'algorithme d'apprentissage automatique apprend à classer les changements dans des classes binaires : succès ou échec. Comme nous l'avons vu dans les chapitres précédents de cette série, il existe une variété de techniques d'apprentissage automatique pour la classification binaire, notamment la régression logistique0, les forêts aléatoires, les arbres à relance par gradient et les machines vectorielles de soutien. Il est important d'expérimenter différents algorithmes afin de déterminer celui qui fonctionne le mieux pour une implémentation donnée.

L'identification de la solution optimale pour une situation donnée nécessite des approches telles que la validation croisée et l'utilisation d'un ensemble de tests d'attente. Ces deux stratégies reposent sur la notion de sélection aléatoire d'un sous-ensemble de changements historiques qui n'ont pas été inclus dans la formation du modèle pour servir de cas de test.

Une question fréquemment posée est de savoir si une mauvaise qualité des données entraînera un phénomène de "garbage in - garbage out". La bonne nouvelle est que les algorithmes d'apprentissage automatique identifieront les entrées qui ont peu ou pas de corrélation avec l'échec des changements (peut-être en raison de la mauvaise qualité des données) et les éviteront. Ils sont donc capables de faire le tri entre les bonnes et les mauvaises données et d'en extraire les bonnes.

Il est essentiel de répéter fréquemment ce processus d'entraînement du modèle d'apprentissage automatique, car les facteurs de risque évoluent constamment. Les facteurs de risque évoluent parce que les organisations numériques font continuellement évoluer leurs processus, leurs outils et leurs modèles de ressources, entre autres raisons. Les organisations prendront également des mesures pour atténuer les facteurs de risque lorsqu'elles utiliseront la solution de prédiction des risques de changement de l'IA, ce qui aura pour effet de rendre ces facteurs de risque moins importants. Le moment où il faudra réentraîner le modèle dépendra du moment où le contrôle de la précision du modèle en production montrera qu'il devient moins précis que lors de son entraînement et de son déploiement initial.

À titre d'exemple d'un facteur de risque révélé par la solution d'apprentissage automatique, une grande entreprise de services financiers qui avait largement modernisé ses applications et adopté des pratiques DevOps a découvert que les applications héritées restantes connaissaient des taux d'échec supérieurs à 10 %. Grâce à cet aperçu, elle a pu concentrer son attention sur la réduction des taux d'échec à moins de 4 % parmi ces applications autrefois négligées, ce qui a permis d'éviter des coûts annuels de résolution d'incidents et de reprise de modifications s'élevant à 1,4 million de dollars.

Les plus grands avantages de la prévention de l'échec du changement seront obtenus en agissant sur deux fronts :

• Supprimer les causes systémiques de l'échec du changement
• Atténuer les risques liés aux changements individuels

Pour éliminer les causes systémiques de l'échec des changements, la solution d'apprentissage automatique doit fournir des informations sur la façon dont les principaux facteurs de risque affectent les taux d'échec des changements, permettant ainsi à l'organisation d'apporter des améliorations ciblées aux personnes, aux processus et aux pratiques technologiques pour atténuer de façon holistique ces facteurs de risque. Ainsi, l'entreprise n'attend pas que la solution d'apprentissage automatique l'avertisse que les changements sur le point d'être mis en œuvre présentent un risque élevé. Au contraire, elle prend des mesures holistiques pour remédier aux causes profondes et transversales de l'échec des changements. Par exemple, si l'apprentissage automatique vous informe que les éléments de configuration nouvellement introduits ont un taux d'échec plus élevé, vous pouvez utiliser cette information pour augmenter les exigences d'assurance qualité et de test pour les mises à jour des éléments de configuration plus récents.

Lorsque la solution d'apprentissage automatique (machine learning) signale de nouveaux changements comme étant à haut risque, il est essentiel que les propriétaires des changements et la gouvernance reçoivent des informations particulières sur les facteurs de risque présents afin qu'ils puissent prendre les mesures d'atténuation appropriées. Par exemple, si la solution d'apprentissage automatique signale qu'un nouveau changement a une forte probabilité d'échec en raison de l'historique d'échec du propriétaire du changement, vous pouvez prendre des mesures telles que l'évaluation du plan de test et de mise en œuvre ou la réaffectation de la supervision à un propriétaire de changement plus expérimenté.

Par exemple, une grande entreprise mondiale de soins de santé a découvert, grâce à la prédiction des risques de changement, que le taux d'échec antérieur de l'attributaire était un facteur de risque majeur d'échec des nouveaux changements. Les antécédents des personnes chargées de mettre en œuvre les changements ont un impact important sur la probabilité de réussite ou d'échec des changements. Désormais, lorsque la solution d'apprentissage automatique signale qu'un nouveau changement présente un risque élevé parce que l'attributaire a un taux d'échec antérieur élevé, elle prend des mesures telles que la révision du plan de mise en œuvre et l'affectation d'un responsable de la mise en œuvre du changement plus expérimenté pour fournir un soutien. Grâce à ces mesures et à d'autres informations fournies par la solution d'apprentissage automatique, cette organisation prévoit de réduire de près de 50 % le nombre d'échecs de changement.

La figure ci-dessous illustre comment ces deux composantes d'atténuation des risques de changement et de prévention des échecs de changement fonctionnent ensemble, toutes deux alimentées par les informations fournies par la solution d'apprentissage automatique.

Figure: Transformer les informations en actions

Le tableau de bord illustré dans la figure ci-dessous permet aux responsables des changements et à la gouvernance des changements de voir quels changements dans la file d'attente sont mis en évidence comme ayant une probabilité plus élevée d'échouer, ainsi que les valeurs des facteurs de risque spécifiques à l'origine de la prévision à haut risque. En outre, les prévisions et les facteurs de risque associés peuvent être intégrés directement dans le flux de travail des changements via une interface API vers le système de gestion des changements ou de déploiement continu.

Figure: Exemple de tableau de bord de prédiction de défaillance de changement