État de l'Intelligence Artificielle appliquée à l'Ingénierie de la Qualité 2021-2022
Section 3.1 : Mesures

Chapitre 5 par Digital.ai

Prédire le risque de changement avec la fiabilité

Métier ●●●○○
Technique ●●○○○

Download the "Section 3.1: Inform & Measure" as a PDF

Use the site navigation to visit other sections and download further PDF content

 

By submitting this form, I understand that my data will be processed by Sogeti as described in the Privacy Policy.

L'évaluation des risques liés au changement ne doit plus nécessiter de longues et fastidieuses réunions du comité d'approbation des changements, souvent impliquant des dizaines de personnes. Au lieu de cela, vous pouvez exploiter la puissance de l'IA et du machine learning pour bénéficier de l'expérience contenue dans vos données historiques. Et ainsi automatiser le processus de découverte des facteurs de risque et les appliquer pour atténuer les risques et prévenir l'échec des changements.

Les processus traditionnels d'évaluation des risques liés au changement et d'approbation s'appuient souvent sur des règles dépassées et sur des comités importants pour évaluer les risques liés au changement et prendre les décisions d'approbation. Les organisations ont beaucoup de mal à adapter ces processus pour répondre à la demande de changement rapide. Il en résulte les résultats négatifs suivants :

  1. Les changements à haut risque sont autorisés à être déployés, ce qui provoque des incidents et des pannes ayant un impact sur l'activité.

  2. De nombreux changements à faible risque font l'objet d'une évaluation manuelle des risques, ce qui ralentit leur déploiement (et donc les bénéfices) et entraîne une perte de temps et de ressources talentueuses.

Les solutions d'IA peuvent résoudre ces problèmes en évaluant automatiquement les risques liés aux changements et en prédisant la probabilité d'échec ou de réussite des changements apportés à la production. Pour ce faire, elles exploitent une grande variété de facteurs de risque historiques liés à la taille et à la complexité des changements, à la maturité de la technologie, à la maturité de l'équipe, aux pratiques de développement et aux pratiques d'ingénierie de la qualité, entre autres. Cela permet aux organisations d'accélérer le flux des changements qui sont en fait à faible risque, tout en signalant les quelques changements réellement à haut risque pour qu'ils soient examinés et que les risques soient atténués de manière ciblée.

L'application réussie de l'IA pour prédire le risque de changement requiert les capacités suivantes :

  • Extraire des données historiques provenant de diverses sources pour calculer des dizaines de mesures de facteurs de risque de changement.
  • Utiliser l'apprentissage automatique pour trouver les modèles dans les données historiques des facteurs de risque qui distinguent les changements ratés des changements réussis.
  • Rendre les connaissances de l'IA accessibles pour permettre une action préventive ciblée et informée, tant au niveau du processus global ou de l'organisation qu'au niveau du changement indivi

Ces approches sont mises en œuvre dans la solution Digital.ai de prédiction des risques de changement. 

Recherche de facteurs de risque de changement dans les données historiques

Il existe plusieurs catégories de facteurs de risque de changement et de nombreuses façons de les mesurer, comme l'illustre le tableau ci-dessous.

 

Types de facteurs de risque de changement et mesures associées 
Taille Complexité Qualité

Exemples:

  • Exigences
  • Tâches
  • Artéfacts
  • Effort

Exemples:

  • Intégrations
  • Conflits
  • Dépendances
  • Participants

Exemples:

  • Relecture attentive par d'autres personnes de même profil
  • Analyses de code
  • Couverture des tests, résultats
  • Défauts
Maturity Fragility Time

Exemples:

  • Historique
  • Conformité
  • Adoption de processus/outils
  • Cycle de vie des technologies

Exemples:

  • Incidents, pannes
  • Problèmes
  • Volume d'activité, criticité
  • Taux d'échec antérieur

Exemples:

  • Délai d'exécution global
  • Temps de cycle Dev/Test
  • Temps mort

 

Ceux-ci peuvent être tirés de nombreux outils différents qui sont utilisés pour développer, tester, déployer et soutenir les changements, comme le montre la figure ci-dessous :

Figure 2: Sources of Change Risk Factor Data

Figure : Sources de données sur les facteurs de risque de changement

Une solide capacité d'ingénierie des données est nécessaire pour extraire les données de diverses sources de données telles que celles mentionnées dans la figure 2, les intégrer et produire des dizaines d'indicateurs de facteurs de risque de changement à partir des données intégrées. Cela fournit les données d'entrée pour le Machine Learning.

Une question fréquemment posée par les organisations est de savoir si elles doivent intégrer toutes ces différentes sources et types de données avant de pouvoir commencer. Il est tout à fait possible de réussir à mettre en œuvre et à générer des avantages significatifs en utilisant uniquement les données du système de gestion des services informatiques, ce qui explique pourquoi il est étoilé dans la figure ci-dessus. Par exemple, une grande entreprise mondiale de produits de consommation a mis en œuvre avec succès la prédiction de l'échec des changements et a réduit son taux d'échec de moitié en utilisant uniquement les données de son système de gestion des services. Au fil du temps, vous pouvez ajouter des données provenant d'autres sources pour obtenir des informations plus approfondies sur les causes profondes et améliorer la précision des prédictions.

Déterminer les facteurs de risque à l'aide de l'apprentissage automatique

Passer au crible toutes les données relatives aux facteurs de risque décrites dans la figure 2, afin d'identifier les modèles qui différencient les changements infructueux des changements réussis, serait difficile à réaliser manuellement, même avec les meilleurs outils de veille stratégique. L'apprentissage automatique automatise ce processus de révélation des informations critiques sur les facteurs de risque.

La prédiction de l'échec d'un changement fait partie de la catégorie de problèmes d'apprentissage automatique appelée "classification binaire". Cela signifie que l'algorithme d'apprentissage automatique apprend à classer les changements dans des classes binaires : succès ou échec. Comme nous l'avons vu dans les chapitres précédents de cette série, il existe une variété de techniques d'apprentissage automatique pour la classification binaire, notamment la régression logistique0, les forêts aléatoires, les arbres à relance par gradient et les machines vectorielles de soutien. Il est important d'expérimenter différents algorithmes afin de déterminer celui qui fonctionne le mieux pour une implémentation donnée.

L'identification de la solution optimale pour une situation donnée nécessite des approches telles que la validation croisée et l'utilisation d'un ensemble de tests d'attente. Ces deux stratégies reposent sur la notion de sélection aléatoire d'un sous-ensemble de changements historiques qui n'ont pas été inclus dans la formation du modèle pour servir de cas de test.

Une question fréquemment posée est de savoir si une mauvaise qualité des données entraînera un phénomène de "garbage in - garbage out". La bonne nouvelle est que les algorithmes d'apprentissage automatique identifieront les entrées qui ont peu ou pas de corrélation avec l'échec des changements (peut-être en raison de la mauvaise qualité des données) et les éviteront. Ils sont donc capables de faire le tri entre les bonnes et les mauvaises données et d'en extraire les bonnes.

Il est essentiel de répéter fréquemment ce processus d'entraînement du modèle d'apprentissage automatique, car les facteurs de risque évoluent constamment. Les facteurs de risque évoluent parce que les organisations numériques font continuellement évoluer leurs processus, leurs outils et leurs modèles de ressources, entre autres raisons. Les organisations prendront également des mesures pour atténuer les facteurs de risque lorsqu'elles utiliseront la solution de prédiction des risques de changement de l'IA, ce qui aura pour effet de rendre ces facteurs de risque moins importants. Le moment où il faudra réentraîner le modèle dépendra du moment où le contrôle de la précision du modèle en production montrera qu'il devient moins précis que lors de son entraînement et de son déploiement initial.

À titre d'exemple d'un facteur de risque révélé par la solution d'apprentissage automatique, une grande entreprise de services financiers qui avait largement modernisé ses applications et adopté des pratiques DevOps a découvert que les applications héritées restantes connaissaient des taux d'échec supérieurs à 10 %. Grâce à cet aperçu, elle a pu concentrer son attention sur la réduction des taux d'échec à moins de 4 % parmi ces applications autrefois négligées, ce qui a permis d'éviter des coûts annuels de résolution d'incidents et de reprise de modifications s'élevant à 1,4 million de dollars.

Rendre les informations de l'IA-Machine Learning exploitables

Les plus grands avantages de la prévention de l'échec du changement seront obtenus en agissant sur deux fronts :

  • Supprimer les causes systémiques de l'échec du changement
  • Atténuer les risques liés aux changements individuels

Pour éliminer les causes systémiques de l'échec des changements, la solution d'apprentissage automatique doit fournir des informations sur la façon dont les principaux facteurs de risque affectent les taux d'échec des changements, permettant ainsi à l'organisation d'apporter des améliorations ciblées aux personnes, aux processus et aux pratiques technologiques pour atténuer de façon holistique ces facteurs de risque. Ainsi, l'entreprise n'attend pas que la solution d'apprentissage automatique l'avertisse que les changements sur le point d'être mis en œuvre présentent un risque élevé. Au contraire, elle prend des mesures holistiques pour remédier aux causes profondes et transversales de l'échec des changements. Par exemple, si l'apprentissage automatique vous informe que les éléments de configuration nouvellement introduits ont un taux d'échec plus élevé, vous pouvez utiliser cette information pour augmenter les exigences d'assurance qualité et de test pour les mises à jour des éléments de configuration plus récents.

Lorsque la solution d'apprentissage automatique (machine learning) signale de nouveaux changements comme étant à haut risque, il est essentiel que les propriétaires des changements et la gouvernance reçoivent des informations particulières sur les facteurs de risque présents afin qu'ils puissent prendre les mesures d'atténuation appropriées. Par exemple, si la solution d'apprentissage automatique signale qu'un nouveau changement a une forte probabilité d'échec en raison de l'historique d'échec du propriétaire du changement, vous pouvez prendre des mesures telles que l'évaluation du plan de test et de mise en œuvre ou la réaffectation de la supervision à un propriétaire de changement plus expérimenté.

Par exemple, une grande entreprise mondiale de soins de santé a découvert, grâce à la prédiction des risques de changement, que le taux d'échec antérieur de l'attributaire était un facteur de risque majeur d'échec des nouveaux changements. Les antécédents des personnes chargées de mettre en œuvre les changements ont un impact important sur la probabilité de réussite ou d'échec des changements. Désormais, lorsque la solution d'apprentissage automatique signale qu'un nouveau changement présente un risque élevé parce que l'attributaire a un taux d'échec antérieur élevé, elle prend des mesures telles que la révision du plan de mise en œuvre et l'affectation d'un responsable de la mise en œuvre du changement plus expérimenté pour fournir un soutien. Grâce à ces mesures et à d'autres informations fournies par la solution d'apprentissage automatique, cette organisation prévoit de réduire de près de 50 % le nombre d'échecs de changement.

La figure ci-dessous illustre comment ces deux composantes d'atténuation des risques de changement et de prévention des échecs de changement fonctionnent ensemble, toutes deux alimentées par les informations fournies par la solution d'apprentissage automatique.

Figure 3: Turning insights into action

Figure: Transformer les informations en actions

Le tableau de bord illustré dans la figure ci-dessous permet aux responsables des changements et à la gouvernance des changements de voir quels changements dans la file d'attente sont mis en évidence comme ayant une probabilité plus élevée d'échouer, ainsi que les valeurs des facteurs de risque spécifiques à l'origine de la prévision à haut risque. En outre, les prévisions et les facteurs de risque associés peuvent être intégrés directement dans le flux de travail des changements via une interface API vers le système de gestion des changements ou de déploiement continu.

Figure: Example Change Failure Prediction dashboard

Figure: Exemple de tableau de bord de prédiction de défaillance de changement

About the author

Joe Foley

Joe Foley

Joe Foley has more than 30 years of development and operations leadership experience with deep expertise in applying analytics and AI to drive innovation and positive business outcomes for enterprise IT organizations. Joe is currently an Insights Architect with Digital.ai and has previously held senior technology delivery leadership positions with Accenture and Aetna.