Machine Learning pour le test

Pour améliorer la compétitivité de notre entreprise, nous (membres de l’IT) doivent prendre des décisions rapides et éclairées pour savoir où et comment mettre en œuvre l'IA dans nos activités d'ingénierie de la qualité.Dans ce chapitre, nous examinons l'apprentissage automatique (ML) afin d'en acquérir une compréhension de haut niveau, quand l'utiliser et comment cela fonctionne. Bien que nous fournissions quelques exemples concrets d'ingénierie de la qualité, la mise en œuvre réelle d'outils basés sur l'apprentissage automatique sera abordée dans les sections suivantes.

^[1]

Bien que nous reconnaissions qu'il n'existe pas de terme universellement accepté ou légalement défini pour l'intelligence artificielle^[2], permettez-nous de faire une tentative. L'IA désigne la capacité d'un système à exécuter des fonctions cognitives normalement associées à l'esprit humain, telles que la perception, le raisonnement, l'apprentissage, l'interaction avec l'environnement, la résolution de problèmes et même l'exercice de la créativité. L'incorporation de l'IA dans l'ingénierie de la qualité permet aux processus d'automatisation de prendre en charge la majeure partie de la gestion des tests, libérant ainsi les professionnels pour explorer de nouvelles méthodes d'amélioration de la qualité finale. L'ingénierie de la qualité pilotée par l'IA et l'apprentissage automatique peut aboutir à l'optimisation et à l'accélération de la qualité des applications et de la vitesse de livraison, tout en assurant le suivi des indicateurs de performance clés et des métriques qui doivent être mesurés.

[1] Deep learning est couvert dans le prochain chapitre
[2] Section 1, chapitre 2

​Le Machine Learning (ML) existe depuis les années 1980, mais ce n'est qu'au cours de la décennie2010 qu'il a fait son chemin dans le développement de logiciels grand public. Aujourd'hui, le ML alimente tout, des voitures autonomes à la recherche, en passant par les transactions boursières. L'apprentissage machine (ML) est l'étude des algorithmes informatiques qui s'améliorent automatiquement grâce à l'expérience et à l'utilisation de données. L'apprentissage automatique est le sous-ensemble de l'IA qui "apprend" comment effectuer une tâche spécifique de manière plus efficace et efficiente au fil du temps. Ces programmes analysent les données de performance historiques afin de prédire et d'améliorer les performances futures. En détectant des modèles dans des échantillons de données, appelés "données d'apprentissage", les algorithmes d'apprentissage automatique construisent un modèle et apprennent à faire des prédictions et des recommandations sans être explicitement programmés pour le faire. En outre, les algorithmes s'adaptent en fonction des nouvelles données et expériences afin d'améliorer continuellement leur efficacité. Les algorithmes d'apprentissage automatique sont utilisés dans une grande variété d'applications où il est difficile, voire impossible, de développer des algorithmes classiques pour effectuer les tâches requises.

Figure: différents sous-types de Machine Learning

Depuis 2010, les avancées significatives en matière de calcul et de disponibilité des données ont permis de réaliser encore plus de percées dans les algorithmes et les infrastructures d'apprentissage automatique. En d'autres termes, nous disposons désormais de la capacité, des informations, des moyens et du savoir-faire nécessaires pour mettre en œuvre l'apprentissage automatique dans de nombreux autres contextes. Aujourd'hui, il est rare que nous devions partir de zéro en matière d'apprentissage automatique, car les bibliothèques et outils existants simplifient considérablement le processus. Tout ce que nous devons savoir, c'est comment déployer une bibliothèque d'apprentissage automatique telle que TensorFlow.​

L'ingénierie de la qualité possède toutes les caractéristiques nécessaires à l'application de l'apprentissage automatique. Il a le potentiel pour le big data, les questions analytiques, et/ou la gamification. Lorsqu'il est combiné avec notre besoin croissant d'analyser et de prendre des décisions plus rapidement pour livrer plus rapidement, l'environnement est propice à l'innovation. La question n'est pas de savoir si l'apprentissage automatique aura un impact sur la façon dont nous développons, testons et mettons en ligne les logiciels, mais plutôt de savoir quand et comment. Cela ne peut se faire que par l'adoption d'une culture d'apprentissage.

Jusqu'à présent, la grande majorité des discussions ont porté sur la façon dont l'apprentissage automatique va éliminer les emplois de testeurs ou sur les raisons pour lesquelles l'apprentissage automatique ne peut éliminer aucun emploi de testeur. La réalité se situe quelque part entre les deux. Comme pour l'automatisation, l'apprentissage automatique permet aux machines d'effectuer des tâches de routine et de bas niveau. Les organisations doivent abandonner l'assurance qualité "best effort" au profit de l'amélioration continue de la qualité. Sans les machines, nous ne pourrons pas être compétitifs, et il appartient aux dirigeants et aux managers d'éduquer leurs employés sur la façon dont l'apprentissage automatique peut les aider à devenir non seulement de meilleurs testeurs, mais en fin de compte des propriétaires de qualité.

​Les parties suivantes de ce chapitre vous aideront à identifier les opportunités de Machine Learning appropriées en vous proposant plusieurs cas d'utilisation. Nous vous recommandons de garder à l'esprit les questions suivantes tout au long de votre lecture :

• Étape 1 : Demandez-vous quel est le défi qui mérite d'être relevé ?
• Étape 2 : Les données pertinentes sont-elles disponibles ?
• Étape 3 : Comment pouvons-nous mesurer notre succès ?
• Étape 4 : Construire ou acheter ?

Après avoir identifié les opportunités d'apprentissage automatique pour votre entreprise et assuré la disponibilité des données, vous aurez besoin d'un système pour suivre et gérer l'efficience et l'efficacité. Les responsables QE doivent prendre des décisions sur la base des données analytiques exposées par l'apprentissage automatique, ce qui nécessite un ou des tableaux de bord analytiques de haute qualité qui regroupent les données de tous les environnements, applications, outils et langages et les convertissent en informations exploitables. Cela vous aidera à décider sur quelles parties de votre code et de vos tests vous devez vous concentrer et prioriser, ainsi que sur les techniques de développement et de test à utiliser.

Dans l'apprentissage supervisé, on nous donne un ensemble de données et nous savons déjà à quoi devrait ressembler notre sortie correcte, en ayant l'idée qu'il existe une relation entre l'entrée et la sortie. Il s'agit d'utiliser un modèle d’apprentissage de correspondance entre les caractéristiques d'entrée et la variable cible. L'apprentissage supervisé est utilisé dans les modèles prédictifs (régression, association et classification) dans lesquels les relations entre les entrées et les sorties sont bien comprises. Il est applicable à une grande variété de scénarios analytiques et prédictifs rencontrés lors des tests de logiciels.

Figure: Supervised Learning, ou apprentissage supervisé

​Exemple 1 : Prédiction du risque dans le cadre du QE

Les responsables de la R&D doivent être conscients des risques associés à chaque version. Ils seront en mesure de déterminer s'il faut ou non procéder à la production et pourront estimer l'allocation des ressources d'atténuation.

• Résultat prévisible : score de risque par libération
• Données : Le nombre de commits, l'heure du commit, le nombre de tests et leurs résultats, le pourcentage de code couvert par les tests (unitaires et système), le nombre de builds, le nombre de releases, le jour de la semaine de la release, le nombre de user stories et de fonctionnalités couvertes dans une release, le nombre de bugs résolus dans une release, et ainsi de suite.
• Algorithme : Régression linéaire.

Il tente d'ajuster l'ensemble de données à un hyperplan droit. Elle fonctionne bien lorsque les variables de votre ensemble de données ont des relations linéaires. Dans ce cas, la régression linéaire basée sur l'apprentissage automatique peut prédire avec précision le score de risque de mise en production de chaque version, quelle que soit la quantité de code, de tests, de témoignages d'utilisateurs ou de fonctionnalités qu'elle contient.

Example 2 : Portails de qualité intelligents

Les responsables R&D doivent automatiser l'échec des builds à haut risque dans un pipeline CI/CD. Cependant, les barrières et les seuils de qualité sont déployés et configurés manuellement, et leur comportement historique et leur stabilité peuvent varier considérablement. Des seuils statiques vous permettront de n'accepter que le niveau le plus bas possible. Dès lors, comment s'assurer que le statu quo en matière de qualité est maintenu et que la tendance générale de la qualité est positive ?

• Résultat prévisible : Le 'build' est-il acceptable ou non ?
• Données : Tendances globales de la couverture du code, couverture du code par test (unité, API, régression), ajouts et modifications de code non testé, mutations de code testé, etc.

Algorithme : Les algorithmes Random Forest combinent les prédictions de nombreux arbres de décision individuels qui divisent l'ensemble de données de manière répétée en branches distinctes avec le gain d'information le plus élevé à chaque division. Cette structure de ramification leur permet d'apprendre par eux-mêmes des relations non linéaires. La meilleure façon d'envisager les forêts aléatoires est de les comparer à la sagesse des foules ; les forêts aléatoires font souvent des prédictions plus précises que n'importe quel arbre de décision. Les forêts aléatoires peuvent être utilisées pour créer des barrières de qualité intelligentes qui apprennent continuellement comment (et à quels seuils), quand et où se déployer. Par rapport aux seuils statiques, les portails de qualité intelligents sont dynamiques et permettent de détecter beaucoup plus rapidement les tendances cachées en matière de qualité et de risque.

L'apprentissage non supervisé nous permet d'aborder une catégorie de problèmes avec peu ou pas de connaissances préalables sur la façon dont les résultats devraient se présenter. Nous pouvons dériver une structure à partir de données, même lorsque l'effet des variables est inconnu. Cette structure peut être dérivée en regroupant les données selon les relations entre les variables dans les données. Contrairement à l'apprentissage supervisé, l'apprentissage non supervisé fonctionne uniquement sur des données d'entrée non balisées et ne nécessite pas qu'un enseignant corrige le modèle. Il n'y a pas de retour d'information associé à l'apprentissage non supervisé.

1. Échecs de test associés:
   Regroupez les cas de test sur la base des enregistrements d'exécution de test afin d'identifier les cas de test qui échouent ensemble. Le clustering K-Means est un algorithme utile pour cela.
   
   
2. Détection des anomalies dans un système en cours de test:
   Identifiez les anomalies en extrayant des caractéristiques des journaux du système. Les algorithmes utiles pour cela sont :
   • Analyse en composantes principales
   • Facteur d'aberration locale
   • Random Forest
     
     
3. Analyse de la couverture des tests pour les fonctionnalités du produit :
   Analyse de la couverture des tests et traçabilité des fonctionnalités souhaitées du produit à l'aide du traitement du langage naturel (NLP) et de la synthèse. 
   Les algorithmes utiles à cet effet sont :
   • Regroupement K-Means
   • Modèles de mélange
     
     
4. Rectification du bruit dans les images, par exemple les images anatomiques produites par l'IRM. Random Forest
   est un algorithme utile pour cela.

Le terme "apprentissage par renforcement" désigne le processus consistant à apprendre à des modèles d'apprentissage automatique à prendre une série de décisions. L'agent développe la capacité d'accomplir une tâche dans un environnement incertain et potentiellement complexe. Dans l'apprentissage par renforcement, on présente à une intelligence artificielle une situation ressemblant à un jeu. L'ordinateur résout le problème par essais et erreurs, avec les récompenses et pénalités associées.

Exemple 1:​ Portails de qualité intelligents

Il est possible de 'gamifier' la chasse aux bugs en appliquant un système de points aux bugs. Il s'agit simplement de définir quelles formes d'exploitation seront récompensées et/ou pénalisées. La récompense ultime étant le plantage de l'application, et de plus petites récompenses pour les erreurs dispersées le long du chemin.

• Résultats prévisibles : défauts, pannes d'applications et défauts de conception.
• Données : Non disponibles et non pertinentes puisqu'il s'agit d'apprentissage par renforcement. Sans données de formation préexistantes, l'agent apprendra par essais et erreurs. Tout ce qui est nécessaire est la capacité d'assigner un objectif final et des points (positifs et négatifs) le long du chemin.
• Algorithme : Apprentissage Q
  Il détermine l'action à entreprendre en évaluant la valeur d'être dans un état particulier par rapport à la valeur d'effectuer une action particulière dans cet état. Le Q-learning consiste à équilibrer l'exploration et l'exploitation. C'est à vous de décider si vous voulez demander à votre algorithme d'exploiter le chemin que vous souhaitez ou si vous voulez effectuer des tests exploratoires.
  
  

Exemple 2: exécution intelligente des tests

Aujourd'hui, la technique d'exécution des tests la plus efficace est l'analyse d'impact des tests (TIA), qui identifie les tests à exécuter en réponse aux modifications du code. Vous pouvez utiliser l'apprentissage de politiques pour déterminer les tests à exécuter en fonction des risques et des contraintes de ressources. Y a-t-il un historique de bogues de régression dans le microservice ? Cette route est-elle fréquemment utilisée par vos utilisateurs ? Ces tests doivent-ils être exécutés simultanément ?

• • Un résultat prévisible : Comment économiser des ressources et accélérer le lancement sans compromettre la qualité ?
  • Données : Nombre de tests et leur résultat, couverture du code par test (unité et système), nombre de bogues dans une version, temps d'exécution des tests, chemins du comportement de l'utilisateur, tests marqués ship, etc.
  • Algorithme : Recherche directe de règles
    L'apprentissage de politiques établit un lien direct entre chaque état et l'action la plus appropriée dans cet état. L'apprentissage de règles est le processus par lequel votre algorithme apprend à effectuer des tests par lui-même.

​En termes simples, l'IA explicable est la capacité d'expliquer ou de présenter la raison pour laquelle une certaine décision ou un certain résultat a été pris(e) dans un format compréhensible par les humains. L'objectif de l'explicabilité est le même pour tous les types de modèles ML, mais la façon dont les modèles s'expliquent peut être différente.

L'IA explicable (XAI), l'IA interprétable et l'IA transparente font toutes référence à des techniques d'intelligence artificielle (IA) qui sont dignes de confiance et faciles à comprendre par les humains. Cela contraste avec le concept de "boîte noire" dans l'apprentissage automatique, où même les concepteurs de l'IA sont incapables d'expliquer pourquoi l'IA a pris une décision particulière.

Cas d'utilisation de l'IA explicable pour l'identification de codes plus risqués : L'IA explicable identifie les paramètres les plus influents, dans un format lisible par l'homme, qui ont contribué à la classification d'un composant de code comme risqué/défectueux. Cela justifie la fonction du modèle et établit la confiance dans celui-ci.