Chapitre 2 by Capgemini
Métier ●○○○○
Technique ●●●●○
Dans le chapitre précédent, nous avons couvert l'étendue des approches et des outils du PNA. Le PNA a un large éventail d'applications pratiques dans divers domaines de l'ingénierie de la qualité. Cela inclut - mais n'est pas limité à - l'automatisation des procédures de test à l'aide de commentaires en langage naturel, la compréhension du risque inhérent au code à partir des commentaires de commit record, et l'évaluation de la répartition des efforts des ingénieurs sur un projet en cours. Compte tenu des progrès réalisés dans le domaine du langage naturel et de l'utilisation généralisée des applications d'IA au cours des dernières années, il est évident que le langage naturel peut aider les organisations à résoudre de nombreux problèmes liés à la qualité des produits. Dans ce chapitre, nous examinons plusieurs cas d'utilisation concrets où le traitement automatique des langues peut nous aider à prendre des décisions basées sur l'intelligence plutôt que sur les données :
Les défauts peuvent être découverts presque tout au long du processus de test. Sogeti TMAP décrit les différentes étapes que le testeur doit effectuer lorsqu'un défaut est découvert. Celles-ci comprennent, entre autres, l'établissement de la confirmation d'une anomalie, sa reproduction et la détermination de sa cause. L'une des étapes de ce processus consiste à déterminer si une anomalie est clairement un doublon. De nombreuses anomalies dupliquées sont une indication évidente d'une méthodologie de test inefficace. Alors que nous étudions comment l'IA peut nous aider à résoudre ce problème, notre recommandation est de recentrer l'attention sur la stratégie globale de test.
Nous proposons ici une approche technique pour traiter les anomalies dupliquées (par description/par résumé) et les cas de test (par noms/par description).
Étapes de prétraitement
Il y a certaines étapes à suivre pour transformer les données textuelles non structurées en une forme de données structurées afin de pouvoir les analyser. Les étapes générales du prétraitement sont les suivantes :
Transformation des données
Après l'étape de prétraitement, nous transformons les données en un format structuré et pour ce faire, nous calculons les métriques ci-dessous :
Après avoir converti les données non structurées en format structuré, il est temps de les comparer et de déterminer leur degré de similitude. Pour trouver la similarité entre deux documents texte, nous avons utilisé la matrice de similarité Cosinus.
Où A et B sont deux vecteurs de documents et sqrt (a) est la racine carrée de a. La valeur de similarité varie de 0 à 1. La similarité en cosinus = 0 signifie que les deux documents A et B n'ont aucun mot similaire en commun et la similarité en cosinus = 1 signifie que les deux documents A et B contiennent exactement les mêmes mots (en ignorant les mots vides).
Ensuite, nous trouvons les 3 meilleures correspondances pour chaque document dans cette matrice de produits croisés correspondant à chaque entité du document. Voici les noms des entités utilisées pour trouver les correspondances dans le cas d'utilisation mentionné ci-dessus.
Figure: Résultat de l'analyse des données textuelles, avec les similarités mesurées.
En théorie, tous les actifs de test doivent avoir une relation correcte avec leurs entités respectives. Par exemple, toutes les anomalies découvertes pendant la phase d'exécution du test doivent être associées aux cas de test correspondants, et tous les cas de test doivent être associés aux exigences correspondantes. Cependant, dans la pratique, tous les actifs ne sont pas connectés à leurs autres entités correspondantes. Les actifs orphelins sont ceux qui n'ont pas de connexion avec les entités correspondantes.
À cet égard, nous avons les artefacts orphelins suivants :
Ensuite, à l'aide de l'analyse de texte ou du traitement du langage naturel, nous tentons de relier ces actifs à leurs entités connexes (NLP) :
L'approche générale de ces utilisations est similaire. Ils utilisent tous les mêmes processus de prétraitement du texte, et leurs métriques pour comparer deux documents textuels distincts sont identiques : le cosinus de similarité.
Les étapes du prétraitement du texte sont les mêmes que celles décrites dans le cas d'utilisation précédent.
La principale distinction réside dans ce qui est comparé à quoi.
Ce qui suit contient les noms d'entités qui sont utilisés pour localiser une correspondance dans les scénarios d'utilisation susmentionnés.
Figure: Résultat de l'analyse des données textuelles, avec les similarités mesurées
Python
(NLTK): NLTK est une plateforme de premier plan pour la création de programmes python destinés à travailler avec des données sur le langage humain. Il fournit une interface facile à utiliser pour plus de 50 corpus et ressources lexicales telles que WordNet, ainsi qu'une suite de bibliothèques de traitement de texte pour la classification, la tokénisation, l'épointage, le balisage, l'analyse syntaxique et le raisonnement sémantique.
Ensuite, nous trouvons les 3 meilleures correspondances pour chaque document dans cette matrice de produits croisés correspondant à chaque entité du document.
Langage de programmation R
En R, il existe de nombreux paquets disponibles pour effectuer ces tâches tels que openNLP, tm, Quanteda, tidytext etc.
Parmi ceux-ci, nous avons utilisé le package Quanteda en raison de sa simplicité, de ses meilleures performances et de sa rapidité. L'approche de tous ces paquets est plus ou moins similaire, à l'exception de quelques différences de fonctionnalité.Dans le package Quanteda, pour réaliser les tâches mentionnées ci-dessus, nous avons utilisé les fonctions mentionnées ci-dessous :
Ensuite, nous trouvons les 3 meilleures correspondances pour chaque document dans cette matrice de produit croisé correspondant à chaque entité du document.
Vivek Jaykrishnan
Vivek Jaykrishnan is an enterprise test consultant and architect with extensive experience. He has over 22 years of experience leading Verification and Validation functions, including functional, system, integration, and performance testing, in leadership positions with reputable organizations. Vivek has demonstrated success working across a variety of engagement models, including outsourced product verification and validation in service organizations, independent product verification and validation in captive units, and globally distributed development in a product company. Additionally, Vivek has extensive experience developing and implementing test strategies and driving testing in accordance with a variety of development methodologies, including continuous delivery, agile, iterative development, and the waterfall model. Vivek is passionate about incorporating cognitive intelligence into testing and is also interested in exploring the frontiers of IoT testing.
Vivek Sejpal
Vivek is an passionate data scientist with more than five years of experience in analytics and machine learning. He is currently engaged in the design and development of intelligent data-driven assets for quality engineering applications. Vivek works with customers on end-to-end engagements to demonstrate the value of various Intelligent asset offerings across domains/industries. Additionally, Vivek contributes to the research and development of new intelligent assets for the purpose of resolving critical business problems through a data-driven approach that is consistent with business requirements.
Abhinandan H Patil
Abhinandan is Author of 10 Technology Books and 14 Scientific Articles in Journals. Before this, he has worked in Wireless Network Software Organization as Lead Software Engineer for close to a decade. Abhinandan was in USA for two long stints and was instrumental in Releases of Mobility Manager at Motorola USA as Single Point of Contact for Network Simulator Tool. His Research is available as Books and Thesis in IJSER, USA. His Thesis published as Book is rated as one of the best Books of all time for Regression testing by BookAuthority.org. Awarded RULA Award for the same Thesis in 2019. He is Active Researcher in the field of Machine Learning, Deep Learning, Data Science, Artificial Intelligence, Regression Testing applied to Networks, Communication and Internet of Things. He is active contributor of Science, Technology, Engineering and Mathematics. He is currently working on few Undisclosed Books. He has started Blogging recently on Technology and Allied Areas. He is a RULA Research Awardee in 2019. He is Adarsh Vidya Saraswati Rashtriya Puraskar Awardee in year 2020. Abhinandan is Senior IEEE member since 2013 and is member of Smart Tribe and Cheeky Scientists Association. He also holds mini MBA from IBMI, Germany. UGC-NET Qualified (2012). Recipient of several Bravo awards for deserving work at Motorola. He is on the Editorial Board of few Scientific Journals. Dr. Patil is an ardent reader of STEM( Science, Technology, Engineering and Mathematics). He has a desire to contribute more to STEM.
Capgemini is a global leader in partnering with companies to transform and manage their business by harnessing the power of technology. The Group is guided everyday by its purpose of unleashing human energy through technology for an inclusive and sustainable future. It is a responsible and diverse organisation of 270,000 team members in nearly 50 countries. With its strong 50 year heritage and deep industry expertise, Capgemini is trusted by its clients to address the entire breadth of their business needs, from strategy and design to operations, fueled by the fast evolving and innovative world of cloud, data, AI, connectivity, software, digital engineering and platforms. The Group reported in 2020 global revenues of €16 billion.
Get the Future You Want I www.capgemini.com
