Analyse de la qualité du code

Il existe une marge d'amélioration considérable pour surmonter les limites actuelles, notamment :

• L'absence d'approche d'analyse collective, le manque de bande passante, et les outils aboutissent souvent à un processus de décision erroné.
• Les avantages de l'exploration des référentiels logiciels sont pour la plupart inexploités. Les tendances et les modèles ne sont donc pas exploités ou sous-exploités, ce qui nous empêche de fournir rapidement des recommandations d'analyse d'impact.
• Les technologies d'analyse dynamique du code (DCA en anglais) génèrent d'énormes quantités de données, dont certaines peuvent contenir des quantités importantes de bruit. La suppression du bruit et l'extraction d'informations précieuses des résultats de l'analyse dynamique du code permettraient d'améliorer la détection des vulnérabilités exploitables.
• Les connaissances des experts en la matière sont limitées à quelques domaines spécialisés, et les connaissances sont dispersées et incohérentes entre les différentes PME.
• Nous ne faisons pas un usage approprié de la puissance de calcul disponible, de l'analyse croissante des données et des développements de l'apprentissage automatique.

Au fil des années, une quantité massive de données est générée, stockée et conservée dans et autour du code du programme. Le tableau suivant résume les types de données trouvées dans et autour du code source :

• Données comportementales (historique de commit)
• Données attitudinales (code, revue de conception)
• Données d'interaction (analyse dynamique du code, vérification du code dans les commentaires, notes de défauts)
• Données descriptives (attributs de qualité du code comme la densité des défauts, etc., informations auto-déclarées).

Sources de données :

• mauvaises odeurs (Code Smells en anglais)
• Données sur les bogues
• Commentaires de révision
• Développeur
• Système de gestion de la construction
• Contenu du code Source et de ses dérivés
• Données d'analyse du code dynamique
• Données d'analyse du code statique
• Exigences, cas d'utilisation
• Résultats des tests unitaires

La liste ci-dessus est une collection possible de sources de données centrées sur le code source qui offre une mine d'or inexploitée d'informations. La plupart des techniques de qualité du code tirent des informations du contenu des données. L'analyse de qualité spécifique au contenu est spécifique au langage, dépend de la personne, prend du temps et ne fournit qu'une quantité limitée d'informations. En plus du contenu, les attributs hors contenu générés à partir des métadonnées autour du code aident à obtenir une image holistique de la qualité du code. Par exemple, les journaux de livraison, qui contiennent des données comportementales sur le code source, permettent d'extraire des informations telles que les tendances de changement et la familiarité des développeurs avec le code mis à jour. Ces caractéristiques (les caractéristiques ou propriétés sont appelées caractéristiques ou variables d'entrée en science des données) sont simples et capables de déterminer la qualité.

Les techniques existantes utilisent l'une ou l'autre des sources de données de manière isolée. La prise en compte des caractéristiques de qualité du code provenant de plusieurs référentiels permet de formuler des recommandations plus précises.

Figure: Fonctionnalités

Les caractéristiques de qualité du code peuvent être classées dans les catégories suivantes :

• Mesures du changement : fonctions permettant de déterminer comment un composant du code évolue au cours d'une version, par exemple, des changements consécutifs effectués à la fin du cycle de publication ont une forte probabilité d'être défectueux.
• Mesures du taux d'attrition : fonctions permettant de déterminer l'ampleur des changements apportés aux composants du code, par exemple, les changements extrêmes apportés aux composants du code ont une forte probabilité d'être défectueux.
• Métriques humaines : fonctions permettant de déterminer qui modifie le composant de code sur un intervalle de temps, par exemple "trop de cuisiniers gâchent le bouillon" - si un composant de code est touché par de nombreux développeurs, il aura une forte probabilité d'être défectueux.
• Métriques temporelles : fonctions permettant de déterminer les aspects temporels du moment où les changements sont apportés à un composant de code, par exemple, les changements effectués tard dans le cycle de publication ont une probabilité élevée d'être défectueux.
• Facteurs de qualité du code : fonctionnalités permettant de déterminer la complexité et les violations de la qualité du code à l'aide d'une analyse statique du code, par exemple, les composants de code présentant une complexité élevée et de graves violations ont une probabilité élevée d'être défectueux.
• Senteurs de code : fonctions permettant d'évaluer les senteurs de code qui conduisent à un état défectueux d'un composant de code, par exemple, une forte densité de senteurs de code sévères a une probabilité élevée d'être défectueuse.
• Mesures des processus : fonctions permettant de déterminer l'efficacité et l'efficience des processus, par exemple, les lacunes des processus et les raccourcis privilégiés pendant le développement de logiciels peuvent entraîner des problèmes de qualité du code.

Figure: Caractéristiques de la qualité du code

Un système basé sur l'apprentissage automatique (machine learning) et l'apprentissage profond (deep learning) utilise des algorithmes qui permettent au modèle d'apprendre à partir des données. Les modèles formés sont ensuite utilisés pour prendre automatiquement des décisions intelligentes en fonction des relations, des modèles et des connaissances identifiés dans les données. Des algorithmes tels que Random Forest, Decision Tree, GBM, GLM, KNN, k-means clustering, RNN, LSTMs etc. sont utilisés pour extraire des connaissances, des modèles et des relations. L'expérience antérieure en matière d'exploitation minière permet d'identifier les schémas prévalents ; ces apprentissages ou schémas peuvent ensuite être utilisés comme prédicteurs de résultats futurs.

Les modèles historiques identifiés et accessibles à l'aide des caractéristiques décrites ci-dessus peuvent contribuer à l'élaboration d'un modèle capable de reconnaître les composants de code défectueux et dangereux dans un dépôt de code source.

En l'absence d'une solution automatisée, les architectes et les experts en la matière (PME) peuvent analyser manuellement la qualité du code en utilisant un ensemble d'heuristiques, de raccourcis mentaux. Ces heuristiques peuvent être extraites manuellement ou automatiquement en utilisant un cadre d'extraction d'heuristiques et un modèle analytique. L'objectif n'est pas de supplanter l'intelligence des PME, mais plutôt de compléter et d'accélérer leur prise de décision.

L'analyse de la qualité du code est une solution intelligente basée sur l'analyse et l'apprentissage automatique (machine learning) qui utilise des données provenant de plusieurs référentiels tels que le code source, les révisions de code, la gestion de projet, la gestion des défauts, la gestion des exigences et l'analyse statique du code pour identifier et prévoir les changements de fichiers de code source plus risqués entrants dans un référentiel en fonction de plus de 50 indicateurs de caractéristiques de risque produit. Il permet l'extraction de modèles à partir de données historiques et l'établissement de connexions entre plusieurs référentiels cloisonnés.

Dans l'analyse de la qualité du code, nous:

• Factorisons les données provenant de plusieurs référentiels tels que le code source, les revues de code, la gestion de projet, la gestion des défauts et l'analyse statique du code.
• Établissons les données liées entre les référentiels multi-silo
• Extrayons des modèles à partir de données historiques
• Dérivez plus de 50 mesures de changement, de désabonnement, temporelles, d'odeurs de code, de violation et de personnes qui sont des propositions de valeur uniques.
• Implémentation d'un modèle auto-apprenant de prédiction de code/composant de version plus risqué en utilisant l'analyse et l'apprentissage automatique.
• Le modèle d'analyse de la qualité du code peut être invoqué à la demande ou programmé pour obtenir des recommandations en temps réel sur les composants et les fichiers les plus risqués.

Figure: Aperçu de haut niveau

Plusieurs problèmes importants sont associés à la mise en œuvre de l'analytique et de l'apprentissage automatique pour la qualité du code. Les difficultés rencontrées peuvent être résumées comme suit :

• Données pour l'extraction des caractéristiques d'entrée clés non disponibles.
• Données inadéquates pour effectuer des analyses de la qualité du code.
• Données non accessibles pour effectuer l'analyse.
• La qualité des données n'est pas à la hauteur, pour l'analyse.
• Non-disponibilité de la liaison des données en raison de lacunes dans le processus.
• Données bruyantes, difficulté à déterminer les valeurs aberrantes.

Un projet mature, avec un pipeline de publication solide et l'utilisation de technologies standard, est souvent exempt des difficultés susmentionnées.

L'analyse de la qualité du code permet d'identifier les composants et les fichiers à haut risque dans un référentiel de code source. Toute mise à jour du code source a un effet sur la qualité, les caractéristiques et les fonctionnalités du code. Analyser manuellement les effets des changements entrants et apporter les modifications appropriées à la stratégie de test prend énormément de temps et peut entraîner un retard dans les tests ou ne pas fournir une couverture de test optimale pour la nouvelle version.

L'analyse d'impact automatisée assistée par des analystes utilise des méthodologies de traçage, de dépendance, d'expérience et empiriques pour générer des changements et des zones impactées afin de prévoir les cas de test qui couvrent les régions mises en évidence. Elle facilite l'identification des changements apportés aux exigences, au code source et aux scénarios de test dans un environnement d'intégration continue. Chaque changement déclenche un modèle d'analyse d'impact qui identifie le changement et les endroits impactés. Cela permet de prédire les cas de test qui couvrent les zones mises en évidence ci-dessus et alimente les tests d'intégration continue avec le plan de test. En outre, le modèle d'analyse d'impact tire des enseignements des résultats du plan de test et ajuste la durée d'exécution proposée si nécessaire.

En 2018, un fabricant mondial de composants automobiles évaluait l'adoption de la base de code Automotive grade Linux codebase^[1] . L'approche traditionnelle consistant à s'appuyer uniquement sur l'analyse statique du code et les résultats des tests unitaires comme indicateurs du risque du code était considérée comme trop risquée. Ils ont opté pour une plateforme Capgemini centrée sur l'identification du risque du code à partir des méta-données (enregistrement de commit).

Le principal défi était que la base de code était complexe avec 104 000 fichiers, 12 000 développeurs contribuant dans le monde entier et plus de 600 000 commits. Le groupe d'ingénierie de la qualité du client souhaitait automatiser l'analyse d'impact afin de pouvoir déterminer le risque inhérent. L'approche d'exécution est détaillée ci-dessous.

Approche d'exécution :

• Sources de données pondérées :
  
  • GIT- Code source
  • Gerrit - Commentaires de révision
  • JIRA - Défauts, profils de développement
  • C++ Test - Analyse de la qualité du code. [Conforme aux normes MISRA]

• Collecte des données, préparation des données et analyse exploratoire des données.
• Feature Engineering pour obtenir les caractéristiques de qualité du code.
• Modèle pour déterminer la probabilité que chaque fichier soit défectueux en utilisant des modèles d'apprentissage automatique.
• Auto classificateur pour la classification des risques.