Comprendre ce que les utilisateurs pensent - ou au minimum écrivent - à propos de nos applications peut nous aider à identifier les domaines à améliorer et à fournir davantage de scénarios de test. Bien que l'analyse des sentiments soit un sous-domaine mineur de l'ingénierie qualité, elle peut fournir des informations utiles pour compléter notre stratégie de test. Ce chapitre est accompagné d'une description de la procédure que nous avons utilisée pour effectuer l'analyse des sentiments.
On peut dire que les avis de consommateurs ont été inventés en 1999 par le site web rateitall.com. Depuis lors, les avis sont devenus une méthode largement reconnue pour découvrir ce que d'autres pensent et comment ils évaluent les articles et les services. Ils ont un impact sur pratiquement tous les aspects de notre vie, qu'il s'agisse d'acheter un cadeau, de planifier des vacances ou de choisir un restaurant. Les consommateurs peuvent répondre avec leur émoticône préférée, se plaindre ou faire l'éloge d'un produit sur leur profil de média social ou sur un portail d'évaluation en ligne tel que Yelp ou Google reviews, ou encore lancer des discussions sur de nombreux forums.
L'internet a permis aux clients de faire entendre leur voix. Dans un monde idéal, les entreprises sont vraiment à l'écoute de leurs consommateurs et tiennent compte de leurs commentaires pour améliorer leurs offres de produits ou de services. Ce n'est pas souvent le cas. Prenons le cas d'une nouvelle application : des millions de personnes vont la télécharger et au moins 10 % d'entre elles laisseront un avis. Ainsi, avec autant de personnes donnant leur avis sur de multiples plates-formes Internet, cela devient un effort considérable pour les entreprises de passer physiquement au peigne fin chacune d'entre elles et d'enregistrer les sentiments.
Les avis - plus que les évaluations - complètent le développement et les tests en comblant le fossé entre vos attentes et les perceptions d'un système ou d'une application en production. Les évaluations peuvent être une source précieuse d'informations continues pour l'ensemble de l'équipe, y compris les responsables de la conception du produit, du développement, des tests, des opérations, du suivi et du support client. Le support client et l'engagement peuvent accorder une plus grande importance aux sentiments des utilisateurs, en veillant à ce qu'ils reçoivent une oreille attentive et bienveillante. Et nous apprécions leurs commentaires sur la façon dont nous pourrions améliorer nos applications et nos services.
C'est ici que l'analyse des sentiments s'avère utile. Elle peut être utilisée comme un proxy pour mesurer les perceptions des utilisateurs. L'analyse des sentiments est la méthode par laquelle nous tentons de comprendre l'état d'esprit affectif d'une personne, grâce au traitement du langage naturel et du texte. L'analyse des sentiments est une technique essentielle pour déterminer ce que les clients pensent d'un produit et pour définir une stratégie efficace d'amélioration de la qualité du produit. Lorsque les entreprises lancent un nouveau produit, elles tentent d'évaluer le sentiment des clients en recueillant les commentaires écrits des acheteurs dans les jours qui suivent l'achat du produit. Comme le dit le consultant en affaires David J. Greer, "un consommateur qui parle positivement de votre entreprise vaut 10 fois ce que vous écrivez ou dites sur vous-même." Il en va de même pour tout produit, et ces avis contribueront à accroître la fiabilité du produit.
Par exemple, les app stores sont une source importante de commentaires parce qu'elles sont un lieu de rassemblement bien connu, influent et raisonnablement facile à exploiter pour obtenir des données utilisables. Les commentaires des app stores peuvent inclure des recommandations et des demandes intéressantes de la part des consommateurs, ainsi que des rapports sur des problèmes qui peuvent être négligés par l'équipe de développement.
L'analyse des sentiments examine les retours d'expérience d'un utilisateur avec une application afin de déterminer les sentiments qu'il souhaite partager. Les utilisateurs satisfaits et heureux peuvent défendre et promouvoir une application, mais les clients insatisfaits et mécontents peuvent tenter de dissuader les autres d'utiliser une application, une entreprise ou un service. Les entreprises peuvent être amenées à répondre rapidement, de manière appropriée et positive à des sentiments tant positifs que négatifs. L'exploitation de données textuelles, notamment en ce qui concerne les commentaires en ligne sur une application particulière, présente de nombreuses difficultés. Il s'agit notamment du volume des commentaires, qui peut atteindre plusieurs milliers d'éléments par jour pour les principales applications Google et Facebook, des spams et des commentaires contraires à l'éthique (y compris les évaluations payantes qui gonflent artificiellement la note globale), du traitement de nombreuses langues et du déchiffrage de ce que les gens écrivent. Certains types de commentaires peuvent être mal interprétés. L'analyse des sentiments, par exemple, peut avoir des difficultés à interpréter correctement la négativité, le sarcasme et l'argot.
L'analyse des sentiments des utilisateurs peut être utilisée pour identifier et corriger les lacunes dans la documentation du produit, ainsi que dans la formation et le matériel utilisés par l'équipe du service clientèle. Cela permet de s'assurer que les ressources (documentation d'aide et agents d'assistance formés) sont en place pour répondre aux problèmes les plus courants des utilisateurs et qu'elles sont adaptées à l'évolution des modèles à mesure qu'une application mûrit.
Il existe trois méthodes pour effectuer une analyse des sentiments.
Les processus suivis sont illustrés dans la figure ci-dessous :
Figure: Analyse des sentiments
Le pipeline d'analyse des sentiments commence par la collecte de commentaires provenant de divers canaux. Ceci est accompli par l'utilisation d'un Spider, qui parcourt les plateformes appropriées et reçoit des commentaires de toutes ces plateformes. Les commentaires textuels recueillis sont ensuite prétraités. Au cours du prétraitement, le texte est d'abord nettoyé et converti dans un format qui convient à l'analyseur de sentiments.
Pour l'analyse des sentiments, nous avons utilisé le dictionnaire VADER (Valence Aware Dictionary for Sentiment Reasoning). VADER est sensible à la fois à la polarité (positive/négative) et à l'intensité (force) du sentiment dans la phrase et est basé sur des lexiques de mots liés au sentiment. Dans cette méthodologie, chaque mot du lexique est évalué pour déterminer s'il est positif ou négatif, et dans quelle mesure il l'est.
Lorsque VADER examine un morceau de texte, il vérifie si l'un des mots du contenu est disponible dans le lexique, puis génère quatre mesures de sentiment basées sur ces classifications de mots. Les trois premières, positive, neutre et négative, indiquent dans quelle mesure le contenu correspond à ces catégories. Il est possible que la phrase modèle ait été classée comme 44 % positive, 54 % neutre et 0 % négative. La dernière mesure, le score composé, est la somme des notes lexicales normalisées pour se situer entre - 1 et 1. Cette valeur indique si la phrase dans son ensemble est positive, neutre ou négative. En outre, le vocabulaire de VADER comprend des émoticônes et des signes de ponctuation, ce qui lui permet d'ajuster ses notes en fonction de la façon dont un mot est utilisé en conjonction avec d'autres mots.
Après avoir développé le pipeline d'analyse des sentiments, il était nécessaire de valider sa précision par rapport à un ensemble de données standard. Nous avons utilisé un ensemble de données provenant d'évaluations d'Amazon qui avaient été nettoyées et étiquetées manuellement avec 10 000 commentaires et qui avaient été utilisées dans un certain nombre de recherches. Après avoir effectué une analyse des sentiments et évalué la précision moyenne de l'analyseur, nous avons obtenu un score de 85 %. Ainsi, pour les commentaires recueillis sur plusieurs sites Internet, ce résultat a été considéré comme représentatif de la précision. La figure représente l'interface utilisateur de l'analyseur d'émotions.
Figure: Écran d'accueil de l'implémentation de l'analyse des sentiments de Capgemini
En outre, nous avons réalisé un nombre important de déploiements pour des clients du secteur bancaire et des assurances. L'un de ces clients était une grande compagnie d'assurance dont le siège est en Australie. Elle nous a présenté 1300 avis d'utilisateurs sur son application. Nous leur avons fourni une analyse complète sous la forme d'un rapport qui comprenait le nombre d'avis positifs, négatifs et neutres, ainsi qu'une description plus nuancée du nombre d'avis extrêmement positifs, positifs, neutres, négatifs et extrêmement négatifs. En outre, la recherche comprenait une liste des termes les plus fréquemment utilisés pour les commentaires favorables et négatifs. Le rapport comprenait un graphique circulaire indiquant le pourcentage de mots favorables, négatifs ou neutres, ainsi qu'un graphique circulaire similaire pour les critiques. Enfin, nous avons présenté une idée du sentiment général. Ces éléments sont illustrés dans les figures ci-jointes.
Figure: Les résultats de l'analyse sont divisés en trois catégories : positifs, négatifs et neutres (a) et en plusieurs catégories : très positifs, positifs, neutres, négatifs et très négatifs (b).
Figure: Ventilation en termes de pourcentage de mots correspondant à un sentiment positif, négatif ou neutre et pourcentage de réactions correspondant à un sentiment positif, négatif ou neutre.
Figure: Écran affichant les mots critiques, la taille du mot étant proportionnelle au nombre de fois où il est utilisé.
Figure: Écran affichant des mots populaires, la taille du mot étant proportionnelle au nombre de fois où il est utilisé
Figure: Gauge affichant le sentiment général
Grâce à cette approche, nous avons pu obtenir des informations à partir des conversations sur les médias sociaux et mesurer la réputation de l'entreprise et du produit via un indice de sentiment. Cela nous a permis de réagir rapidement aux sentiments négatifs afin d'influencer la perception. En outre, cela nous a permis d'identifier et d'impliquer les principaux influenceurs pour renforcer les messages souhaités.
Si l'analyse des sentiments offre des informations précieuses, il ne s'agit pas d'une science exacte. Les outils d'analyse des sentiments ne sont pas précis pour discerner le sarcasme et l'esprit. En raison de l'absence de normes, différents outils peuvent donner des résultats différents. L'un des leaders dans le domaine de l'analyse des sentiments, Seth Grimes, affirme qu'il s'agit d'une "solution à 80 %".
Dr. Raghav Menon
Raghav Menon is passionate about AI/ML, Natural Language Processing, Speech processing, Image and Signal Processing. He has a PhD in Signal Processing and has several years of Research and Development experience. At Capgemini, he had been working with the Cognitive Document processing team. Currently he is attached to the Analytics COE team in Capgemini where he looks into the application of AI/ML algorithms for software testing among the other areas of application of AI/ML. He has several publications in the areas of AI/ML, Speech and Signal Processing which can be accessed at scholar.google.co.in. His last assignment had been with the United Nations, Global Pulse Labs in Stellenbosch, South Africa.
Antoine Aymer (chief editor)
Antoine Aymer is a passionate technologist with a structured passion for innovation. He is currently the Chief Technology Officer for Sogeti's quality engineering business. Antoine is accountable for bringing solutions and services to the global market, which includes analyzing market trends, evaluating innovation, defining the scope of services and tools, and advising customers and delivery teams. Apart from numerous industry reports, such as the Continuous Testing Reports, the 2020 state of Performance Engineering, Antoine co-authored the "Mobile Analytics Playbook," which aims to assist practitioners in improving the quality, velocity, and efficiency of their mobile applications through the integration of analytics and testing.
Part of the Capgemini Group, Sogeti operates in more than 100 locations globally. Working closely with clients and partners to take full advantage of the opportunities of technology, Sogeti combines agility and speed of implementation to tailor innovative future-focused solutions in Digital Assurance and Testing, Cloud and Cybersecurity, all fueled by AI and automation. With its hands-on ‘value in the making’ approach and passion for technology, Sogeti helps organizations implement their digital journeys at speed.
Visit us at www.sogeti.com
Capgemini is a global leader in partnering with companies to transform and manage their business by harnessing the power of technology. The Group is guided everyday by its purpose of unleashing human energy through technology for an inclusive and sustainable future. It is a responsible and diverse organization of 270,000 team members in nearly 50 countries. With its strong 50 year heritage and deep industry expertise, Capgemini is trusted by its clients to address the entire breadth of their business needs, from strategy and design to operations, fueled by the fast evolving and innovative world of cloud, data, AI, connectivity, software, digital engineering and platforms. The Group reported in 2020 global revenues of €16 billion.
Get the Future You Want | www.capgemini.com