Focus Tech

Jérôme Cadoux
Responsable du département expérience client au sein de la direction data sciences client et valeur
Orange

Le texte mining au service de la relation client

Jérôme Cadoux et Paul Thavenot (Orange)* nous expliquent les détails des solutions d’analyse de verbatim basées sur l’intelligence artificielle qui ont valu à Orange deux prix Or au dernier Grand Prix de la Data.

Deux projets innovants permettent à Orange et à ses salariés de mieux comprendre désormais les besoins de leurs clients. Leur point commun ? La mise en place de solutions d’analyse de textes à l’aide de l’intelligence artificielle (« texte mining »). Des projets pilotés en interne s’appuyant en partie sur des solutions open source et surtout sur beaucoup de savoir-faire.

Le premier projet, prix Or du Grand Prix Data 2021 dans la catégorie Product Design, s’intéresse aux commentaires des techniciens de la fibre écrits à chaud chez les clients à l’occasion d’installations qui n’aboutissent pas. Le second, prix Or dans la catégorie Insight, se concentre sur les verbatim des clients collectés lors des sondages. Si les algorithmes sont différents, le principe est le même dans les deux cas : il s’agit de partir de la voix du client et du salarié pour en tirer des enseignements utiles pour améliorer la relation client (et le business) en classifiant de manière automatisée l’expression du langage humain.

« L’analyse des verbatim, ce n’est pas la tâche la plus complexe en intelligence artificielle. Nous nous appuyons sur ce qui existe en open source. Ce qui est très fastidieux et exige beaucoup de rigueur en revanche, c’est le développement de nos propres librairies de traitement de texte qui servent aux deux projets. Cela demande de l’expertise en matière de traitement de la langue française », explique Paul Thavenot, lead data scientist référent NLP chez Orange. « Chaque manière de s’exprimer a ses spécificités. Un technicien va employer des mots techniques là où le client utilisera des mots génériques qui peuvent renvoyer à des réalités différentes », précise-t-il.

Un des deux projets – celui consacré aux verbatim client – impliquait une phase initiale supplémentaire d’annotation manuelle des données pour entraîner l’algorithme. À chaque commentaire il fallait attribuer une ou plusieurs catégories. «  Cela a demandé beaucoup de pédagogie car nos experts métiers ne sont pas nécessairement habitués à réaliser ce classement de manière scientifique. » Une phase essentielle permettant aux algorithmes ensuite d’appliquer ces règles à des millions de verbatim, une tâche ingérable humainement.

Repérer les disfonctionnements, augmenter la valeur du travail des équipes

Orange envoie tous les jours des sondages à ses clients. Sur une année, on estime à 4 ou 5 millions le nombre de réponses reçues. « Cette solution de texte mining nous permet de nous pencher plus précisément sur les catégories qui peuvent révéler des alertes sur des disfonctionnements que les clients rencontrent sur un service », explique Jérôme Cadoux, responsable du département expérience client au sein de la direction data sciences chez Orange.

« Pour une personne, il faut une heure pour lire 100 commentaires, juste pour lire sans aucune analyse. Pour qu’une analyse soit significative, il faut se baser au moins sur 1000 sondages. Cela vous donne un ordre d’idées du temps de travail que cela nécessite pour disposer d’un premier jet labélisé. Notre enjeu, c’était de décharger les équipes de ce travail ingrat pour leur permettre de se consacrer à l’analyse de ces données afin d’en extraire toute la valeur », poursuit Paul Thavenot. L’autre enjeu était de fiabiliser les résultats : « Un collaborateur qui lit 1000 verbatim va se tromper sur au moins 200. L’algorithme quant à lui fournit toujours la même qualité de lecture, déchargeant les équipes de cette tâche tout en leur permettant de se baser sur une matière extrêmement fiable pour leurs analyses », ajoute Jérôme Cadoux.

Les collaborateurs chargés de la relation client se voient ainsi dotés d’une méthode d’analyse et d’outils couvrant tout le processus : de la labélisation (ou étiquetage) de données à la restitution de résultats. Le tout employé désormais à grande échelle. Dans le cas du projet fibre, un fichier prêt à l’emploi par exemple pour du reciblage rassemble tous les clients ayant annulé l’installation pour des raisons que désormais l’entreprise sait traiter de façon industrielle. Dans le cas du projet insights clients, cette matière « précieuse restituant la voix du client » est désormais entièrement accessible à une centaine de personnes.

Dans un cas comme dans l’autre, la solution reste dynamique : « On traite ces sujets depuis deux ans. À chaque fois, on améliore nos connaissances sur le traitement de la langue française et c’est ce qui nous permet d’avoir de meilleures performances », explique Paul Thavenot.

Paul Thavenot
Lead data scientist référent NLP
Direction data sciences client et valeur
Orange

Vers 20 millions de verbatim issus de tous les points de contact

Convaincus du succès et de la pertinence de ces premières expériences d’utilisation de l’intelligence artificielle pour le traitement des retours client et salariés, nos interlocuteurs semblent bien motivés à poursuivre l’aventure en augmentant le spectre de matières à intégrer.  « Nous comptons bien intensifier l’utilisation de toutes les formes d’expression de nos clients, précieuses pour nous permettre de comprendre comment ils vivent l’expérience avec nous », déclare Jérôme Cadoux.

Si, grâce à ce projet, l’entreprise exploite par an entre 4 et 5 millions de verbatim clients générés par les sondages, demain l’objectif est de couvrir les 20 millions issus de toutes les sources : les sondages mais également les interactions en boutique, au téléphone, etc. Et ce n’est pas tout : « Nous voulions amener cette voix du client à chaque salarié. Demain, l’enjeu sera de permettre à chaque collaborateur en interaction avec le client de disposer de cette connaissance au moment même où il est en contact lui. Nous l’expérimentons déjà depuis quelques mois », révèle Jérôme Cadoux.

* Jérôme Cadoux est responsable du département expérience client au sein de la direction data sciences client et valeur chez Orange. Paul Thavenot est lead data scientist référent NLP au sein de la direction data sciences client et valeur chez Orange.

Propos recueillis par Luciana Uchôa-Lefebvre