Dans ce troisième et dernier billet sur la modélisation de churn nous abordons la réalisation de deux étapes clés : l’interprétation du modèle et le test en situation réelle ou A/B testing. Comme nous allons le voir, ces étapes ont une fonction double : gagner la confiance des experts métiers et valider le bon fonctionnement du modèle.
L’interprétation du modèle
En règle générale, les modèles sont beaucoup trop complexes et ne peuvent être directement compris par des humains. Il est cependant possible de tirer des conclusions sur leurs fonctionnements en analysant leurs comportements.
Dans le contexte du churn, l’interprétation du modèle représente un enjeu clé. Les équipes marketing client ont besoin de comprendre les raisons du churn (et donc le pourquoi du comment de chaque prédiction) afin d’adapter leur stratégie de rétention client.
Dans certains cas rares, le modèle est suffisamment simple pour être interprétable par un humain (ceci est par exemple le cas des modèles fondés sur les régressions linéaires ou des arbres simples de décision). Dans la plupart des cas il faut faire appel à des techniques avancées pour interpréter les prédictions du modèle ; globalement (sur l’ensemble des prédictions) et localement (sur une prédiction en particulier).
L’interprétation globale permet de tirer des informations générales sur les facteurs influençant le churn. Par exemple, on peut découvrir que le temps d’attente avant résolution d’un problème par le support client a un impact considérable sur le risque de churn d’un client. Sur la base des résultats de l’interprétation globale on peut donc identifier des améliorations du service ou produit proposé.
L’interprétation locale permet de personnaliser l’action marketing de rétention pour chaque client. Par exemple, dans le cas où l’action marketing de rétention serait un appel téléphonique on peut fournir à l’opérateur des informations clés sur les raisons pour lesquelles le client est à risque de churn. Le modèle le plus fréquent et immédiat pour l’interprétation locale se fonde sur les valeurs de Shapley.
L’intégration et la mise en forme des résultats de l’interprétation locale représente néanmoins un effort non négligeable.
L’interprétation de modèles est un sujet complexe qui fera l’objet d’un futur article dédié.
A/B testing et évaluation de l’impact réel du modèle
Une fois que l’on a obtenu un modèle d’une performance suffisante il faut encore valider son impact réel. Un modèle peut correctement identifier chaque client en phase de churn mais ne générer aucune valeur ajoutée.
Par exemple, les stratégies de rétention des clients identifiés par le modèle peuvent être aussi peu efficaces que les stratégies de récupération de clients a posteriori du churn. Ceci peut parfois être également équivalent à l’absence de traitement.
Par ailleurs, les actions entreprises auprès d’un client suite aux prédictions du modèle (par exemple le contacter, lui accorder une remise etc.) vont influencer son comportement. Comment dans ce cas savoir si sans ces actions il allait effectivement résilier ?
Le but d’un test AB est de comparer le résultat de l’existant à celui produit par le nouveau traitement. Dans le cas du churn c’est l’action marketing définie lors de la phase de cadrage.
Description du protocole d’A/B test
Définition de la métrique d’évaluation
Tout d’abord, il faut définir la métrique que l’on va utiliser pour comparer l’impact du nouveau traitement avec l’existant. On peut par exemple utiliser le taux de récupération de client ou encore la valeur totale des client récupérés. La métrique choisie doit être cohérente avec l’action marketing de rétention.
Définition des populations
On scinde notre population de client à risque de churn en deux. Un groupe ne recevant aucun traitement ou le traitement existant (groupe A) et un groupe recevant le nouveau traitement permis par le modèle (groupe B).
Ces deux groupes doivent évidemment être homogènes ; ils doivent appartenir à la même population. Ceci demande une analyse statistique afin de limiter au maximum facteurs de confusion dans la constitution des deux groupes.
Traitement & Analyse
On applique les traitements respectifs aux groupe A et B. Il faut laisser une période d’attente avant l’analyse des résultats. Cette période doit être définie par les experts métiers au regard de l’action marketing de rétention.
En effet, il faut laisser le temps aux clients de “réagir” au traitement. Autrement dit, si on essaye d’évaluer l’impact du traitement juste après sa réalisation il est très probable que les clients n’aient eu le temps d’y réagir ; de prendre la décision de ne pas churner et/ou d’effectuer un nouvel achat.
Une fois la période d’attente écoulée on peut analyser les résultats, cela va se faire au moyen d’un test statistique qui va nous permettre de nous assurer que le traitement fait sur le groupe B est plus efficace (relatif à la métrique utilisée) que le traitement fait sur le groupe A à un seuil de confiance (ex : 95 %).
Bonnes pratiques
À l’introduction de chaque nouveau changement sur le modèle ou sur l’action marketing de rétention, il est judicieux d’effectuer un nouvel A/B test. Par exemple, si l’action marketing de rétention est un appel téléphonique on peut valider que la mise à disposition aux opérateurs des résultats d’interprétation locale permet une amélioration de l’efficacité de l’action marketing de rétention en effectuant un nouvel A/B test.
Certaines entreprise vont jusqu’à optimiser les moindres détails (ex : couleurs du site web, positionnement des boutons etc.) en utilisant des A/B tests. Et pour cause, Il y a un intérêt à valider chaque modification apportée à un service ou un produit avec un A/B test car cela force la définition de métriques métiers clés et l’alignement de tous les départements avec les objectifs stratégiques de l’entreprise reflétés par ces métriques.
Impact de l’action de rétention sur les données
L’action marketing de rétention que vous allez mener sur vos clients à risque de churn va, à terme, impacter vos données et potentiellement la qualité de votre modélisation. Il faudra s’assurer que cet impact est marginal et si ce n’est pas la cas, ré-entrainer un nouveau modèle en intégrant potentiellement de nouvelles données correspondant à l’action marketing de rétention.
L’identification du data drift et de la baisse de performance d’un modèle font parties des pratiques de MLOps.
Dans cette série sur la modélisation du churn, nous avons décrit les différents étapes nécessaires au développement d’un algorithme de modélisation du churn, du cadrage à la validation en passant par le développement.
La modélisation du churn est un des cas d’utilisation de data science les plus accessible mais reste néanmoins complexe, surtout la partie de cadrage qui nécessite une forte rigueur et une collaboration étroite avec le métier.
Nous n’avons pas abordé les sujets de mise en production et de MLOps dans cette série car ils sont indépendants du cas d’utilisation et seront abordés dans un autre billet.
Si vous avez des questions n’hésitez pas à nous contacter : leopold.avezac@enioka.com et nathan.elbaz@enioka.com.