Adrien Millet, consultant analytics et CRO chez Converteo, a accepté de répondre à nos questions pour le blog digital-analyst.fr. Dans cette interview, il nous partage son expérience de l’A/B testing.

Bonjour Adrien et merci d’avoir accepté cette interview pour Digital-Analyst.fr. Pour commencer, peux-tu te présenter à nos lecteurs, quel est ton parcours ?

Adrien M. : Bonjour Sébastien, j’ai commencé par un parcours assez classique : pendant mon école de commerce, j’ai découvert le marketing digital (stages chez Les Echos puis Solocal). Ça m’a plu et j’ai eu envie de creuser l’aspect data : d’où un premier CDI chez Alphalyr où j’assurais un support sur Google Analytics et Google Tag Manager. Depuis mi-2018 je suis chez Converteo, où j’ai fait des missions en régie analytics chez Carrefour, La Poste et depuis début 2019 à La Française des Jeux en CRO.

En quoi consiste le métier de CRO ? Peux-tu l’expliquer pour les novices en la matière d’A/B tests ?

Adrien M. : L’optimisation du taux de conversion (Conversion Rate Optimisation en anglais) c’est la démarche visant à améliorer le taux de conversion. Le taux de conversion d’un site, c’est le nombre de visiteurs qui effectuent une macro conversion (un achat, une inscription…) divisé par le nombre de visiteurs du site. Donc si vous cherchez à optimiser le taux de conversion, vous devez générer plus de conversions pour un volume donné de visiteurs. Au cœur de cette démarche il y a l’A/B Testing : le CRO déploie 2 variations d’une même fonctionnalité (une popin,  un parcours d’inscription, un Call To Action…) et affecte 50% du trafic à chaque variation. La variation qui génère le plus de conversions peut alors être déployée. 

Il faudrait à mes yeux A/B Tester toutes les mises en production sur un site web : de cette façon nous pouvons nous assurer que l’ensemble des déploiements effectués sur le site génèrent bien de la valeur. En réalité, il n’y a pas que l’AB Testing, il y a aussi la personnalisation et j’ai fait un livre blanc qui montre que la personnalisation est l’essentiel des A/B tests menés ; il sort le 1^er septembre prochain ! 

Comment en es-tu arrivé à travailler sur des problématiques CRO ? Qu’est-ce que tu apprécies particulièrement dans ce métier ?

Adrien M. : J’ai pu travailler en CRO à La Française des Jeux car j’avais une solide expérience en tracking, ce qui est particulièrement utile pour faire des A/B Tests : le langage (JavaScript) et le mode de fonctionnement (surcouche JavaScript) sont les mêmes !  

La démarche de CRO est passionnante puisqu’elle a un impact important sur le site web, et parce que les mises en productions doivent être le fruit d’A/B Tests préalables ! Le CRO s’inscrit donc au cœur de la stratégie d’entreprise. Autre aspect intéressant : le poste de CRO n’est pas cantonné à un rôle technique, il y a en réalité une forte dimension gestion de projet. Pour fonctionner efficacement, un CRO doit s’entourer des équipes métiers (qui font remonter leurs besoins), des équipes UX (qui proposent un design) et des Product Owner (pour la remontée de besoin et la mise en production).

Quels sont les AB tests qui fonctionnent le mieux selon toi ?

Adrien M. : Assez logiquement, les A/B Tests qui génèrent le plus d’incrément de chiffre d’affaires sont situés sur les pages ou les zones du site les plus visibles. La majorité des A/B Tests que j’ai menées à la FDJ, par exemple, ont ainsi été visibles au-dessus de la ligne de flottaison. Souvent ce sont les A/B Tests les plus « structurants » (ajout de fonctionnalité, popin, test de parcours…) qui génèrent le plus de chiffre d’affaires incrémental. A l’inverse jouer sur un wording ou une couleur de bouton a souvent assez peu d’impact ! 

D’après ton expérience, quels sont les écueils à éviter lorsqu’on se lance dans une démarche d’AB testing ?

Adrien M. : Je pense qu’il ne faut pas oublier le but de la démarche d’AB Testing : créer de la valeur en mettant en ligne des variations dont les performances ont été validées par des tests. Cela signifie qu’un A/B Test dont la variation gagnante ne passe pas en production n’a aucun intérêt ! Or, ça peut arriver si le CRO lance un A/B Test sans s’assurer auprès des PO que la variation gagnante peut passer en production (faisabilité technique, intégration dans un sprint…).

Selon toi, comment l’entreprise doit s’organiser en interne pour adopter une organisation CRO efficace ?

Adrien M. : L’A/B Testing peut sembler être avant tout une discipline très technique : il s’agit d’intégrer un bouton ou une bannière dans un site dont on ignore souvent beaucoup des héritages CSS… En réalité l’ « ab testeur » doit être un animal politique et son succès dépend en grande partie de sa capacité à rassembler différentes parties prenantes au sein de l’entreprise, avec au premier plan : le Product Owner (PO).

Le PO assure la liaison entre les équipes techniques (qui développent le site ou l’application) et les demandes clients. Il a une excellente vision de la roadmap produit et est décisionnaire sur son périmètre. Le CRO doit l’aider à prendre cette décision, par exemple en réalisant un AB Test.

Les échanges réguliers entre PO et CRO sont indispensables, à minima une fois par mois : 

• Le PO doit partager sa roadmap, indiquer les fonctionnalités sur lesquelles il travaille et celles pour lesquelles il a des interrogations qui pourraient être levées via des AB Tests.
• Le CRO doit indiquer la faisabilité des demandes, être force de proposition et intégrer ses demandes à la roadmap d’A/B tests.

Selon toi, quelles sont les bonnes pratiques en matière d’AB testing ?

Adrien M. : Idéalement, l’AB test doit être mené sur une fonctionnalité 1 à 2 mois avant sa date de sortie. De cette façon, le test sera en ligne suffisamment longtemps pour pouvoir collecter des données représentatives et le PO pourra intégrer la variation gagnante lors de la mise en production. Mais l’AB Testing ne se résume pas à des échanges avec les PO : d’autres interlocuteurs doivent être sollicités comme les UX, qui doivent indiquer le rendu graphique du test à livrer et les équipes métiers (acquisition, merchandising, juridique…) qui peuvent avoir besoin de réaliser des ab tests.  

Avec quelles solutions de CRO as-tu déjà travaillé ? Qu’est-ce que tu en as pensé ?

Adrien M. : J’ai travaillé avec Kameleoon et AB Tasty et les deux solutions ont un fonctionnement très proche.

En 2020, l’A/B testing est-il pour toi toujours une activité importante à prendre en compte dans sa stratégie de marketing digitale ?

Adrien M. : Oui, l’A/B Testing est une démarche clé pour sécuriser ses déploiements et créer de la valeur continuellement sur internet. Avec cette méthode de travail, il ne peut plus y avoir d’accident industriel, comme une fonctionnalité développée pendant plusieurs mois et sur laquelle des ressources importantes sont engagées mais sans retour sur investissement au final. Avec l’ab testing, les résultats sont systématiquement validés par l’expérience et l’intuition n’a plus sa place.

Ensuite, au-delà de ces considérations on peut s’interroger sur l’utilisation qui est réellement faite des outils testing. Comme il n’y a pas de baromètre sur cette activité en France, je me suis intéressé aux A/B Tests menés par 250 sites en France et j’ai écrit un livre blanc avec un ami, Florian Grison, portant sur la période de mi-mai à fin juin.

Le livre blanc sera publié le 1^er septembre et disponible ici . Nous observons que la plupart des tests déployés (88%) sont en réalité des personnalisations, c’est-à-dire avec une variation déployée sur 100% de l’audience. La plupart du temps, les outils de testing sont davantage utilisés pour envoyer des push marketing (mise en avant d’une promotion, popin, produit…) plutôt que pour intégrer une vraie démarche de testing. Il y a donc encore beaucoup à faire pour démocratiser la démarche d’A/B Testing !