Le risque principal du projet est de faire du machine learning prédictif en prétendant faire de la causalité. Ce document fixe les concepts.
Un modèle de propension de conversion apprend :
score_propensity(X) = P(Y = 1 | X)
Ce score répond à :
Quelle est la probabilité qu'un individu convertisse ?
Il ne répond pas à :
Quelle est la probabilité que la campagne cause cette conversion ?
Un modèle uplift cherche à estimer :
tau(X) = E[Y(1) - Y(0) | X]
où :
Y(1)est l'outcome potentiel si l'individu reçoit le traitement ;Y(0)est l'outcome potentiel sans traitement ;tau(X)est l'effet incrémental attendu.
Si tau(X) > 0, cibler l'individu peut augmenter la probabilité d'outcome.
Si tau(X) ≈ 0, la campagne ne change probablement pas son comportement.
Si tau(X) < 0, la campagne peut être contre-productive.
| Type | Comportement potentiel | Décision |
|---|---|---|
| Sure things | Convertissent avec ou sans campagne | Ne pas prioriser. |
| Persuadables | Convertissent seulement avec campagne | Cible idéale. |
| Lost causes | Ne convertissent jamais | Éviter. |
| Do-not-disturb | Convertissent sans campagne mais pas avec | Éviter fortement. |
L'uplift modeling essaie de trouver les persuadables, pas les clients déjà convaincus.
P(Y=1 | X)
Score de probabilité d'outcome.
P(T=1 | X)
Score de probabilité de recevoir le traitement. Utile en causalité observationnelle. Dans un RCT, il devrait être relativement contrôlé par design, mais doit quand même être audité.
P(Y=1 | X, T=1) - P(Y=1 | X, T=0)
Différence conditionnelle des outcomes potentiels ou observés sous hypothèses causales.
Un modèle de propension peut identifier des individus à fort taux naturel de conversion. Or ces individus peuvent être :
- déjà intéressés ;
- peu sensibles au message ;
- coûteux à cibler sans gain additionnel ;
- sur-sollicités.
Le budget marketing doit favoriser l'incrémentalité, pas seulement la conversion observée.
Un seul modèle apprend Y ~ X + T. L'uplift est calculé par différence de prédictions :
tau_hat(X) = m_hat(X, T=1) - m_hat(X, T=0)
Avantage : simple.
Risque : peut sous-estimer l'effet du traitement si le signal est faible.
Deux modèles séparés :
mu1_hat(X) = E[Y | X, T=1]
mu0_hat(X) = E[Y | X, T=0]
tau_hat(X) = mu1_hat(X) - mu0_hat(X)
Avantage : flexible.
Risque : instable si le groupe contrôle est petit.
Approche en plusieurs étapes qui impute des effets individuels et combine les modèles. Souvent utile quand les tailles traité/contrôle sont déséquilibrées.
Combine modèle d'outcome et modèle de traitement. Idée : obtenir une estimation plus robuste si au moins une partie de la modélisation est correctement spécifiée.
Forêt spécialisée pour estimer des effets hétérogènes. Intéressante pour capturer des interactions non linéaires.
- On n'observe jamais
Y(1)etY(0)simultanément pour le même individu. - L'estimation repose sur le groupe traité et le groupe contrôle.
- L'expérience Criteo est issue de tests d'incrémentalité, ce qui rend l'analyse plus plausible qu'un dataset purement observationnel.
- La variable
exposurepeut casser l'interprétation causale si elle est traitée comme une affectation randomisée.
| Hypothèse | Question simple | Pourquoi ça compte |
|---|---|---|
| Randomisation / ignorabilité | Les groupes traité et contrôle sont-ils comparables à caractéristiques observées égales ? | Sinon, le modèle peut confondre effet campagne et biais de sélection. |
| Positivité | Existe-t-il des traités et des contrôles pour les profils que l'on compare ? | Sinon, on extrapole sans comparaison fiable. |
| SUTVA / pas d'interférence | Traiter une personne change-t-il le résultat d'une autre ? | Si oui, l'effet individuel est plus difficile à isoler. |
| Cohérence | Le traitement analysé correspond-il bien à la décision marketing ? | treatment est l'affectation principale ; exposure est post-traitement. |
Dans ce projet, ces hypothèses servent de garde-fou : elles rendent la lecture plus crédible, mais elles ne transforment pas automatiquement les résultats en preuve causale forte.
Le modèle de propension estime une probabilité d'outcome, tandis que le modèle uplift estime une différence de probabilités entre deux mondes contrefactuels. Ces deux scores peuvent produire des politiques de ciblage radicalement différentes.