Préparer un entretien : Senior Data Scientist

A a une MAE de 12/3 = 4 et une MSE de (1+1+100)/3 = 34. B a aussi une MAE de 4, mais une MSE de 16. La MAE ne départage pas les modèles ; la MSE préfère B car elle pénalise davantage la grande erreur. Une RMSE aurait les mêmes unités que la cible et conserverait ici le classement de la MSE. Ces trois observations ne suffisent pas à conclure sur les données futures. Demandez le coût d’une erreur extrême, l’asymétrie entre surestimation et sous-estimation et les périodes critiques. Une métrique choisie après avoir regardé le classement risque de servir le modèle préféré plutôt que la décision métier.

Les deux moyennes et les unités sont correctes ; le choix final est relié à un coût d’erreur et à une validation indépendante.

On peut réserver janvier à août à l’entraînement, septembre-octobre au choix des paramètres et novembre-décembre à l’évaluation finale. Ce découpage est une illustration : il couvre mal plusieurs saisons complètes et demande d’être étendu avant une décision. La température réellement observée demain n’est pas connue à 18 h aujourd’hui ; utiliser une prévision météo archivée telle qu’elle existait à 18 h constitue une autre variable admissible. Ajustez normalisation et imputation sur l’entraînement seulement. Une référence peut prévoir la consommation du même jour de la semaine précédente, disponible au moment de la décision. Comparez les erreurs sur les mêmes dates et inspectez les périodes de froid au lieu de vous limiter à une moyenne annuelle.

Vous distinguez météo observée et prévision disponible, séparez ajustement et évaluation, et exposez la limite saisonnière.

Commencez par distinguer champ absent, valeur invalide et réponse ancienne. Une stratégie peut employer une imputation calculée sur les seules données d’entraînement avec un indicateur d’absence, ou un modèle de repli qui n’utilise pas la météo. Ces choix doivent être entraînés et évalués dans les mêmes conditions que le service ; remplacer une absence par zéro sans convention changerait le sens de la variable. Suivez taux d’absence, fraîcheur, erreur prédictive après observation de la cible et part de requêtes utilisant le repli. Simulez des absences sur une validation indépendante, puis testez des blocs de panne, car les appels manquants peuvent se concentrer sur certaines dates. Les 8 % seuls ne prouvent ni un biais aléatoire ni une dégradation acceptable.

La solution possède un comportement explicite, une mesure après maturation des cibles et un test qui considère des pannes corrélées.