Qué es el data drift y por qué tu modelo falla sin que nada se rompa

Hay una forma de fallar que no aparece en ningún log. El modelo responde, la API devuelve 200, el dashboard se pinta. Y las predicciones son cada vez peores.

Eso es data drift: los datos que entran al modelo en producción dejan de parecerse a los datos con los que se entrenó. El modelo no está roto. Está respondiendo con confianza a un mundo que ya no existe.

Por qué no lo ves

El software tradicional falla ruidosamente. Una excepción, un timeout, un 500. Tienes alertas para eso.

Un modelo de machine learning falla en silencio, y esa es la diferencia que casi nadie internaliza a tiempo. Un modelo de scoring entrenado con datos de 2024 sigue devolviendo un número en 2026. El número tiene el formato correcto, llega en el tiempo esperado y cabe en el rango de siempre. Simplemente ya no describe la realidad.

Te enteras meses después, y no por el sistema: por el resultado de negocio. La mora subió. La conversión bajó. El área comercial dice que las recomendaciones "están raras". Para cuando alguien conecta los puntos, llevas dos trimestres decidiendo con un modelo que dejó de servir.

Los tres tipos que importan

No todo el drift es igual, y confundirlos lleva a monitorear lo que no toca.

• Drift de datos (data drift). Cambia la distribución de las variables de entrada. Antes el 70% de tus clientes llegaba por sucursal; ahora el 70% llega por la app. Las variables son las mismas; su distribución, no.
• Drift de concepto (concept drift). Cambia la relación entre las entradas y lo que quieres predecir. La variable sigue distribuida igual, pero ya no significa lo mismo. La pandemia hizo esto con casi todos los modelos de demanda del planeta.
• Drift de etiqueta (label drift). Cambia la distribución de lo que predices. Si entrenaste con un 3% de fraude y hoy la realidad es 8%, tu modelo está calibrado para un mundo que no es este.

El más caro es el de concepto, porque es el más difícil de ver: tus datos de entrada se ven perfectamente normales.

Qué se monitorea

Monitorear un modelo no es mirar si el servicio está arriba. Eso ya lo hace tu monitoreo de infraestructura y no dice nada sobre si el modelo acierta.

Lo que hay que vigilar:

1. Distribución de cada variable de entrada, contra la distribución del entrenamiento. Aquí sirven pruebas estadísticas como Kolmogorov-Smirnov para variables continuas o chi-cuadrado para categóricas.
2. Distribución de las predicciones. Si tu modelo empieza a decir "no" mucho más que antes y nada en el negocio lo explica, algo se movió.
3. Rendimiento real contra la etiqueta verdadera, cuando la tengas. Es la señal más honesta y también la más tardía: en un modelo de mora puedes tardar 90 días en saber si acertaste.
4. Volumen y calidad de entrada. Nulos que antes no había, categorías nuevas, un campo que llega vacío desde que el equipo de app cambió el formulario.

La parte incómoda: no puedes esperar a la etiqueta

En muchos casos de negocio la verdad llega tarde. Sabes si el crédito se pagó tres meses después. Sabes si el cliente se fue cuando ya se fue.

Por eso el monitoreo de deriva no es un lujo: es tu única señal temprana. Es la diferencia entre enterarte en dos semanas o en dos trimestres.

Y en un sector regulado, además hay que sustentarlo

Si trabajas en banca o seguros, esto deja de ser una buena práctica de ingeniería y pasa a ser un asunto de riesgos. Cuando el comité pregunte por qué el modelo decidió lo que decidió, la respuesta no puede ser "así salió". Necesitas versión del modelo, versión de los datos, métricas del momento y evidencia de que estabas mirando.

Eso no se improvisa el día que lo piden. O estaba desde el principio, o no está.

Qué hacer si tienes un modelo en producción sin monitoreo

Nada dramático. El primer paso más rentable casi nunca es reentrenar: es poner instrumentos.

Toma el modelo que ya tienes, regístrale las entradas y las salidas, compáralas contra la distribución de entrenamiento y define un umbral que dispare una alerta. Ese trabajo suele ser de semanas, no de meses, y convierte un riesgo invisible en un número que alguien mira.

Después ya discutimos si hay que reentrenar. Pero primero hay que poder verlo.