Nanny ML : Monitoreo de modelos sin etiquetas disponibles

NannyML es una biblioteca open source en Python diseñada para el monitoreo de modelos de machine learning después del despliegue, especialmente cuando las etiquetas reales (ground truth) no están disponibles de forma inmediata. Está pensada para científicos de datos, ingenieros de ML y equipos de MLOps que necesitan detectar fallos silenciosos, drift en los datos y seguir el rendimiento del modelo en producción.

A diferencia de otras herramientas, NannyML permite estimar métricas de rendimiento sin necesidad de etiquetas en tiempo real, utilizando técnicas estadísticas avanzadas. Es ideal para aplicaciones como scoring crediticio, detección de fraude o sistemas de recomendación, donde los resultados reales pueden tardar días o semanas en llegar.

Ventajas clave:

• Estima precisión y otras métricas sin etiquetas
• Detecta drift de datos y cambios en la importancia de variables
• Incluye visualizaciones detalladas para análisis y comunicación

¿Cuáles son las principales funcionalidades de NannyML?

Estimación de rendimiento sin etiquetas

Permite evaluar cómo está funcionando un modelo antes de recibir los resultados reales:

• Utiliza métodos como CBPE (estimación por confianza) y DLE (estimación directa de pérdida)
• Estima métricas de clasificación y regresión (accuracy, precision, recall, etc.)
• Detecta caídas en el rendimiento no visibles al instante
• Ideal para entornos con feedback tardío

Detección de drift en los datos

Analiza cambios en las distribuciones de entrada del modelo:

• Medición a nivel de variables individuales o del conjunto de datos
• Usa métricas como Jensen-Shannon, PSI y distancia de Wasserstein
• Identifica las features que más contribuyen al drift
• Ayuda a decidir si se requiere reentrenamiento

Comparación entre rendimiento estimado y real

Cuando se obtienen las etiquetas, NannyML compara el rendimiento estimado con el real:

• Superpone curvas de rendimiento real vs. estimado
• Evalúa la precisión de los métodos de estimación
• Mejora las estrategias de monitoreo futuro

Análisis de importancia de variables y calidad de datos

Permite entender por qué cambia el comportamiento del modelo:

• Detecta variaciones en la importancia relativa de las variables
• Identifica datos faltantes, corruptos o mal formateados
• Ayuda a diagnosticar errores en la entrada que afectan las predicciones

Visualización y generación de informes

Ofrece herramientas visuales para el análisis y documentación:

• Compatible con notebooks Jupyter, exportación HTML y dashboards locales
• Informes interactivos para análisis temporal
• Facilita la interpretación y explicación de anomalías

¿Por qué elegir NannyML?

• Permite monitorear sin etiquetas: útil en entornos con feedback demorado
• Técnicas estadísticas avanzadas: más allá del monitoreo tradicional
• Código abierto y agnóstico del framework
• Diagnósticos visuales útiles para análisis técnico detallado
• Diseñado para entornos reales de producción con restricciones complejas