Sacred : Seguimiento ligero de experimentos reproducibles

Sacred es una biblioteca de Python de código abierto creada para organizar, registrar y reproducir experimentos de machine learning. Desarrollada por el laboratorio suizo IDSIA, está orientada a investigadores y desarrolladores que necesitan una herramienta ligera y flexible para gestionar configuraciones, resultados y trazabilidad experimental sin dependencias pesadas.

A diferencia de plataformas más completas, Sacred ofrece un enfoque centrado en el código, extensible mediante observadores (por ejemplo, para integrarse con MongoDB o Sacredboard).

Beneficios clave:

• Registro detallado de parámetros, resultados y ejecuciones
• Enfoque en la reproducibilidad con una estructura minimalista
• Ideal para proyectos académicos y prototipado rápido en Python

¿Cuáles son las funciones principales de Sacred?

Gestión de configuraciones y reproducibilidad

• Controla todos los parámetros del experimento usando decoradores
• Permite definir configuraciones nombradas y componentes reutilizables
• Guarda automáticamente el código fuente, argumentos y dependencias
• Facilita la repetición exacta de experimentos anteriores

Registro de métricas y resultados

• Registra métricas, artefactos, errores y estado de ejecución
• Soporta salida estructurada de resultados y logs personalizados
• Guarda datos como hora de ejecución, host, código de salida
• Puede integrarse con MongoDB para almacenamiento persistente

Sistema de observadores extensible

• Utiliza observadores para enviar datos a distintos destinos
• Observadores incluidos: archivos, MongoDB, Slack, bases SQL, etc.
• Posibilidad de crear observadores personalizados
• Arquitectura modular adaptable a necesidades específicas

Ligera y sin dependencias de frameworks ML

• No depende de ningún framework específico de IA
• Compatible con cualquier pipeline o bucle de entrenamiento en Python
• Ideal para scripts científicos, entornos académicos y notebooks
• Se integra fácilmente sin cambiar estructuras existentes

Interfaz opcional con Sacredboard

• Sacredboard ofrece una interfaz web para explorar experimentos
• Muestra parámetros, métricas, logs y salidas asociadas
• Útil para revisar y comparar experimentos guardados en MongoDB
• Aporta una visión estructurada del historial experimental

¿Por qué elegir Sacred?

• Diseñada para la claridad, la trazabilidad y la reproducibilidad
• Código abierto, ligera y fácil de integrar en flujos existentes
• Extensible mediante observadores personalizados
• Ideal para investigación académica, prototipado y control experimental
• Documenta automáticamente todos los elementos de la ejecución