UD2 · Valoración predictiva de datos estructurados

Objetivos de la unidad

Al finalizar esta unidad el alumnado será capaz de:

• Extraer, alimentar y etiquetar datos estructurados para experimentación de ML.
• Configurar y ejecutar experimentos con herramientas AutoML o ML de la plataforma.
• Interpretar y documentar los resultados de los experimentos: métricas, fiabilidad y avisos.
• Seleccionar el modelo ganador e integrarlo en un pipeline productivo en la nube.

Resultado de aprendizaje: Obtiene una valoración preliminar de la calidad y capacidad predictiva de datos estructurados con la herramienta de ML de la plataforma.

Contexto: datos estructurados y ML supervisado

Los datos estructurados son aquellos organizados en filas y columnas con un esquema definido: tablas de bases de datos relacionales, ficheros CSV, hojas de cálculo.

Casos de uso típicos en empresas

La valoración predictiva consiste en obtener una estimación rápida de si los datos disponibles tienen suficiente señal para construir un modelo útil.

Preprocesamiento — Extracción y alimentación

El primer paso es llevar los datos desde la fuente a la plataforma de ML.

Fuentes de datos estructurados

Buenas prácticas en la extracción

• Registrar la consulta exacta o ruta usada (reproducibilidad).
• Documentar la fecha de extracción y la versión de los datos.
• Verificar que no se mezclan datos de entrenamiento y evaluación en la extracción.

Preprocesamiento — Etiquetado de variables

Una vez cargados los datos, se identifican y etiquetan los distintos tipos de columnas.

Tipos de variables

Las variables ID y fecha no aportan capacidad predictiva y pueden introducir sobreajuste si se incluyen sin transformar.

Preprocesamiento — Subconjuntos y división de datos

La correcta separación de los datos es fundamental para evaluar el modelo de forma honesta.

División estándar

Dataset completo (100%)
    ├── Entrenamiento (70–80%)   → El modelo aprende de estos datos
    ├── Validación (10–15%)      → Se usa para ajustar hiperparámetros
    └── Prueba / Test (10–15%)   → Evaluación final, solo se usa una vez

Consideraciones importantes

• La división debe ser estratificada en clasificación (misma proporción de clases en cada partición).
• En datos temporales, la división debe ser cronológica: el test siempre es posterior al entrenamiento.
• Nunca se usa el conjunto de prueba durante el desarrollo del modelo (riesgo de data leakage).
• Documentar la semilla aleatoria (random_state) para reproducibilidad.

Ejecución de experimentos — Configuración de hiperparámetros

La plataforma de ML permite configurar el experimento con distintos hiperparámetros.

Hiperparámetros principales

Ejecución de experimentos — AutoML en plataformas reales

Las principales plataformas cloud ofrecen AutoML para datos estructurados.

Comparativa de herramientas AutoML

Todas estas herramientas comparan automáticamente múltiples algoritmos y devuelven un leaderboard con las métricas de cada uno.

Documentación de resultados del experimento

Documentar los resultados de forma rigurosa es parte del criterio de evaluación.

Contenido mínimo del informe de experimento

Métricas de evaluación de modelos predictivos

Clasificación

Regresión

Integración del modelo en un pipeline productivo

Una vez seleccionado el modelo ganador, se integra en un pipeline en la nube para su uso en producción.

Arquitectura del pipeline productivo

Datos nuevos (batch o streaming)
        |
        v
[1] Preprocesamiento
    - Imputación de nulos
    - Codificación de categóricas
    - Normalización / estandarización
        |
        v
[2] Inferencia del modelo
    - Cargar el modelo registrado (MLflow, SageMaker, Vertex)
    - Aplicar la función de predicción
        |
        v
[3] Posprocesamiento
    - Umbralización (clasificación)
    - Formateo de la salida
        |
        v
[4] Salida: API REST / Base de datos / Dashboard

Integración del modelo — Registro y versionado

El modelo seleccionado debe quedar registrado en el almacén de modelos de la plataforma.

Información que se registra con el modelo

• Nombre del modelo y versión.
• Métricas de evaluación del experimento.
• Dataset usado para entrenamiento (referencia o hash).
• Artefactos: fichero del modelo, transformadores de preprocesamiento, esquema de entrada/salida.
• Etiquetas: entorno: staging, aprobado-por: data-science-lead.

Flujo de promoción de modelos

Experimento --> Modelo en "staging" --> Evaluación humana --> Modelo en "produccion"

Nunca se despliega un modelo a producción sin pasar por una revisión de métricas, sesgo y fairness.

Actividad práctica — UD2

"Valoración predictiva de churn bancario"

Escenario: El banco CaixaNord quiere predecir qué clientes abandonarán el servicio en los próximos 30 días. Se dispone de un dataset con 50.000 filas y 25 columnas (datos demográficos, productos contratados, transacciones recientes, historial de reclamaciones).

Tareas:

1. Cargar el dataset en la plataforma (Azure ML o Vertex AI Sandbox).
2. Etiquetar la variable objetivo (churn_30d), las variables ID (id_cliente) y las variables de fecha.
3. Configurar la división: 75% entrenamiento, 15% validación, 10% test (estratificada).
4. Lanzar un experimento AutoML con tiempo máximo de 30 minutos, métrica AUC-ROC, comparando al menos 5 algoritmos.
5. Documentar el leaderboard, las 5 variables más importantes y los avisos del sistema.
6. Registrar el modelo ganador y desplegar un endpoint de inferencia de prueba.

Entregable: Informe de experimento con las 7 secciones requeridas + endpoint funcional.

Puntos clave — UD2

• Los datos estructurados se organizan en filas y columnas; los casos de uso más frecuentes son clasificación y regresión.
• El etiquetado de variables (objetivo, ID, fecha, categórica, numérica) es el primer paso del preprocesamiento.
• La división de datos debe ser estratificada (clasificación) o cronológica (series temporales), y el conjunto de test se usa solo una vez.
• Los hiperparámetros clave de un experimento son: modelos a comparar, variables descartables, tamaño de lote, épocas y métrica de optimización.
• El informe de experimento debe documentar configuración, leaderboard, conclusiones, fiabilidad, avisos técnicos y tiempo de cómputo.
• El modelo ganador se registra y versiona antes de integrarlo en el pipeline productivo.
• El pipeline productivo incluye preprocesamiento, inferencia y posprocesamiento como pasos independientes y reutilizables.

Criterios de evaluación — UD2

Navegación

← UD1 · Implementación de la platafor…  ·  Volver al módulo  ·  UD3 · Análisis de series temporales →