UD4 · Visión artificial sobre imágenes y vídeo

Objetivos de la unidad

Al finalizar esta unidad el alumnado será capaz de:

• Adquirir y preprocesar imágenes y vídeos desde distintas fuentes (bases de datos, streaming de cámara).
• Anotar datasets visuales para tareas de clasificación, detección y segmentación.
• Configurar y ejecutar experimentos con modelos CNN, ViT y YOLO.
• Desplegar el modelo de visión e integrarlo con APIs, cámaras y dispositivos.
• Tratar los datos visuales según la normativa de protección de datos y propiedad intelectual.

Resultado de aprendizaje: Procesa secuencias de imágenes o vídeos con las herramientas de visión artificial para obtener información sobre su contenido.

Contexto: tareas de visión artificial

Principales tareas

Adquisición de datos visuales

Fuentes de imágenes

Fuentes de vídeo

Preprocesamiento — Decodificación y homogeneización

Decodificación

Convertir el formato de almacenamiento (JPEG, PNG, H.264) en arrays numéricos que el modelo puede procesar.

# OpenCV: leer imagen y convertir a RGB
import cv2
img_bgr = cv2.imread("imagen.jpg")
img_rgb = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2RGB)

# Extraer fotogramas de un vídeo
cap = cv2.VideoCapture("video.mp4")
ret, frame = cap.read()  # frame: array (H, W, 3)

Homogeneización

Los modelos de visión artificial requieren imágenes de tamaño fijo.

Preprocesamiento — Segmentación de vídeo y anotación

Segmentación de vídeo

Un vídeo se divide en unidades procesables:

• Fotograma a fotograma (frame-by-frame): útil para detección en tiempo real.
• Clips de longitud fija: para modelos de acción temporal (p. ej., clips de 16 o 32 fotogramas).
• Submuestreo: procesar 1 de cada N fotogramas para reducir la carga computacional.

Anotación de datasets

La calidad de la anotación es el factor más determinante en el rendimiento de un modelo de visión.

Data augmentation

La data augmentation aumenta artificialmente el tamaño y diversidad del dataset aplicando transformaciones a las imágenes de entrenamiento.

Transformaciones habituales

La augmentation debe ser coherente con el dominio: no tiene sentido voltear verticalmente imágenes de personas caminando.

Modelos de visión artificial

CNN — Redes Neuronales Convolucionales

• Arquitectura dominante hasta 2021. Bloques convolucionales con kernels aprenden patrones locales.
• Ejemplos: ResNet-50, EfficientNet, MobileNet (ligero para edge).
• Adecuado para clasificación, detección (con cabezas adicionales) y datasets de tamaño medio.

ViT — Vision Transformer

• Divide la imagen en parches y los procesa con un mecanismo de atención (Transformer).
• Mejor rendimiento en datasets grandes; requiere más datos para generalizar.
• Ejemplos: ViT-B/16, DeiT, Swin Transformer.

YOLO — You Only Look Once

• Modelo de detección de objetos en tiempo real de una sola pasada.
• Estado del arte en velocidad/precisión para detección.
• Versiones: YOLOv5, YOLOv8, YOLOv9, YOLO-World (detección abierta).

Configuración del experimento de visión

Hiperparámetros principales

Transfer learning (recomendado)

Partir de un modelo preentrenado en ImageNet o COCO reduce drásticamente el tiempo y datos necesarios.

Métricas de evaluación en visión artificial

Clasificación de imágenes

Detección de objetos

Despliegue del modelo de visión

Escenarios de despliegue

Optimización para producción

• Cuantización: reducir precisión de float32 a int8 (reducción 4x en tamaño, 2-4x en velocidad).
• Pruning: eliminar conexiones con bajo peso.
• ONNX: formato universal para interoperabilidad entre frameworks.
• TensorRT: optimizador de inferencia de NVIDIA para GPU.

Protección de datos y privacidad en visión artificial

Las imágenes y vídeos frecuentemente contienen datos personales (caras, matrículas, comportamientos identificables).

Obligaciones normativas

Medidas técnicas

• Anonimización: difuminado (blur) de caras y matrículas antes de almacenar o publicar.
• Seudonimización: reemplazar identidades por identificadores no reversibles.
• Control de acceso: solo el personal autorizado accede a las imágenes con datos personales.
• Seguridad del stream: cifrado TLS en transmisión; RTSP cifrado (RTSPS).
• Minimización: no almacenar más imágenes de las necesarias; definir política de retención.

Propiedad intelectual en datasets de imágenes

Consideraciones de licencia

Regla práctica

Antes de usar cualquier dataset de imágenes en un producto, verificar la licencia y documentarla en el registro de activos de datos del proyecto.

Actividad práctica — UD4

"Detección de equipos de protección individual (EPI) en planta industrial"

Escenario: La empresa FabriTech S.L. quiere automatizar la verificación del uso de casco y chaleco reflectante en su planta de producción usando las 12 cámaras IP existentes.

Tareas:

1. Anotar 500 fotogramas con CVAT: clases casco, sin_casco, chaleco, sin_chaleco. Dividir 80/10/10.
2. Configurar un experimento YOLOv8n con transfer learning desde COCO (300 épocas, batch 16). Documentar hiperparámetros.
3. Evaluar el modelo: calcular mAP@50 y mAP@50:95 por clase. Analizar la matriz de confusión.
4. Exportar el modelo a ONNX y desplegar como endpoint REST con FastAPI.
5. Aplicar blur a los rostros detectados en todas las imágenes antes de almacenarlas. Documentar la medida en el registro de protección de datos.
6. Integrar la API con una de las cámaras IP (stream RTSP simulado) y verificar el funcionamiento en tiempo real.

Entregable: Informe de experimento + endpoint funcional + registro de protección de datos.

Puntos clave — UD4

• Las tareas de visión artificial van desde clasificación hasta segmentación de instancias y estimación de pose.
• El preprocesamiento incluye decodificación, redimensionado, normalización y (para vídeo) segmentación en fotogramas o clips.
• La anotación de calidad es el factor más determinante en el rendimiento del modelo.
• Los modelos principales son: CNN (ResNet, EfficientNet), ViT (Swin, DeiT) y YOLO (detección en tiempo real).
• Los hiperparámetros clave son: arquitectura, tamaño de kernel, tamaño de lote, épocas y estrategia de transfer learning.
• El despliegue puede ser como API REST, stream de cámara, batch o dispositivo embebido (ONNX, TFLite, TensorRT).
• Las imágenes con personas son datos personales; se requieren anonimización, control de acceso y base legal RGPD.

Criterios de evaluación — UD4

Navegación

← UD3 · Análisis de series temporales  ·  Volver al módulo  ·  UD5 · Procesamiento de lenguaje nat… →