[Informe de clase] Desarrollo de Sistemas (3.º año), Semana 48
~ Evaluación de IA generativa y ejecución de un ciclo de mejora: “hacer crecer” la inteligencia a partir de logs ~
En la Semana 48 trabajamos en la función de IA generativa que implementamos la vez anterior e hicimos un ejercicio práctico para evaluar salidas y ejecutar un ciclo de mejora.
El tema fue:
“La IA nunca está terminada. Es algo que sigues afinando.”
Fue una semana importante en la que pasamos de “integrar” IA generativa a la etapa de “hacerla crecer”.
■ Introducción del profesor: “La IA nunca será 100% precisa”
Sr. Tanaka: “La IA generativa funciona de forma probabilística.
Así que, en lugar de buscar la perfección, es importante construir un sistema que siga mejorando.”
El profesor escribió este ciclo en la pizarra:
Recolectar logs
↓
Evaluar
↓
Identificar problemas
↓
Mejorar prompts y validación
↓
Re-evaluar
■ Objetivos de hoy
- Registrar en logs las salidas de la IA generativa
- Clasificar las salidas en buenas / malas
- Analizar las causas de los problemas
- Mejorar prompts y la lógica de validación
■ Ejercicio ①: Reforzar el registro (logging) de las salidas de la IA
Primero, revisamos el diseño de logs.
Campos de log añadidos
- Texto de entrada (solo las partes necesarias)
- Prompt usado
- Salida completa de la IA
- Recuento de caracteres de la salida
- Si ocurrieron errores de validación
- Si se activó un fallback
Estudiante A: “Sin logs, no puedes saber qué salió mal.”
El profesor enfatizó:
“Los logs son el único material que tienes para mejorar la IA.”
■ Ejercicio ②: Evaluación de salidas
Luego, ejecutamos la IA varias veces y clasificamos las salidas.
Criterios de evaluación
- ¿La longitud cumple lo indicado?
- ¿Ha añadido hechos que no se proporcionaron?
- ¿El texto tiene sentido?
- ¿Incluye palabras prohibidas?
- ¿Podría inducir a error al usuario?
Cada grupo organizó:
- Ejemplos de salidas buenas
- Ejemplos de salidas problemáticas
Estudiante B: “¡Incluso con la misma entrada, es ligeramente diferente cada vez!”
■ Ejercicio ③: Análisis de causa raíz de los problemas
Analizamos casos en los que la salida fue deficiente.
Causas comunes
- El prompt es vago
- Las restricciones son débiles
- No se especifica el formato de salida
- La lógica de validación es demasiado laxa
Ejemplo:
✗ “Por favor, resume brevemente.”
✓ “En una sola frase de 100 caracteres o menos, resume usando solo hechos.”
Estudiante C: “Es verdad… los prompts sí que son como un ‘documento de diseño’…”
■ Ejercicio ④: Mejoras de prompts y re-pruebas
Mejoramos prompts y volvimos a probar.
Ejemplos de mejora
- Aclarar la especificación del rol
- Listar prohibiciones en viñetas
- Cambiar el formato de salida a JSON
Ejemplo (conceptual):
Devuelve tu salida en el siguiente formato JSON:
{
"summary": "aquí va el resumen"
}
Después de las mejoras:
- Menos variación en la longitud
- Menos explicaciones innecesarias
- Validación más fácil
Estudiante D: “¡Especificar el formato lo hace más estable!”
■ Ejercicio ⑤: Reforzar la lógica de validación
En lugar de depender solo de los prompts, también reforzamos la validación del lado del código.
Ejemplos añadidos:
- Comprobaciones de parseo JSON
- Comprobaciones con expresiones regulares
- Re-verificación del recuento de caracteres
- Ampliación del diccionario de palabras prohibidas
Profesor: “No se lo dejes todo a la IA. La responsabilidad final recae en el código.”
■ Aprendizajes de toda la clase
- La IA es algo que se “mejora”
- Sin logs, no puedes mejorar
- Prompts y validación son dos ruedas del mismo carro
- Criterios de evaluación claros hacen más fácil la mejora
■ Comentario final del profesor
“El desarrollo con IA generativa
no termina cuando la ‘implementas’.
Miras los logs,
piensas en las causas,
lo mejoras,
y vuelves a validar.
Eso es lo mismo que el desarrollo de software tradicional.
La diferencia es solo que la salida es probabilística.
El ciclo de mejora que aprendiste hoy
es una habilidad esencial para ingenieros en la era de la IA.”
■ Tarea (para la próxima semana)
- Entregar un informe de mejora del logging de IA
- Dos ejemplos de problemas
- Causas
- Arreglos
- Resumir una comparación de salidas antes/después
- Nombrar una cosa que quieras mejorar a continuación
■ Avance de la próxima semana: seguridad, ética y diseño de responsabilidades
La próxima semana cubriremos
seguridad, ética, gestión de la información y responsabilidad
en el uso de IA generativa.
Será una semana para aprender no solo la tecnología,
sino también la responsabilidad de usarla.
La Semana 48 fue una clase importante que nos movió de “usar” IA generativa a “hacerla crecer”.
Los estudiantes están aprendiendo claramente a tratar la IA no como una caja mágica, sino como un componente del sistema que debe mejorarse.