[Informe de clase] Desarrollo de Sistemas (3.º año) — Semana 46
~Introducción al diseño de integraciones con IA generativa: cómo “controlar la conveniencia de forma segura”~
En la Semana 46, por fin comenzamos una introducción al diseño de sistemas que integran IA generativa.
Sobre la base de los fundamentos de la semana pasada—“integración de múltiples APIs y diseño asíncrono”—
esta semana nos enfocamos en comprender las características y riesgos únicos de la IA generativa, y cómo controlarlos.
El tema fue:
“La IA generativa no es un ‘componente inteligente’: es algo cuyo comportamiento debe gestionarse.”
■ Introducción del profesor: “La IA generativa es más impredecible que las APIs”
Sr. Tanaka: “La IA generativa es útil, pero:
- No siempre obtendrás la misma respuesta cada vez
- Puede decir cosas incorrectas de forma muy convincente
- Según cómo la uses, puede volverse peligrosa
Hoy pensaremos menos en ‘cómo llamarla’ y más en ‘cómo gestionarla’.”
Para explicar en qué se diferencia de las APIs, enfatizó:
- API típica: entrada fija → formato de salida fijo
- IA generativa: entrada de texto → salidas probabilísticas y variables
■ Objetivos de hoy
- Entender las características de la IA generativa (fortalezas y debilidades)
- Entender por qué no debes llamar a la IA generativa directamente desde la UI
- Ser capaz de diseñar una arquitectura básica para integrar IA generativa
- Definir claramente “formas en las que no debes usarla”
■ Ejercicio 1: Aprender los “problemas comunes” que la IA generativa tiende a causar
Con ejemplos reales, el profesor presentó patrones típicos de fallo.
Problemas comunes
- Afirmar algo falso con confianza
- Rellenar con detalles extra que nadie pidió
- Producir expresiones inapropiadas o vagas
- La longitud/formato de salida varía cada vez
- Según la entrada, las salidas pueden volverse inesperadas
Estudiante A: “Como es más ‘humana’ que una API, es peligrosa si confías demasiado en ella.”
■ Ejercicio 2: Aclarar los casos de uso para la IA generativa
Luego hicimos un taller para aclarar para qué queremos usar la IA generativa.
Usos aceptables (ejemplos)
- Resumir texto
- Reformular plantillas
- Lluvia de ideas para borradores
- Ayudar a explicar la entrada del usuario
Usos que fácilmente se vuelven “NG” (requieren cautela)
- Decisiones con una sola respuesta correcta
- Afirmaciones definitivas sobre dinero, derecho, medicina, etc.
- Respuestas que los usuarios probablemente crean tal cual
Estudiante B: “Entonces, por defecto, se usa como ‘apoyo’, no para ‘decisiones’.”
■ Ejercicio 3: Arquitectura básica para integrar IA generativa
Aprovechando lo aprendido en 2.º y 3.º año, organizamos la estructura básica para integrar IA:
UI
↓
Servicio (toma de decisiones y control)
↓
Cliente de IA
↓
API de IA generativa
Puntos clave de diseño
- No llamar a la IA directamente desde la UI
- En la capa de Servicio:
- Validar entradas
- Dar formato/estructurar prompts
- Validar salidas
- Decidir el comportamiento de fallback
- La IA no es “quien responde”, sino “quien genera materia prima”
Estudiante C: “¡Se parece a una integración normal de API, pero con muchas más comprobaciones!”
■ Ejercicio 4: Los prompts son “documentos de diseño”
Con IA generativa, el prompt (texto de instrucción) influye fuertemente en los resultados.
El profesor lo explicó así:
Prompt = el “documento de encargo” que escribes cuando asignas trabajo a una persona
Elementos de un buen prompt
- Especificar un rol
- Especificar el formato de salida
- Indicar lo que no debe hacerse
- Controlar la longitud y el tono
Ejemplo (conceptual)
Eres una IA asistente para un sistema de biblioteca.
Resume el siguiente texto en 100 caracteres o menos.
No agregues información que no sea factual.
Estudiante D: “Si preguntas de forma vaga, obtienes respuestas vagas.”
■ Ejercicio 5: Diseñar asumiendo fallos cuando la IA generativa se equivoca
Más que con APIs típicas, la parte crítica es diseñar asumiendo que habrá fallos.
Fallos que deberías esperar
- Sin respuesta
- Texto sin sentido
- Demasiado largo / demasiado corto
- Expresiones inapropiadas
Política básica
- Validar siempre los resultados de la IA
- No mostrar las salidas tal cual
- Si no es aceptable:
- Mostrar un mensaje fijo
- Volver a un comportamiento que no dependa de la IA
Estudiante E: “La clave es que ‘aunque falle la IA, la app siga funcionando’.”
■ Lo que toda la clase comprendió
- La IA generativa no es “para todo”
- Sin control, empeoran tanto la UX como la seguridad
- El diseño de la capa de Servicio es lo más importante
- También es importante decir claramente a los usuarios que se está usando IA
■ Resumen final del profesor
“La IA generativa no es una ‘máquina que piensa’.
Es una herramienta que genera texto de forma probabilística.
Por eso, los humanos deben diseñar:
- dónde usarla
- cuánto confiar en ella
- qué hacer cuando falla
Lo que aprendimos hoy es, en esencia,
la ‘mentalidad base para ingenieros en la era de la IA generativa’.”
■ Tarea (para la próxima semana)
- Proponer una idea de caso de uso que use IA generativa
- Para ese caso de uso, escribir:
- qué parte maneja la IA
- qué parte deciden las personas/programas
- Proponer un plan de fallback para cuando falle la salida de la IA
■ Avance de la próxima semana: llamar de verdad a la IA generativa (una práctica segura)
La próxima semana intentaremos implementar llamadas reales a una API de IA generativa.
Sin embargo, el tema será la “integración segura”, incluyendo:
- validación de salida
- control de visualización
- comportamiento de fallback
La Semana 46 fue una sesión importante para ganar la perspectiva de “pensar antes de usar” la IA generativa.
El alumnado está construyendo de forma constante la capacidad de controlar la IA mediante el diseño en lugar de dejarse llevar por la conveniencia.