[Informe de Clase] Desarrollo de Sistemas (3.º Año), Semana 49
— Seguridad, Ética y Diseño Responsable en IA Generativa: Pensar en el “lado oculto” de la conveniencia —
En la Semana 49, basándonos en las funciones de IA generativa que hemos implementado y mejorado hasta ahora, realizamos una clase centrada en seguridad, ética, gestión de la información y responsabilidad.
El tema fue:
Diseñar la responsabilidad en el uso de la IA es tan importante como la habilidad técnica para utilizarla.
Esta sesión profundizó nuestra perspectiva sobre lo que significa ser ingeniero, porque la tecnología por sí sola no completa la historia.
■ Introducción del Profesor: “Que funcione” y “que sea correcto” no son lo mismo
Sr. Tanaka: “Una cosa es que la IA funcione de manera conveniente, y otra que sea segura, justa y apropiada.
Hoy identificaremos dónde están los riesgos y pensaremos cómo abordarlos desde el diseño.”
En la pizarra escribió cuatro elementos:
- Desinformación (alucinaciones)
- Sesgo
- Información personal (privacidad)
- Responsabilidad
■ Objetivos de la Clase
- Poder explicar de manera concreta los riesgos de la IA generativa
- Identificar riesgos ocultos en nuestro propio sistema
- Distinguir entre contramedidas técnicas y contramedidas operativas
- Hacer explícito “quién es responsable” en el diseño
■ Práctica ①: Taller de Identificación de Riesgos
En grupos, enumeramos posibles problemas que podrían ocurrir con las funciones de IA que estamos implementando actualmente.
Ejemplos
- Los resúmenes difieren de los hechos
- Aparece lenguaje discriminatorio o inapropiado
- Las entradas contienen información personal
- Los usuarios malinterpretan la salida de la IA
- La salida es demasiado categórica o excesivamente afirmativa
Estudiante A: “Entonces el riesgo no es solo ‘estar equivocado’, sino también ‘inducir a error’.”
■ Práctica ②: Organización de Contramedidas Técnicas
Luego consideramos contramedidas que podemos implementar a nivel de código para cada riesgo.
Ejemplos de contramedidas técnicas
- Límites de longitud en la entrada
- Filtros de palabras prohibidas
- Fijar el formato de salida (por ejemplo, JSON)
- No almacenar la salida de la IA tal cual
- Restringir el acceso a los logs
- Mostrar una etiqueta de “Generado por IA”
Profesor: “Si algo puede prevenirse técnicamente, debe prevenirse técnicamente.”
■ Práctica ③: Organización de Contramedidas Operativas
Hay aspectos que no pueden resolverse solo con código.
Ejemplos de contramedidas operativas
- Declarar claramente los términos de uso
- Restringir los casos de uso permitidos
- Supervisión por parte de administradores
- Revisión periódica de logs de salida
- Habilitar un formulario de reporte de errores
Estudiante B: “Entonces necesitamos diseño fuera del código también.”
■ Práctica ④: Aclarar la Responsabilidad
El profesor planteó una pregunta importante:
“Si la IA genera información incorrecta, ¿de quién es la responsabilidad?”
Tras debatir, la conclusión compartida fue:
- La IA no asume responsabilidad
- La responsabilidad final recae en el proveedor del sistema
- Por eso son importantes:
- La forma en que se presenta la información
- Posicionar la IA como herramienta de apoyo
- Diseñar el sistema para evitar una confianza excesiva
Estudiante C: “No podemos simplemente culpar ‘a la IA’.”
■ Práctica ⑤: Creación de una Lista de Verificación de Diseño Seguro
Finalmente, como clase, creamos una
Lista de Verificación de Diseño Seguro para IA Generativa.
Ejemplos de ítems de la lista
- [ ] Existen límites de entrada
- [ ] Existe validación de salida
- [ ] Existe un mecanismo de fallback
- [ ] Está claramente etiquetado como generado por IA
- [ ] No se almacena información personal
- [ ] Los logs se gestionan de forma segura
- [ ] El propósito de uso está claramente definido
■ Aprendizajes Compartidos
- Los problemas de la IA no son solo “técnicos”
- El diseño que previene malentendidos del usuario es crucial
- La transparencia genera confianza
- La responsabilidad del diseño recae en el lado de la ingeniería
■ Mensaje Final del Profesor
“La IA es una herramienta.
Pero como esa herramienta afecta a la sociedad,
quienes la diseñan tienen responsabilidad.
Lo que aprendieron hoy es
la ética de controlar la conveniencia.
Sin ella,
incluso la tecnología más avanzada se vuelve riesgosa.”
■ Tarea (para la próxima semana)
- Entregar una tabla de contramedidas de riesgo (técnicas / operativas) para su función de IA
- Proponer dos medidas de seguridad adicionales que el sistema debería incorporar
- Redactar una “Política de Uso de IA” (200–400 caracteres en japonés)
■ Avance de la Próxima Semana: Diseño del Proyecto Final Integrado
La próxima semana comenzaremos el diseño del proyecto final, integrando todo lo aprendido:
integración de APIs, diseño asíncrono, IA generativa y diseño de seguridad.
La Semana 49 fue una clase importante sobre la responsabilidad de manejar la IA.
Los estudiantes comienzan a desarrollar no solo una perspectiva como ingenieros, sino como diseñadores que interactúan con la sociedad.