#37 AI Agents y Seguridad: "sólo puedes elegir dos"
Cuidado con tu CuñIAdo
Se me saltan las lagrimillas cada vez que veo a alguien decir cosas tan caras de ver últimamente como “me he equivocado” o “esto de aquí es mejor que esto otro que yo había dicho o hecho”.
En concreto me refiero a la recomendación sincera de Simon Willison diciendo: “sí, yo acuñé lo de la prompt injection, escribí este post que todo el mundo leyó (“the lethal trifecta”) peeeero este paper de aquí y en especial este diagrama de Venn tan cuqui cubre mucho mejor el problema que lo mío”.
Habla de la enorme superficie de ataque de los sistemas agénticos de IA que nos meten por los ojos todos los días, y de la posibilidad de que prompts escondidas en los contenidos web (u otros) accedidos por tu modelo para responder a tu deseo sean procesadas y obedecidas, dejándonos con el trasero y otras cosas al aire como resultado.
Pero en su exposición del problema, Willison se centraba en la exfiltración de datos. El dibujillo efectivamente abraza muchas otras problemáticas y lo hace de una forma extraordinariamente simple de entender.
Sólo puedes escoger dos: es así de fácil.
1.- Procesar inputs de fuentes no confiables.
2.- Dar al AI Agent acceso a tu info más sensible o datos personales.
3.- La gracia de los agentes de IA es su capacidad para actuar adaptativamente si eso es lo que necesitan para alcanzar su objetivo. Pero claro, eso incluye (y puede ser por una interferencia de un atacante) no sólo la comunicación externa y con ella el riesgo de exfiltrar información, sino también “change states”: ajustar parámetros internos, actualizar la memoria, o modificar planes y estrategias. En una palabra: Skynet.
Nosotros llegamos a Simon a través de la fastuosa newsletter de Jorge Morell, por cierto.
Ese diagrama tan grasioso me ha inspirado para hacer otro sobre algo a lo que doy muchas vueltas últimamente: ¿En qué va a quedar la asesoría legal cuando ChatGPT lance su “asistente legal especializado”?
Yo le llamaré “CuñIAdo”, sea cual sea el bautismo de Altman.
“Cuidado con el CuñIAdo” es mi predicción de Cassandra.
Estás leyendo ZERO PARTY DATA. La newsletter sobre actualidad tecnológica desde el punto de vista del derecho de protección de datos e IA de Jorge García Herrero y Darío López Rincón.
En los ratos libres que nos deja esta newsletter, nos gusta resolver movidas complicadas en protección de datos personales e inteligencia artificial. Si tienes de alguna de esas, haznos así con la manita. O contáctanos por correo en jgh(arroba)jorgegarciaherrero.com
¡Gracias por leer Zero Party Data! Apúntate!
🗞️Noticias del Mundodato
.- Los daneses desisten con el tema de ChatControl, así que ganamos un poco. O hasta que otra presidencia rotativa quiere volver a plantear la burrada. Disfrutemos el momento, aunque sea en la calma del ojo del huracán.
.- La Autoridad Noruega recomienda formalmente no utilizar Normas corporativas vinculantes. Como lo leen. Utilizar cláusulas contractuales tipo es igual de efectivo (que cada uno interprete esto a su manera), pero al menos todo el mundo pierde menos tiempo. Via Guro Åsbø.
-. ¿Lo del Louvre puede ser todavía peor? Parece que sí, porque tenían seguridad a prueba de bombas:
Sistema de videovigilancia asegurado con contraseña imposible de sacar: LOUVRE. Y algún otro con contraseña con el nombre del proveedor (Thales);
Auditoría del INCIBE francés diciendo que vaya M todo después de encargar una auditoría sería con pentesting (aquí se descubrieron las maravillas); y
Sistema informático de muchos años sin soporte de seguridad ni ná. Windows 98 y 2000 entraron en el chat.
Ahora sitúense como el DPO/equipo del Louvre ante la posible visitilla de la CNIL para ver si es verdad lo que dice la prensa + pedirlo todo (recuerden que la AEPD ya nos dijo que puede venirte por A y acabar en Z). Y las brechas con polvo sin notificar, o hasta lío en los derechos de acceso a imágenes de videovigilancia/polisia en las 72 horas (la gracia suprema de que los ladrones hubiera borrado todo, por si acaso). El meme se hace realidad.
.- Parece que se viene el IL como base legalmente reconocida para entrenamiento de IA en el mareo del digital omnibus, vía Luca Bertuzzi
Documentos dateros (muy cafeteros) ☕️
.- Si los días tuvieran 48 horas me encantaría escuchar este podcast recomendado por Philip M. Es Legal4tech con Rosalia Anna D’Agostino y Dr M.R. (Mark) Leiser. Qué demonios y me leería el libro sobre Dark Patterns de Mr Leiser. No olvidemos que Mr Leiser sería sin duda alguna el resultado si yo me tomara “La sustancia”.
.- Dos inspirados artículos en el blog del Freedom of Privacy Forum: éste de Christopher Kuner (un viejo rockero que llega subrayando las deshilachadas costuras de la regulación de las transferencias internacionales de datos desde los tiempos de Schrems I) y este otro de Cedric Burton sobre mi querida y sobeteada Doctrina Scania.
📄Papers de la semana
.- No es un paper pero bien podría serlo: Daphne Keller nos regala este estudio (con más diagramas de Venn) explicando muchas cosas y entre ellas los distintos perímetros de acceso que atribuyen distintos artículos de la DSA a datos de VLOPs y otros animalitos no tan grandes.
💀Death by Meme🤣
🤖NoRobots.txt o Lo de la IA
.- El Ministerio de Economía holandés ha publicado una guía sobre el RIA que recuerda poderosamente aquellos docs que hicieron famosa a la ICO en los primeros tiempos del RGPD: consejos prácticos y aterrizados sin rodeos ni jerga incomprensible. Tiempos que, al parecer, no volverán. Via Karin Tafur.
.- “Learn the lesson that AI works best when it empowers people, not when it replaces them. Of course, I don’t seriously expect many company executives to have learnt those lessons. Our memories are short and many will have forgotten what we learnt a decade ago.” Lee el post entero de Simon Wardley aquí: merece mucho la pena.
.- El nuevo salto cuántico de los modelos de IA cabe en un jpg: se ha lanzado Deepseek-OCR que anuncia una optimización escandalosa en tokens para inputs en pdf, permitiendo aprovechar casi toda la ventana de contexto en el output. Susana García te lo explica ferpestamente aquí.
.- La sentencia de ayer en el caso Getty Images vs Stability merecerá su propio post. Como aperitivo os dejo el obviamente triunfalista take de Darth Craddock. Apliquen la matriz de pescado y caveat emptor. Las dos bottom lines son que Getty Images se quedó con cara así como de tontos y en argumentos obiter dicta la sentencia afirma que el modelo entrenado no contiene imágenes propiamente dichas ni datos personales.
🙄 El chorradón final
Siete minutos realmente graciosos si te gusta el impro-stand-up
Si crees que esta newsletter puede gustar e incluso ser útil a alguien, reenvíasela.
Si echas de menos algun doc, comentario o chorradón que manifiestamente debería haber estado en el Zero Party Data de la semana, escríbenos o deja un comentario y lo valoraremos para la próxima.