#52 "Claude Cowar" ¿La IA bombardeó un colegio infantil en Irán por error?
Llámalo error, llámalo negligencia: debiste llamarlo gobernanza
El ejército estadounidense bombardeó por error un colegio infantil en Irán.
Al parecer:
.- La orden era alcanzar mil (¡mil!) objetivos en las primeras veinticuatro horas de ataque,
.- El edificio que albergaba el colegio había formado parte de una infraestructura militar hace diez años pero no en la actualidad. Nadie lo revisó. O eso quiero creer.
Con IA o sin IA de por medio, alguien podría pensar que la revisión de mil (¡mil!) objetivos militares debería haberse revisado con más rigor. O con rigor.
Si hubo IA de por medio, tengo toda la curiosidad del mundo por saber el número exacto de supervisores humanos, el número de objetivos revisados por cada uno, los incentivos exactos que se les marcaron y los KPIs a documentar y revisar sobre su actuación para “mejorar” (no sé si este concepto cabe aquí) la próxima vez.
Lukasz Olejnik lo explica mejor que yo en su newsletter del pasado lunes. Por mi parte, señalar dos cosas:
1.- Recordemos que el uso de IAs por parte del ejército y de las “cuerpos y fuerzas de seguridad” no están regulados en la UE (ni lo estarán) ni por el Reglamento de Inteligencia Artificial ni por el Reglamento de Protección de Datos Personales.
2.- No nos dejemos llevar por el reciente hype de la confrontación entre Anthropic y el Gobierno USA sobre el posible uso de la IA con fines militares: Gaza ha sido el laboratorio de esta especialidad durante dos eternos años (si es que ha dejado de serlo hoy: no lo parece). Ahí están las herramientas "Lavender”, “Wheres´s daddy” y “The Gospel” cuyo uso se describió en detalle por la prensa israelí en una etapa aún temprana de la masacre palestina.
Estás leyendo ZERO PARTY DATA. La newsletter sobre actualidad y derecho tecnológico de Jorge García Herrero y Darío López Rincón.
En los ratos libres que nos deja esta newsletter, resolvemos movidas complicadas relacionadas con la normativa de protección de datos personales e inteligencia artificial. Si tienes de alguna de esas, haznos así con la manita. O contáctanos por correo en jgh(arroba)jorgegarciaherrero.com
🗞️Noticias del Mundodato 🌍
.- Un CEO usó ChatGPT para anular un contrato de 250 millones y pierde hasta la camisa. La historia ya estaba contada, ahora tenemos la jugosa sentencia: Un CEO ignoró a sus abogados, consultó a ChatGPT y se llevó una merecidísima hostia en los tribunales. Changhan Kim, CEO de Krafton, publicadora del videojuego Subnautica 2, asumió pagar 250 millones de dólares en bonus si el juego vendía bien. Cuando vendió bien, su equipo legal le advirtió de los riesgos, Kim pidió a ChatGPT una estrategia para evitar el pago. El chatbot diseñó el “Proyecto X”: un plan de toma de control de la sociedad comercializadora por las bravas. Kim ejecutó el plan, despidió al fundador del estudio desarrollador, y un juez de Delaware ordenó su restitución inmediata. Lo más grasioso: los registros judiciales transcriben literalmente los prompts y respuestas de ChatGPT como prueba documental, creando un precedente donde las conversaciones con un chatbot se convierten en evidencia de mala fe (o negligencia, diría yo) corporativa susceptible de ser usada en su contra en procedimientos judiciales.
.- Australia: los adolescentes siguen en redes pese a la prohibición. Tres meses después de la prohibición pionera de redes sociales para menores de 16 años en Australia, nuevos datos de Qustodio sugieren que el uso ha caído de forma modesta. TikTok, YouTube y Snapchat registraron descensos entre los usuarios de 10 a 15 años, pero la mayoría de adolescentes que usaban las plataformas antes de la prohibición siguen activos en ellas. El aspecto más revelador es el éxito de aplicaciones sociales alternativas no incluidas en la prohibición que están disparando su popularidad entre menores australianos, demostrando que las restricciones basadas en plataformas específicas generan un efecto globo que desplaza el problema sin resolverlo.
Y las de pensamiento creativo de los menores. Al legislador se le olvida que la carestía y el mono agudizan el ingenio.
“Conseguí una foto de mi madre, la puse delante de la cámara y me dejó pasar. Decía: ‘gracias por verificar tu edad’”, afirma Isobel. “Oí que alguien usó la cara de Beyoncé”, añade.
Isobel señala a su madre, Mel, y dice: “Le escribí y le dije: ‘Oye, mami, ya pasé la prohibición de redes sociales’, y ella simplemente respondió: ‘¡Qué traviesa!’”.
.- La guerra en la era de la “bomba de información” online. Kyle Chayka ha vuelto al New Yorker de su baja por paternidad y no podemos estar más contentos: Memes como “monitorizando la situación” reflejan la creencia ilusoria de que podemos ser algo más que espectadores pasivos y confusos de la metralla digital. El artículo recupera al filósofo francés Paul Virilio y su libro “The Information Bomb” de 1998, donde anticipó un “crash visual” causado por un tsunami de detalles que provoca la derrota de los hechos y sume en una espesa niebla nuestra relación con la realidad. Virilio escribió esto en la era pre-redes sociales, y su concepto de quiebra de la confianza informativa resulta más preciso hoy que entonces: los fragmentos de realidad que circulan hoy por el océano digital son metraje real de eventos reales, pero su efecto acumulativo genera exactamente lo contrario a un retrato coherente de la realidad.
Observen que ni en la pieza original ni en este comentario se habla de “deepfakes”. No es ese el asunto.
.- En otro caso espectacular de “efecto Streisand” Un juez ordenó retirar de Youtube los vídeos de declaraciones de miembros del DOGE el viernes, pero el sábado ya estaban disponibles a cascoporro como torrent y en Internet Archive. Los vídeos mostraban a miembros del DOGE incapaces de definir “DEI”, admitiendo que usaron ChatGPT con términos como “black” y “homosexual” para marcar subvenciones a eliminar pero no “white” o “caucasian”, y reconociendo que sus recortes no lograron reducir el déficit gubernamental, como era su objetivo.
.- Amazon gana su recurso contra la sanción de 746 millones por RGPD de la autoridad de Luxemburgo. Amazon venció en apelación contra la multa de 746 millones de euros impuesta en 2021 por la autoridad de protección de datos de Luxemburgo por infracciones del RGPD relacionadas con publicidad personalizada. El tribunal administrativo confirmó casi íntegramente el análisis de la CNPD, incluyendo que la base jurídica del interés legítimo invocada por Amazon no era adecuada y que los procedimientos de transparencia eran insuficientes. Sin embargo, anuló la multa basándose en jurisprudencia posterior del TJUE que requiere analizar si Amazon incurrió en dolo o negligencia (el TJUE deja bastante con el culo al aire a la autoridad al insinuar que, a la vista del incumplimiento, la Autoridad se apresuró a cuantificar la sanción sin darle más vueltas al asunto). Además en el momento de la sanción Amazon ya había subsanado sus infracciones. Contenido de Matthew Newman y Norman Aasma via San Luis Montezuma.
Ese punto de la subsanación maravillosa, es que pone encima de la mesa la CNPD en su breve nota sobre el tema. Que Amazon se libra de la sanción, pero el procedimiento ha supuesto que cumpla y cambie la burrada que dio lugar a la sanción: pasar del interés legitimo a un consentimiento para publicidad comportamental. ¿Honrilla o tablas? Eso ya que cada cual decida.
📖 Documentos dateros muy cafeteros ☕️
.- El Garante le ha emplumado una sanción de 17.628.000 euros a Intesa Sanpaolo por tratar ilícitamente los datos de 2,4 millones de clientes transferidos a Isybank, su filial 100% digital. La banca perfiló a su clientela seleccionando clientes menores de 65 años, usuarios habituales de canales digitales, sin productos de inversión y con disponibilidades financieras inferiores a cierto umbral. El Garante consideró que este tratamiento era ilícito porque el cliente no podía preverlo razonablemente a partir del contexto y la información recibida. La base jurídica del interés legítimo invocada por el banco no se sostuvo dado el carácter sensible de los datos bancarios tratados.
Ahora comparen esa resolución con esta otra, que ya fue polémica hace un par de años, de la Autoridad Belga.
.- Sovereignty Washing: el manual de instrucciones de Michael Staudacher. Soberanía digital europea frente al “sovereignty washing” que venden los hiperescaladores estadounidenses. Soberanía digital es la condición en la que ningún actor extranjero tiene una vía legalmente permitida para acceder a tus datos.
La CLOUD Act no hackea servidores; envía una orden judicial que convierte en entrega lícita bajo derecho estadounidense lo que sería delito bajo derecho europeo. Los hiperescaladores no entran por la fuerza, cumplen legalmente. Europa tiene excelente legislación de protección de datos pero no soberanía digital, y confundir ambos conceptos es literalmente cómo funciona el sovereignty washing. Cada requerimiento del CLOUD Act es soberanía digital americana proyectada hacia la UE, China construye la suya sistemáticamente con chips, cloud y marco legal propios, mientras Europa confunde tener servidores en Frankfurt -etiquetada con logos en alemán y contratos en inglés- con soberanía real, cuando lo cierto es que la empresa matriz sigue en Seattle. .-
🤖NoRobots.txt o Lo de la IA
.- La DPA neerlandesa publica un informe periódico sobre el estado de la IA por el país. Riesgos, sesgos o control efectivo. En el de febrero de este año, que diríamos que publicaron en marzo, se muestra preocupado por el uso en selección de personal, sesgo y caja negra. La negativa de RRHH a explicar cómo va de verdad esos sistemas maravillosos de valoración y de perfilado . Y esa falta de explicación, como recordaba el abogado general en sus conclusiones sobre Dun & Bradstreet Austria, hacen que no tengas un verdadero derecho a la explicación del su funcionamiento.
For instance, the AP observes that game-based assessments are increasingly used as an initial screening tool for candidates. This raises issues related to the right to an explanation of how an assessment or judgment is formed, as well as the contestability of that judgment.
Another example concerns comparative online assessments in which employers are presented with information that differs from—and is often more detailed than—the information shown to candidates. This information asymmetry is problematic and at odds with the right to an explanation. Without insight into the assessment results received by the employer, it is difficult, if not impossible, for a candidate to meaningfully challenge the outcome. The AP therefore emphasises that such systems must comply with both the GDPR and the AI Act.
.- Con un nombre muy difícilmente mejorable (BullshitBench), Peter Gostev nos obsequia a toda la humanidad con una comparativa de efectividad de la respuesta de los grandes modelos. Claude está el primero casi siempre, pero la sorpresa es que Qwen (Alibaba) posiciona segundo en legal.
📃El paper de la semana
.- De investigadores de Stanford y Oxford, nos encontramos un paper que analiza uno de los grandes problemas de los LLM (ELEPHANT: Measuring and understanding social sycophancy in LLMs): siempre intenta no decirte que estás equivocado, aun cuando afecte a la veracidad del resultado.
Esa columna del medio nos ha recordado, por lo que sea, a esto otro:
📎Herramientas útiles
.- En otro espectacular ejemplo de vibe coding en el que Oscar Marchal, el “creador” no sabe programar, pero sí sabe muy bien lo que necesita: esta herramienta de anonimización de documentos jurídicos utilizando Claude como copiloto de desarrollo. La herramienta elimina datos personales de archivos Word, RTF, PDF digital y PDF escaneado directamente en el navegador, sin que ningún dato salga del ordenador del usuario. El proceso de creación duró menos de una hora: el abogado describió el problema como si hablara con un colega y Claude construyó el código. El autor advierte que la herramienta no sustituye la revisión humana y no recomienda su uso con documentos escaneados sin OCR.
🙄 El chorradón final
Más que chorradón, es situación curiosa. Tienes un perrihijo, pero el RGPD va aplicable a los datos personales de los humanos. Y el veterinario hiló fino en el derecho de acceso que le presentaron.
Hat tip a Camino García Murillo, proveedora de nuestro LOLPD ganador del año 2021
Menos risa cuando lleguemos a algo parecido al capítulo de Rick y Morty al que pertenece esta captura. Ahí seremos nosotros los perrihijos.
Si crees que esta newsletter puede gustar e incluso ser útil a alguien, reenvíasela.
Si echas de menos algun doc, comentario o chorradón que manifiestamente debería haber estado en el Zero Party Data de la semana, escríbenos o deja un comentario y lo valoraremos para la próxima.