Sesgo de automatización: Doc: ¿En el futuro los LLMs nos vuelven gilipollas?
El sesgo de automatización en tres buenos papers
Al final de Regreso al futuro I, Doc Brown se baja del Delorean -que ahora vuela- y le dice a Marty que tienen que regresar urgentemente al futuro.
La réplica de Marty la podría firmar cualquiera de nosotros cuando comprobamos las fortalezas -y debilidades- de la última herramienta de IA…:
“¿Qué pasa Doc? ¿En el futuro nos volvemos gilipollas?”
Esto es ZERO PARTY DATA. La newsletter sobre actualidad de tecnología y derecho de Jorge García Herrero y Darío López Rincón.
En los ratos libres que nos deja esta newsletter, nos gusta resolver movidas complicadas en protección de datos personales. Si tienes de alguna de esas, haznos así con la manita. O contáctanos por correo en jgh(arroba)jorgegarciaherrero.com
¡Gracias por leer Zero Party Data! Apúntate!
En este ZPD especial hablamos de un solo tema, con base en cuatro papers distintos:
1.- ¿Qué es el sesgo de automatización?
Te interesa saberlo: utilizas tooodas esas herramientas de IA. Y LO SABES.
Las empresas detrás de ellos escudriñan tus prompts, lo que pretendes conseguir versus lo que consigues… Estoy seguro de que Google tiene sus propias conclusiones sobre los cambios de hábitos entre sus propios usuarios.
2. -¿Hay evidencia científica de que los modelos de IA hacen cambiar de opinión a las personas? ¿Los modelos de IA transmiten sus sesgos a quienes los utilizan?
Yes, Sir. En este paper se demuestra. Y en este de Microsoft se describe cómo cambia el foco de atención y la forma de trabajar de los usuarios.
3.- ¿El Reglamento de IA regula este sesgo? ¿Obliga a providers y deployers a tener en cuenta este fenómeno y a mitigarlo?.
Sí, lo hace. En este paper se describen en profundidad las implicaciones de los arts. 14 y 26.2 del RIA.
4.- Mis propias reflexiones sobre este asunto, basadas en mi experiencia personal.
PSSSST: Aun te puedes apuntar para ver el Congreso GRC de la AEC online: ¡A las cuatro y media sale un cuñao calvo delulu haciendo chistesitos de IA y protección de datos con memes!
Entrando en harina:
1.- ¿Qué es el sesgo de automatización?
El sesgo de automatización (o “automation bias”) describe el fenómeno psicológico de la excesiva confianza humana en la automatización en la toma de decisiones, es decir, la tendencia humana a confiar excesiva e injustificadamente en las sugerencias de un sistema automatizado (en este caso, un modelo de IA).
Sobre este tema ya escribimos en general por aquí y por aquí.
2. -¿Hay evidencia científica de que los modelos de IA hacen cambiar de opinión a las personas?
En este paper de Microsoft se describe cómo cambia el foco de atención y la forma de trabajar de los usuarios.
Se les pidió a los participantes que compartieran ejemplos detallados de tareas para las que usan GenAI y que midieran directamente sus percepciones del pensamiento crítico durante estas tareas
Se encontró una correlación negativa entre la puesta en práctica del pensamiento crítico y la confianza en la IA para realizar la tarea
Cualitativamente, GenAI desplaza la naturaleza del pensamiento crítico hacia la verificación de información, la integración de respuestas y la administración de tareas
El estudio identificó los principales elementos motivadores e inhibidores para la aplicación del pensamiento crítico al usar herramientas de IA generativa:
Motivadores:
· Calidad del trabajo: garantizar la calidad del resultado trabajo, especialmente cuando el ouput resultaba demasiado genérico o superficial.
· Evitar “cagadas” bajo la forma de código incorrecto, información desactualizada o fórmulas matemáticas defectuosas.
· El desarrollo de habilidades y competencias para su trabajo, aun con la asistencia de este tipo de herramientas.
Inhibidores:
Ya se pueden imaginar:
· Limitaciones en cuanto a conciencia: Los usuarios a menudo adoptan un modelo mental que asume que la IA es competente para tareas simples, sobreestimando su capacidad.
· de motivación: Carecer de tiempo o incentivos para desafiar el output de la herramienta, especialmente cuando no se considera parte de sus responsabilidades laborales.
· de capacidad: como sencillamente no poseer suficiente conocimiento del contexto.
El estudio encontró que las herramientas GenAI modifican la aplicación del pensamiento crítico de tres maneras distintas.
En resumen, el esfuerzo se desplaza:
· de la recopilación de información a la verificación del output.
· de la resolución de problemas a la integración de la respuesta de la IA en la concreta tarea del usuario.
· de la ejecución de tareas a la administración de tareas. La GenAI requiere que los usuarios articulen sus necesidades y traduzcan las intenciones en una consulta.
¿Te cambian los modelos de IA tu forma de decidir? ¿Te transmiten sus sesgos? Of course, boy!!
Este paper es un regalo del cielo para los fans de los sesgos: no dice nada nuevo, pero pone encima de la mesa una evidencia científica basada en pruebas de campo.
¿Cómo influyen los sesgos de la IA en humanos?
La interacción con sistemas de IA sesgados amplifica los sesgos preexistentes en los humanos, lo que lleva a una mayor inexactitud en su toma de decisiones.
Esa amplificación se basa en dos factores:
· En la superior capacidad de la IA para encontrar sesgos sutiles en el dataset: La IA destaca la señal sobre el ruido en su criterio (esto es lo que nos permite a los humanos aprender rápidamente de la IA).
· En la percepción humana de la IA como una fuente autorizada de información (el humano confía en el criterio de la IA y valida sus sesgos).
Descripción del experimento
El estudio documenta una serie de experimentos con más de 1400 participantes.
En el primero, se entrenó un algoritmo de IA utilizando con las decisiones -criterios- humanos de un Grupo “A”), ligeramente sesgados (“En este conjunto de caritas… ¿Hay mayor número alegres o tristes?” -y había unas cuantas más alegres-).
Se hace la misma pregunta, sobre los mismos datos a un segundo grupo de humanos (“B”) y tras decidir, se les aporta el criterio emitido anteriormente por la IA -entrenada en lo decidido por el grupo de humanos A- para ver si cambian de opinión.
El algoritmo no solo adoptó el sesgo de A, sino que lo amplificó aún más al modificar las decisiones del Grupo B.
Y se observó que los sesgos iniciales se intensificaron más con el tiempo.
Este efecto de amplificación del sesgo no se observó en interacciones entre humanos que analizaban datos y transmitían su criterio a otros humanos.
Pero ¿Cómo? ¿Por qué?
¿Por qué se produce esto? Por dos motivos:
· El sesgo ya estaba dentro del criterio manifestado por la IA.
· El humano rectifica sus decisiones, acomodando su criterio al de la IA porque es una IA.
Este sesgo de automatización es una variante del sesgo de autoridad (obedecemos más a quien tiene un uniforme, una placa, o compramos más lo que nos aconseja alguien famoso, incluso si la razón de su fama tiene poco que ver con lo que aconsejan: véase los anuncios de seguros protagonizados por Rafa Nadal).
Para llegar a esta última conclusión se realizaron experimentos presentando criterios previos a los participantes en el experimento engañándoles (diciéndoles que eran de una IA cuando eran de humanos y viceversa).
La otra cosa interesante: el humano no asume sin más el criterio de la IA, sino que aprende de las interacciones con ella: por eso el incremento de su sesgo si intensifica con el tiempo.
Al menos, el paper termina con una conclusión optimista:
“Es importante aclarar que nuestros hallazgos no sugieren que todos los sistemas de IA estén sesgados, ni que todas las interacciones entre humanos y IA generen un sesgo. Por el contrario, se demuestra que cuando los humanos interactúan con una IA precisa, sus juicios se vuelven más acertados (en línea con estudios que muestran que la interacción humano-IA puede mejorar los resultados).
Más bien, los resultados sugieren que cuando existe un sesgo en el sistema, éste tiene el potencial de amplificarse a través de un bucle de retroalimentación. Dado que los sesgos existen tanto en los humanos como en los sistemas de IA, este es un problema que debe tomarse en serio.”
3.- El sesgo de automatización en el RIA
El paper.
Entre todos los conceptos jurídicos indeterminados del RIA (¡ja! Y nos quejábamos del RGPD! ¡JA!) Llama la atención la mención al sesgo de automatización del art. 14. Se introduce el concepto en relación con la supervisión humana (obvio) pero sin describirlo, y sin que sea un concepto legal definido en otro corpus jurídico.
“Ser conscientes de la posible tendencia a confiar automáticamente”. Manda huevos, como decía aquel.
Si bien el artículo 14 de la AIA solo establece las obligaciones de los proveedores, el artículo 26.2 apunta a los deployers: "asignarán la supervisión humana a personas físicas que tengan la competencia, la formación y la autoridad necesarias, así como el apoyo necesario".
El paper plantea cuestiones relevantes sobre la dificultad para controlar el incumplimiento de esta obligación (¿Se logró que el supervisor humano “tuviera conciencia del sesgo de automatización?”) e incluso de que dicho sesgo haya tenido efectos, en una cuestión ya planteada por Daniel Solove.
Como digo, léanselo, no se conformen con el resumen cutre de ningún copiloto.
4. -My two cents
1. En mi propia experiencia, cuando estoy atascado con un tema, el mero hecho de estructurarlo en mi cabeza solamente para formular la pregunta correcta a otra persona (o a un LLM) en muchos casos me ha permitido ver claramente la respuesta. ¿Es magia de la IA? No, esto es simplemente una técnica clásica para salir de un bucle mental.
2. El mero hecho de pedirle a un LLM un primer borrador o tratamiento sobre un tema en el que no sabes cómo empezar, y revisar la birria que sale, te enfoca directamente en el buen camino, casi siempre en una dirección distinta de la del borrador. Pero es que esto es lo que se hacía con los becarios.
3. En tercer lugar, por infame y poco valioso que sea un trabajo hecho por un LLM (sí, o un becario) es difícil que no incluya un punto de vista, un elemento o punto valioso, adicional a los que tú tenías en la cabeza.
4. ¿Los LLMs nos volverán gilipollas? Creo que no.
Los gilipollas liberarán más tiempo para hacer más gilipolleces. Y quizá aprovechen para procrear más gilipollas. Lo cual nos lleva al melón de si un gilipollas nace o se hace. Esto para otro día (espóiler: mitad y mitad).
Por lo que toca a los no gilipollas, a poco que jueguen bien sus cartas, serán cada día menos gilipollas. Y eficientes.
5. Por último: salvo que los modelos frontera se despeguen sensiblemente de tooodos esos modelos open que pueblan nuestros discos duros, veo evidentes oportunidades a corto-medio plazo para las pequeñas boutiques frente a despachos grandes y medianos.
(En un par de días la newsletter semanal normal)
Muy buena semana.
Jorge García Herrero
Abogado y Delegado de protección de datos
Por cierto, JORGE, ¿conoces el directorio gratuito de newsletters de Substack en español?: Es la respuesta a varios diálogos en Notas sobre cómo conseguir que los hispano-hablantes podamos encontrar newsletters en español sobre nuestros intereses favoritos.
Nació hace unos meses, se divide en categorías (se puede pertenecer a varias), y ha sido todo un éxito (una de sus categorías tiene más de 35 newsletters), con cientos de descripciones de boletines.
Es muy fácil: Sólo hay que elegir una categoría y utilizar la zona de comentarios para describir tu boletín.
La información de cómo usarlo está en https://directorio.substack.com/p/empezar-aqui (hay varios posts que ofrecen información adicional, como los temas y se propone, por si quieres usarla, una plantilla).