Sí. Por eso creamos EDIA, una herramienta
para que puedas descubrir estos sesgos
sin conocimientos técnicos.
El aprendizaje automático puede
contener sesgos.
estaban relacionadas con temas de género.
*Realizado por personas de 12 a 14 años de en 2023.
Sí. Por eso creamos EDIA, una herramienta para que puedas descubrir estos sesgos sin conocimientos técnicos.
El aprendizaje automático puede
contener sesgos.
estaban relacionadas con temas de género.
*Realizado por personas entre 12 y 14 años en 2023.
¿De qué se trata EDIA?
EDIA es un proyecto de la Fundación Vía Libre cuyo objetivo es involucrar a más personas en la evaluación de tecnologías de inteligencia artificial como son los modelos de lenguaje (por ejemplo, ChatGPT).
Esta herramienta busca explorar la inteligencia artificial desde un punto de vista social e interseccional.
¿Quiénes pueden inspeccionar sesgos?
- Docentes que quieran trabajar con sus estudiantes una visión crítica sobre la IA.
- Personas que quieran investigar sobre sobre IA en distintos temas
- Comunidades de ciencias sociales
- Estudiantes
- ¡Cualquiera! Sólo basta tener ganas y probar.
Laura Alonso Alemany habló al respecto
en su conferencia “Quién puede inspeccionar
sesgos en IA” en el marco del Workshop:
“Inteligencia Artificial y Filosofía.
Laura Alonso Alemany habló al respecto
en su conferencia “Quién puede inspeccionar
sesgos en IA” en el marco del Workshop:
“Inteligencia Artificial y Filosofía.
Cómo usar >
Inspeccioná sesgos en IA
Podés auditar estos sistemas desde cuatro métodos
- Sesgo en frases
- Sesgo en palabras
- Explorá palabras
- Explorá contextos
A partir de oraciones en donde una contenga a) estereotipo y la otra b) antiestereotipo
Buscamos definir las preferencias de un modelo de lenguaje pre-entrenado a la hora de producir lenguaje.
Si el modelo no tuviera sesgo ambas tendrían el mismo nivel de preferencia, pero si el modelo estuviera sesgado, una va a tener mayor preferencia.
Resultados
Vamos a ver la preferencia del modelo de una frase sobre otra. Y aquí va un ejemplo:
¿Te quedaron dudas?
Vas a poder visualizar la distribución de palabras en un espacio 2D y con ello observar la distancia entre ellas.
Entre más contextos de ocurrencia compartan, estarán más cerca y cuanto menos, estarán más lejos.
Las palabras con un significado parecido van a verse más cercanas.
* Si querés graficar 4 espacios, tenés que completar las listas 3 y 4.
Resultados
Vamos a ver la preferencia del modelo de acuerdo a la cercanía o lejanía según la preferencia del modelo.
¿Te quedaron dudas?
Es una herramienta que permite explorar y entender las relaciones semánticas entre palabras en un espacio vectorial.
Cada palabra en un idioma es como una flecha en un mapa enorme. Cuando dos palabras tienen un significado similar, sus flechas apuntan en direcciones cercanas en ese mapa.
El visualizador toma estas flechas y las muestra de manera que puedas ver qué palabras están cercanas entre sí en ese espacio.
* Si querés graficar 4 espacios, tenés que completar las listas 3 y 4.
Resultados
Se puede ver un mapa que te ayuda a explorar y entender cómo las palabras están relacionadas en términos de significado en un idioma.
¿Te quedaron dudas?
A partir de una palabra vas a poder obtener información del contexto en el que se encuentra esa palabra.
Dentro de una fuente de datos disponibles.
¿Dónde se utiliza mi palabra de interés y en qué contexto?
Resultados
Vamos a ver una lista de contextos donde aparece la palabra que buscaste. Por ejemplo:
Curso de formación > ver todas las entradas
Eventos > ver actividades en las que participamos
FAQ, preguntas frecuentes
Para empezar, el objetivo principal es crear una primera alfabetización crítica sobre inteligencia artificial generativa. Además, construir de manera colaborativa un conjunto de datos para evaluar estás tecnologías de IA. Y finalmente contribuir a construir ciudadanía en esta era con creciente presencia de IA
Sí, la inteligencia artificial puede discriminar. Generalmente ocurre debido a sesgos o prejuicios presentes en los ejemplos de datos con los que se entrena el modelo. Si los ejemplos utilizados para entrenar un sistema de inteligencia artificial contienen prejuicios o desigualdades, el modelo puede amplificar los sesgos. Por ejemplo, si ve muchos textos donde, los cirujanos son siempre hombres y las enfermeras son siempre mujeres, puede preferir textos como «la enfermería es una profesión para mujeres» a textos como «la enfermería es una profesión para mujeres y hombres». Y quizá esto no es algo que pensaban las personas con anterioridad.
Por ejemplo, si un sistema de inteligencia artificial se entrena para tomar decisiones sobre contrataciones basándose en datos históricos de contrataciones anteriores, y esos datos reflejan sesgos de género o barrio, el modelo podría aprender a favorecer a ciertos grupos y discriminar a otros involuntariamente. Por eso es importante siempre preguntarnos ¿Para qué se va a usar el modelo? ¿Y de dónde salen los datos?
Por ejemplo, probablemente no queremos hacer un sistema de recomendación de profesiones para orientación vocacional con un modelo sesgado en género, pero sí nos puede servir para inferir la profesión de personas en el pasado.
Los daños producidos por modelos sesgados no son ficticios, te compartimos dos casos reales:
– El algoritmo de filtrado de postulaciones de Amazon dejaba afuera a las mujeres porque en el pasado había contratado a muy pocas mujeres.
– El algoritmo de asignación automática de calificaciones escolares a los estudiantes británicos en la pandemia de COVID-19 tomaba el barrio del estudiante como factor muy determinante porque en el pasado había una fuerte correlación entre barrio y calificaciones.
Imagina que un grupo de estudiantes adolescentes está utilizando una página web de orientación vocacional. Sin embargo, este sistema se entrena utilizando datos históricos de elecciones de carreras y patrones de ingresos pasados. El sistema podría comenzar a favorecer ciertas profesiones o campos que históricamente han sido más elegidos por populares entre un género específico o grupos socioeconómicos particulares. Por ejemplo, podría sugerir con mayor frecuencia carreras en el campo de la tecnología a estudiantes masculinos, mientras que recomienda campos como la enfermería a estudiantes femeninas, basándose en patrones pasados. O podría sugerir relaciones internacionales o empresariales a estudiantes de clases sociales más altas y profesiones agrícolas en otras clases sociales.
Este sesgo puede tener un impacto negativo en los adolescentes al condicionar sus elecciones, limitar sus opciones y reforzar estereotipos de género o socioeconómicos. Las y los estudiantes podrían sentirse presionados para elegir carreras que no se ajustan a sus intereses y habilidades reales debido a las recomendaciones de la IA. Esto podría llevar a una distribución desigual de oportunidades y perpetuar la desigualdad en ciertos campos profesionales.
¿Podemos o queremos escapar a los avances tecnológicos? Si tu respuesta es que no, entonces intentemos abrir la caja de pandora, y empecemos a destripar la inteligencia artificial. Entenderla por dentro, cómo funciona. Y fundamental, es importante hablar de la ética también en inteligencia artificial. Desde las empresas que financian las nuevas tecnologías, pero también su uso en el aula y en nuestra vida cotidiana.
Si empezamos a preguntar: ¿Usaste chat gpt o cualquier otra inteligencia artificial para presentar el trabajo práctico? ¿Cómo la usaste? ¿Leíste y copiaste tal cual? ¿o le preguntaste, pero cambiaste la forma de decir? Y contame, ¿Te pareció correcta la respuesta, o tenés para objetarle?
Son preguntas que se pueden hacer en el aula y nos llevan a una forma más crítica, más agentiva, de usar estas herramientas.
Y también podemos auditar y juzgar esta herramienta. Para eso surge E.D.I.A, como herramienta para poder explorar, caracterizar y finalmente juzgar esos sesgos y estereotipos que podemos encontrar en la base de estas herramientas . Y ahí viene la otra pregunta:
¡Siempre! Si te gustó y crees que podés replicar la experiencia en las aulas, ¡por favor hacelo!. Te recordamos el link para ingresar: http://ediatool.ddns.net/
Si lo usaste, si tenés alguna secuencia didáctica para compartirnos o sugerencias, podés escribirnos al mail: eticaenia@vialibre.org.ar
Sabemos que sí. Y es algo en lo que estamos investigando más. Pero, mientras, te contamos un poco al respecto. Para usar estas tecnologías se requiere el uso de centros de datos. Es decir, una infraestructura de computadoras gigantes encendidas todo el tiempo, utilizando, en su mayoría, energía no renovable. Además, se sobrecalientan demasiado. Alguna vez te habrá pasado, con tu computadora después de horas de planificación. Bueno, a estos centros también les pasa, y para enfriar se utilizan litros y litros de agua o cantidad de aire para compensar el calor que emanan.
Se habla de que la inteligencia artificial nos va a venir a sacar el trabajo. O nos imaginamos un mundo distópico con Terminator como final feliz. ¿Acaso el martillo fue culpable del homicidio? ¿O fue quien utilizó la herramienta él o la responsable? Con esta premisa, saber que la inteligencia artificial es tecnología, que podemos usarla o no parte de nuestra decisión. Saber que existe, poder desarmarla y entenderla es indispensable para este cambio de era.