Este repositorio forma parte del documento de trabajo Sesgos algorítmicos y representación social en los modelos de lenguaje generativo (LLM) publicado por el equipo de Datos de Fundar. Este artículo se fundamenta en los hallazgos presentes en este artículo publicado por la Universidad de Stanford que utilizó el conjunto de datos OpinionQA y la metodología para evaluar Modelos de Lenguaje (LMs) mediante encuestas de opinión pública.
Aplicamos un enfoque similar para explorar cómo los LMs reflejan y se alinean con las opiniones de diversos grupos demográficos en el contexto argentino. A partir de preguntas adaptadas de encuestas de Latinobarómetro, abordamos temas relevantes para el panorama sociopolítico argentino y analizamos el alineamiento de las respuestas de los LMs con diferentes segmentos de la población. Nuestro objetivo fue revelar posibles sesgos y discrepancias, proporcionando una comprensión matizada de cómo estos modelos interpretan opiniones en el contexto específico de Argentina.
El propósito de este repositorio es permitir a cualquier persona replicar el trabajo realizado.
Note
Desde el día en que se realizó este trabajo hasta la fecha, las interfaces, las APIs, y los modelos pudieron haber cambiado. Por ende, los resultados pueden variar o ser filtrados de una manera que no está considerada en este estudio.
En datasets se encuentran los datos de Latinobarómetro utilizados para promptear a los modelos y evaluar las respuestas.
En outputs se encuentran los resultados de los distintos scripts y notebooks. (A destacar, los gráficos generados y las respuestas consolidadas de cada modelo).
El análisis está repartido entre las Jupyter Notebooks y los scripts. En particular:
bard.ipynb,chatgpt.ipynb, ycohere.ipynbcontienen las notebooks donde se promptean a los correspondientes modelos con las preguntas seleccionadas.- Las notebooks
distances_contienen el cálculo de las distancias de opinión correspondientes a cada modelo. - En
scripts/se realizan los modelos de regresión lineal ajustados a través de OLS para el análisis multivariado. Cada script analiza un subset diferente de datos. - En
etc/hay Jupyter Notebooks que contienen un analisis exploratorio de los datasets.
Este documento es parte de la serie Inteligencia Artificial