Mientras que la Comisión Europea ha pedido a Amazon, en el marco del Reglamento Europeo de Servicios Digitales (DSA), que proporcione más información sobre los medios implementados para proteger a sus usuarios, investigadores de la organización sin fines de lucro AI Forensics y de la empresa Check Primero miré el algoritmo de recomendación del área de librerías de la plataforma estadounidense.
En un informe publicado el lunes 11 de diciembre, las dos entidades destacan que el sistema de recomendación y búsqueda de Amazon “no sólo promueve libros engañosos sobre salud, inmigración, cambio climático y cuestiones de género, sino que también atrapa a los usuarios en tales narrativas”. Los autores temen que “Con 181 millones de usuarios de Amazon sólo en la Unión Europea, estos riesgos (poder) tener impactos desproporcionados”.
Los investigadores, que se centraron en las versiones francesa y belga de la librería Amazon, tomaron como punto de partida una lista de 2.000 libros más vendidos que abordaban temas sociales muy debatidos, como la salud, la ecología o la inmigración. Durante varias semanas en octubre y noviembre de 2023, y utilizando perfiles con historial limpio para analizar cómo se comportaba el algoritmo de forma predeterminada, luego observaron a qué otros libros dirigía Amazon a los usuarios de Internet desde la ficha de producto, como “Productos comprados juntos con frecuencia”. sección. En total, se analizaron más de 60.000 recomendaciones de libros.
El libro, una fuente legítima de información
Los investigadores encuentran que “Para el 71,7% de los resultados de búsqueda de Amazon Francia con el término “Covid”, las consultas de búsqueda asociadas contenían libros de autores conocidos por difundir información errónea”. Sobre el mismo tema, “El 80% de los libros del top 10 cuestionan la existencia de la pandemia, minimizando sus efectos sobre la salud o presentándola como una conspiración. La proporción es aún más alarmante si se considera (palabra clave) “vacuna” ya que el 90% de los resultados ofrecen historias antivacunas » , detalla el informe. Sobre el tema de la inmigración, esta vez los investigadores contaron sólo el 30% de los 10 mejores trabajos sobre este tema. “difundir opiniones negativas sobre la inmigración”.
Unido por El mundoEl equipo de AI Forensics cree que estos resultados son aún más preocupantes porque “los libros representan una fuente legítima de información en la opinión pública” cuyos contenidos supuestamente tendrían más credibilidad que una publicación en una red social. Además, según Raziye Buse Çetin de AI Forensics, estos resultados sin duda habrían sido “Considerados inaceptables si se hubieran concluido sobre otras plataformas”.
Moderación fallida
Para el director de AI Forensics, Marc Faddoul, como para el investigador afiliado a EHESS Paul Bouchaud que trabajó en la investigación, no hay duda de que Amazon es mucho más que un Marketplace simple y neutral. “ Los algoritmos de Amazon dan forma no sólo a las ventas sino también al discurso público, particularmente a través de las recomendaciones de libros. Nuestros resultados resaltan el fracaso de Amazon a la hora de implementar mecanismos básicos para mitigar los riesgos sistémicos, lo que muestra los límites de la autorregulación de la IA., argumenta Faddoul. Para los autores del informe, los resultados de su investigación muestran que Amazon no está en el punto de mira de la DSA: «Según la Sección 34 de la DSA, las plataformas como Amazon deben identificar, analizar y evaluar riesgos sistémicos, teniendo en cuenta factores como los sistemas algorítmicos y la moderación de contenido»ellos especifican.
Peor aún, Amazon contraatacaría, según ellos, según sus propios términos y condiciones. Al señalar una moderación defectuosa, los investigadores observaron que funciona con “contenido sexualmente explícito” (en particular, manga hentai de carácter pornográfico) podrían aparecer en las categorías de libros para adolescentes o en categorías generales y de público general como “familia y bienestar”.
Contactada por Le Monde, la empresa estadounidense quiere ser tranquilizadora: “Nuestras investigaciones están en curso y continuamos tomando las medidas adecuadas contra los productos que no cumplen con nuestras políticas. » Amazon especifica que “compartir con la Comisión Europea la ambición de crear un entorno digital seguro” y que ella “invertir significativamente para proteger (su) almacenar de malos actores y contenido ilegal, y crear una experiencia de compra confiable”. La empresa sostiene además que sus herramientas de compra y descubrimiento no están diseñadas para generar resultados sesgados hacia un punto de vista específico.