Moderemos las redes

El trabajo de moderación de contenidos en las redes se viene haciendo de modo manual o automatizado, una tarea que implica una cierta 'editorialización' en la medida en que renuncia a aceptar cualquier contenido y se considera legitimada para disminuir la visibilidad del algunos e incluso excluirlos completamente. La moderación manual de contenidos da actualmente empleo a más de 100.000 personas en el mundo, con unas condiciones de trabajo muy duras, una realidad opaca debida en buena parte a las cláusulas de confidencialidad que deben suscribir los trabajadores. Además del problema de sus condiciones laborales hay otros de salud mental debido a que tienen que examinar imágenes y textos especialmente desagradables.

Desde hace tiempo las plataformas han optado por formas automatizadas de identificación de contenidos problemáticos: empresas y legisladores andan a la búsqueda de soluciones técnicas que resuelvan el problema de las plataformas con el discurso del odio y la desinformación. Estos sistemas se ponen en juego en el momento en que lo que debe moderarse adquiere tales dimensiones que la moderación manual resulta impracticable. A partir de ese momento hacen aparición procedimientos como el 'spam' u otros filtros similares que no requieren una intervención humana. Ahora bien, la moderación algorítmica es un sistema demasiado opaco, que comete no pocos errores y que da pocas explicaciones.

El problema fundamental de la moderación es que no es fácil establecer qué es o no aceptable y menos confiar esa decisión a una máquina. Asuntos como el odio, el insulto, la incitación a la violencia, la desnudez o el terrorismo son apreciaciones en buena medida contextuales y que varían de una cultura a otra, pero los sistemas de 'machine learning' son muy pobres a la hora de hacer juicios que dependen de un contexto y pueden limitar arbitrariamente la expresión. Se trata de instrumentos que detectan palabras o frases, pero que no son capaces de considerar el contexto que determina el sentido de un mensaje. Este tipo de sistemas no pueden tener en cuenta las claves contextuales que hacen que una palabra particular dentro de una frase sea aceptable o no.

Pensemos en conceptos resbaladizos como el de 'discurso del odio', la 'toxicidad' o realidades controvertidas como la pornografía o el terrorismo. Existen muchos casos de errores en la identificación de malos contenidos precisamente porque los programas que analizan el lenguaje con inteligencia artificial tienen dificultades para calibrar el contexto y por eso se pudo dar el caso de que un chat sobre ajedrez fue eliminado como 'discurso de odio' atendiendo únicamente a los términos utilizados. Palabras como 'negro' o 'ataque' pueden tener diferentes significados cuando se juega al ajedrez o cuando se profieren en un entorno de hostilidad. Moderar es, a la vez, tener en cuenta un contenido, la intención de su autor, las consecuencias imprevistas de su difusión y el sentido que puede tener en un contexto cultural determinado.

No es extraño, por tanto, que esta dificultad de interpretación dé lugar a resultados cuestionables. Cuando se trata de moderar el contenido, los programas de inteligencia artificial no son idóneos para entender el contexto y el matiz, por lo que cometen errores que equivalen a 'falsos positivos' (eliminar una foto o un texto inocuos) o 'falsos negativos' (no detectar un postviolento o indeseable). El más célebre error fue la eliminación que Facebook hizo en 2016 de la foto de Nick Ut, ganador de un Premio Pulitzer, 'Napalm Girl', la foto de una niña de nueve años desnuda huyendo aterrorizada durante la Guerra de Vietnam. Esta descalificación como pornografía infantil de una foto así pone de manifiesto la naturaleza contextual de las imágenes y las limitaciones de las decisiones algorítmicas.

Este filtrado es problemático por la cuestión de la interpretación. Lo que es tolerado en un país puede no serlo en otro; la sensibilidad del público varía en función del entorno cultural; lo que para uno es una protesta, para otro es un motín; la frontera entre la crítica y el desprecio no es nítida y semejante en todas las culturas. Cuando nos referimos al lenguaje que insulta o incita a la violencia el contexto y la cultura son decisivos. Las decisiones sobre las que se basa el 'ranking', la recomendación o el bloqueo de contenidos pueden estar categorizando la ofensa desde cierta perspectiva particular o concepción cultural no generalizable. Deberíamos considerar, además, la contradicción democrática que supone el hecho de que unos trabajadores del sur global estén aplicando unas normas establecidas por una élite de Silicon Valley.

Buena parte de los problemas que pretende resolver la moderación de contenidos podrían solucionarse con un mejor diseño. Mejorar las redes sociales no es simplemente permitir el acceso formal ilimitado ni retirar los contenidos que se consideran indeseables; requiere equilibrar libertad y moderación conforme a unos criterios compartidos y con un diseño del medio que favorezca una conversación verdaderamente democrática.

Y el valor fundamental de la democracia es el pluralismo. La disposición de los internautas a la homofilia, es decir, a frecuentar interlocutores similares, es acentuada por la arquitectura de selección propuesta por las plataformas que nos priva de una exposición suficiente a voces contrarias. No basta con la accesibilidad de las opiniones; es necesaria una visibilidad efectiva por parte de públicos diversos. La fragmentación del espacio público está reduciendo las experiencias comunes.

Luchar eficazmente contra la manipulación y el odio pasa por el diseño de las plataformas con el fin de evitar su calentamiento. Dado que las falsas informaciones se propagan más rápidamente que las demás, las teorías conspiracionistas son más consultadas que sus desmentidos y la violencia expresiva capta la atención de los usuarios, los instrumentos a disposición de los internautas deben permitir desacelerar el flujo de información y estimular la reflexividad de los usuarios sobre sus propias prácticas. Se trataría, en definitiva, de facilitar interacciones más constructivas y menos egocéntricas.