En los últimos años, el rol de los conflictos armados y las crisis humanitarias atravesó las grandes plataformas tecnológicas, particularmente en términos de moderación. Luego de muchos debates respecto a estas iniciativas en las plataformas de redes sociales, surgieron casos que pondrían de manifiesto la importancia de la moderación.

Meta, la empresa detrás de Facebook e Instagram, enfrenta crecientes cuestionamientos por su presunta inacción ante la propagación de discursos de odio en Etiopía, en medio del conflicto en la región de Tigré. A partir de denuncias, demandas judiciales y testimonios de víctimas, el caso se convirtió en un emblema global sobre los límites éticos, políticos y legales de la moderación de contenidos.

Ante este escenario, el Dr. Iván Vladimir Meza Ruiz, investigador del Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas de la UNAM, y especialista en inteligencia artificial, advierte que “la moderación de contenido es una herramienta indispensable para garantizar una experiencia digital segura y reducir el daño que puede generar la exposición a contenido violento, ilegal o desinformativo”.

En abril de 2025, la Corte Suprema de ese país resolvió que Meta puede ser juzgada allí por su presunta responsabilidad. Es un fallo histórico: sienta precedente para que las grandes empresas tecnológicas respondan legalmente en países donde ni siquiera están registradas.

Un informe del Wall Street Journal reveló que los chatbots de inteligencia artificial de Meta en Facebook e Instagram mantuvieron conversaciones sexualmente explícitas con usuarios, incluidos menores, utilizando voces y personalidades de celebridades y personajes de Disney. Estos bots simularon escenarios sexuales ilegales, incluso reconociendo su ilegalidad. Meta recibió críticas por no implementar salvaguardas efectivas para prevenir este tipo de interacciones.

Organizaciones como la Liga Antidifamación (ADL) y la red de inversores judíos JLens están instando a los accionistas de Meta a apoyar propuestas que exijan mayor transparencia en la gestión del discurso de odio en las plataformas. Estas propuestas buscan que Meta publique informes detallados sobre cómo identifica y modera contenido antisemita, anti-LGBTQ+ y contra personas con discapacidad.

Además, la Comisión Europea inició investigaciones formales sobre los mecanismos de moderación de contenido de Meta, exigiendo informes detallados sobre las medidas implementadas para evitar la propagación de información falsa, especialmente en relación con el conflicto en Israel y los procesos electorales.

Además, el debate sobre la moderación cobró nueva relevancia cuando Sama —el principal contratista de Meta para moderación en África oriental— anunció en 2023 que dejaba de ofrecer ese servicio, aludiendo al “clima económico”. Esto generó preocupación sobre la capacidad de Meta para gestionar contenidos nocivos en contextos de alta fragilidad social.

Según Meza Ruiz, el cambio podría estar impulsado por razones políticas, más que técnicas. “Todo apunta a una alineación con ciertas corrientes que rechazan la intervención de las plataformas en nombre de la libertad de expresión, incluso si eso significa permitir discursos de odio”, sostiene. Y advierte: “Lo peligroso no es solo el cambio, sino la falta de transparencia”.

Más de 100 exmoderadores en Kenia también demandaron a Meta y Sama por secuelas psicológicas graves, luego de haber estado expuestos constantemente a violencia gráfica, asesinatos, abusos sexuales y otras imágenes perturbadoras.

Denuncian que trabajaban bajo presión extrema, con métricas inhumanas de rendimiento y sin pausas suficientes, lo que les provocó depresión, ansiedad y trastorno de estrés postraumático.

Consultado sobre si situaciones como las ocurridas en Kenia y Etiopía pudieron haberse evitado, el investigador Meza Ruiz reconoce que “es difícil prevenir todo, especialmente en plataformas globales donde convergen múltiples culturas y conflictos”.

Pero aclara que “sí se pudo mitigar el daño si se hubieran tomado decisiones más responsables”. El experto asegura que permitir que los algoritmos amplifiquen contenido violento sin control es, en sí mismo, una forma de intervención, y como tal, debería tener consecuencias.

Por ello, plantea la necesidad urgente de regulación. “Estas plataformas ya no pueden seguir diciendo que solo son intermediarias. Si su algoritmo decide qué vemos y qué no, entonces tienen responsabilidad sobre esos efectos”, afirma.