Para contrarrestar el discurso de odio y el acoso cibernético en línea, los gigantes de la web utilizan algoritmos de moderación automática que, a pesar de algunos contratiempos reales, funcionan bastante bien en general. A menudo permiten actuar mucho más rápido de lo que podrían hacerlo los servicios legales que no tienen los mismos medios de acción.
El clic de la final de la Euro
Sin embargo, estos, por supuesto, no están exentos de defectos. Sabemos, por ejemplo, que a veces les cuesta reconocer mensajes sarcásticos. Los investigadores del Oxford Internet Institute acaban de descubrir otro problema importante. Señalan que la inteligencia artificial detecta menos los mensajes abusivos publicados en línea cuando contienen emojis.
Por lo tanto, si bien el sistema identifica bastante bien el discurso de odio en el texto, tiene más dificultades cuando este último incluye emoticonos. Un ejemplo emblemático es citado por nuestros colegas de Mundo de la información digital. Durante la última final de la Eurocopa, los jugadores negros de la selección de Inglaterra fueron objeto de insultos racistas. Cuando se agregó un emoji de mono al mensaje, el algoritmo luchó por detectarlo.
Esta falla es bastante lógica, ya que estos sistemas a menudo se entrenan a través de bases de datos que incluyen texto y relativamente pocos emojis. En cualquier caso, existe una necesidad urgente de actuar si queremos creer los resultados proporcionados por los autores que utilizaron una base de datos que incluye 4000 frases que contienen muchos emoticonos.
En detalle, Perspective API, la herramienta de Google, solo obtuvo una tasa de éxito del 14%. Por su parte, los científicos han entrenado su propia IA utilizando emojis y su eficiencia se ha mejorado enormemente. Los investigadores han decidido, con razón, compartir su base de datos para que todos los jugadores interesados puedan mejorar sus herramientas.
