¿Cómo la tecnología nos ayuda a eliminar el contenido inapropiado de Facebook?

Por Guy Rosen *

Hay dos formas para reconocer contenido inapropiado como videos terroristas, incitación al odio, pornografía o violencia: eliminarla cuando alguien lo reporte o encontrarlo proactivamente a través de la tecnología. Ambos son importantes, pero los avances en tecnología, incluso en inteligencia artificial, aprendizaje automático y visión artificial, significan que ahora podemos:

Eliminar contenido inapropiado más rápido porque no se tiene que esperar a que sea reportado. Cuando se trata de un suicidio, esto puede significar la diferencia entre la vida y la muerte porque en cuanto nuestra tecnología identifique que alguien expresó sentimientos de suicidio, podemos ofrecer ayuda o trabajar con los primeros en responder, lo que hemos hecho en más de 1,000 casos. (Imagen: Chinnapong, Shuttestock).

Detectar más contenido porque se debe esperar a que alguien más lo encuentre y reporte. Como fue anunciado, hace dos semanas, en el primer trimestre de 2018 se eliminaron proactivamente casi dos millones de publicaciones de contenido de ISIS y Al-Qaeda: el 99% de las cuales fueron eliminadas antes de que alguien lo reportara a Facebook.

Aumentar la capacidad del equipo de revisión para trabajar en casos en que se necesita experiencia humana para comprender el contexto o los matices de una situación particular. Por ejemplo, ¿alguien está hablando sobre su propia adicción a las drogas o animando a otros a tomar drogas?

Llevó tiempo desarrollar este software y constantemente se está trabajando para mejorarlo. Esto se hace mediante el análisis de ejemplos específicos de contenido inapropiado que ya fue reportado y eliminado, con el fin de identificar patrones de comportamiento. Estos patrones se pueden usar para enseñar a nuestro software a buscar proactivamente otros problemas similares.

Desnudos y violencia gráfica: Estos son dos tipos muy diferentes de contenido, pero se están utilizando mejoras en la visión computacional para eliminar ambos de forma proactiva.

Tecnología detectar violaciones de políticas

Discurso de odio: Comprender el contexto del discurso por lo general requiere ojos humanos: ¿es un discurso de odio, o se lo comparte para condenar el discurso de odio o aumentar la conciencia al respecto? Se comenzó a implementar la tecnología para detectar de manera proactiva algo que pueda violar las políticas, comenzando con ciertos idiomas, como inglés y portugués. Luego, los equipos revisan el contenido, de modo que lo que está bien permanece en la plataforma. Un ejemplo es alguien que describe el odio que encontraron para concientizar sobre el problema.

Cuentas falsas: Se bloquean millones de cuentas falsas todos los días cuando se crean y antes de que puedan causar algún daño. Esto es muy importante en la lucha contra el spam, las noticias falsas, la desinformación y los anuncios inapropiados. Recientemente, se empezó a usar inteligencia artificial para detectar cuentas vinculadas a estafas financieras.

Spam: La gran mayoría del trabajo para combatir el spam se realiza automáticamente mediante patrones reconocibles de comportamiento problemático. Por ejemplo, si una cuenta se publica una y otra vez en una sucesión rápida, eso es una señal fuerte de que algo está mal.

Propaganda terrorista: La gran mayoría de este contenido se elimina automáticamente, sin la necesidad de que alguien lo reporte primero.

Prevención del suicidio: Como se explicó anteriormente, se identifica de manera proactiva las publicaciones que pueden manifestar que las personas están en riesgo para que puedan obtener ayuda.
Cuando se habla de tecnología como la inteligencia artificial, la visión computacional o el aprendizaje automático, las personas a menudo se preguntan por qué no se progresa más rápido y es una buena pregunta. La Inteligencia Artificial, por ejemplo, es muy prometedora, pero todavía estamos a años de que sea efectiva para todo tipo de contenido inapropiado porque el contexto es muy importante. Es por eso que contamos con personas que siguen revisando los informes.
Y, en términos más generales, la tecnología necesita grandes cantidades de datos de capacitación para reconocer patrones de comportamiento significativos, que a menudo faltan en los idiomas menos utilizados o en los casos que no se informan con frecuencia. Es por eso por lo que normalmente se puede hacer más en inglés, ya que es el mayor conjunto de datos que tenemos en Facebook.
Pero estamos invirtiendo en tecnología para aumentar nuestra precisión en nuevos idiomas. Por ejemplo, Facebook AI Research (FAIR) está trabajando en un área llamada embeddings multilenguas como una forma potencial de abordar el tema desafío del lenguaje. Es por eso por lo que a veces pedimos a las personas que reporten si las publicaciones contienen cierto tipo de contenido, para alentarlas a marcarlo para su revisión. Y es por eso que los informes que provienen de personas que usan Facebook son tan importantes, y por lo que pedimos a nuestra comunidad que por favor siga reportando. Trabajando juntos podemos ayudar a que Facebook sea más seguro para todos.

*Guy Rosen, V-P de Gestión de Productos.