Un equipo de investigadores de Yahoo desarrolló un algoritmo que puede detectar palabras y comentarios abusivos de manera más eficiente que cualquier método que se ha implementado hasta el momento.
Utilizaron diferentes técnicas tomando como base un conjunto de datos, tomando como referencias los comentarios marcados como ofensivos por lo editores de Yahoo en sus propios artículos. Esto permitía determinar, que palabras o detalles se utilizaban con frecuencia en mensajes abusivos.
Pero dieron un paso más y utilizaron lo que se llama “word embedding”, para la representación de palabras con vectores, lo que permite un enfoque más preciso, ya que permite predecir otras palabras en contexto. Es decir, ya no depende de localizar las palabras señaladas como abusivas, sino que puede reconocer que una cadena de palabras dan lugar a un comentario ofensivo, aunque no lo sean individualmente.
Y según los estudios realizados, este algoritmo fue capaz de identificar lenguaje abusivo el 90% de las veces. Podemos ver el informe que han presentado este grupo de investigadores, sus métodos y conclusiones, en este PDF que han compartido.