Cuando existe desacuerdo entre anotadores, el procedimiento habitual es resolverlo de alguna manera: buscando consenso, quedándose con la opción mayoritaria, etc. Pero, al menos cuando la tarea es subjetiva, el desacuerdo puede ser una señal para los sistemas. En la charla estudiaremos cómo abordarlo desde la perspectiva de EXIST, una tarea bilingüe de detección de sexismo en redes sociales.
¿Qué vas a aprender al asistir a esta charla?
- En las tareas subjetivas, el desacuerdo entre anotadores puede usarse tanto para evaluar mejor los sistemas como para desarrollar mejores sistemas. El desacuerdo es señal, no ruido.
- Las métricas de evaluación con desacuerdo existentes son muy limitadas. Veremos una métrica novedosa que permite abordar todo tipo de problemas de clasificación con desacuerdo.
- La detección de sexismo es un problema particularmente subjetivo, en el que es necesario incorporar el desacuerdo entre anotadores.