Validación de benchmarks con Argilla

Lanzamos la campaña de anotación de benchmarks

María Grandury· 4 mar 2024· 1min

¿Te gustaría participar en la creación de la primera leaderboard abierta de LLMs en español y lenguas cooficiales?

Aunque no tengas conocimientos de IA y dispongas de poquito tiempo, puedes colaborar validando las traducciones del inglés al español de las bases de datos de la famosa Open LLM Leaderboard de Hugging Face, en concreto de MMLU, ARC-C y HellaSwag. Estas traducciones fueron originalmente hechas por el Grupo de PLN de la Universidad de Oregon utilizando ChatGPT y con este esfuerzo colaborativo las queremos validar y corregir para asegurarnos de que utilizamos datos de calidad.

🚀 Cómo participar

  1. Crea una cuenta enHugging Facey únete a la organización deSomosNLP

  2. Entra en elentorno de anotación

  3. Valida la traducción de un párrafo del inglés al español

  4. Repite el paso 3 cuantas veces quieras y mira cómo subes en elranking de colaboraciones

  5. Tu nombre aparecerá como parte del equipo que creó las bases de datos de la futura leaderboard de LLMs en español

¡Participa en este gran esfuerzo colaborativo!

🙌 Agradecimientos

Gracias al equipo de Argilla por co-organizar esta iniciativa, en concreto de Álvaro Bartolomé por crear el espacio de anotación, a … por crear el dashboard y a Daniel Vila por prestarnos a su maravilloso equipo.

Gracias también a Hugging Face, en particular a Omar Sanseviero, por patrocinar las GPUs y el almacenamiento necesarios para habilitar estos espacios.

Como siempre, ¡todo un placer trabajar con vosotros!