Buscamos exámenes tipo test en cualquier idioma para añadirlos al benchmark multicultural INCLUDE. ¡Rellena ya elformulario!
Se suele decir que los grandes modelos de lenguaje (LLM) están desarrollando capacidades multilingües cada vez más avanzadas, pero ¿en qué idiomas exactamente? En muchas ocasiones, el español está presente, pero, ¿qué variedades del idioma se están considerando? Si realmente aspiramos a que los LLM sean verdaderamente multilingües y multiculturales, necesitamos garantizar que toda la comunidad esté representada en las bases de datos. El cambio comienza creando conjuntos de evaluación diversos, que nos permitan medir el estado actual y avanzar hacia LLM que sean realmente inclusivos.
INCLUDEes un benchmark de evaluación de LLMs multilingüe y con un enfoque en la cultura. En la primera versión, publicada en diciembre de 2024, se incluyeron 42 idiomas, entre los cuales se encuentra el español (de Perú y España). Para extender este benchmark y que sea más representativo, desde SomosNLP nos hemos unido a la iniciativa liderada por EPFL y estamos buscando exámenes en todos los idiomas hablados en LATAM, el Caribe y España.
💡 Preguntas frecuentes
- ¿Hay algún requisito para los exámenes?Solo uno, que incluyan respuestas.
- ¿Hay alguna preferencia?Buscamos especialmente exámenes de tipo test, es decir, con preguntas de opción múltiple. La campaña de recolección está enfocada principalmente en contenido relacionado con la cultura de un país o región (e.g. historia, literatura). Igualmente, vale CUALQUIER tipo de examen.
- ¿Cómo puedo ayudar?Mándanos un enlace a un examen con esteformulario, nos encargamos de procesarlo.
- ¿Puedo participar más activamente en esta campaña?Si te interesa por ejemplo encargarte de recopilar exámenes en tu país, apoyar con su procesamiento o con el análisis de los resultados, indícalo en la última pregunta del formulario y te contactaremos.
- ¿Cómo se recompensa la colaboración activa?Las personas que procesen más de 300 preguntas podrán ser co-autoras en los papers relacionados con el benchmark.
✅ Ejemplos de exámenes
- Exámenes de acceso a la universidad
- Exámenes del colegio o de instituto
- Exámenes habilitantes de profesiones (medicina, psicología, derecho, etc.)
- Exámenes de idiomas
- Licencias de conducir
- Preguntas de concursos estilo “¿Quién quiere ser millonario?”
- Preguntas de juegos tipo Trivial Pursuit
- Tests de autoevaluación en libros de texto
📚 Enlaces útiles
- Paper original de INCLUDE
- Dataset en Hugging Face
- Formulario para añadir exámenes
- Comunidad de Discord de SomosNLP
🚀 Conoce al equipo
Angelika Romanou, Antoine Bosselut, Negar Foroutan y Anna Sotnikova de EPFL (École Polytechnique Fédérale de Lausanne), Jabez Magomere de la Universidad de Oxford, Shamsuddeen H. Muhammad del Imperial College London y María Grandury de SomosNLP.
👋 Contacto
- Si seleccionas en el formulario que te interesa participar activamente te contactaremos por email.
- Para la comunidad hispanohablante, hemos creado un nuevo canal en nuestroDiscordllamado #include-benchmark para responder vuestras preguntas relacionadas con el benchmark y cómo colaborar.