El hackathon de este año se centra en la creación de recursos que permitan la evaluación y el alineamiento de modelos de lenguaje con la cultura de los países de LATAM y la Península Ibérica.
El hackathon consta de un reto principal y varios mini retos con los que también podéis acumular puntos para los premios finales y ganar premios extra. La puntuación máxima total es de 10 puntos.
Antes de comenzar:
- Únete al servidor de Discord de SomosNLP
- Crea una cuenta en Hugging Face
- Rellena el formulario de registro
- Únete a la organización de Hugging Face
- Crea o únete a un equipo, crear un hilo en el canal #encuentra-equipo es la manera de registrar tu equipo para el hackathon
Si tienes cualquier duda:
- Revisa el canal #anuncios, recomendamos activar las notificaciones del canal, publicamos máximo 1 vez al día
- Pregúntanos en el canal #pide-ayuda de Discord para que todo el mundo pueda beneficiarse de la respuesta
- Los eventos los anunciamos en el canal #eventos y los añadimos al calendario
- Nos puedes dar feedback para mejorar las guías de los retos con este formulario (anónimo)
¡A por ello! 🚀
✨ Mini retos
✅ Exámenes (INCLUDE)
Busca exámenes de opción múltiple de tu país para evaluar el conocimiento de los LLMs. Prioriza exámenes en lenguas distintas al español y/o centrados en temas culturales (e.g. historia, literatura). Utilizaremos estas preguntas y respuestas para extender el benchmark abierto INCLUDE.
9 de abril - 21 de abril | máx 1 pto
Más información
Guías y material de apoyo: aquí
- Protocolo de recolección de exámenes
- Recomendaciones para encontrar exámenes
- Guía para extraer preguntas y respuestas de exámenes
Incentivos:
- 100 por equipo = 0.5 ptos y premio valorado en 50 USD
- 200 por equipo = 1 pto y premio valorado en 100 USD
- 300 por persona = invitación al Slack del proyecto global y co-autoría en el paper de INCLUDE v2
Muchísimas gracias a:
- EPFL: Premios y organización del equipo global
- El equipo: María Grandury y Angelika Romanou
👀 Estereotipos
Comparte y evalúa estereotipos para ayudar a mitigar sesgos de los LLMs.
9 de abril - 7 de mayo | máx 1 pto
Más información
Guías y material de apoyo: aquí
- Vídeo explicativo de la herramienta
- Guía escrita para utilizar la herramienta
Incentivos:
- 100 por equipo = 1 pto
- Tendréis acceso a los datos recolectados para alinear vuestro LLM
Muchísimas gracias a:
- El equipo: Luciana Benotti, Marcos Javier Gómez, Guido Ivetta, Sofía Martinelli Nair Carolina Mazzeo, Beatriz Busaniche, Emilia Echeveste y Pietro Palombini
❓ Preguntas culturales (BLEND)
Responde preguntas sobre tu país para evaluar el conocimiento cultural de LLMs. Utilizaremos estas respuestas para extender el benchmark abierto BLEND.
14 de abril - 7 de mayo | máx 2 ptos
¡Participa ya!
Más información
Guías y material de apoyo:
- Guía para responder preguntas
- Guía para validar respuestas
- Guía para proponer nuevas preguntas
Incentivos:
- 200 por equipo = acceso a los 500 USD de la API Cohere para el reto principal
- 50 por persona = co-autoría en el paper
Muchísimas gracias a:
- CENIA: Almacenamiento de los datos en los espacios de anotación
- El equipo: Eugenio Herrera, Sebastián Cifuentes, Clemente, Diana Galván y María Grandury
🔥 Reto principal
📚 Dataset de preferencias (LLM Arena)
Diseña prompts que evalúen la adecuación cultural con tu país y elige la mejor respuesta en un LLM Arena. Los prompts y las respuestas serán recolectados y compartidos con todos los equipos participantes como dataset de preferencias v0 para la fase de alineamiento. Para este reto tendrás acceso a un LLM Arena con 5 modelos de gran tamaño o propietarios.
14 de abril - 21 de abril | máx 3 ptos
¡Participa ya!
Más información
Guías y material de apoyo:
- Guía para diseñar buenos prompts
Incentivos:
- 100 por equipo = acceso a los 500 USD de la API de Cohere para el reto principal
- 200 por equipo = 2 ptos
- Suma hasta 3 ptos a la puntuación total de tu equipo
Muchísimas gracias a:
- CENIA: Créditos API para los LLMs de la Arena
- El equipo: Gonzalo Fuentes, Diana Galván, Eugenio Herrera, Sebastián Cifuentes, Clemente y María Grandury
⚙️ Opción A: Alineamiento de LLMs
Procesa, filtra y extiende el dataset de preferencias v0 adaptándolo a tu caso de uso. Utilízalo para alinear un LLM utilizando técnicas de entrenamiento optimizado y alineamiento como LoRA, cuantización y optimización directa de preferencias (DPO). Para este reto cada equipo tendrá acceso a 500 USD de la API de Cohere y una GPU L40S de Hugging Face.
21 de abril - 5 de mayo | máx 3 ptos
Más información
Guías y material de apoyo:
- Notebook de ejemplo para alinear un LLM con DPO
Incentivos:
- Suma hasta 3 ptos a la puntuación total de tu equipo
Muchísimas gracias a:
- Cohere: Créditos API por un valor de 500 USD para cada equipo
- Hugging Face: GPUs L40S para cada equipo (L40S = 8 vCPU, 62 GB RAM, 48 GB VRAM)
🎨 Opción B: Proyecto multimodal cultural
Crea un modelo multimodal que genere descripciones de imágenes teniendo en cuenta el contexto. Para este reto cada equipo tendrá acceso a 500 USD de la API de Cohere y una GPU L40S de Hugging Face.
21 de abril - 5 de mayo | máx 3 ptos
Más información
Guías y material de apoyo:
- Notebook de ejemplo para entrenar un modelo de generación de descripciones de imágenes
Incentivos:
- Suma hasta 3 ptos a la puntuación total de tu equipo
Muchísimas gracias a:
- Cohere: Créditos API por un valor de 500 USD para cada equipo
- Hugging Face: GPUs L40S para cada equipo (L40S = 8 vCPU, 62 GB RAM, 48 GB VRAM)
🎥 Creación de una demo
Crea una demo de tu proyecto en un Space de HuggingFace para que todo el mundo pueda ver tu trabajo.
21 de abril - 5 de mayo | máx 0.5 ptos
Más información
Guías y material de apoyo:
- Código de ejemplo para crear una demo en Hugging Face
Incentivos:
- Suma hasta 0.5 ptos a la puntuación total de tu equipo
- Mejores 2 o 3 demos = extensión del tiempo de ZeroGPU
Muchísimas gracias a:
- Hugging Face: ZeroGPU para las demos
🎥 Vídeo 5’ presentando el proyecto
Graba un vídeo 5 minutos presentando tu proyecto.
7 de mayo | máx 0.5 ptos
Más información
Guías y material de apoyo:
- Recomendaciones para crear una presentación
Incentivos:
- Suma hasta 0.5 ptos a la puntuación total de tu equipo
- Requerido por Mistral para dar los créditos al equipo ganador
📝 Opcional: escritura de un paper
Con la ayuda de doctorandos, profesores y profesoras, escribe un paper presentando tu proyecto y mándalo al workshop de LatinX in NLP de NeurIPS, una de las conferencias más importantes del campo.
Más información
Incentivos:
- Gana experiencia de investigación
- Si tu paper es aceptado, ¡tendrás la oportunidad de viajar a Vancouver a presentarlo!
Muchísimas gracias a:
- LatinX in AI: Mentorías para escribir papers
📅 Eventos
Confidently wrong: expresando incertidumbre en tareas multilinguales | Selene Baez, Postdoc @ University of Zurich
Si bien la fluidez y la coherencia de los Modelos de Lenguaje (LLM) en la generación de texto han mejorado significativamente, su capacidad para generar expresiones adecuadas de incertidumbre sigue siendo limitada. Mediante una tarea de Q&A multilingüe a libro cerrado y GPT-3.5, exploramos la precisión con la que los LLM se calibran y expresan certeza en una variedad de idiomas, incluyendo entornos con bajos recursos.
Red Teaming para Modelos de Lenguaje | Luis Vasquez, Research Engineer @Barcelona Supercomputing Center
Breve introducción al Red Teaming para Modelos de Lenguaje: definición, estrategias comunes y recursos.