Retos #HackathonSomosNLP 2025

El hackathon de este año se centra en la creación de recursos que permitan la evaluación y el alineamiento de modelos de lenguaje con la cultura de los países de LATAM y la Península Ibérica.

El hackathon consta de un reto principal y varios mini retos con los que también podéis acumular puntos para los premios finales y ganar premios extra. La puntuación máxima total es de 10 puntos.

Antes de comenzar:

• ✅ Únete al servidor deDiscord de SomosNLP
• ✅ Crea una cuenta enHugging Face
• ✅ Rellena elformulario de registro
• ✅ Únete a laorganización de Hugging Facedel hackathon, donde se compartirán los datasets, modelos y demos
• ✅Crea o únete a un equipo, crear un hilo en el canal #encuentra-equipo es la manera de registrar tu equipo para el hackathon (aunque seas un equipo de 1 persona)

Al participar tendrás la oportunidad de:

• ✨ Aprender con talleres y charlas en directo
• ✨ Conseguir acceso a los 500 USD de la API de Cohere
• ✨ Conseguir acceso a GPUs L40S de Hugging Face
• ✨ Ganar 1000 USD en créditos de la API de Mistral
• ✨ Ganar cientos de USD en créditos GPU y libros de IA y lenguaje
• ✨ Ganar acceso a un Máster online de IA
• ✨ Ganar una entrada para la conferencia online de WomenTech Network
• ✨ Ganar una nominación a la red de talento Nova
• ✨ Ganar mentorías con personas relevantes en el campo del PLN
• ✨ Co-publicar papers en conferencias de PLN internacionales
• ✨ Conseguir un certificado de participación (o equipo ganador) del hackathon

Si tienes cualquier duda:

• Revisa el canal#anuncios, recomendamos activar las notificaciones del canal, publicamos máximo 1 vez al día
• Pregunta tus dudas en el canal#pide-ayudade Discord para que todo el mundo pueda beneficiarse de la respuesta
• Los eventos los anunciamos en el canal#eventosy los añadimos alcalendario de Google
• Nos puedes dar feedback para mejorar las guías de los retos con esteformulario(anónimo)

¡A por ello! 🚀

✨ Mini retos

✅ Exámenes (INCLUDE)

Busca exámenes de opción múltiple de tu país para evaluar el conocimiento de los LLMs. Prioriza exámenes en lenguas distintas al español y/o centrados en temas culturales (e.g. historia, literatura). Utilizaremos estas preguntas y respuestas para extender el benchmark abierto INCLUDE.

9 de abril - 24 de abril (EXTENDIDA) | máx 1 pto

Requisitos: Saber buscar en internet

• ¡Participa ya!
• Guías, material de apoyo e incentivos

👀 Estereotipos

Comparte y evalúa estereotipos para ayudar a mitigar sesgos de los LLMs.

9 de abril - 7 de mayo | máx 1 pto

Requisitos: Haber vivido en sociedad

• ¡Participa ya!
• Guías, material de apoyo e incentivos

❓ Preguntas culturales (BLEND)

Responde preguntas sobre tu país para evaluar el conocimiento cultural de LLMs. Utilizaremos estas respuestas para extender el benchmark abierto BLEND.

14 de abril - 7 de mayo | máx 2 ptos

Requisitos: Haber vivido en sociedad

• ¡Participa ya!
• Guías, material de apoyo e incentivos

🔥 Reto principal

📚 Dataset de preferencias (LLM Arena)

Diseña prompts que evalúen la adecuación cultural con tu país y elige la mejor respuesta en un LLM Arena. Los prompts y las respuestas serán recolectados y compartidos con todos los equipos participantes como dataset de preferencias v0 para la fase de alineamiento. Para este reto tendrás acceso a un LLM Arena con 5 modelos de gran tamaño o propietarios.

14 de abril - 28 de abril | máx 3 ptos

Requisitos: Haber vivido en sociedad y querer comprender bien el concepto de adecuación cultural

• ¡Participa ya!
• Guías, material de apoyo e incentivos

⚙️ Opción A: Alineamiento de LLMs

Procesa, filtra y extiende el dataset de preferencias v0 adaptándolo a tu caso de uso. Utilízalo para alinear un LLM utilizando técnicas de entrenamiento optimizado y alineamiento como LoRA, cuantización y optimización directa de preferencias (DPO). Para este reto cada equipo tendrá acceso a 500 USD de la API de Cohere y una GPU L40S de Hugging Face.

21 de abril - 5 de mayo | máx 3 ptos

Requisitos: Saber programar

🎨 Opción B: Proyecto multimodal cultural

Crea un modelo multimodal que genere descripciones de imágenes teniendo en cuenta el contexto. Para este reto cada equipo tendrá acceso a 500 USD de la API de Cohere y una GPU L40S de Hugging Face.

21 de abril - 5 de mayo | máx 3 ptos

Requisitos: Tener experiencia en PLN, habrá menos material de apoyo para este reto que para la opción A

🎥 Creación de una demo

Crea una demo de tu proyecto en un Space de HuggingFace para que todo el mundo pueda ver tu trabajo.

21 de abril - 5 de mayo | máx 0.5 ptos

🎥 Vídeo 5’ presentando el proyecto

Graba un vídeo 5 minutos presentando tu proyecto.

7 de mayo | máx 0.5 ptos

📝 Opcional: escritura de un paper

Con la ayuda de doctorandos, profesores y profesoras, escribe un paper presentando tu proyecto y mándalo al workshop de LatinX in NLP de NeurIPS, una de las conferencias más importantes del campo.

📅 Eventos

Automatizando extracción de corpus desde PDFs | Alfonso Amayuelas, PhD @ Universidad de California, Santa Barbara

¿Cómo usar las últimas herramientas en LLMs para crear QA datasets? En este evento usaremos un modelo de OCR y LLMs para estandarizar exámenes, cuestionarios, etc.

¡Grabación ya disponible!

Confidently wrong: expresando incertidumbre en tareas multilinguales | Selene Baez, Postdoc @ University of Zurich

Si bien la fluidez y la coherencia de los Modelos de Lenguaje (LLM) en la generación de texto han mejorado significativamente, su capacidad para generar expresiones adecuadas de incertidumbre sigue siendo limitada. Mediante una tarea de Q&A multilingüe a libro cerrado y GPT-3.5, exploramos la precisión con la que los LLM se calibran y expresan certeza en una variedad de idiomas, incluyendo entornos con bajos recursos.

¡Grabación disponible!

Red Teaming para Modelos de Lenguaje | Luis Vasquez, Research Engineer @Barcelona Supercomputing Center

Breve introducción al Red Teaming para Modelos de Lenguaje: definición, estrategias comunes y recursos.

¡Grabación disponible!