Retos #HackathonSomosNLP 2025

Vamos a impulsar la creación de modelos de lenguaje alineados con la cultura de los países de LATAM y la Península Ibérica.


El hackathon de este año se centra en la creación de recursos que permitan la evaluación y el alineamiento de modelos de lenguaje con la cultura de los países de LATAM y la Península Ibérica.

El hackathon consta de un reto principal y varios mini retos con los que también podéis acumular puntos para los premios finales y ganar premios extra. La puntuación máxima total es de 10 puntos.

Antes de comenzar:

Al participar tendrás la oportunidad de:

  • ✨ Aprender con talleres y charlas en directo
  • ✨ Conseguir acceso a los 500 USD de la API de Cohere
  • ✨ Conseguir acceso a GPUs L40S de Hugging Face
  • ✨ Ganar 1000 USD en créditos de la API de Mistral
  • ✨ Ganar cientos de USD en créditos GPU y libros de IA y lenguaje
  • ✨ Ganar acceso a un Máster online de IA
  • ✨ Ganar una entrada para la conferencia online de WomenTech Network
  • ✨ Ganar una nominación a la red de talento Nova
  • ✨ Ganar mentorías con personas relevantes en el campo del PLN
  • ✨ Co-publicar papers en conferencias de PLN internacionales
  • ✨ Conseguir un certificado de participación (o equipo ganador) del hackathon

Si tienes cualquier duda:

  • Revisa el canal#anuncios, recomendamos activar las notificaciones del canal, publicamos máximo 1 vez al día
  • Pregunta tus dudas en el canal#pide-ayudade Discord para que todo el mundo pueda beneficiarse de la respuesta
  • Los eventos los anunciamos en el canal#eventosy los añadimos alcalendario de Google
  • Nos puedes dar feedback para mejorar las guías de los retos con esteformulario(anónimo)

¡A por ello! 🚀

✨ Mini retos

✅ Exámenes (INCLUDE)

Busca exámenes de opción múltiple de tu país para evaluar el conocimiento de los LLMs. Prioriza exámenes en lenguas distintas al español y/o centrados en temas culturales (e.g. historia, literatura). Utilizaremos estas preguntas y respuestas para extender el benchmark abierto INCLUDE.

9 de abril - 24 de abril (EXTENDIDA) | máx 1 pto

Requisitos: Saber buscar en internet

👀 Estereotipos

Comparte y evalúa estereotipos para ayudar a mitigar sesgos de los LLMs.

9 de abril - 7 de mayo | máx 1 pto

Requisitos: Haber vivido en sociedad

❓ Preguntas culturales (BLEND)

Responde preguntas sobre tu país para evaluar el conocimiento cultural de LLMs. Utilizaremos estas respuestas para extender el benchmark abierto BLEND.

14 de abril - 7 de mayo | máx 2 ptos

Requisitos: Haber vivido en sociedad

🔥 Reto principal

📚 Dataset de preferencias (LLM Arena)

Diseña prompts que evalúen la adecuación cultural con tu país y elige la mejor respuesta en un LLM Arena. Los prompts y las respuestas serán recolectados y compartidos con todos los equipos participantes como dataset de preferencias v0 para la fase de alineamiento. Para este reto tendrás acceso a un LLM Arena con 5 modelos de gran tamaño o propietarios.

14 de abril - 28 de abril | máx 3 ptos

Requisitos: Haber vivido en sociedad y querer comprender bien el concepto de adecuación cultural

⚙️ Opción A: Alineamiento de LLMs

Procesa, filtra y extiende el dataset de preferencias v0 adaptándolo a tu caso de uso. Utilízalo para alinear un LLM utilizando técnicas de entrenamiento optimizado y alineamiento como LoRA, cuantización y optimización directa de preferencias (DPO). Para este reto cada equipo tendrá acceso a 500 USD de la API de Cohere y una GPU L40S de Hugging Face.

21 de abril - 5 de mayo | máx 3 ptos

Requisitos: Saber programar

Más información

Guías y material de apoyo:

  • Notebook de ejemplo para alinear un LLM con DPO

Incentivos:

  • Suma hasta 3 ptos a la puntuación total de tu equipo

Muchísimas gracias a:

  • Cohere: Créditos API por un valor de 500 USD para cada equipo
  • Hugging Face: GPUs L40S para cada equipo (L40S = 8 vCPU, 62 GB RAM, 48 GB VRAM)

🎨 Opción B: Proyecto multimodal cultural

Crea un modelo multimodal que genere descripciones de imágenes teniendo en cuenta el contexto. Para este reto cada equipo tendrá acceso a 500 USD de la API de Cohere y una GPU L40S de Hugging Face.

21 de abril - 5 de mayo | máx 3 ptos

Requisitos: Tener experiencia en PLN, habrá menos material de apoyo para este reto que para la opción A

Más información

Guías y material de apoyo:

  • Notebook de ejemplo para entrenar un modelo de generación de descripciones de imágenes

Incentivos:

  • Suma hasta 3 ptos a la puntuación total de tu equipo

Muchísimas gracias a:

  • Cohere: Créditos API por un valor de 500 USD para cada equipo
  • Hugging Face: GPUs L40S para cada equipo (L40S = 8 vCPU, 62 GB RAM, 48 GB VRAM)

🎥 Creación de una demo

Crea una demo de tu proyecto en un Space de HuggingFace para que todo el mundo pueda ver tu trabajo.

21 de abril - 5 de mayo | máx 0.5 ptos

Más información

Guías y material de apoyo:

  • Código de ejemplo para crear una demo en Hugging Face

Incentivos:

  • Suma hasta 0.5 ptos a la puntuación total de tu equipo
  • Mejores 2 o 3 demos = extensión del tiempo de ZeroGPU
  • Necesario para dar el proyecto por finalizado y optar a los premios

Muchísimas gracias a:

  • Hugging Face: ZeroGPU para las demos

🎥 Vídeo 5’ presentando el proyecto

Graba un vídeo 5 minutos presentando tu proyecto.

7 de mayo | máx 0.5 ptos

Más información

Guías y material de apoyo:

  • Recomendaciones para crear una presentación

Incentivos:

  • Suma hasta 0.5 ptos a la puntuación total de tu equipo
  • Requerido por Mistral para dar los créditos al equipo ganador
  • Necesario para dar el proyecto por finalizado y optar a los premios

📝 Opcional: escritura de un paper

Con la ayuda de doctorandos, profesores y profesoras, escribe un paper presentando tu proyecto y mándalo al workshop de LatinX in NLP de NeurIPS, una de las conferencias más importantes del campo.

Más información

Incentivos:

  • Gana experiencia de investigación
  • Si tu paper es aceptado, ¡tendrás la oportunidad de viajar a Vancouver a presentarlo!

Muchísimas gracias a:

  • LatinX in AI: Mentorías para escribir papers

📅 Eventos

Automatizando extracción de corpus desde PDFs | Alfonso Amayuelas, PhD @ Universidad de California, Santa Barbara

¿Cómo usar las últimas herramientas en LLMs para crear QA datasets? En este evento usaremos un modelo de OCR y LLMs para estandarizar exámenes, cuestionarios, etc.

¡Grabación ya disponible!

alt text

Confidently wrong: expresando incertidumbre en tareas multilinguales | Selene Baez, Postdoc @ University of Zurich

Si bien la fluidez y la coherencia de los Modelos de Lenguaje (LLM) en la generación de texto han mejorado significativamente, su capacidad para generar expresiones adecuadas de incertidumbre sigue siendo limitada. Mediante una tarea de Q&A multilingüe a libro cerrado y GPT-3.5, exploramos la precisión con la que los LLM se calibran y expresan certeza en una variedad de idiomas, incluyendo entornos con bajos recursos.

¡Grabación disponible!

alt text

Red Teaming para Modelos de Lenguaje | Luis Vasquez, Research Engineer @Barcelona Supercomputing Center

Breve introducción al Red Teaming para Modelos de Lenguaje: definición, estrategias comunes y recursos.

¡Grabación disponible!

alt text