El hackathon de este año se centra en la creación de recursos que permitan la evaluación y el alineamiento de modelos de lenguaje con la cultura de los países de LATAM y la Península Ibérica.
El hackathon consta de un reto principal y varios mini retos con los que también podéis acumular puntos para los premios finales y ganar premios extra. La puntuación máxima total es de 10 puntos.
Antes de comenzar, todas las personas tienen que:
- ✅ Unirse al servidor de Discord de SomosNLP
- ✅ Crear una cuenta en Hugging Face
- ✅ Rellenar el formulario de registro
- ✅ Unirse a la organización de Hugging Face del hackathon, donde se compartirán los datasets, modelos y demos
Para crear un equipo:
- Puedes apuntarte con gente que ya conozcas (por ejemplo, tu grupo de clase o del trabajo) o conocer a gente de la comunidad de SomosNLP de otros países, universidades y empresas. Si quieres conocer a gente, revisa el canal #encuentra-equipo
- Una vez que hayáis creado el equipo, UNA persona tiene que registrar el equipo
Al participar tendrás la oportunidad de:
- ✨ Aprender con talleres y charlas en directo
- ✨ Conseguir acceso a los 500 USD de la API de Cohere
- ✨ Conseguir acceso a GPUs L40S de Hugging Face
- ✨ Ganar 1000 USD en créditos de la API de Mistral
- ✨ Ganar cientos de USD en créditos GPU y libros de IA y lenguaje
- ✨ Ganar acceso a un Máster online de IA
- ✨ Ganar una entrada para la conferencia online de WomenTech Network
- ✨ Ganar una nominación a la red de talento Nova
- ✨ Ganar mentorías con personas relevantes en el campo del PLN
- ✨ Co-publicar papers en conferencias de PLN internacionales
- ✨ Conseguir un certificado de participación (o equipo ganador) del hackathon
Si tienes cualquier duda:
- Revisa el canal #anuncios, recomendamos activar las notificaciones del canal, publicamos máximo 1 vez al día
- Pregunta tus dudas en el canal #pide-ayuda de Discord para que todo el mundo pueda beneficiarse de la respuesta
- Los eventos los anunciamos en el canal #eventos y los añadimos al calendario de Google
- Nos puedes dar feedback para mejorar las guías de los retos con este formulario (anónimo)
¡A por ello! 🚀
✨ Mini retos
✅ Exámenes (INCLUDE)
Busca exámenes de opción múltiple de tu país para evaluar el conocimiento de los LLMs. Prioriza exámenes en lenguas distintas al español y/o centrados en temas culturales (e.g. historia, literatura). Utilizaremos estas preguntas y respuestas para extender el benchmark abierto INCLUDE.
9 de abril - 31 de mayo (EXTENDIDA) | máx 1 pto
Requisitos: Saber buscar en internet
👀 Estereotipos
Comparte y evalúa estereotipos para ayudar a mitigar sesgos de los LLMs.
9 de abril - 15 de mayo (EXTENDIDA) | máx 1 pto
Requisitos: Haber vivido en sociedad
❓ Preguntas culturales (BLEND)
Responde preguntas sobre tu país para evaluar el conocimiento cultural de LLMs. Utilizaremos estas respuestas para extender el benchmark abierto BLEND.
14 de abril - 31 de mayo (EXTENDIDA) | máx 2 ptos
Requisitos: Haber vivido en sociedad
🔥 Reto principal
📚 Dataset de preferencias (LLM Arena)
Diseña prompts que evalúen la adecuación cultural con tu país y elige la mejor respuesta en un LLM Arena. Los prompts y las respuestas serán recolectados y compartidos con todos los equipos participantes como dataset de preferencias v0 para la fase de alineamiento. Para este reto tendrás acceso a un LLM Arena con 5 modelos de gran tamaño o propietarios.
14 de abril - 15 de mayo (EXTENDIDA) | máx 3 ptos
Requisitos: Haber vivido en sociedad y querer comprender bien el concepto de adecuación cultural
⚙️ Opción A: Alineamiento de LLMs
Procesa, filtra y extiende el dataset de preferencias v0 adaptándolo a tu caso de uso. Utilízalo para alinear un LLM utilizando técnicas de entrenamiento optimizado y alineamiento como LoRA, cuantización y optimización directa de preferencias (DPO). Para este reto cada equipo tendrá acceso a 500 USD de la API de Cohere y una GPU L40S de Hugging Face.
21 de abril - 31 de mayo (Máx. 2 semanas) | máx 3 ptos
Requisitos: Saber programar
Más información
Guías y material de apoyo:
- Notebook de ejemplo para alinear un LLM con DPO
Incentivos:
- Suma hasta 3 ptos a la puntuación total de tu equipo
Muchísimas gracias a:
- Cohere: Créditos API por un valor de 500 USD para cada equipo
- Hugging Face: GPUs L40S para cada equipo (L40S = 8 vCPU, 62 GB RAM, 48 GB VRAM)
🎨 Opción B: Proyecto multimodal cultural
Crea un modelo multimodal que genere descripciones de imágenes teniendo en cuenta el contexto. Para este reto cada equipo tendrá acceso a 500 USD de la API de Cohere y una GPU L40S de Hugging Face.
21 de abril - 31 de mayo (Máx. 2 semanas) | máx 3 ptos
Requisitos: Tener experiencia en PLN, habrá menos material de apoyo para este reto que para la opción A
Más información
Guías y material de apoyo:
- Notebook de ejemplo para entrenar un modelo de generación de descripciones de imágenes
Incentivos:
- Suma hasta 3 ptos a la puntuación total de tu equipo
Muchísimas gracias a:
- Cohere: Créditos API por un valor de 500 USD para cada equipo
- Hugging Face: GPUs L40S para cada equipo (L40S = 8 vCPU, 62 GB RAM, 48 GB VRAM)
🎥 Creación de una demo
Crea una demo de tu proyecto en un Space de HuggingFace para que todo el mundo pueda ver tu trabajo.
Hasta el 31 de mayo (EXTENDIDA) | máx 0.5 ptos
Más información
Guías y material de apoyo:
- Código de ejemplo para crear una demo en Hugging Face
Incentivos:
- Suma hasta 0.5 ptos a la puntuación total de tu equipo
- Mejores 2 o 3 demos = extensión del tiempo de ZeroGPU
- Necesario para dar el proyecto por finalizado y optar a los premios
Muchísimas gracias a:
- Hugging Face: ZeroGPU para las demos
🎥 Vídeo 5’ presentando el proyecto
Graba un vídeo 5 minutos presentando tu proyecto.
Envío hasta el1 de junio (EXTENDIDA) | máx 0.5 ptos
Más información
Guías y material de apoyo:
- Recomendaciones para crear una presentación
Incentivos:
- Suma hasta 0.5 ptos a la puntuación total de tu equipo
- Requerido por Mistral para dar los créditos al equipo ganador
- Necesario para dar el proyecto por finalizado y optar a los premios
📝 Opcional: escritura de un paper
Con la ayuda de doctorandos, profesores y profesoras, escribe un paper presentando tu proyecto y mándalo al workshop de LatinX in NLP de NeurIPS, una de las conferencias más importantes del campo.
Más información
Incentivos:
- Gana experiencia de investigación
- Si tu paper es aceptado, ¡tendrás la oportunidad de viajar a Vancouver a presentarlo!
Muchísimas gracias a:
- LatinX in AI: Mentorías para escribir papers
📅 Eventos
Automatizando extracción de corpus desde PDFs | Alfonso Amayuelas, PhD @ Universidad de California, Santa Barbara
¿Cómo usar las últimas herramientas en LLMs para crear QA datasets? En este evento usaremos un modelo de OCR y LLMs para estandarizar exámenes, cuestionarios, etc.
Confidently wrong: expresando incertidumbre en tareas multilinguales | Selene Baez, Postdoc @ University of Zurich
Si bien la fluidez y la coherencia de los Modelos de Lenguaje (LLM) en la generación de texto han mejorado significativamente, su capacidad para generar expresiones adecuadas de incertidumbre sigue siendo limitada. Mediante una tarea de Q&A multilingüe a libro cerrado y GPT-3.5, exploramos la precisión con la que los LLM se calibran y expresan certeza en una variedad de idiomas, incluyendo entornos con bajos recursos.
Red Teaming para Modelos de Lenguaje | Luis Vasquez, Research Engineer @Barcelona Supercomputing Center
Breve introducción al Red Teaming para Modelos de Lenguaje: definición, estrategias comunes y recursos.
