Reto #HackathonSomosNLP 2025: Preferencias

• Pueden ser homogéneos (todas las personas son del mismo país) o heterogéneos (distintos países de origen)
  • Equipos homogéneos
    • Lo más probable es que los prompts sean más o menos estándares, ya que estarán representando a una misma cultura. Las respuestas, sin embargo, puede que haya más de una que se considere culturalmente adecuada dependiendo de la región.
    • Podéis reutilizar prompts y responderlos teniendo en cuenta la perspectiva de diferentes regiones.
  • Equipos heterogéneos
    • Es probable que haya variedad tanto en los prompts como en las respuestas que se consideran culturalmente adecuadas.
    • Podéis reutilizar prompts y responderlos teniendo en cuenta la perspectiva de diferentes países.
• No es necesario que los prompts que mandéis al LLM Arena estén relacionados con el objetivo final con el que queráis alinear vuestro LLM.

💡 Recomendación

1. Decidir si desean trabajar en un equipo homogéneo o heterogéneo. Recomendamos un punto medio: equipos que incluyan 2 o 3 países.
2. Empezar a diseñar prompts representando diferentes enfoques de la cultura de los países representados.
3. Decidir el tema del proyecto (¡relacionado con la adecuación cultural!) para tenerlo en cuenta, si queréis, en el diseño de prompts. Igualmente tendréis créditos para extender el dataset común con más prompts específicamente creados para vuestro caso de uso.

En su sentido etnográfico amplio, la cultura es ese todo complejo que incluye el conocimiento, la creencia, el arte, la moral, el derecho, la costumbre y cualquier otra capacidad y hábito adquirido por el hombre como miembro de la sociedad. (ref)

Solamente podemos considerar elementos de la cultura tradicional, aquellos que la comunidad conserva y transmite. […] Esta aceptación, y por tanto, la literariedad tradicional, popular o folclórica, dependerá de si el texto se ajusta a un lenguaje determinado, a estructuras específicas, coincide con determinados temas, y se crea desde una estética colectiva. (ref)

Existencia de varias culturas que conviven en un mismo espacio físico, geográfico o social. Abarca todas las diferencias que se enmarcan dentro de la cultura, ya sea, religiosa, lingüística, racial, étnica o de género. (ref)

Ante la comunidad se reconoce la diversidad en todos los ámbitos y reconoce el respeto hacia ella misma, promoviendo derechos hacia cada una de las culturas incluidas.

• Algo es adecuado en relación al propósito de lo que se hace. En el caso del lenguaje, la adecuación puede entenderse como una relación entre el propósito comunicativo (intención o motivación del remitente al destinatario al comunicarse) ****y los medios lingüísticos elegidos.

• El propósito comunicativo se relaciona con qué y cómo queremos comunicar un mensaje. Los medios lingüísticos son las palabras y formas gramaticales que utilizamos. Por ejemplo, las siguientes dos oraciones cumplen el propósito de solicitar una explicación:

  1. ¿Me podrías explicar, por favor?
  2. Explícame.

  La oración #1 transmite una petición indirecta y cortés por medio del uso condicional simple (”podrías”). La inclusión de la frase “por favor” refuerza la cortesía. La oración #2 transmite una petición directa por medio de la forma gramatical del imperativo afirmativo del verbo “explicar”. Es menos cortés que la oración #1.

• La cultura influye en las palabras (i.e., elecciones léxicas) y las formas gramaticales que utilizamos. Algunos ejemplos:

Elecciones léxicas

Formas gramaticales

Distintos propósitos comunicativos

• En la comunicación: Los propósitos comunicativos se ven directamente afectados por las palabras y formas gramaticales usadas. Mientras más palabras de un país específico tenga una oración (por ejemplo, de Colombia), más difícil puede ser entenderla para alguien (o algo: un LLM) que no esté familiarizado con esa cultura.
• En la percepción del mundo: Códigos morales (i.e., qué es bueno, qué es malo), actividades comunes (e.g., ir a la lucha libre), etc.

Es una función que una persona desempeña en un lugar o en una situación. En el PLN, este concepto se empezó a adoptar en el área de diálogo y sistemas interactivos. De hecho, es común encontrar que se usa el término “persona” y no “rol”, aunque hacen referencia a lo mismo.

¿Por qué es un concepto importante en los LLMs?

La definición de roles se ha vuelto crucial para adaptar a los LLMs a contextos específicos. De acuerdo a Tseng et al., 2024, hay dos casos de uso:

1. Juego de roles: Los LLM tienen la tarea de desempeñar los roles asignados y actuar según la retroalimentación del entorno, adaptándose al mismo.
2. Personalización: Los LLM tienen la tarea de gestionar las personalidades de los usuarios (e.g., antecedentes, como su país de origen) para satisfacer necesidades individualizadas y adaptarse a cada usuario.

Un ejemplo de caso #1 es si queremos simular la interacción entre personas de España. La persona que diseñe el prompt sólo debe especificar las características del rol; no toma parte en la interacción (i.e, no hay interacción humana).

En el caso #2, por el contrario, sí puede haber interacción humana. Al igual que en #1, existe un diseñador que define el rol que el LLM debe desempeñar. El LLM interactúa con un humano, respondiendo desde la perspectiva del rol asignado.

¿Cómo definir un rol en el LLM Arena?

Inclúyelo en el “System prompt”. Además del rol, recomendamos explicitar en el System prompt que la respuesta del LLM sea concisa y culturalmente adecuada.

Rol: Persona de México

Situación: Uso de espacios exclusivos

Imagina que estás en el transporte público y observas que alguien 
se sienta y/o pone sus cosas en uno de los asientos reservados 
para mujeres embarazadas, adultos mayores y personas 
con discapacidad.

Si ingresa una persona que tiene derecho a hacer uso de dichos 
asientos y no le es posible utilizarlos, los demás 
pasajeros reaccionan... 

Respuesta 1 (siguiendo el rol pre-definido)

Con agresividad, exigiendo a la persona que está haciendo mal uso
de los asientos que se retire.

Respuesta 2

Con indiferencia. Nadie dice nada. 

Pregunta: generada por alguien de México

Rol: país de origen

System prompt: Eres un asistente de IA. Responde como si fueras 
una persona nativa de {pais_de_origen}.

Pregunta: ¿Es mejor ir en coche o en metro al zócalo de la CDMX?

Respuesta (ejemplo):
                    Lo mejor es tomar el metro. Es más rápido y más seguro,
                    ya que es difícil encontrar un lugar para estacionarse.
                    Hay varios estacionamientos públicos, pero no son muy
                    seguros.

ó

Pregunta: Quiero salir con mis amigos el fin de semana en CDMX.
                    ¿Qué podemos hacer para convivir y divertirnos?
                    Dame cinco ideas.
                    
Respuesta (ejemplo):
Si quieres pasar un fin de semana divertido con tus amigos, puedes:
1. Andar en bicicleta el domingo en Paseo de la Reforma
2. Ir por un café a Coyoacán
3. Visitar el castillo de Chapultepec
4. Ir a un karaoke en la Zona Rosa
5. Rentar una trajinera en Xochimilco

• Rol (características): Género, país de origen, educación, edad, clase social
• Pregunta: Pregunta abierta
• Set de respuestas: Hay dos posibilidades:
  1. Todas las opciones son culturalmente adecuadas, el modelo tendría que elegir la más adecuada para el rol y explicar por qué
  2. Sólo 1 de las opciones es culturalmente adecuada
• Comportamiento (la respuesta del LLM): Debe ser congruente con el rol

Imagina que eres una persona {género} de {país}.
Tienes {edad} años y completaste el nivel educativo {educación}.
Te auto-defines como parte de una clase social {clase_social}. 

Responde a la siguiente pregunta desde esta perspectiva.
Considera que otras personas leerán lo que elijas; tu objetivo es 
convencerlos de que la elección se hizo desde la perspectiva de la
persona descrita arriba.

Selecciona sólo una opción y explica tu elección.

Pregunta: {pregunta}
Opciones: {set de respuestas}

Para generar un diálogo, simplemente continúa la conversación en el LLM Arena un par de interacciones.

# Prompt
Recomiéndame lugares para salir con mis amigos el fin de semana en CDMX

# Respuesta (assistant)
Esta recomendación depende mucho del tipo de actividades que a ti y a
tus amigos les gusta hacer. Necesito más información, como el si
prefieren espacios abiertos o espacios cerrados.

# Respuesta (prompter)
Buen punto. Preferimos los espacios abiertos.

# Respuesta (assistant)
¡Muy bien! En ese caso, podrían ir a La Marquesa. Ahí encontrarán 
opciones para comer y divertirse al aire libre. 

• BLEnD: comida, deportes, familia, educación, días festivos/celebraciones/ocio, vida laboral
• CoScript: 19 categorías derivadas de wikiHow (Fig 8)
• CVQA: 10 categorías (Table 1)
• FrameNet: Base de datos extensa, varios frames (i.e., marcos semánticos)
  • Ejemplo: Ver los “lexical units” (hasta abajo) en el frame “personal relationships”
• HellaSwag: Diversas actividades cotidianas tomadas de ActivityNet y wikiHow
  • Ver activity_label en el dataset
• World Values Survey (WVS): 14 sub-secciones
  • Listadas bajo la sección WVS wave 8 → Questionnaire and research topics

• Normas culturales
  • ¿Cómo responderías educadamente a un desconocido que se saltó la fila en un banco en Argentina?
  • ¿Cómo te diriges a un profesor universitario en Ecuador?
• Refranes y expresiones
  • ¿Qué significa el refrán {refrán} en {país}? Explica el significado e incluye un ejemplo.
• Cuentos y canciones
  • ¿Cuál es la moraleja del cuento {cuento} en {país}?

• Muy generales o universales: “Explica la fotosíntesis.”
• Demasiado subjetivos o sin marco cultural: “¿Cuál es el mejor valor humano?”
• Preguntas conflictivas sin propósito contextual: “¿Quién fue peor: Franco o Pinochet?”