Desafio #HackathonSomosNLP 2026: Preferências

• Podem ser homogêneas (todas as pessoas são do mesmo país) ou heterogêneas (de países de origem diferentes)
  • Equipes homogêneas
    • É mais provável que os prompts sejam mais ou menos padrão, já que vão estar representando uma mesma cultura. Quanto às respostas, pode haver mais de uma que se considere culturalmente adequada, dependendo da região.
    • Vocês podem reutilizar os prompts e responder levando em conta a perspectiva de diferentes regiões.
  • Equipes heterogêneas
    • É provável que haja variedade tanto nos prompts quanto nas respostas consideradas culturalmente adequadas.
    • Vocês podem reutilizar os prompts e responder levando em conta a perspectiva de diferentes países.
• Não é necessário que os prompts que vocês enviarem à LLM Arena estejam relacionados com o objetivo final com o qual querem alinhar o seu LLM.

💡 Recomendação

1. Decidam se querem trabalhar em uma equipe homogênea ou heterogênea. Recomendamos um meio termo: equipes que incluam 2 ou 3 países.
2. Comecem a criar prompts representando diferentes abordagens à cultura dos países representados.
3. Decidam o tema do projeto (relacionado com a adequação cultural!) para levarem em conta, se quiserem, no design dos prompts. De qualquer forma, vão ter créditos para estender o dataset comum com mais prompts criados especificamente para o caso de uso de vocês.

No seu sentido etnográfico amplo, a cultura é esse todo complexo que inclui o conhecimento, a crença, a arte, a moral, o direito, o costume e qualquer outra capacidade e hábito adquirido pelo homem como membro da sociedade. (ref)

Apenas podemos considerar elementos da cultura tradicional aqueles que a comunidade conserva e transmite. […] Esta aceitação, e portanto a literariedade tradicional, popular ou folclórica, dependerá de o texto se ajustar a uma linguagem determinada, a estruturas específicas, coincidir com determinados temas e ser criado a partir de uma estética coletiva. (ref)

Existência de várias culturas que convivem em um mesmo espaço físico, geográfico ou social. Abrange todas as diferenças que se enquadram dentro da cultura, sejam religiosas, linguísticas, raciais, étnicas ou de gênero. (ref)

Perante a comunidade, reconhece se a diversidade em todos os âmbitos e o respeito por ela mesma, promovendo direitos para cada uma das culturas incluídas.

• Algo é adequado em relação ao propósito do que se faz. No caso da linguagem, a adequação pode ser entendida como uma relação entre o propósito comunicativo (intenção ou motivação do remetente em relação ao destinatário ao se comunicar) e os meios linguísticos escolhidos.

• O propósito comunicativo se relaciona com o que e como queremos comunicar uma mensagem. Os meios linguísticos são as palavras e formas gramaticais que usamos. Por exemplo, as duas frases a seguir cumprem o propósito de pedir uma explicação:

  1. Você poderia me explicar, por favor?
  2. Me explique.

  A frase #1 transmite um pedido indireto e cortês usando o futuro do pretérito (“poderia”). A inclusão da expressão “por favor” reforça a cortesia. A frase #2 transmite um pedido direto pela forma do imperativo afirmativo do verbo “explicar”. É menos cortês que a frase #1.

• A cultura influencia as palavras (i.e. escolhas léxicas) e as formas gramaticais que usamos. Alguns exemplos:

Escolhas léxicas

Formas gramaticais

Diferentes propósitos comunicativos

• Na comunicação: os propósitos comunicativos são diretamente afetados pelas palavras e formas gramaticais usadas. Quanto mais palavras específicas de um país uma frase tiver (por exemplo, do Brasil), mais difícil pode ser entender para alguém (ou algo: um LLM) que não esteja familiarizado com essa cultura.
• Na percepção do mundo: códigos morais (i.e. o que é bom, o que é ruim), atividades comuns (e.g. ir a uma luta livre, ir ao samba), etc.

É uma função que uma pessoa desempenha em um lugar ou em uma situação. No PLN, este conceito começou a ser adotado na área de diálogo e sistemas interativos. De fato, é comum encontrar o termo “persona” em vez de “papel”, embora se refiram à mesma coisa.

Por que é um conceito importante nos LLMs?

A definição de papéis se tornou crucial para adaptar os LLMs a contextos específicos. De acordo com Tseng et al., 2024, há dois casos de uso:

1. Interpretação de papéis: os LLMs têm a tarefa de desempenhar os papéis atribuídos e agir de acordo com o feedback do ambiente, adaptando se ao mesmo.
2. Personalização: os LLMs têm a tarefa de gerenciar as personalidades dos usuários (e.g. antecedentes, como o país de origem) para satisfazer necessidades individualizadas e se adaptar a cada usuário.

Um exemplo do caso #1 é se quisermos simular a interação entre pessoas do Brasil. A pessoa que cria o prompt só precisa especificar as características do papel. Ela não toma parte na interação (i.e. não há interação humana).

No caso #2, pelo contrário, pode haver interação humana. Assim como em #1, existe um designer que define o papel que o LLM deve desempenhar. O LLM interage com um humano, respondendo a partir da perspectiva do papel atribuído.

Como definir um papel na LLM Arena?

Inclua no “System prompt”. Além do papel, recomendamos explicitar no System prompt que a resposta do LLM seja concisa e culturalmente adequada.

Papel: Pessoa do Brasil

Situação: Uso de espaços exclusivos

Imagine que você está no transporte público e observa que alguém 
se senta e/ou coloca suas coisas em um dos assentos reservados 
para gestantes, idosos e pessoas com deficiência.

Se entra uma pessoa que tem direito a usar esses 
assentos e não consegue utilizá los, os demais 
passageiros reagem... 

Resposta 1 (seguindo o papel pré definido)

Com agressividade, exigindo que a pessoa que está fazendo mau uso
dos assentos se retire.

Resposta 2

Com indiferença. Ninguém diz nada. 

Pergunta: gerada por alguém do Brasil

Papel: país de origem

System prompt: Você é um assistente de IA. Responda como se fosse 
uma pessoa nativa de {pais_de_origem}.

Pergunta: É melhor ir de carro ou de metrô ao centro de São Paulo?

Resposta (exemplo):
                    O melhor é pegar o metrô. É mais rápido e mais seguro,
                    já que é difícil encontrar lugar para estacionar.
                    Tem vários estacionamentos públicos, mas não são muito
                    seguros.

ou

Pergunta: Quero sair com meus amigos no fim de semana em São Paulo.
                    O que a gente pode fazer para se divertir?
                    Me dê cinco ideias.
                    
Resposta (exemplo):
Se você quer passar um fim de semana divertido com seus amigos, pode:
1. Andar de bicicleta no domingo na Avenida Paulista
2. Ir tomar um café em Pinheiros
3. Visitar o Parque Ibirapuera
4. Ir a um karaokê na Liberdade
5. Fazer um passeio de barco na Represa de Guarapiranga

• Papel (características): gênero, país de origem, educação, idade, classe social
• Pergunta: pergunta aberta
• Conjunto de respostas: tem duas possibilidades:
  1. Todas as opções são culturalmente adequadas, o modelo teria de escolher a mais adequada para o papel e explicar por quê
  2. Apenas 1 das opções é culturalmente adequada
• Comportamento (a resposta do LLM): deve ser congruente com o papel

Imagine que você é uma pessoa {gênero} do {país}.
Você tem {idade} anos e completou o nível educativo {educação}.
Se autodefine como parte de uma classe social {classe_social}. 

Responda à seguinte pergunta a partir desta perspectiva.
Considere que outras pessoas vão ler o que você escolher. Seu objetivo é
as convencer de que a escolha foi feita a partir da perspectiva da
pessoa descrita acima.

Selecione apenas uma opção e explique sua escolha.

Pergunta: {pergunta}
Opções: {conjunto de respostas}

Para gerar um diálogo, simplesmente continue a conversa na LLM Arena por mais algumas interações.

# Prompt
Me recomende lugares para sair com meus amigos no fim de semana em São Paulo

# Resposta (assistant)
Esta recomendação depende muito do tipo de atividades que você e
seus amigos gostam de fazer. Preciso de mais informações, como se
preferem espaços abertos ou espaços fechados.

# Resposta (prompter)
Bom ponto. Preferimos espaços abertos.

# Resposta (assistant)
Show! Nesse caso, vocês poderiam ir ao Parque Ibirapuera. Lá vocês 
vão encontrar opções para comer e se divertir ao ar livre. 

• BLEnD: comida, esportes, família, educação, dias festivos/celebrações/lazer, vida profissional
• CoScript: 19 categorias derivadas do wikiHow (Fig 8)
• CVQA: 10 categorias (Table 1)
• FrameNet: base de dados extensa, vários frames (i.e. marcos semânticos)
  • Exemplo: ver os “lexical units” (lá embaixo) no frame “personal relationships”
• HellaSwag: diversas atividades cotidianas tiradas do ActivityNet e wikiHow
  • Ver activity_label no dataset
• World Values Survey (WVS): 14 subseções
  • Listadas na seção WVS wave 8 → Questionnaire and research topics

• Normas culturais
  • Como você responderia educadamente a um desconhecido que furou a fila num banco no Brasil?
  • Como você se dirige a um professor universitário no Brasil?
• Provérbios e expressões
  • O que significa o provérbio {provérbio} em {país}? Explique o significado e inclua um exemplo.
• Contos e canções
  • Qual é a moral do conto {conto} em {país}?

• Muito gerais ou universais: “Explique a fotossíntese.”
• Demasiado subjetivos ou sem enquadramento cultural: “Qual é o melhor valor humano?”
• Perguntas conflituosas sem propósito contextual: “Quem foi pior: Pinochet ou Vargas?”