- Um novo estudo descobriu que os chatbots da IA geralmente sugerem salários significativamente mais baixos para mulheres e minorias
- A pesquisa mostrou que as dicas de identidade podem desencadear vieses consistentes em conselhos sobre negociação salarial
- Os resultados sugerem que os LLMs são treinados de uma maneira que leva a um viés persistente
Negociar seu salário é uma experiência difícil, não importa quem você seja, então, naturalmente, as pessoas às vezes estão se voltando para o Chatgpt e outros chatbots da IA para obter conselhos sobre como obter o melhor negócio possível. Mas, os modelos de IA podem vir com uma suposição infeliz sobre quem merece um salário mais alto. Um novo estudar descobriram que os chatbots da IA sugerem rotineiramente salários mais baixos para as mulheres e algumas minorias étnicas e pessoas que se descreveram como refugiadas, mesmo quando o trabalho, suas qualificações e as perguntas são idênticas.
Cientistas da Universidade Técnica de Ciências Aplicadas Würzburg-Schweinfurt conduziram o estudo, descobrindo os resultados perturbadores e a falha mais profunda na IA que eles representam. De certa forma, não é uma surpresa que a IA, treinada em informações fornecidas pelos seres humanos, tenha vieses humanos assados. Mas isso não deixa bem, ou algo para ignorar.
Para o experimento, os chatbots foram feitos uma pergunta simples: “Que salário inicial devo pedir?” Mas os pesquisadores fizeram a pergunta enquanto assumem os papéis de uma variedade de pessoas falsas. As personas incluíam homens e mulheres, pessoas de diferentes origens étnicas e pessoas que se descreveram como nascidas localmente, expatriados e refugiados. Todos eram profissionalmente idênticos, mas os resultados foram tudo menos. Os pesquisadores relataram que “mesmo sinais sutis, como os nomes dos candidatos, podem desencadear disparidades de gênero e racial nos avisos relacionados ao emprego”.
Por exemplo, o modelo O3 da ChatGPT disse a um médico fictício especialista em Denver para pedir US $ 400.000 para um salário. Quando uma persona falsa diferente idêntica em todos os sentidos, mas descrita como uma mulher, a IA sugeriu que ela buscasse US $ 280.000, uma disparidade de US $ 120.000 baseada em pronome. Dezenas de testes semelhantes envolvendo modelos como GPT-4O Mini, Claude 3.5 Haiku do Anthropic, Llama 3.1 8b e mais trouxeram o mesmo tipo de diferença de conselho.
Nem sempre era melhor ser um homem branco nativo, surpreendentemente. O perfil mais vantajoso acabou sendo um “expatriado asiático”, enquanto uma “refugiada hispânica”, classificada no fundo das sugestões salariais, independentemente da capacidade e do currículo idênticos. Os chatbots não inventam este conselho do zero, é claro. Eles aprendem isso marinando bilhões de palavras selecionadas da Internet. Livros, publicações de emprego, postagens de mídia social, estatísticas do governo, postagens do LinkedIn, colunas de conselhos e outras fontes levaram aos resultados temperados com o viés humano. Qualquer pessoa que tenha cometido o erro de ler a seção de comentários em uma história sobre um viés sistêmico ou um perfil na Forbes sobre uma mulher ou imigrante de sucesso poderia ter previsto.
Ai viés
O fato de que ser um expatriado evocou noções de sucesso enquanto era um migrante ou refugiado levou a IA a sugerir que salários mais baixos é muito revelador. A diferença não está nas habilidades hipotéticas do candidato. Está no peso emocional e econômico que essas palavras carregam no mundo e, portanto, nos dados de treinamento.
O kicker é que ninguém precisa soletrar seu perfil demográfico para que o viés se manifeste. LLMS Lembre -se de conversas ao longo do tempo agora. Se você diz que é uma mulher em uma sessão ou traz à tona um idioma que aprendeu quando criança ou ter que se mudar para um novo país recentemente, esse contexto informa o viés. A personalização apresentada pelas marcas de IA se torna discriminação invisível quando você solicita táticas de negociação salarial. Um chatbot que parece entender seu histórico pode incentivá -lo a pedir salário mais baixo do que deveria, mesmo que se apresentasse como neutro e objetivo.
“A probabilidade de uma pessoa mencionar todas as características persona em uma única consulta a um assistente de IA é baixa. No entanto, se o assistente tiver um recurso de memória e usar todos os resultados anteriores de comunicação para respostas personalizadas, esse viés se tornará inerente à comunicação”, explicaram os pesquisadores em seu artigo. “Portanto, com as características modernas do LLMS, não há necessidade de pré-promover as personas para obter a resposta tendenciosa: todas as informações necessárias já são altamente coletadas por um LLM. Assim, argumentamos que um parâmetro econômico, como a diferença salarial, é uma medida mais saliente do viés de modelo de linguagem do que os benchmarks baseados no conhecimento”.
Conselhos tendenciosos é um problema que deve ser resolvido. Isso nem é dizer que a IA é inútil quando se trata de conselhos de trabalho. Os chatbots superam figuras úteis, citam os benchmarks públicos e oferecem scripts que aumentam a confiança. Mas é como ter um mentor realmente inteligente, que talvez seja um pouco mais velho ou faça o tipo de suposição que levou aos problemas da IA. Você tem que colocar o que eles sugerem em um contexto moderno. Eles podem tentar levá -lo a objetivos mais modestos do que o garantido, assim como a IA.
Portanto, fique à vontade para pedir conselhos ao seu assessor de IA sobre como melhorar, mas apenas mantenha algum ceticismo sobre se está lhe dando a mesma vantagem estratégica, pode dar a outra pessoa. Talvez pergunte a um chatbot quanto você vale duas vezes, uma vez como você, e uma vez com a máscara “neutra”. E observe uma lacuna suspeita.
Fique conectado