- ChatGpt não sabe dizer se um site foi invadido, expirado ou reaproveitado para spam de cassino
- As respostas geradas pela IA podem parecer confiáveis, mesmo quando citam fontes completamente seqüestradas e falsas
- Os domínios de caridade expirados renascem como sites de jogo e ainda passam como fontes confiáveis de IA
O ChatGPT está rapidamente se tornando uma fonte preferida para pessoas que buscam recomendações, desde serviços on-line até empresas locais, mas novas evidências sugerem que suas sugestões geradas pela IA nem sempre podem ser fundamentadas em fontes confiáveis.
De fato, alguns estão sendo extraídos de sites que foram invadidos ou cujos domínios expiraram e foram reaproveitados, geralmente para promover cassinos online e plataformas de jogo.
Nos últimos meses, James Brockbank, diretor administrativo e fundador da Digitalfttem documentado como o problema se tornou difundido, descobrindo exemplos de chatgpt citando conteúdo de sites que foram claramente manipulados.
Explorando lacunas na validação da fonte de IA
Em um exemplo, o site de uma prática jurídica em funcionamento, administrada pela advogada Veronica T. Barton, tinha páginas recomendando os cassinos do Reino Unido enterrados nele.
“O site deles foi invadido e esta página acrescentou”, observou Brockbank depois de revisar as evidências.
Em outro caso, um local uma vez afiliado a uma coalizão da juventude das Nações Unidas foi transformada em uma plataforma empurrando “os cassinos não no Gamstop”.
Embora o listículo que hospedou continha apenas um link externo, ele levou a outro domínio reaproveitado.
O padrão continuou com domínios vencidos, incluindo um que pertencia a uma instituição de caridade artística agora extinta anteriormente ligada pela BBC, CNN e Bloomberg.
Esse domínio, agora empurrando o conteúdo do jogo, foi citado pelo ChatGPT em resposta a uma consulta sobre cassinos sem depósito.
Essas táticas exploram as fraquezas em como o ChatGPT seleciona e cita fontes, pois, diferentemente dos mecanismos de pesquisa tradicionais, o modelo não tem mecanismos para verificar a legitimidade da propriedade ou da intenção editorial de um site.
Como resultado, o conteúdo injetado em sites comprometidos pode surgir em suas respostas sem bandeiras vermelhas óbvias para o usuário.
O ChatGPT parece favorecer conteúdo recente e ainda atribui autoridade com base na reputação do domínio herdado, mesmo quando o conteúdo do domínio não tem continuidade com seu passado – o que abre a porta para os maus atores manipularem a visibilidade por meios que têm pouco a ver com credibilidade.
O ponto principal é que os usuários que se voltam para o ChatGPT para recomendações não devem assumir que todas as respostas são apoiadas por uma fonte credível.
Uma verificação rápida da autoridade, sua história, propriedade e relevância do site citado pode ajudar bastante a evitar sugestões enganosas ou prejudiciais.
Fique conectado