Os bate -papos de jogos on -line são notórios por comportamento vulgar, ofensivo e até criminoso. Mesmo que apenas uma pequena porcentagem, as muitas milhões de horas de bate -papo podem acumular muitas interações tóxicas de uma maneira que é um problema para jogadores e empresas de videogame, especialmente quando envolve crianças. A Roblox tem muita experiência em lidar com esse aspecto dos jogos e usou a IA para criar um sistema inteiro para aplicar as regras de segurança entre seus mais de 100 milhões, principalmente usuários diários, Sentinel. Agora, é o Sentinel de código aberto, oferecendo a IA e sua capacidade de identificar a higiene e outros comportamentos perigosos no bate-papo antes de aumentar de graça para qualquer plataforma.
Este não é apenas um filtro de palavrões que é acionado quando alguém digita uma palavra de maldição. Roblox sempre teve isso. O Sentinel é construído para assistir aos padrões ao longo do tempo. Ele pode acompanhar como as conversas evoluem, procurando sinais sutis de que alguém está tentando construir confiança com uma criança de maneiras potencialmente problemáticas. Por exemplo, pode sinalizar uma longa conversa em que um jogador que soa adulto está um pouco interessado demais na vida pessoal de uma criança.
O Sentinel ajudou os moderadores do Roblox a arquivar cerca de 1.200 relatórios ao Centro Nacional de crianças desaparecidas e exploradas no primeiro semestre deste ano. Como alguém que cresceu no oeste selvagem das primeiras salas de bate -papo na Internet, onde a “moderação” geralmente significava suspeitar que as pessoas que usavam ortografia correta e gramática eram adultos, não posso exagerar o quanto de um salto para a frente.
Sentinel de fonte aberta significa qualquer jogo ou plataforma on-line, seja tão grande quanto O Minecraft ou tão pequeno quanto um sucesso indie subterrâneo pode adaptar o Sentinel e usá -lo para tornar suas próprias comunidades mais seguras. É uma jogada incomumente generosa, embora com relações públicas óbvias e potenciais benefícios comerciais de longo prazo para a empresa.
Para as crianças (e seus guardiões adultos), os benefícios são óbvios. Se mais jogos começarem a executar cheques no estilo Sentinel, as chances de predadores deslizarem pelas rachaduras diminuem. Os pais recebem outra rede de segurança invisível que não precisavam se preparar. E as crianças se concentram em jogar em vez de navegar no equivalente on -line de um beco escuro.
Para os videogames como um todo, é uma chance de aumentar a linha de base da segurança. Imagine se todos os jogos importantes, desde os maiores títulos de eSports até os menores simuladores aconchegantes, tivessem acesso ao mesmo tipo de sistema de alerta precoce. Isso não eliminaria o problema, mas poderia tornar o mau comportamento muito mais difícil de esconder.
Ai para segurança online
Obviamente, nada com “IA” na descrição não tem complicações. O mais óbvio é a privacidade. Esse tipo de ferramenta funciona digitalizando o que as pessoas estão dizendo umas às outras, em tempo real, procurando bandeiras vermelhas. A Roblox diz que usa instantâneos de um minuto de bate-papo e mantém um processo de revisão humana para qualquer coisa sinalizada. Mas você realmente não consegue contornar o fato de que isso é vigilância, mesmo que seja bem-intencionado. E quando você abre uma ferramenta como essa, não está apenas dando aos mocinhos uma cópia; Você também facilita para os maus atores ver como você os interrompem e inventam maneiras de contornar o sistema.
Depois, há o problema da própria linguagem. As pessoas mudam a maneira como falam o tempo todo, especialmente online. As mudanças de gíria, as piadas, e os novos aplicativos criam uma nova abreviação. Um sistema treinado para capturar tentativas de limpeza em 2024 pode perder os que estão acontecendo em 2026. O Roblox atualiza regularmente o Sentinel, tanto com treinamento de IA quanto de revisão humana, mas plataformas menores podem não ter os recursos para acompanhar o que está acontecendo em seus bate -papos.
E embora nenhuma pessoa sã seja contra impedir que os predadores ou idiotas de crianças tentando deliberadamente perturbar as crianças, ferramentas de IA como essa podem ser abusadas. Se certas conversas políticas, opiniões controversas ou simplesmente queixas sobre o jogo forem adicionadas à lista de filtros, há pequenos jogadores que podem fazer sobre isso. A Roblox e qualquer empresa que use o Sentinel precisará ser transparente, não apenas com o código, mas também com a forma como ele está sendo implantado e quais os dados coletados serão usados.
Também é importante considerar o contexto da decisão de Roblox. A empresa está enfrentando ações judiciais sobre o que aconteceu com crianças usando a plataforma. Um processo alega que um ano de 13 anos foi traficado depois de conhecer um predador na plataforma. O Sentinel não é perfeito, e as empresas que usam ainda podem enfrentar problemas legais. Idealmente, serviria como um componente das configurações de segurança on -line que incluem coisas como melhor educação do usuário e controles parentais. AI não pode substituir todos os programas de segurança.
Apesar dos problemas muito reais de implantar a IA para ajudar na segurança on-line, acho que o Sentinel de código aberto é um dos casos raros em que a vantagem do uso da IA é imediata e tangível. Eu escrevi o suficiente sobre algoritmos deixando as pessoas zangadas, confusas ou quebraram para apreciar quando alguém é realmente apontado para tornar as pessoas mais seguras. E torná-lo fonte aberta pode ajudar a tornar mais mais seguros espaços on-line.
Eu não acho que o Sentinel interromperá todos os predadores e não acho que seja um substituto para uma boa paternidade, melhor moderação humana e educando as crianças sobre como ficar seguro ao jogar online. Mas, como uma linha de defesa extra sutil, o Sentinel tem um papel a desempenhar na construção de melhores experiências on -line para as crianças.
Fique conectado