Usuários com tendências violentas – Uma nova ferramenta em desenvolvimento na Nova Zelândia busca enfrentar casos de violência extrema em plataformas de inteligência artificial como ChatGPT e sistemas da Anthropic. A proposta prevê identificar usuários com comportamentos de risco e redirecioná-los para conversas com humanos e bots especializados, com foco em reduzir a radicalização.
Segundo informações divulgadas pela Reuters, a iniciativa surge em meio a preocupações crescentes com a segurança no uso dessas tecnologias. O movimento acompanha um aumento no número de processos judiciais que acusam empresas de IA de falharem na prevenção de práticas violentas.
LEIA: Treinamentos em IA generativa avançam 617% no país
A discussão ganhou força após um caso envolvendo o Canadá. Meses antes, o governo do país havia feito uma ameaça depois que a OpenAI revelou que o autor de um ataque a uma escola, que resultou em oito mortes, havia sido banido do ChatGPT por “comportamento violento”, sem que as autoridades fossem notificadas.
A nova proposta envolve a atuação da ThroughLine, uma startup que já presta serviços para empresas como OpenAI, Anthropic e Google no redirecionamento de usuários para suporte em situações de crise. Agora, a companhia avalia expandir sua atuação para incluir a prevenção do extremismo violento.
De acordo com o fundador da empresa, Elliot Taylor, a ThroughLine está em diálogo com o Christchurch Call, iniciativa criada após o ataque terrorista de 2019 na Nova Zelândia com o objetivo de combater o ódio online. A parceria pode incluir orientação do grupo antiextremismo no desenvolvimento de um chatbot voltado à intervenção em casos críticos.
“É algo para o qual gostaríamos de avançar e fazer um trabalho melhor de cobertura e, em seguida, ser capazes de apoiar melhor as plataformas”, destaca Taylor em uma entrevista, acrescentando que nenhum prazo foi estabelecido.
A proposta ainda está em fase inicial, mas indica um movimento mais amplo das empresas de tecnologia para lidar com os desafios de segurança e responsabilidade no uso de sistemas de inteligência artificial.
(Com informações de TI Inside)
(Foto: Reprodução/Freepik/rawpixel.com)
