Horário de Atendimento: Das 9h as 15h | Sede: (67) 3321-2836 | [email protected]
Home Destaque Chefe de segurança da Anthropic pede demissão e diz que o mundo está em perigo
DestaqueTI

Chefe de segurança da Anthropic pede demissão e diz que o mundo está em perigo

Ex-líder de pesquisa em salvaguardas da startup responsável pelo Claude afirma ter enfrentado pressões internas para deixar preocupações 'de lado'

5

Anthropic – Os debates sobre os impactos da inteligência artificial generativa ganharam um novo capítulo nesta semana. O ex-líder de segurança em IA da Anthropic, Mrinank Sharma, anunciou sua saída da empresa e declarou que o mundo está em “perigo”, reforçando preocupações que já vinham sendo manifestadas por lideranças da própria companhia.

A carta de despedida, enviada aos colegas e compartilhada no X nesta semana, traz indícios de tensões internas relacionadas às discussões sobre segurança no desenvolvimento da tecnologia. Sharma ingressou na Anthropic em 2023 e liderava a Equipe de Pesquisa de Salvaguardas, responsável por lidar com questões sensíveis envolvendo o uso responsável da IA.

LEIA: Mais de 70% dos brasileiros defendem fim da escala 6×1 sem corte no salário

Entre as iniciativas mencionadas por ele está a criação de ferramentas voltadas a impedir o chamado “bioterrorismo assistido por IA”, cenário em que um chatbot poderia auxiliar na execução de ataques biológicos. O pesquisador também atuou em estudos sobre o fenômeno da bajulação da IA, quando modelos respondem de forma complacente e reforçam crenças do usuário, aumentando a probabilidade de erros.

Outro trabalho citado foi a elaboração de um dos primeiros casos formais de segurança em IA dentro da empresa, documento que reunia riscos identificados e possíveis medidas de mitigação.

Apesar de afirmar que se sente satisfeito com o que foi realizado ao longo de sua trajetória, Sharma indicou que a equipe enfrentava pressões constantes para “deixar de lado o que é mais importante”. Em tom reflexivo, ele demonstrou preocupação com o cenário global.

“Constantemente me vejo confrontando nossa situação. O mundo está em perigo. E não apenas por causa da inteligência artificial ou das armas biológicas, mas por toda uma série de crises interconectadas que se desenrolam neste exato momento”, escreveu, sem detalhar a quais crises se referia.

A Anthropic não comentou, até o momento, o alerta feito pelo ex-funcionário.

Casos de demissão motivados por preocupações com a segurança da IA têm se tornado frequentes no setor. A OpenAI também já enfrentou episódios semelhantes. Paralelamente, executivos vêm intensificando os avisos sobre os riscos do avanço acelerado da tecnologia.

Na semana passada, o CEO da Anthropic, Dario Amodei, reforçou a necessidade de monitoramento constante da evolução da IA para detectar possíveis rebeliões das máquinas. O posicionamento ocorre em meio à preparação da startup para uma nova rodada de financiamento.

(Com informações de Tecmundo)
(Foto: Reprodução/Freepik/ALLA Yurtayeva)

Posts relacionados

Botões de resumir com IA podem ter comandos ocultos para enviesar respostas

Pesquisadores identificaram técnica que usa links com comandos ocultos para influenciar respostas...

Extensões no Chrome se passam por ferramentas de IA para coletar dados

Campanha reúne dezenas de complementos maliciosos disfarçados de assistentes virtuais e tradutores

Mais de 70% dos brasileiros defendem fim da escala 6×1 sem corte no salário

Pesquisa mostrou ainda que 84% dos entrevistados são favoráveis a que os...

Brasileiro é premiado por pesquisa que usa IA para diagnosticar transtornos mentais

Trabalho combina ressonância magnética, minicérebros e inteligência artificial para apoiar diagnósticos psiquiátricos