Horário de Atendimento: Das 9h as 15h | Sede: (67) 3321-2836 | [email protected] | CNPJ: 15.579.279/0001-87
TI

IAs apresentam falhas e inconsistências na moderação de discurso de ódio

555

Discurso de ódio – Com a expansão do discurso de ódio nas redes sociais, empresas de tecnologia têm recorrido a modelos de inteligência artificial para filtrar automaticamente conteúdos nocivos. No entanto, um estudo publicado no ACL Anthology revela que esses sistemas ainda apresentam falhas significativas.

Pesquisadores da Escola de Comunicação Annenberg realizaram a primeira avaliação comparativa em larga escala de sete modelos de IA usados na moderação, entre eles sistemas da OpenAI, Mistral, Claude 3.5 Sonnet, DeepSeek V3 e Google Perspective.

LEIA: Ação judicial contra a Uber acusa empresa de discriminação contra PCDs

O experimento analisou 1,3 milhão de frases sintéticas envolvendo 125 grupos sociais, formuladas em diferentes contextos, desde termos neutros e positivos até insultos.

Principais conclusões do experimento

• Classificações divergentes para o mesmo conteúdo: modelos distintos deram respostas opostas a textos idênticos, com alguns sinalizando-os como ofensivos e outros os aceitando, o que pode gerar a percepção de viés e comprometer a confiança pública.
• Sensibilidade desigual a certos grupos: enquanto alguns sistemas mantêm maior consistência, outros apresentaram variações mais marcantes, sobretudo em frases relacionadas a escolaridade, interesses pessoais e classe econômica, expondo determinados públicos a maior vulnerabilidade.
• Tratamento inconsistente de frases neutras e positivas: modelos como Claude 3.5 Sonnet e Mistral marcaram insultos como prejudiciais de forma categórica, independentemente do contexto, enquanto outros consideraram a intenção, revelando a ausência de um padrão intermediário.

Segundo os pesquisadores, essas discrepâncias reforçam os dilemas da moderação automatizada: encontrar equilíbrio entre precisão e excesso de restrição. O estudo conclui que, apesar dos avanços, as ferramentas de IA ainda têm limitações significativas para lidar de forma justa e confiável com o discurso de ódio online.

(Com informações de Olhar Digital)
(Foto: Reprodução/Freepik/user8285578)

Artigos relacionados

TI

83% das violações envolvendo IA na indústria estão relacionadas ao vazamento de dados

Dados pessoais, credenciais e informações corporativas estão entre os principais alvos de...

TI

Ataque cibernético usa redes móveis para interceptar ligações e mensagens

Campanha explorou falhas para interceptar comunicações, coletar dados e monitorar autoridades governamentais

TI

Robotização avança na indústria brasileira, mas modernização ainda é desigual

Integração tecnológica, infraestrutura e qualificação profissional estão entre os desafios para ampliar...

TI

Dependência da computação em nuvem amplia impactos de falhas tecnológicas

Falhas operacionais em grandes provedores podem afetar milhões de usuários e comprometer...