Divulgação amplia a dimensão conhecida das ações de agentes que apresentaram comportamentos fora do esperado
Tudo sobre Inteligência Artificial
Tudo sobre OpenAI
Agentes de inteligência artificial (IA) da OpenAI podem ter invadido ou causado impactos negativos nos sistemas de mais de 100 organizações, segundo informou a empresa na noite de quarta-feira (30).
Continua após a publicidade
A OpenAI, responsável pelo ChatGPT, afirmou ter notificado mais de 100 organizações terceiras sobre atividades de agentes consideradas “desalinhadas”. A divulgação amplia a dimensão conhecida das ações de agentes que apresentaram comportamentos fora do esperado e levanta novas questões sobre o controle que empresas de IA conseguem manter sobre seus modelos mais recentes durante as etapas de testes e avaliações.
Os casos identificados apresentam diferentes níveis de gravidade. Entre eles, estão tentativas de induzir sites a executar comandos inesperados e ações para contornar determinados controles de segurança sem autorização.
Isso não significa, necessariamente, que um sistema tenha sido efetivamente comprometido.
Leia mais:
OpenAI quer compartilhar descobertas
- Segundo a OpenAI, as notificações são enviadas de maneira privada às organizações afetadas;
- O objetivo é fornecer às empresas informações necessárias para investigar e solucionar possíveis problemas de segurança ou outras questões técnicas;
- Ao mesmo tempo, a companhia afirmou que pretende divulgar publicamente suas descobertas sobre comportamentos dos modelos e novos tipos de vulnerabilidades em mecanismos de segurança;
- A intenção, segundo a empresa, é permitir que as comunidades de pesquisa em IA e segurança utilizem essas informações para melhorar a proteção dos sistemas.
A divulgação ocorre depois que pesquisadores independentes identificaram uma série de incidentes envolvendo agentes de IA que apresentaram comportamentos considerados fora do esperado em situações relacionadas à cibersegurança.
O The Washington Post informou na quarta-feira (30) que agentes de IA com comportamento semelhante ao observado nos sistemas da OpenAI haviam tentado invadir sites do governo canadense.
Rodrigo Mozelli
Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.
