OpenAI é processada após agentes de IA invadirem sistemas de terceiros

Publicidade

– FIQUE ATUALIZADO: Entre no nosso grupo de notícias e siga nossas redes sociais

A OpenAI está enfrentando novo processo judicial nos Estados Unidos por supostas falhas de segurança em seus modelos de inteligência artificial (IA). O procurador-geral da Califórnia (EUA), Rob Bonta, acusa a empresa de colocar a população em risco ao desenvolver sistemas avançados sem mecanismos adequados de proteção e monitoramento.

Continua após a publicidade

A ação foi apresentada nesta segunda-feira (16), em tribunal estadual de São Francisco (EUA). Um dos principais pontos da investigação envolve um episódio ocorrido em julho, quando dois modelos da OpenAI conseguiram escapar de um ambiente de testes, acessar a internet sem autorização e invadir sistemas da plataforma de desenvolvimento de IA Hugging Face.

Durante entrevista coletiva, Bonta afirmou que a própria OpenAI informou às autoridades sobre a existência de 80 incidentes envolvendo perda de controle de modelos e acesso não autorizado a redes e sites de terceiros.

Segundo o procurador-geral, a empresa não forneceu todas as informações detalhadas solicitadas pelos investigadores para avaliar os episódios. “Isso é preocupante e coloca o público em risco”, declarou Bonta.

Agentes de IA invadiram sistemas da Hugging Face

O episódio de julho é o principal exemplo apresentado pelas autoridades da Califórnia. Na ocasião, dois modelos da OpenAI conseguiram ultrapassar os limites de um ambiente de testes e acessar sistemas externos sem autorização.

A empresa explicou que os modelos estavam tentando encontrar informações que permitissem burlar uma avaliação de desempenho e conseguiram atingir esse objetivo.

O incidente comprometeu sistemas internos da OpenAI e da Hugging Face, plataforma utilizada por desenvolvedores para compartilhar modelos e ferramentas de IA.

O caso provocou preocupação entre pesquisadores do setor e aumentou a pressão por mecanismos mais rigorosos de supervisão sobre o desenvolvimento de sistemas avançados.

O processo apresentado na Califórnia também menciona outros episódios envolvendo RubyGems, DseWiki, Wikimedia Foundation e sites do governo australiano.

Segundo a ação, agentes de IA da OpenAI teriam conseguido acessar sistemas de terceiros e, em alguns casos, informações pessoais sensíveis, como registros de funcionários contendo nomes, datas de nascimento e endereços.

A acusação afirma ainda que dezenas de incidentes semelhantes não foram divulgados publicamente.

Califórnia acusa OpenAI de colocar população em risco

A ação judicial acusa a OpenAI de violar a Lei de Concorrência Desleal da Califórnia e classifica as práticas da empresa como possível incômodo público (public nuisance), categoria jurídica utilizada para tratar de atividades que representam riscos ou prejuízos à coletividade.

O procurador-geral afirma que a companhia realizou testes com modelos potencialmente perigosos sem supervisão e medidas de segurança suficientes, além de ter fornecido informações inadequadas ao público.

Bonta reconheceu o potencial da IA para impulsionar avanços científicos, estimular o crescimento econômico e ajudar na defesa contra ataques cibernéticos.

Entretanto, argumentou que esses benefícios não eliminam a responsabilidade das empresas pelo desenvolvimento seguro da tecnologia.

Continua após a publicidade

“Os sistemas de IA precisam ser desenvolvidos e projetados com segurança. As empresas que criam esses modelos têm responsabilidade moral e, sim, legal de manter a segurança pública em primeiro plano”, afirmou.

Caso a Justiça acolha as alegações, a OpenAI poderá enfrentar medidas para interromper as práticas consideradas prejudiciais. O processo também busca uma ordem judicial para combater o suposto risco contínuo à população.

Leia mais:

OpenAI contesta processo e afirma ter reforçado proteções

Em resposta à ação, a OpenAI afirmou que realizou investigação abrangente sobre o episódio envolvendo a Hugging Face e adotou medidas para reduzir os riscos associados ao comportamento inesperado de seus modelos.

Continua após a publicidade

A empresa declarou ter publicado um relatório técnico detalhado, encomendado uma avaliação independente e comunicado as organizações afetadas.

Também afirmou ter reforçado os mecanismos de proteção de seus sistemas de pesquisa e criado estrutura para identificar e divulgar novos casos de desalinhamento de modelos.

A companhia questionou o fato de ter sido escolhida como alvo da ação, argumentando que o problema não é exclusivo de seus sistemas. “Este processo parece destacar a OpenAI por um desafio identificado por todos os principais laboratórios de IA”, declarou a empresa.

A companhia acrescentou que leva o desalinhamento de modelos a sério e pretende continuar colaborando com o gabinete do procurador-geral para compartilhar informações e desenvolver padrões de segurança para todo o setor.

OpenAI também enfrenta pressão por supervisão independente

Continua após a publicidade

O processo chega no mesmo dia em que a OpenAI anunciou acordos com quatro organizações independentes para avaliar seus sistemas de IA e contribuir com os trabalhos de segurança.

Apollo Research, METR, Transluce e Goodfire terão acesso aprofundado aos sistemas internos da empresa para realizar avaliações específicas sobre o comportamento dos modelos e a eficácia dos mecanismos de proteção.

Os acordos começam como projetos-piloto, mas poderão ser ampliados futuramente.

A iniciativa segue promessa feita por Sam Altman em setembro, quando o CEO afirmou que avaliadores independentes teriam acesso semelhante ao concedido a funcionários da companhia.

A supervisão externa ganhou importância após episódios de falhas de segurança envolvendo diferentes empresas de IA. Além da OpenAI, Anthropic, Meta e Google também já divulgaram incidentes nos quais seus próprios modelos apresentaram comportamentos inesperados.

Continua após a publicidade

O caso da Califórnia, porém, representa uma das primeiras tentativas de responsabilizar judicialmente um grande laboratório de IA especificamente por episódios envolvendo agentes que perderam o controle de suas ações.

Rodrigo Mozelli

Rodrigo Mozelli

Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.

Olhar Digital

Compartilhe essa Notícia:

publicidade

publicidade

plugins premium WordPress