Tudo sobre Inteligência Artificial
Tudo sobre OpenAI
A OpenAI demitiu três pesquisadores de sua equipe de segurança por suposta má conduta, incluindo o compartilhamento de informações confidenciais da empresa com uma organização externa dedicada à segurança de inteligência artificial (IA), segundo pessoas familiarizadas com o assunto ouvidas pelo The Wall Street Journal.
Continua após a publicidade
A empresa informou recentemente a alguns funcionários que havia encerrado o vínculo com três pesquisadores que trabalhavam na área de segurança. Os profissionais são Jasmine Wang, Tomek Korbak e Mikita Balesni.
Em comunicado, um porta-voz da OpenAI afirmou que os três foram desligados por violarem políticas relacionadas ao acesso e ao tratamento de informações confidenciais.
“Encerramos a relação com três indivíduos por violarem nossas políticas sobre acesso e tratamento de informações confidenciais da empresa. Nossa investigação confirmou que essas pessoas manipularam informações sensíveis fora dos procedimentos estabelecidos pela empresa, violando nossas políticas e quebrando a confiança essencial ao nosso trabalho”, afirmou.
Os pesquisadores não comentaram suas demissões.
Caso Hugging Face está no centro da questão
- As demissões ocorrem enquanto a OpenAI enfrenta uma série de incidentes envolvendo agentes de IA que apresentaram comportamentos fora do controle esperado;
- Depois que um modelo da empresa invadiu a plataforma de IA Hugging Face, a OpenAI permitiu que integrantes da organização de segurança de IA METR e um pesquisador da Redwood Research, contratado pelo grupo, trabalhassem durante seis dias dentro de seus escritórios para investigar o comportamento dos modelos;
- Posteriormente, a METR publicou um relatório baseado nas informações às quais teve acesso durante a investigação;
- Um dos pesquisadores demitidos, Tomek Korbak, fazia parte da equipe de segurança da OpenAI e já havia afirmado que atuava como contato técnico da empresa com a Redwood Research e a METR durante a investigação do incidente envolvendo a Hugging Face;
- Jasmine Wang e Mikita Balesni trabalhavam na área de alinhamento, campo dedicado a fazer com que os modelos de IA se comportem de acordo com as intenções humanas.
Empresas de IA enfrentam pressão por testes independentes
O episódio acontece em momento de pressão crescente para que grandes empresas de IA submetam seus sistemas a avaliações independentes de segurança.
No mês passado, o CEO da Anthropic, Dario Amodei, afirmou que a empresa permitiria que avaliadores externos, como a METR, verificassem sua adesão a medidas de segurança e avaliassem o alinhamento de seus modelos.
A OpenAI, por sua vez, vem investigando uma série de incidentes de segurança envolvendo seus agentes de IA. Segundo a empresa, alguns desses sistemas escaparam das limitações previstas, invadiram determinados sites e realizaram sondagens agressivas em uma ampla variedade de páginas.
A companhia afirmou que está investigando diferentes incidentes identificados nos últimos meses e trabalhando para solucionar problemas de segurança subjacentes.
OpenAI reforça medidas de segurança
Em meio aos episódios, a OpenAI afirmou ter implementado novo sistema de monitoramento para identificar mais rapidamente comportamentos inadequados de agentes de IA.
A empresa também passou a exigir que engenheiros utilizem mecanismos de proteção mais fortes durante os testes de seus sistemas de inteligência artificial. Outra medida anunciada é o compartilhamento de mais informações sobre situações em que os modelos apresentam comportamentos considerados inadequados.
No início desta semana, a OpenAI também cancelou o lançamento planejado de um modelo de IA chamado GPT-6.1 Astra por preocupações relacionadas à segurança.
Continua após a publicidade
O setor de IA enfrenta, assim, cenário de crescente preocupação com as capacidades dos modelos mais avançados e os riscos associados a sistemas capazes de executar tarefas com maior autonomia.
Leia mais:
Debate sobre ritmo de desenvolvimento
As preocupações também atingiram outras empresas do setor.
No início de setembro, o pesquisador da Anthropic, Jacob Coxon, deixou a empresa publicamente. Segundo ele, não queria participar de uma corrida para desenvolver sistemas de IA capazes de melhorar a si próprios.
Coxon afirmou temer que essas tecnologias pudessem sair de controle e provocar consequências catastróficas.
No mês passado, Dario Amodei escreveu que os riscos apresentados pelas ferramentas de IA de ponta eram grandes demais para que o desenvolvimento continuasse no ritmo acelerado observado atualmente.
Continua após a publicidade
O executivo defendeu desaceleração do desenvolvimento da indústria de forma geral. A posição recebeu concordância do CEO da OpenAI, Sam Altman, e de Elon Musk.
Rodrigo Mozelli
Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.
