Tudo sobre Estados Unidos
Tudo sobre Inteligência Artificial
Tudo sobre OpenAI
A OpenAI quer que os Estados Unidos liderem um esforço internacional para criar padrões técnicos globais para sistemas de inteligência artificial (IA) de fronteira, incluindo tecnologias capazes de realizar aprimoramento recursivo de suas próprias capacidades.
Continua após a publicidade
A proposta foi apresentada pela empresa em publicação nesta segunda-feira (21), enquanto líderes mundiais se reúnem para a Assembleia Geral das Nações Unidas (ONU). A iniciativa ocorre em meio ao debate internacional sobre como acompanhar o avanço de sistemas de IA cada vez mais capazes.
A OpenAI defende a criação de mecanismos que permitam estabelecer padrões nacionais e internacionais complementares, além de métricas comuns e protocolos para comunicação de incidentes. Segundo a empresa, a ideia é facilitar a comparação de evidências, a avaliação de riscos e a resposta coletiva a problemas relacionados à IA.
O foco no aprimoramento recursivo
- Um dos principais pontos da proposta é o chamado aprimoramento recursivo (RSI, na sigla em inglês), processo no qual sistemas de IA passam a realizar cada vez mais tarefas relacionadas ao desenvolvimento de novas gerações de IA;
- A OpenAI afirma que pesquisas automatizadas podem envolver diferentes níveis de supervisão humana. À medida que os sistemas assumem mais trabalho no desenvolvimento de sucessivas gerações de IA, eles poderiam conduzir um processo de aprimoramento recursivo, potencialmente acelerando o ritmo de avanço da tecnologia;
- A empresa ressalta, porém, que o RSI totalmente autônomo não está acontecendo atualmente e que não deveria ser buscado enquanto não for possível realizá-lo com segurança;
- Segundo a OpenAI, o avanço nessa área deve depender da capacidade de preservar o controle humano e de decisões democráticas informadas sobre seus benefícios e riscos. A empresa alerta que, sem supervisão adequada, humanos poderiam perder o controle prático sobre o desenvolvimento da IA e deixar de compreender os próprios processos de pesquisa realizados pelos sistemas.
Padrões internacionais
Para a OpenAI, padrões internacionais de segurança e proteção para o desenvolvimento de IA de fronteira podem ser tão importantes quanto pesquisas de alinhamento para acompanhar o avanço da tecnologia.
A empresa aponta três desafios principais que justificariam uma coordenação internacional:
- Fragmentação: diferentes países podem adotar avaliações, exigências de comunicação e definições de incidentes incompatíveis entre si;
- Ação coletiva: países agindo individualmente podem produzir resultados que nenhum deles desejaria, especialmente diante da possibilidade de aceleração da pesquisa por sistemas de IA;
- Capacidade desigual: conhecimentos e atividades relacionados ao desenvolvimento de IA de fronteira estão distribuídos de maneira desigual entre os países.
A OpenAI afirma que esses desafios abrangem tanto modelos abertos quanto fechados.
A empresa também defende que laboratórios que desenvolvem pesquisa automatizada ou outras capacidades avançadas sejam responsáveis por fazê-lo com segurança, respeitando princípios básicos de responsabilidade própria e as leis existentes.
Como funcionaria a proposta
Uma das possibilidades apresentadas pela OpenAI seria aproveitar a rede de institutos nacionais de segurança em IA já criada em países, como Austrália, Canadá, Alemanha, França, Quênia, Japão, Coreia do Sul, Singapura, Índia e Reino Unido.
Essas instituições poderiam ajudar na definição de padrões por meio do Center for AI Standards and Innovation (CAISI) e de organismos nacionais do setor, com foco em modelos de IA de fronteira e no gerenciamento de benefícios e riscos associados à pesquisa automatizada, incluindo o RSI.
Os padrões serviriam como uma base técnica comum para medir e avaliar capacidades, analisar riscos e verificar a suficiência de mecanismos de proteção.
Continua após a publicidade
A OpenAI esclarece que esses padrões não seriam licenças, revisões obrigatórias antes do lançamento ou requisitos de aprovação para modelos de IA. Caberia aos governos nacionais decidir se e como incorporá-los aos próprios sistemas legais.
A empresa também afirma que o processo deveria consultar desenvolvedores de modelos abertos e fechados, especialistas técnicos independentes e universidades. A proposta é que os padrões sejam desenvolvidos de maneira transparente e não favoreçam empresas, países ou modelos de negócio específicos.
Leia mais:
Continua após a publicidade
Métricas e comunicação de incidentes
A segunda parte da proposta envolve a criação de medições e protocolos comuns para comunicação de incidentes.
Entre os possíveis padrões citados pela OpenAI estão:
- Avaliação do avanço de sistemas de IA relacionado ao RSI;
- Medição da quantidade de pesquisa autônoma realizada dentro de uma empresa de IA;
- Regras para supervisão humana de pesquisas automatizadas;
- Definição de quais processos de pesquisa automatizada deveriam provocar uma revisão humana imediata;
- Classificação, acompanhamento, comunicação e resposta a incidentes relacionados a alinhamento e pesquisa automatizada;
- Definição de níveis comuns de gravidade e limites para comunicação de incidentes.
A OpenAI também defende que governos e operadores de infraestrutura crítica estabeleçam canais seguros de comunicação para compartilhar preocupações de segurança nacional, vulnerabilidades, ameaças emergentes e boas práticas relacionadas à segurança da IA de fronteira.
Continua após a publicidade
A empresa cita especificamente o diálogo entre Estados Unidos e China como uma área em que essa comunicação poderia avançar.
Por que os EUA?
A OpenAI argumenta que os Estados Unidos estão em posição de liderar o esforço porque sua indústria de IA está na fronteira tecnológica e o país ocupa posição relevante em áreas, como finanças, comércio, defesa, tecnologia e sistemas de informação.
Na avaliação apresentada pela empresa, assumir a liderança agora ajudaria a definir a estrutura global de IA, enquanto a ausência desse movimento poderia contribuir para um sistema fragmentado e desigual.
A proposta surge em momento de crescente discussão internacional sobre a necessidade de coordenar o desenvolvimento de sistemas avançados.
OpenAI e outros líderes do setor vêm discutindo formas de acompanhar o ritmo de desenvolvimento da tecnologia diante dos riscos associados a sistemas que poderiam eventualmente avançar além da capacidade de supervisão humana.
Continua após a publicidade
A OpenAI, porém, afirma que “pacing” — termo usado para descrever a ideia de acompanhar ou ajustar o ritmo do desenvolvimento — não significa estabelecer uma velocidade predeterminada para o avanço da IA.
Para a empresa, tecnicamente, o objetivo seria garantir que pesquisas de alinhamento e a aplicação dessas pesquisas permaneçam à frente das capacidades dos sistemas.
Rodrigo Mozelli
Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.
!function(f,b,e,v,n,t,s){
if(f.fbq)return;
n=f.fbq=function(){n.callMethod?n.callMethod.apply(n,arguments):n.queue.push(arguments)};
if(!f._fbq)f._fbq=n;n.push=n;n.loaded=!0;n.version=’2.0′;
n.queue=[];t=b.createElement(e);t.async=!0;
t.src=v;s=b.getElementsByTagName(e)[0];
s.parentNode.insertBefore(t,s)
}(window, document,’script’, ‘https://connect.facebook.net/en_US/fbevents.js’);
fbq(‘init’, ‘1221644929160171’);
fbq(‘track’, ‘PageView’);
