OpenAI anuncia punição para quem tentar sexualizar crianças no ChatGPT

Publicidade

– FIQUE ATUALIZADO: Entre no nosso grupo de notícias e siga nossas redes sociais

A OpenAI anunciou uma série de medidas para combater o uso de suas ferramentas na produção e disseminação de material de abuso sexual infantil. Entre as novidades está a suspensão temporária de contas do ChatGPT por 24 horas após solicitações que tentem sexualizar crianças. Violações repetidas poderão resultar no encerramento permanente da conta e até em denúncias às autoridades.

Continua após a publicidade

A iniciativa também inclui novo sistema de identificação de imagens abusivas, orientações para desenvolvedores e ferramentas de inteligência artificial (IA) destinadas a auxiliar investigações policiais especializadas.

Segundo a empresa, o objetivo é interromper comportamentos prejudiciais, dificultar a circulação desse tipo de material e ampliar a capacidade de organizações de proteção infantil de identificar possíveis casos de abuso.

ChatGPT exibirá alertas e suspenderá contas por 24 horas

  • O novo mecanismo prevê que usuários que solicitarem conteúdo que sexualize crianças recebam aviso explicando os danos causados por esse tipo de comportamento, inclusive quando o material solicitado for gerado por IA;
  • Além do alerta, a conversa identificada será removida e o acesso ao ChatGPT ficará suspenso por 24 horas. Durante esse período, a plataforma manterá canais de suporte especializado para orientar pessoas que precisem de ajuda para interromper comportamentos prejudiciais;
  • A OpenAI também informou que infrações repetidas poderão levar a restrições mais longas e, eventualmente, ao encerramento da conta. Dependendo da situação, os casos também poderão ser comunicados às autoridades;
  • A empresa afirma que já proíbe materiais de abuso sexual infantil e treina seus modelos para recusar solicitações relacionadas a esse conteúdo. As novas intervenções complementam os mecanismos de proteção existentes.

OpenAI lança detector de imagens de abuso sexual infantil

Outra novidade é um classificador de imagens desenvolvido para identificar possíveis materiais de abuso sexual infantil, inclusive aqueles produzidos por IA.

A ferramenta analisa características visuais e atribui pontuações que ajudam equipes especializadas a priorizar imagens que precisam de avaliação humana. Segundo a OpenAI, trata-se do primeiro classificador com ampla disponibilidade que apresenta um indicador específico para identificar possíveis materiais de abuso gerados por IA.

Nos testes iniciais, a tecnologia apresentou resultados considerados promissores. Em avaliação de imagens enviadas por usuários, o sistema conseguiu reduzir em 48% a quantidade de imagens sinalizadas para revisão, mantendo aproximadamente a mesma capacidade de identificação de materiais abusivos em comparação com as proteções anteriores.

Logo da OpenAI na fachada de um prédio
Outra novidade é um classificador de imagens desenvolvido para identificar possíveis materiais de abuso sexual infantil, inclusive aqueles produzidos por IA – Imagem: doomu/Shutterstock

Além disso, as imagens sinalizadas pelo novo classificador tinham aproximadamente o dobro de probabilidade de conter material de abuso.

A tecnologia foi desenvolvida e avaliada com a colaboração do National Center for Missing and Exploited Children (NCMEC), organização estadunidense sem fins lucrativos que mantém uma central de recebimento de denúncias sobre exploração infantil.

A OpenAI disponibilizará o classificador gratuitamente, por meio de sua API, para organizações verificadas que atuam na proteção de crianças.

Leia mais:

Continua após a publicidade

Empresa também prepara ferramentas para investigações

As medidas anunciadas não se limitam aos usuários do ChatGPT. A OpenAI também publicou orientações práticas para desenvolvedores sobre prevenção, identificação e denúncia de materiais de abuso sexual infantil.

O material foi elaborado com contribuições de organizações, como Tech Coalition, Thorn, NCMEC e Internet Watch Foundation. As recomendações incluem mecanismos de denúncia, ferramentas de detecção e procedimentos para analisar e comunicar possíveis casos de exploração.

Outra frente envolve o apoio a equipes policiais especializadas em crimes contra crianças. A empresa está oferecendo ferramentas e treinamentos de IA para auxiliar investigadores na organização de informações e na análise de grandes volumes de dados.

A primeira ferramenta anunciada para esse público poderá analisar registros extensos de conversas e documentos obtidos durante investigações, identificar possíveis conexões entre informações e organizar linhas do tempo. Os resultados deverão permanecer vinculados às fontes originais para facilitar a verificação pelos investigadores.

Continua após a publicidade

Medidas chegam em meio a questionamentos sobre segurança infantil

O anúncio ocorre em momento de pressão sobre empresas de IA em relação aos riscos de suas tecnologias para crianças e adolescentes.

A OpenAI afirma que a proteção infantil exige colaboração entre empresas, organizações especializadas, desenvolvedores e autoridades policiais. A companhia também destaca que continuará aprimorando seus mecanismos de segurança e ampliando o acesso a ferramentas de prevenção e identificação de abusos.

As novas medidas representam tentativa de atuar em diferentes etapas do problema: impedir solicitações prejudiciais, identificar materiais abusivos e oferecer recursos para organizações que trabalham no combate à exploração infantil.

Rodrigo Mozelli

Rodrigo Mozelli

Rodrigo Mozelli é jornalista formado pela Universidade Metodista de São Paulo (UMESP) e, atualmente, é redator do Olhar Digital.

Olhar Digital

Compartilhe essa Notícia:

publicidade

publicidade

plugins premium WordPress