Nas últimas semanas, o Superior Tribunal de Justiça (STJ) identificou em seu acervo de processos petições com prompt injection (injeção de comando), uma artimanha utilizada por usuários mal-intencionados para inserir comandos ocultos em documentos comuns, com o objetivo de enganar modelos de inteligência artificial (IA).
O prompt injection não é novidade, mas o que era uma informação mais conhecida por especialistas no tema ganhou o noticiário especializado jurídico no início de maio, após relatos de tentativa de fraude processual na Justiça trabalhista, no Tribunal Regional do Trabalho da 8ª Região (TRT8).
Segundo o presidente do STJ, ministro Herman Benjamin, o tribunal apurará as tentativas de fraude processual. “O STJ Logos (sistema de IA generativa elaborado pela corte) já foi desenvolvido com comandos específicos que impedem estas artimanhas de atuar. Estamos mapeando todas as tentativas de prompt injection para permitir a aplicação de sanções processuais e a devida apuração de responsabilidade administrativa e criminal dos envolvidos”, comentou.
STJ Logos aposta em camadas de segurança e integridade para prevenir fraudes
No caso do STJ Logos, mesmo que o sistema receba petições com as injeções de comando ocultas, camadas de segurança e integridade impedem que essas ordens maliciosas sejam executadas.
Para mitigar vulnerabilidades como a da injeção de comandos, o STJ Logos adota uma estratégia de defesa estruturada em três níveis complementares.
No primeiro nível, o sistema realiza um pré-processamento rigoroso para garantir a segregação estrita entre instruções e dados, utilizando uma camada de proteção que isola e neutraliza comandos maliciosos em documentos ou inputs externos antes mesmo que eles cheguem ao modelo de IA.
No segundo nível, o sistema estabelece uma delimitação de escopo contextual, de modo a impedir que eventuais diretrizes externas sobreponham suas regras centrais.
Por fim, no último nível, o sistema aplica um filtro de conformidade para a revisão da saída gerada, para garantir que o resultado sugerido esteja alinhado às políticas de segurança.
Para o STJ, segurança e integridade dos processos são prioridades absolutas desde o início do desenvolvimento dos sistemas de IA que culminaram com o lançamento do STJ Logos, em fevereiro de 2025. Com base nesses princípios, as equipes técnicas do tribunal trabalham continuamente em soluções que ampliem a proteção do sistema.
Instauração de inquérito policial e procedimento administrativo
No âmbito do STJ, além das medidas de segurança implementadas desde a concepção no STJ Logos, foi determinado pela Presidência que as tentativas de uso desse mecanismo, embora neutralizadas pelo sistema, passem a ser certificadas nos autos para permitir a aplicação, por ministros e ministras da corte, de sanções processuais aos envolvidos.
A Presidência também definiu a instauração de inquérito policial e procedimento administrativo para apuração dos fatos e oitiva dos advogados e escritórios envolvidos, com vista à eventual responsabilização no âmbito criminal e correicional.
O que é o prompt injection?
O prompt injection é uma técnica que tenta enganar os modelos de IA, em especial os grandes modelos de linguagem (LLMs). O ataque ocorre quando comandos são inseridos em documentos comuns, como petições ou recursos, de forma invisível ao olho humano.
Como a IA processa texto para entender o contexto e responder a comandos (prompts), um usuário pode inserir instruções maliciosas no meio de uma petição, tentando forçar o sistema a ignorar regras de análise fornecidas pelo usuário, de modo a favorecer uma das partes.
