A superfície de ataque dos sistemas com inteligência artificial

Um sistema com inteligência artificial não é uma caixa preta. Ele é uma cadeia de elos, e cada elo tem a sua porta. Mapear a cadeia é o que permite fechar as portas.

O primeiro elo é a entrada. Texto digitado pela pessoa, arquivo enviado, dado puxado de outro sistema. Esse é o elo mais parecido com o resto da web, e o mais conhecido. O que muda é o volume: a entrada deixa de ser um formulário e passa a ser texto livre, onde qualquer instrução pode ser escrita.

O segundo elo é o contexto. É onde mora a instrução do sistema, o histórico da conversa, a base de conhecimento e as regras. O problema desse elo é que tudo se mistura. O modelo não distingue instrução de dado, e é exatamente essa mistura que permite a injeção de instrução. Separar o que é regra do que é conteúdo, de forma que a regra não possa ser alterada pelo conteúdo, é a defesa.

O terceiro elo é o modelo. Ele é o ponto mais largo da superfície, porque processa tudo sem distinguir o que pode dizer do que não pode. Não é um problema que se resolve, porque o modelo é do fornecedor. O que se resolve é o que acontece antes e depois dele: o que entra, com filtro, e o que sai, com conferência.

O quarto elo são as ferramentas. Busca, banco de dados, e-mail, sistema interno, execução de código. Cada ferramenta conectada é uma porta que o modelo pode abrir, e o modelo não distingue uma consulta legítima de uma instrução maliciosa. A defesa é dar a cada ferramenta o menor privilégio possível e colocar a aprovação humana no que escreve ou envia.

O quinto elo é a saída. O texto que chega à pessoa, ao cliente ou a outro sistema. Se a saída for apenas texto para leitura, o risco é o erro. Se a saída virar ação, o risco é o incidente.

A leitura prática é esta: em um sistema com IA, a maior parte da segurança não está no modelo. Está no que se faz antes de chamar o modelo e no que se faz depois de receber a resposta.