IA e riscos emergentes

Existe uma leitura comum de que "segurança de IA" significa proteger o modelo contra manipulação — fazer com que ele não produza a resposta errada. Essa leitura é estreita. Ela trata o modelo como o alvo, quando o modelo costuma ser apenas mais um componente no caminho até o que realmente importa.

O risco relevante aparece quando três coisas coexistem: o sistema interpreta entrada não confiável como se fosse instrução, decide por conta própria qual ação tomar e carrega credenciais que lhe dão alcance real. Nenhum desses três elementos é novo isoladamente. A combinação é.

Por isso a pergunta de pesquisa aqui não é "como tornar o modelo seguro". É: o que este sistema pode fazer, em nome de quem, e o que impede que ele faça mais.

1. A fronteira entre conteúdo e instrução

Em software tradicional, dado e código ocupam canais distintos. Um valor recebido do usuário não se torna comando. Em aplicações de linguagem, ambos chegam como texto no mesmo contexto, e a distinção passa a depender de convenção — de formatação, de rótulos, de ordem — e não de uma barreira estrutural.

O que se investiga é onde essa convenção pode ser quebrada por conteúdo que o próprio sistema decide carregar: uma página consultada, um documento anexado, um registro de banco de dados, uma resposta de outra API. A pergunta prática é sempre a mesma — esse texto tem o poder de alterar o comportamento do sistema, ou apenas informá-lo? — e na maioria das implementações a resposta não está documentada em lugar nenhum.

2. Identidade e alcance de agentes

Quando um agente executa uma ação, ele age com alguma identidade: a própria, a de quem o invocou, ou uma credencial de serviço mais ampla que as duas. Cada escolha tem consequências diferentes e nenhuma delas é neutra.

Se o agente herda integralmente o acesso do usuário, qualquer desvio de comportamento tem o teto da permissão mais ampla daquele usuário. Se o agente tem identidade própria, o problema passa a ser governar essa identidade — ciclo de vida, rotação, auditoria, escopo. Se o agente compartilha uma credencial de serviço, o problema é que a autoria das ações deixa de ser atribuível a alguém.

O interesse de pesquisa está em como implementações reais resolvem — ou não resolvem — a combinação entre autenticação de origem, escopo mínimo e rastreabilidade da ação.

3. Supervisão humana como parte da arquitetura

"Human in the loop" é frequentemente tratado como um interruptor. Na prática, é uma decisão de arquitetura com posição definida: onde exatamente a execução para, qual informação a pessoa vê antes de decidir, quanto tempo ela tem e o que acontece se ninguém responder.

Um ponto de supervisão mal posicionado é pior que sua ausência, porque cria confiança sem criar controle. Esta linha investiga onde a parada precisa existir para ser efetiva — e reconhece que, para ações irreversíveis, ela precisa existir antes da ação, não depois, como notificação.

4. Cadeia de suprimentos de IA

Modelos, pesos, adaptadores, bibliotecas, conectores e provedores externos entram no sistema como componentes e saem do controle direto de quem opera. Qualquer um deles pode mudar sem alteração no repositório da aplicação — e portanto sem passar por revisão de código.

A questão de pesquisa é de observabilidade: como detectar que o comportamento do sistema mudou quando nada no código mudou. Isso exige registro de entrada, saída e contexto em um nível que a maioria das aplicações não faz hoje.

5. Governança que sobrevive ao próximo modelo

Qualquer controle desenhado para as capacidades de um modelo específico envelhece na próxima versão. O que permanece são controles estruturais: limites de alcance, segregação de credenciais, classificação de dados e pontos de decisão obrigatórios — coisas que não dependem de prever o comportamento do modelo, apenas de limitar suas consequências.

Pesquisa aqui não é atividade separada do trabalho com clientes: é a parte do trabalho que pode ser publicada. O que sustenta esta área são as mesmas questões que aparecem em avaliação — segurança de IA, segurança de aplicações e APIs e engenharia de segurança — generalizadas e verificadas além de um ambiente específico.

Nada do que é publicado nesta seção descreve um cliente, um ambiente, um achado ou uma organização específica.

• Segurança de IA — como essas questões aparecem em avaliação aplicada.
• Trust Center — como a própria Baleeiro Security usa automação e IA em suas operações.
• Insights — recortes mais curtos sobre mudanças recentes nesta área.
• Erik Baleeiro — autoria e responsabilidade sobre o material publicado.