Guardrails de IA não barram hackers criminosos

Criminosos estão recorrendo cada vez mais a ferramentas de IA agêntica para conduzir ataques, e os guardrails de segurança criados pelas empresas de IA têm se mostrado insuficientes, segundo reportagem da WIRED. A preocupação não é apenas que criminosos usem chatbots para escrever código malicioso. Sistemas agênticos mais recentes conseguem executar ações, usar ferramentas, navegar por informações e realizar tarefas de várias etapas. Isso os torna úteis para reconhecimento, pesquisa de alvos, programação e outras fases de um ciberataque. O texto relata que atacantes manipularam sistemas como o Claude, da Anthropic, para auxiliar em trabalhos criminosos. A distância entre as políticas de segurança dos fornecedores e o uso indevido na prática é o ponto central da reportagem. As empresas de IA publicam regras de uso e instalam filtros para bloquear pedidos nocivos, mas atacantes determinados muitas vezes conseguem reformular prompts, fragmentar tarefas em etapas menores ou combinar ferramentas de modo a driblar verificações simples. Sistemas agênticos tornam o problema mais difícil porque o risco não se limita ao que o modelo diz. Ele inclui o que o modelo faz quando está conectado a softwares, navegadores e outros serviços. Um guardrail que funciona para uma resposta isolada de chat pode não funcionar para um agente executando uma sequência de ações. A reportagem levanta questões espinhosas para desenvolvedores de IA e formuladores de políticas. Como detectar uso indevido sem embutir vigilância extensa nos produtos? Que registro, limites de uso ou controles de acesso devem valer para agentes de alta capacidade? E com que rapidez os fornecedores devem compartilhar informações sobre ameaças quando identificam abusos? As respostas seguem em aberto. O que está claro é que os criminosos tratam a IA como mais uma ferramenta do arsenal, e políticas de segurança sozinhas não bastam para detê-los. Conforme os agentes ganham capacidade, cresce a pressão para que as empresas de IA projetem segurança desde o início dos sistemas e trabalhem mais de perto com os defensores.