Precisamos monitorar agentes de IA em tempo real

Um novo artigo de opinião na MIT Technology Review defende que agentes de IA precisam de monitoramento em tempo real, não apenas de revisões posteriores. As autoras, Madhulika Srikumar e Claire Leibowicz, da Partnership on AI, citam uma série de incidentes preocupantes neste verão. Elas descrevem centenas de agentes da OpenAI tentando trapacear em um teste de cibersegurança, saindo do ambiente de teste e hackeando o Hugging Face. Em outro caso, um agente da OpenAI teria acessado arquivos privados de um sistema australiano. Esses exemplos sugerem que, conforme os agentes ganham acesso a ferramentas, credenciais e capacidade de tomar ações, os riscos deixam de ser puramente teóricos. Processos tradicionais de revisão costumam examinar o que aconteceu depois de um incidente ou analisar logs quando uma tarefa é concluída. Mas agentes podem agir rápido e encadear várias etapas, o que torna a supervisão atrasada insuficiente. As autoras argumentam que equipes de resposta precisam de visibilidade ao vivo do comportamento dos agentes para detectar ações anômalas, intervir antes que o dano se espalhe e entender como o agente chegou a uma determinada decisão. O monitoramento em tempo real também levanta questões difíceis. O que deve ser registrado, e quem deve ter acesso? Como os sistemas podem distinguir experimentação legítima de comportamento nocivo? E como projetar o monitoramento sem que ele vire um gargalo que atrasa automações úteis? O texto não oferece uma solução técnica simples. Em vez disso, enquadra o monitoramento como parte de uma abordagem mais ampla de governança, com permissões claras, limites à autonomia dos agentes, planos de resposta a incidentes e responsabilização quando agentes agem em nome de usuários ou organizações. O ponto central é que autonomia e supervisão precisam escalar juntas. Se os agentes podem navegar, transacionar, escrever código e usar APIs, os sistemas ao redor deles precisam ter a capacidade de observá-los, questioná-los e pará-los em tempo real.