O ciclo e familiar. Uma equipa constroi um agente de IA que funciona brilhantemente em demos. Raciocina sobre tarefas, chama as ferramentas certas e produz resultados coerentes. Depois chega a producao. Em dias ou semanas, chegam os relatorios de falhas. O agente entra em ciclos em tarefas simples. Alucina argumentos de ferramentas. Perde contexto a meio de um fluxo de trabalho. A demo funcionou. A producao nao. Perceber porque, de forma especifica e tecnica, e o primeiro passo para construir agentes que resistem.
O Pressuposto de Fiabilidade
Os agentes de IA construidos para demos sao otimizados para o caminho feliz. A producao e o caminho infeliz em escala. Cada chamada de ferramenta tem uma taxa de falha. As janelas de contexto enchem e sao truncadas. Os utilizadores interagem de formas que violam pressupostos implicitos incorporados no system prompt.
A maioria dos agentes demo nao tem tratamento de erros significativo. Quando uma chamada de ferramenta retorna um erro 500, o agente ou alucina um resultado ou entra num ciclo de nova tentativa que consome tokens sem progredir. A correcao nao e um prompting mais inteligente. E tratar as falhas de ferramentas como eventos esperados com logica de tratamento definida.
Estado e Contexto Quebram nas Fronteiras do Sistema
Os agentes em demos normalmente correm numa unica sessao com uma janela de contexto limpa. Em producao, abrangem multiplas sessoes, sao interrompidos, reiniciam apos erros, e operam em ambientes onde o contexto pode ter sido resumido ou perdido. O estado da tarefa (o que o agente tentou, o que teve sucesso, que constrangimentos descobriu) deve ser explicitamente persistido e recarregado, nao reconstruido a partir de uma janela de contexto que pode ter sido compactada.
A Fiabilidade das Ferramentas e um Problema de Primeira Ordem
Os agentes tornam-se perigosos quando chamam ferramentas com argumentos incompletos ou incorretos e nenhuma validacao o deteta. Uma ferramenta que escreve numa base de dados, envia um email, ou modifica um registo num sistema externo nao verifica se o agente a chamou corretamente. Executa. Cada ferramenta exposta a um agente precisa de validacao de entrada, aplicacao de schema de saida, e garantias de idempotencia para seguranca em novas tentativas.
O Fosso de Avaliacao
A maioria das equipas lanca agentes sem um framework de avaliacao significativo. Testam manualmente, encontram falhas obvias, corrigem-nas e lancam. Quando o agente e atualizado ou o modelo subjacente e alterado, nao ha forma de saber se houve regressao em comportamentos que anteriormente funcionavam. Os agentes prontos para producao tem suites de avaliacao automatizadas que testam a conclusao de tarefas principais, a precisao da selecao de ferramentas, e o tratamento de casos limite.
Pontos-Chave
- Os agentes demo sao otimizados para o caminho feliz; a producao requer tratamento explicito de falhas em cada camada
- O estado da tarefa deve ser persistido e recarregado explicitamente; a continuidade da janela de contexto nao e substituta da gestao de estado
- Cada ferramenta exposta a um agente precisa de validacao de entrada, aplicacao de schema e garantias de idempotencia
- Lance suites de avaliacao automatizadas antes do lancamento e mantenha-as como um ciclo continuo
- Comece com escopo restrito e alta observabilidade; expanda incrementalmente a medida que cada camada se prove fiavel
As equipas que tem sucesso com agentes de IA em producao nao sao as que tem os prompts mais sofisticados. Sao as que trazem a mesma disciplina de engenharia ao desenvolvimento de agentes que trariam a qualquer outro sistema distribuido. E exatamente isso que um agente de IA a correr em escala e.
