Por que seu agente muda de comportamento quando você troca o modelo

Em maio de 2026 um pesquisador da KailosLab rodou 432 execuções para testar uma coisa que parece óbvia. Ele deu ao Gemini 2.5 Flash uma instrução de duas linhas e mediu quantas das 24 tarefas o modelo acertava. Deu 95,8%. Depois trocou por um processo de seis etapas com lista de arquivos permitidos, critério de sucesso e especificação de verificação, que é o que qualquer um de nós escreveria depois de um mês apanhando em produção.

O acerto caiu para 66,7%. Das 8 falhas, 8 foram violação de formato: o modelo entendeu a tarefa e respondeu narrando o raciocínio em vez de emitir o JSON.

A equação que organiza tudo

Agente é modelo mais harness. O harness é a infraestrutura em volta do modelo: system prompt, definição e formato das ferramentas, loop de execução, gestão de contexto, política de compactação, tratamento de erro e verificação.

Parte da política do agente está nos pesos. A outra parte está no harness. Quando um paper reporta ganho de benchmark sem trocar o modelo, quase sempre o que mudou foi o harness.

Daí o corolário desconfortável: trocar de modelo sem recalibrar o harness é trocar metade da política do agente e manter a outra metade errada.

O que o experimento mediu

O HEAT-24 cruzou seis modelos, quatro faixas de capacidade e três níveis de harness sobre 24 tarefas com verificação binária via git diff.

Três leituras que a tabela sustenta sozinha.

O modo de falha é diagnóstico. format_violation indica harness pesado demais para o modelo, e respondeu por 25 das 26 falhas dos modelos capazes. wrong_file indica harness leve demais.

Contagem de parâmetro não prevê estabilidade. O Gemma4:e2B, com 2B de parâmetros, entrega 91,7% nas três condições, mesma estabilidade de um modelo 60 vezes maior. A variável que separa os dois é qualidade de instruction-tuning.

Reasoning inverte a curva. O Qwen3.5-122B vai pior no balanced e melhor no strict, e sob strict a latência cai de 35,4 s para 23,3 s. Restrição explícita encurta a cadeia de pensamento.

As ressalvas, que também são notícia

O próprio autor classifica o resultado como preliminar: k=1 repetição, n=24 por célula, e intervalos de Wilson largos — 58,3% carrega [36,6; 78,2]. Cada faixa de capacidade é representada por um único modelo, então comparação entre faixas é exploratória.

Isso não invalida o achado. Muda o que dá para afirmar: existe um efeito grande e reprodutível dentro de cada modelo testado, e não uma lei sobre categorias de modelo.

O eixo do paper é o eixo do mercado

As três condições testadas têm correspondente direto em produto.

O DeepAgents se declara model-agnostic, e é verdade: roda com qualquer LLM que faça tool calling. Só que compatibilidade de API descreve interface, e o mesmo harness entrega 95,8% com um modelo e 58,3% com outro.

Model-agnostic é promessa de interface, não de comportamento.

Faça a conta na sua operação

O paper mede acerto, não custo. Mas a decisão de harness quase sempre vira decisão de modelo, e aí a conta muda de ordem de grandeza.