Quarto episódio de Economizando com IA. Os episódios 1 e 2, Headroom: o editor entre você e o modelo e Uma ferramenta para gastar menos com IA aumentou a minha conta, instalaram uma ferramenta que prometia uma conta mais leve enviando menos tokens ao modelo. O episódio 3, A Morte dos Tokens, abriu a fatura: os tokens caíram 46% e a conta subiu 14%, porque token não é o que o provedor cobra. Isto é o que fizemos em seguida.
Por três episódios esta série tentou gastar menos com IA enviando menos texto ao modelo. É a ideia óbvia, toda ferramenta desse mercado vende isso, e nas nossas mãos ela falhou. A ferramenta cortou quase pela metade o que o agente envia, e a rodada de trabalho saiu 14% mais cara. O episódio 3 explicou por quê: token é o que o provedor conta, a fatura tem quatro linhas a quatro preços, e a linha que a ferramenta encolheu é a mais barata das quatro.
O mesmo episódio terminou na única alavanca que tinha movido a nossa conta mais do que qualquer ferramenta, nas duas direções: qual modelo respondeu que tipo de tarefa. Então paramos de economizar tokens e puxamos essa alavanca. Este episódio é o comprovante.
A resposta curta é sim, economizou. A resposta longa é mais interessante, porque a conta não caiu do jeito que a aritmética dizia que cairia, e o motivo aponta direto para o próximo episódio.
De onde saiu a ideia
Saiu de uma planilha que mantive por cinco semanas, não para estudar nada, só para saber. Um agente de IA vinha fazendo o trabalho de entrega numa plataforma de cliente havia meses, e eu nunca tinha olhado a fatura tarefa por tarefa. Trinta e seis tarefas entraram. Em preço de lista, somaram US$ 5.908.
Ordenada, a planilha mostrou uma coisa antes de qualquer outra: toda tarefa tinha rodado no mesmo modelo, no mesmo esforço, da que levou uma única rodada de trabalho à que levou duas mil e quinhentas. Não porque alguém tivesse pesado. Porque era a configuração com que a sessão abria, meses antes, e ninguém tinha mexido nela desde então.
Aí fui procurar o pior caso e encontrei uma tarefa que custou US$ 660 para percorrer catorze itens de um relatório automático, um a um. O agente fez bom trabalho: rastreou cada item, escreveu uma regra curta para separar achado real de achado falso, e a aplicou. Doze dos catorze eram falsos, e onze dos doze eram o mesmo achado falso. A tarefa precisava de um juízo e treze repetições dele, e recebeu o modelo mais caro fazendo os catorze numa única conversa longa, relendo tudo o que tinha aprendido sobre os treze primeiros antes de tocar no último. Cinco vezes tive de trazê-la de volta ao rumo.
E depois o caso oposto, que é por que a resposta não é “use o modelo barato”. Uma tarefa de US$ 304 abriu com uma frase: algo que o sistema envia chega errado do outro lado. O agente duvidou da frase, leu anos de histórico, e descobriu que uma peça que todo mundo supunha inserida automaticamente tinha deixado de ser inserida numa atualização antiga. Nove coisas estavam quebradas, não a única do pedido. Nenhum modelo barato faz essa pergunta. Trezentos dólares foi o preço da dúvida, e os melhores trezentos das cinco semanas.
Dois tipos de trabalho, então. Julgamento, que quer o modelo caro. E repetição, que quer qualquer um menos ele. Um preço para os dois.
Quanto custa uma rodada de trabalho
Para ver por que o preço importa tanto, é preciso ver o que é uma rodada.
Um agente não tem memória entre uma ação e a seguinte. Toda vez que faz alguma coisa, manda a conversa inteira de volta ao modelo e pergunta o que fazer agora. Isso é uma rodada, e à tarde cada uma já carrega o equivalente a um livro de 350 páginas. O livro são quatro linhas na fatura: releitura do cache a um décimo do preço do texto novo, texto novo a preço cheio, texto gravado no cache a até o dobro, e a resposta a cinco vezes. Nas cinco semanas, sem nada perturbando o cache, a releitura foi 73 centavos de cada dólar e a resposta, raciocínio incluído, sete.
O modelo multiplica as quatro linhas de uma vez. Na época, o Opus lia a cinco dólares por milhão de tokens, o Sonnet a dois, o Haiku a um. Mesmo livro, mesmo número de rodadas, menos da metade do custo no Sonnet e um quinto no Haiku. O nível de esforço define quantas rodadas existem: menos esforço, passos maiores e em menor número, menos livros reenviados.
Essa é a ideia inteira. Guardar o modelo caro para o julgamento, entregar a repetição a um mais barato, e deixar alguém decidir qual é qual, tarefa por tarefa.
O que mudamos, e por quanto tempo
No fim de setembro, na mesma plataforma do cliente, um modelo para tudo foi substituído por um líder e cinco ajudantes.
O líder é a própria sessão, no modelo caro, e faz só três coisas: lê o pedido e decide se dá para confiar nele, divide o trabalho e escolhe quem faz cada pedaço, e segura o escopo enquanto os outros trabalham, julgando o que volta. Não lê catorze itens.
Os ajudantes são cinco arquivos curtos de configuração, cada um nomeando um modelo, um nível de esforço e um limite de turnos. Um leitor no Sonnet com esforço baixo, que lê e nunca escreve. Um construtor no Sonnet com esforço médio, que implementa uma mudança já decidida e nunca negocia com o pedido. Um testador no Sonnet, despachado por um líder de QA que decide o que o teste precisa cobrir. E um revisor que ataca o plano antes de qualquer trabalho ser distribuído. O revisor e o líder de QA rodam no nível do próprio líder, de propósito: um revisor abaixo do líder só consegue revisar ortografia.
E como uma tarefa grande muda de forma enquanto roda, o líder pode sobrescrever o modelo em qualquer entrega isolada. Quando um lote se revela trivial, ele diz Haiku, neste e segue. O arquivo define o padrão; a entrega define a exceção.
Isso está rodando desde 29 de setembro. A fatura abaixo compara os vinte e quatro dias úteis anteriores, todos no modelo caro, com os dezesseis dias desde então, dez deles de trabalho, na mesma plataforma e com o mesmo operador.
O que a fatura diz
Antes, toda rodada era a própria sessão no modelo caro, e uma rodada custava 52 centavos. Depois, as rodadas do próprio líder custam 24 — parte disso é uma geração mais nova do mesmo modelo, um quinto mais barata, e parte é um líder que dá passos maiores e em menor número porque já não executa. As rodadas que foram para os ajudantes custam quatro a cinco centavos. Os lotes que o líder mandou à mão para o Haiku custam um. Nove em dez rodadas rodavam no modelo mais caro antes; cerca de uma em três depois.
A fatura também me mostrou algo que eu não tinha configurado. O testador não tinha modelo próprio: herdava o que a sessão estivesse rodando, que era o mais caro, e fez 1.441 rodadas assim a 13 centavos cada antes de alguém notar. Desde que o arquivo ganhou a linha que faltava, o mesmo trabalho custa menos de cinco centavos por rodada. Ninguém tomou uma decisão ruim ali. Ninguém tomou decisão nenhuma, e o padrão é invisível até você ir procurar.
Então: economizou ou não?
Sim. Por rodada de trabalho, um quarto do preço: 37 centavos em média antes, 9 depois. Por dia de trabalho, US$ 163 antes e US$ 137 depois, 16% a menos — enquanto o agente fez três vezes mais rodadas, porque ajudantes dão muitos passos pequenos onde a sessão dava poucos e grandes. Leia assim: o dia custou menos e rendeu mais, não como três vezes o trabalho.
Dezesseis por cento é menos do que os trinta que a aritmética prometia quando este artigo ainda era rascunho, e a fatura diz por quê. As rodadas do líder custam 24 centavos e ele ainda faz umas quatrocentas por dia. Num dia calmo, ele é setenta por cento da conta. Saímos de tudo no modelo caro para o líder no modelo caro, e o líder virou a conta. Essa é a próxima alavanca, e o próximo episódio.
Ponha os dois experimentos lado a lado. A ferramenta dos episódios 1 a 3 cortou 46% dos tokens e deixou a rodada 14% mais cara. Gerir modelos não tocou nos tokens — o agente envia mais do que nunca — e deixou a rodada 75% mais barata. Economizar com IA nunca foi sobre tokens. É sobre quem faz o trabalho, e quanto você paga a ele por rodada.
A planilha continua aberta.
Método, em resumo. Uma plataforma de cliente, o mesmo operador do início ao fim. As cinco semanas são 36 tarefas com cada rodada atribuída à tarefa que a pediu, de 15 de agosto a 21 de setembro. O antes e depois é toda rodada da mesma plataforma de 31 de agosto a 28 de setembro contra toda rodada de 29 de setembro a 14 de outubro, cada uma precificada pela tarifa publicada do provedor para o modelo que a respondeu e atribuída ao papel que a rodou, a partir dos registros do próprio agente. Parte da janela de depois ainda passou pelo proxy dos episódios 1 a 3, que encarece a rodada, então o depois está, se algo, superestimado; os dias após a remoção do proxy mostram os mesmos níveis por rodada. Todos os valores são equivalentes a preço de lista: pagamos um plano mensal fixo, e esta série é o estudo que fazemos antes de migrar para o uso medido.