A recente decisão da DeepSeek de reduzir drasticamente os preços de seu modelo V4-Pro em 75% deveria ter sido inequivocamente uma boa notícia para fornecedores e desenvolvedores de IA empresarial. Em vez disso, muitos estão a descobrir que modelos mais baratos não se traduzem automaticamente em margens mais saudáveis.

A razão é simples: embora os custos de inferência despenquem, os sistemas de agentes consomem tokens vorazmente mais rápido do que os preços diminuem. Nas últimas duas décadas, a economia do software foi ditada pela mesma regra. A infraestrutura ficou mais barata a cada ano, enquanto os aplicativos se tornaram mais capazes. A hipótese inicial foi que a IA seguisse o mesmo padrão. À medida que os modelos de fronteira melhoraram e os preços dos tokens caíram, muitos assumiram que a inferência se tornaria uma despesa operacional insignificante. Essa suposição começou a desmoronar-se exponencialmente.

Um chatbot geralmente transforma uma pergunta do usuário em uma chamada de modelo. Um agente transforma isso em uma cadeia de decisões de planejamento, recuperação, uso de ferramentas, verificação, resumo e acompanhamento. O usuário vê uma resposta. O fornecedor paga pelo loop. Esse é o problema 100x: a mesma solicitação visível ao usuário pode custar muito mais para servir como um fluxo de trabalho de agente do que como um chatbot ou uma resposta de geração aumentada de recuperação (RAG). Em fluxos de trabalho de longa duração, o multiplicador é maior. A queda dos preços dos modelos ajuda, mas não corrige uma arquitetura de produto que transforma um prompt em dezenas de operações faturáveis.

A escala do que está agora em jogo é clara na forma como os próprios fornecedores de modelos estão a definir os preços das relações com os criadores. O programa proposto pela OpenAI para dar a cada startup Y Combinator US$ 2 milhões em créditos de API – um número que teria financiado uma rodada inicial inteira em qualquer ciclo tecnológico anterior, e quando o mesmo grupo sobreviveu com alguns milhares de dólares de créditos da AWS – é menos uma vantagem de recrutamento do que uma admissão do que custa agora administrar uma empresa nativa de IA durante seu primeiro ano de produto. Para empresas estabelecidas que adaptam agentes em linhas de produtos existentes, os números absolutos são ainda maiores.

O que é amplificação de token

Em um chatbot de turno único, uma mensagem do usuário produz aproximadamente uma chamada de modelo. A relação entre insumos e faturamento é de cerca de 1:5.

Em um agente de várias etapas implementado em suporte ao cliente, operações de vendas, finanças, revisão jurídica e engenharia, essa proporção cai rotineiramente em 1:700 ou superior. Cada iteração do loop transporta a conversa cumulativa, os resultados da ferramenta e os rastros de raciocínio. Cada etapa é anexa; nada é descartado.

UM "simples" consulta do agente como “O que nosso principal cliente perguntou na semana passada?” normalmente aborda sete operações com preços antes de retornar uma resposta:

1. Solicitação do usuário (~50 tokens)

2. Prompt do sistema e definições de ferramentas (cerca de 3.000 tokens, repetidos em cada chamada)

3. Recuperação (~5.000 tokens de contexto)

4. Chamada de modelo nº 1 – seleção de ferramenta (8.000 entradas / 200 saídas)

5. Execução da ferramenta (cerca de 4.000 tokens retornados)

6. Chamada de modelo nº 2 – resumo (12.000 entradas / 400 saídas)

7. Chamada de modelo nº 3 – decisão de acompanhamento (12.400 entradas / 100 saídas)

Uma frase, cerca de 35.000 tokens de entrada faturados. Algo entre US$ 0,10 e US$ 0,40 por consulta em um modelo de fronteira. Multiplique isso por um milhão de consultas por mês – o volume mínimo para qualquer recurso empresarial B2B – e o item de linha terá seis dígitos.

Por que isso quebra o modelo de negócios de IA existente

A história de preços dominante para IA empresarial tem sido SaaS baseado em assento: Pague por usuário por mês, forneça capacidade de agente, margem de captura. Esse modelo pressupõe um custo por usuário razoavelmente limitado.

A amplificação de token quebra a suposição. Um usuário avançado executando 50 chamadas de agente por dia em um plano de US$ 40/assento pode custar mais em inferência do que o plano cobra. A amplificação de token destrói o modelo tradicional de preços SaaS. Quando a atividade diária do agente de um usuário avançado custa mais em inferência do que sua taxa de assinatura mensal, as margens brutas do fornecedor tornam-se negativas, um paradoxo que se agrava à medida que os clientes aprofundam a adoção do agente, a própria curva de uso que os fornecedores estão vendendo aos seus conselhos. Vários fornecedores estão agora reportando, de forma privada, margens brutas negativas sobre usuários pesados, refletindo relatórios recentes de gastos em nuvem da coorte ‘Supernova’ de Bessemer, onde a correlação entre a adoção de agentes de IA e a contração da margem bruta passou de um risco teórico para um obstáculo primário de P&L.

Os sintomas visíveis começaram a vazar para a cobertura pública. A Bloomberg documentou esta semana uma lacuna cada vez maior entre as demonstrações de marketing Agentforce da Salesforce e os recursos realmente enviados aos clientes. Este é o tipo de lacuna que se abre previsivelmente quando a funcionalidade prometida é tecnicamente possível, mas não é económica para servir ao preço que o plano de assentos implica. Salesforce é o caso mais assistido, não o único.

"Para minha equipe, o custo da computação está muito além dos custos dos funcionários." – Bryan Catanzaro, vice-presidente de aprendizado profundo aplicado, Nvidia

A implicação estratégica não é "IA é cara." Acontece que o modelo de negócios dominante assumido pela maioria dos planos empresariais nativos de IA não sobrevive ao contato com cargas de trabalho de agentes.

Um exemplo simples

Considere um fornecedor de software empresarial cobrando US$ 40 por usuário, por mês, por um assistente de suporte habilitado para IA. Um chatbot tradicional pode custar apenas alguns centavos por usuário por dia em inferência, deixando margens brutas saudáveis.

Agora substitua esse chatbot por um fluxo de trabalho totalmente agente, capaz de investigar tickets, consultar sistemas internos, redigir respostas, validar resultados e escalar exceções. Se um usuário pesado executar de 50 a 100 solicitações de agente por dia, o consumo de inferência poderá aumentar em uma ordem de grandeza. O que antes era um custo de infraestrutura insignificante torna-se uma despesa operacional significativa.

Isto cria uma dinâmica incomum: os clientes que recebem o maior valor do produto são frequentemente os clientes que geram os custos de inferência mais elevados. Em casos extremos, os fornecedores podem ter seus usuários mais engajados contribuindo com o menor lucro. O resultado é uma percepção crescente em todo o software empresarial de que a adoção dos agentes e a expansão das margens não estão mais alinhadas automaticamente.

A orquestração de agentes é o novo fosso

As respostas técnicas são conhecidas e convergentes. Eles não são novos, mas são essenciais para a sobrevivência

• Roteamento consciente de custos: esta técnica envolve um pequeno modelo classificador que decide qual camada (equivalentes Haiku, Sonnet, Opus) lida com cada consulta. Roteadores bem ajustados reduzem as contas de inferência em cerca de 60% sem qualquer degradação na qualidade

• Cache de prompt: Anthropic, OpenAI e Google agora oferecem descontos de 75 a 90% em prefixos em cache.

• Disciplina de contexto: você pode truncar saídas de ferramentas, remover traços de raciocínio e limitar a profundidade da ferramenta para evitar que seu agente caia na toca do coelho

• Decodificação especulativa: para implantações auto-hospedadas, essa técnica garante uma taxa de transferência efetiva de 2 a 3X nas mesmas GPUs.

"As organizações que utilizam governança liderada por orquestração relatam ganhos de produtividade mais fortes — uma camada de orquestração holística está associada a um impacto de produtividade seis vezes maior do que as abordagens apenas de conformidade" – IBM

As empresas que constroem bem essa camada estão começando a se parecer menos com operadoras de microsserviços e mais com sistemas de negociação financeira: Cada decisão de roteamento tem um preço, cada caminho com seu próprio P&L, cada inquilino com um orçamento medido.

O que os líderes empresariais deveriam realmente fazer

Fnossos movimentos separam as empresas que ainda terão margem em 24 meses daquelas que não terão:

1. Faça do custo de inferência uma métrica de primeira classe. Acompanhe-o por recurso, por locatário e por classe de consulta da mesma forma que o custo da nuvem foi rastreado a partir de meados da década de 2010.

2. Faça um orçamento como um comprador de mídia. Defina limites máximos de custo por mil consultas por recurso. Tampe-os. Alerta sobre ultrapassagens. A engenharia não irá impor isso sozinha.

3. Trate o roteador como uma infraestrutura central, não como uma otimização. É o novo balanceador de carga.

4. Solicitações de auditoria trimestralmente. Um prompt do sistema de 4.000 tokens que cresceu organicamente ao longo de seis meses é uma conta de seis dígitos em câmera lenta. A maioria das equipes nunca leu seus próprios prompts de produção de ponta a ponta.

5. Negocie compromissos de volume antecipadamente. Os fornecedores do modelo Frontier agora oferecem commits pré-pagos no estilo de instância reservada com descontos substanciais. O preço de tabela é o pior preço que qualquer empresa pagará.

Os próximos 24 meses

A mudança estrutural por trás da IA ​​agente não é que ela seja cara. Como sublinha o corte de preços da DeepSeek hoje, os custos unitários de inferência de fronteira estão caindo cerca de 3 vezes por ano, e a curva não está desacelerando.

A mudança é essa a amplificação está ultrapassando os cortes de preços. Cortar os custos por token em 75% não ajuda uma empresa cujos agentes estão fazendo 700 vezes mais tokens por consulta do usuário do que seu modelo de precificação supunha. Pela primeira vez desde o início da era da nuvem, as decisões de arquitetura são novamente decisões financeiras em tempo real. Um redesenho imediato é um evento marginal. Um loop de agente mal vinculado é uma interrupção com um cartão de crédito anexado.

As empresas que sobreviverem aos próximos 24 meses de preços de infraestrutura de IA não serão as que utilizarão o modelo mais barato. Eles serão aqueles cujos agentes serão inteligentes e saiba quanto custa pensar.

Esse é o problema 100X. E está a chegar mais rapidamente do que os cortes de preços conseguem ocultá-lo.

Maitreyi Chatterjee é engenheira de software sênior em uma grande empresa de tecnologia.

Devansh Agarwal trabalha como engenheiro de ML em uma empresa líder de tecnologia.

Fonte ==> Cyberseo