A Amazon anunciou, nesta semana, uma revisão nas métricas usadas para avaliar o uso de inteligência artificial pelos seus engenheiros de software. A mudança, divulgada internamente, busca substituir indicadores como número de tokens consumidos e volume de código gerado por critérios que reflitam resultados concretos para clientes, negócios e equipes.
Nova orientação interna sobre avaliação de IA
A companhia deixou claro que não está abandonando a IA, mas está mudando o foco da avaliação. Em vez de premiar quem produz mais linhas de código ou consome mais tokens, a Amazon passará a medir o impacto das soluções desenvolvidas.
Segundo o vice‑presidente Terk Terkowitz, o objetivo principal é observar como as iniciativas de IA afetam a experiência do usuário, a eficiência operacional e a colaboração entre times.
Essa nova diretriz foi incluída em um documento interno distribuído a todos os engenheiros de software, com orientações sobre como registrar resultados e como alinhar projetos aos objetivos de longo prazo da empresa.
Os riscos do “tokenmaxxing”
Um dos problemas apontados pela Amazon foi o chamado “tokenmaxxing”, prática em que profissionais exageram o consumo de tokens – unidades de processamento usadas pelos modelos de IA – apenas para melhorar indicadores internos.
Tokens são cobrados pelos provedores de IA e seu uso excessivo pode inflar custos sem gerar valor real ao produto ou ao cliente.
Em relatos internos, alguns engenheiros chegaram a acionar agentes de IA para tarefas triviais, como formatação de documentos, apenas para subir no ranking interno que foi descontinuado em maio.
- Consumo exagerado aumenta despesas operacionais;
- Indicadores baseados em tokens podem distorcer prioridades de projeto;
- Foco no volume pode desestimular a busca por soluções mais eficientes.
A Amazon alerta que transformar o consumo de tokens em meta pode gerar um ciclo de gastos desnecessários, comprometendo a sustentabilidade dos projetos de IA.
Critérios de desempenho baseados em resultados
Para Terkowitz, a métrica mais confiável será o impacto mensurável no longo prazo. Isso inclui três dimensões principais: satisfação do cliente, contribuição para a receita ou redução de custos, e fortalecimento das equipes de desenvolvimento.
Indicadores como número de tokens consumidos ou quantidade de ferramentas adotadas ainda serão monitorados, mas apenas como auxiliares para identificar padrões, e nunca como metas de performance isoladas.
A nova política também incentiva a identificação de situações em que a IA não traz benefícios. Quando uma solução baseada em IA não agrega valor, isso deve ser registrado como informação estratégica.
Os engenheiros são encorajados a experimentar, aprender e integrar a IA ao fluxo de trabalho diário, mas sempre avaliando se a tecnologia realmente resolve um problema ou apenas adiciona complexidade.
Implicações para o mercado de tecnologia
O debate ultrapassa a Amazon. Um levantamento recente mostrou que apenas 3 % das organizações conseguiram superar metas de economia e produtividade ao adotar IA, apesar de muitas planejarem ampliar investimentos.
Esses números sugerem que a simples adoção de ferramentas de IA não garante retorno, reforçando a necessidade de métricas que capturem resultados reais.
Especialistas apontam que a postura da Amazon pode servir de modelo para outras gigantes de tecnologia, que também enfrentam o desafio de medir o valor efetivo da inteligência artificial.
Ao alinhar incentivos ao impacto concreto, a empresa busca evitar o desperdício de recursos e promover uma cultura de inovação responsável.
Com a nova orientação, a Amazon espera que seus engenheiros concentrem esforços em projetos que realmente façam diferença, ao mesmo tempo em que mantêm a experimentação como parte essencial do desenvolvimento de software.
