O Custo Invisível dos Tokens: Um Desafio para as Empresas

A inteligência artificial (IA) generativa entrou nas empresas com a promessa de aumentar a produtividade, mas agora muitas delas estão lidando com o outro lado da moeda: o custo dos tokens. Quanto mais a IA trabalha, mais tokens são consumidos, e em muitas plataformas, o gasto de créditos fica maior.

Os sinais dessa mudança já são visíveis na indústria como um todo. Empresas como a Uber e a Cisco estão revendo seus gastos com IA, e a GitHub instituiu uma nova política de cobrança baseada em uso no Copilot. A mudança foi alvo de reclamações depois que usuários viram seus créditos mensais serem consumidos em poucas horas.

Por que o Custo dos Tokens é um Desafio

O custo dos tokens é um desafio porque nem todo uso de IA custa a mesma coisa. Uma pergunta rápida em um chatbot consome muito menos recursos do que uma sessão autônoma de programação, por exemplo. Além disso, os agentes de IA consomem mais tokens do que os chatbots tradicionais, pois podem planejar, executar tarefas, usar ferramentas e revisar o próprio trabalho.

A contradição é que o custo unitário da IA está caindo, mas o consumo de tokens está aumentando. Isso ocorre porque os sistemas agênticos exigem entre cinco e 30 vezes mais tokens por demanda do que um chatbot padrão.

Como as Empresas Estão Lidando com o Custo dos Tokens

As empresas estão lidando com o custo dos tokens de diferentes maneiras. Algumas estão mudando para modelos de cobrança por uso, enquanto outras estão implementando estratégias de governança de uso e renegociação de contratos.

• Implementação de métricas de eficiência e limitação de uso
• Renegociação de contratos e implementação de pacotes customizados
• Uso de modelos mais baratos e leves para tarefas simples

Além disso, as empresas precisam ter uma governança de uso eficaz para controlar os gastos de IA. Isso inclui definir quais tarefas podem usar recursos mais potentes, quando acionar alternativas mais baratas e quando interromper uma operação.

Conclusão

O custo dos tokens é um desafio para as empresas que estão adotando a IA. Embora o custo unitário da IA esteja caindo, o consumo de tokens está aumentando, e as empresas precisam encontrar maneiras de controlar esses gastos. A implementação de estratégias de governança de uso e renegociação de contratos pode ajudar a reduzir os custos, e o uso de modelos mais baratos e leves para tarefas simples também pode ser uma solução.

Este conteúdo pode conter links de compra.

Fonte: link