Doubleword explica como reduzir o custo de tokens na inferência

Meryem Arik, da Doubleword, apresentou um guia para desenhar sistemas de inferência do zero com foco em produzir tokens pelo menor custo possível. Ela destaca que muitas empresas pagam 2x a 5x a mais na inferência por não alinharem a “inference stack” ao caso de uso e às prioridades de cada aplicação.

A apresentação descreve o espaço de trade-offs entre latência, custo e qualidade, e como escolher estratégias diferentes conforme o objetivo. Para workloads não em tempo real, como processamento de dados, agentes offline, sumarização, rotulagem e geração de dados sintéticos, o caminho passa por otimizações como batch, reordenação de filas e escalonamento inteligente, em vez de priorizar ultra-baixa latência.