IA em tempo real: gargalos de latência e precisão vêm do pipeline de dados

IA em tempo real em escala é mais difícil do que parece: pipelines que funcionam bem no desenvolvimento podem falhar em produção, com problemas como aumento de latência e queda de acurácia. Em um app de trading baseado em ML, a latência P99 disparou para 3 segundos quando o sistema chegou a cerca de 740 mil operações por segundo, apesar de a média parecer aceitável. O diagnóstico apontou que a lentidão não estava no modelo, mas em buscas e contenção sob carga, com o Postgres sendo pressionado no cenário específico.

A precisão também pode piorar quando os dados ficam desatualizados: perfis de usuários (wallet addresses) ultrapassaram uma SLA de 5 minutos por horas, embeddings ficaram obsoletos e métricas offline continuaram boas até a integração com dados online. Além disso, índices vetoriais precisam de manutenção, já que reembeddings degradam a qualidade do índice ao longo do tempo, reduzindo recall para 42% e elevando a latência de consulta. O texto ainda destaca que treinamento e serving devem ser separados quando possível e que retraining é inevitável, exigindo transição para evitar janelas de previsões defasadas.