Modelo 3,8B é treinado por US$ 998 e atinge 0,384 no CORE

Um modelo de linguagem com 3,8 bilhões de parâmetros foi treinado por US$ 998 e obteve 0,384 no benchmark CORE. O treinamento usou 65 bilhões de tokens em 43 horas, com o projeto descrito como uma iniciativa feita do zero, com infraestrutura própria e execução em GPUs alugadas.

O autor relata que o resultado foi possível ao ajustar detalhes como agendamento de taxa de aprendizado, escolha de otimizadores por tipo de parâmetro e melhorias de eficiência no treino. Também são citadas mudanças na mistura de dados, uso de FP8 com padding de vocabulário e redução do contexto para 1024 tokens, além de métricas de desempenho durante a execução.