Guia explica como construir diffusion language models para texto

Diffusion language models estão ganhando espaço como alternativa aos LLMs autoregressivos para gerar texto. O texto descreve como modelos de difusão para dados discretos funcionam ao invés de prever tokens um a um, refinando uma sequência por etapas a partir de um “chute” inicial.

O guia apresenta os blocos de construção de modelos open-source, começando por masking diffusion e avançando para técnicas como iterative refinement, post-training e geração de tamanho variável. A proposta é mostrar como a ideia central de denoising, comum em difusão para imagens, pode ser adaptada para linguagem com processos forward e reverse, onde o “ruído” é definido via mascaramento de tokens.