Jev-like: LLMs retornam probabilidades e funcionam com modelos de visão

Um wrapper “Jev-like” para LLMs usa um truque para ler as probabilidades de tokens do modelo e escolher respostas por alternativas. A técnica força a geração de apenas um token (por exemplo, a letra da melhor opção) e adiciona parâmetros como logprobs e top_logprobs para que a API devolva as probabilidades das opções consideradas.

O método também funciona com modelos de visão: o formato permite anexar imagens (como frames de webcam em base64) e fazer perguntas como “há uma pessoa visível?”, “estamos em ambiente interno ou externo?” e “quão brilhante está a cena?”. Em testes, o autor relata cerca de 1 FPS com Gemma 4 12B em uma RTX 3090 e por volta de 0,2 FPS com gpt-6-luna, destacando a flexibilidade de descrever condições em texto.