Benchmark Humanity’s Sixth Sense aponta falhas em raciocínio visual de IA
Elorian e Scale AI lançaram o Humanity’s Sixth Sense (HSS), um benchmark para medir como modelos interpretam e raciocinam sobre informações visuais que não aparecem explicitamente na cena. O conjunto reúne 522 perguntas distribuídas em 288 imagens e 234 clipes de vídeo, totalizando 17,6 horas, com tarefas de dinâmica temporal e causal, lógica física e espacial, entendimento social e inferência abstrata e contextual.
No desempenho, humanos alcançam pass@1 agregado de 93,1, enquanto o melhor sistema de IA citado, o GPT 6 Astra, fica em 53,6. Modelos open weight chineses tiveram resultados mais baixos, como GLM-5.3-flash (26,8) e Kimi K3 (25,5), com erros comuns ligados a detalhes decisivos ausentes e à identificação incorreta de objetos, pessoas ou papéis.
Import AI
O texto acima é um resumo reescrito. A apuração, o texto integral e os créditos são da fonte — abra o original para ler na íntegra.
Ler matéria original ↗Resumo gerado por IA a partir da matéria original e revisto pelo método descrito em como funciona a curadoria. Em caso de divergência, vale o texto da fonte. Achou um erro? Fale com a gente.