Nvidia aponta: “harness” com supervisor eleva Claude Opus 5 no ARC-AGI-3

A Nvidia publicou uma pesquisa defendendo que, em tarefas de longo horizonte, o “harness” — o software que envolve o modelo com ferramentas, gestão de memória e regras — pesa mais do que o modelo em si. Com um harness customizado, ajustado para lidar melhor com memória e com um componente “supervisor”, pesquisadores fizeram o Claude Opus 5 atingir 100% no benchmark interativo ARC-AGI-3, um conjunto de jogos 2D sem instruções em que o agente precisa descobrir como jogar e vencer. Sem esse harness, o desempenho caiu para 30%, o melhor resultado entre os modelos testados.

A pesquisa reforça a ideia de que agentes de IA não são apenas o “cérebro” do LLM, mas um sistema que inclui contexto, feedback e runtime fornecidos pelo harness. A Nvidia também cita que, em testes com o mesmo benchmark, a OpenAI ajustou configurações do harness e triplicou as pontuações, mas sem chegar a 100%, sugerindo que o supervisor ajuda a redirecionar o agente quando ele se perde. O trabalho menciona ainda o uso de um harness próprio chamado Agentic Variation Operators (AVO) e a tese de que harnesses diferentes podem mudar custos e controle do ecossistema.