GitHub lança ReviewBench e coloca Copilot no topo da revisão de código
O GitHub lançou o ReviewBench, um benchmark aberto desenvolvido com a Microsoft para medir o desempenho de agentes de revisão de código com IA em pull requests. Na primeira lista de resultados, o GitHub Copilot Code Review lidera em configuração “Balanced”, com 40,1% de grounded F1, que combina precisão e revocação contra achados conhecidos do benchmark.
O ReviewBench avaliou 219 pull requests de 187 repositórios públicos, cobrindo 19 linguagens, com um conjunto de referência criado a partir de comentários humanos, mudanças posteriores dos autores, ferramentas de análise estática e revisões feitas por LLMs. A própria GitHub ressalta limitações: os testes iniciais foram executados pelos times dos fornecedores sem verificação externa e as medições foram feitas em datas diferentes, então os resultados podem não refletir versões atuais ou o desempenho em códigos de empresas.
The New Stack
O texto acima é um resumo reescrito. A apuração, o texto integral e os créditos são da fonte — abra o original para ler na íntegra.
Ler matéria original ↗Resumo gerado por IA a partir da matéria original e revisto pelo método descrito em como funciona a curadoria. Em caso de divergência, vale o texto da fonte. Achou um erro? Fale com a gente.