Estudo com 16.893 execuções compara escolhas de ferramentas do Claude, Codex e Cursor

Uma pesquisa executou 16.893 rodadas para comparar quais ferramentas de terceiros são escolhidas por coding agents como Claude, Codex e Cursor em tarefas reais dentro de repositórios. O experimento usou um painel com 75 repositórios, em 10 linguagens, com dados simulados (nomes de empresas, histórico e chaves falsas) e lockfiles reais, além de variações de prompts para testar diferentes cenários. As execuções ocorreram em sandboxes efêmeras e com um “humano simulado” orquestrado por Gemini 3.7 Flash para tornar as conversas mais realistas.

Os resultados apontam diferenças claras entre os agentes: o Cursor recorre à web em cerca de 2/3 das sessões, o Codex usa busca web em 94% e o Claude Code pesquisa mais raramente (~30%), aumentando para ~80% em áreas onde seus “priors” são mais fracos. Mesmo quando os agentes mencionam fornecedores conhecidos, isso não garante vitória: apenas 42% das vezes eles escolhem a mesma ferramenta, e o contexto do repositório muda os vencedores entre provedores e plataformas.