Pesquisadores mostram falha para decifrar “pensamento” oculto do ChatGPT

Pesquisadores do Instituto Max Planck e da Universidade de Tübingen, na Alemanha, analisaram 315 mil blocos de raciocínio interno gerados por modelos da Anthropic, OpenAI e Google e encontraram uma falha que permite recuperar, em texto puro, informações que normalmente ficam criptografadas e invisíveis ao usuário. O estudo ainda não passou por revisão por pares, mas relata que a vulnerabilidade foi comunicada às três empresas antes da divulgação pública e que o ataque descrito não funciona mais desde agosto.

A pesquisa aponta que cadeias de “raciocínio” avançado, como as usadas pelo Claude, ChatGPT e Gemini, podem ser decodificadas por versões mais simples e baratas, além de permitir abusos como decifrar dados escondidos em registros públicos, facilitar “destilação” para imitar comportamentos e extrair detalhes que o modelo evita mostrar na resposta final. Em sessões reais, os autores encontraram itens como credenciais e chaves de API, e destacam casos em que a informação vazada nem chegou a aparecer no texto visível da conversa.