Pesquisadores mostram como extrair “pensamentos” de modelos via API

Pesquisadores de universidades e institutos na Alemanha e parceiros identificaram um método para extrair o “pensamento” oculto (chain of thought) usado por modelos de IA de ponta ao resolver problemas complexos. O trabalho indica evidências, embora não conclusivas, de que alguns modelos chineses podem ter sido treinados por distilação de raciocínio de modelos dos EUA, além de demonstrar que a técnica pode recuperar dados pessoais como senhas e chaves de API a partir do raciocínio interno do modelo.

A equipe afirma que a vulnerabilidade foi encontrada em modelos de OpenAI, Anthropic e Google acessados via API, e que “todos os principais provedores de modelos de fronteira” testados compartilham o problema. Segundo os autores, as empresas ajustaram as APIs para mitigar a extração de informações privadas, mas ainda pode ser possível descobrir alguns traços de raciocínio; o estudo também levanta preocupações sobre ataques de distilação em larga escala.