QUA · 14 OUT 2026 ÚLTIMA: Pesquisadores mostram falhas em guardrails de DALL·E 3 e outros São Paulo · PT-BR
IANoticias
Inteligência artificial, decodificada
No radar
Pesquisa · IA

Pesquisadores mostram falhas em guardrails de DALL·E 3 e outros

Pesquisadores de segurança alertam que conteúdo sexual explícito gerado por IA sem consentimento segue se espalhando sem controle, com compartilhamento em mensagens diretas e armazenamento em nuvens privadas, o que dificulta detecção e denúncia. Um estudo coautorado pela Google com usuários da internet nos Estados Unidos, Austrália e Reino Unido, publicado em julho, aponta que o ponto de intervenção mais crítico está na origem das ferramentas usadas para criar as imagens falsas.

Em testes recentes, pesquisadores do White Circle afirmam que guardrails de geradores de imagens de texto de Google e OpenAI podem estar falhando à medida que os modelos ficam mais capazes. Um preprint divulgado no mês passado descreve vulnerabilidades em DALL·E 3, Nano Banana 2 e GPT-Image-2, com a equipe dizendo que, usando ferramentas disponíveis publicamente e chamadas via API, conseguiu gerar conteúdo explícito cerca de 13% das vezes.

Ars Technica (AI) · 14/10 · 11:00 · Ler matéria completa ↗ · Abrir no portal · ·
IA

Pesquisa aponta aumento de carga de trabalho para usuários avançados em IA no Brasil

O Wellhub revelou o Panorama do Bem-Estar Corporativo 2027 e indica que a adoção de inteligência artificial pode aumentar a carga de trabalho para quem já domina a tecnologia. No Brasil, 37% dos trabalhadores “avançados em IA” relatam que o uso da ferramenta elevou o volume de tarefas, ante 13% entre quem está nos primeiros estágios de adoção. O levantamento também mostra que, no recorte brasileiro, oito em cada dez usuários avançados orientam outras pessoas sobre as ferramentas.

Os dados ainda apontam diferenças nos relatos de esgotamento: 23% dos profissionais mais avançados dizem ter sintomas de burnout diariamente, contra 11% dos iniciantes. A pesquisa destaca que políticas claras e bem comunicadas sobre IA se associam a maior resiliência, e que 75% dos usuários avançados citam recursos de bem-estar como apoio para se adaptar ao ambiente impulsionado pela tecnologia. O estudo foi conduzido entre 12 e 19 de junho de 2026 com mais de 5 mil profissionais em dez países.

IA

Friend 2 com IA da Avi Schiffmann usa modelos da OpenAI e ganha “hivemind”

O pendant Friend 2, chatbot em formato de pingente sempre “listening”, chegou em julho custando US$ 249 e usa os “latest language models” da OpenAI. O dispositivo responde a comandos e também pode falar sem ser provocado, com um recurso de “silenciar” que exige toques no aparelho.

A Avi Schiffmann, criadora do Friend, afirmou que a próxima atualização vai tornar os chatbots mais “agentically” e mudar a personalização: em vez de personalidades únicas por usuário, todos conversariam com a mesma entidade, compartilhando contexto entre usuários. A proposta aponta para um “hivemind” do Friend, com mudanças que devem afetar como o sistema se comporta e como a privacidade é tratada.

3 resultados para LLM governance

Segunda · 21 set 2026-09-21 1 matéria
Eng · Dev com IA Destaque Arquitetura “governance-first” para personalização com FastAPI e políticas YAML
Engenharia · Software com IA

Arquitetura “governance-first” para personalização com FastAPI e políticas YAML

Uma arquitetura “governance-first” para personalização em empresas propõe que regras de consentimento, fadiga, sensibilidade do canal, custo e explicabilidade façam parte do caminho de decisão antes de a recomendação ser entregue ao usuário. O modelo pode gerar candidatos, mas políticas selecionam como a inferência acontece e podem mostrar, suavizar, atrasar, suprimir ou usar fallback genérico.

O desenho também inclui memória de jornada entre sessões para que a mesma oferta mude conforme estágio, confiança e fadiga evoluem, além de explicações integradas ao contrato da API. A implementação de referência usa FastAPI, políticas externas em YAML, pontuação modular e escalonamento opcional para LLM, com o objetivo de tornar decisões rastreáveis e auditáveis no ambiente de produção.

#InteligenciaArtificial · #IAgenerativa · #Personalizacao · #GovernancaDeIA · #FastAPI · #MLOps

InfoQ 11:00
Sexta · 07 ago 2026-08-07 1 matéria
Eng · Dev com IA Destaque Azure APIM ganha AI Gateway: governança de modelos e MCP
Engenharia · Software com IA

Azure APIM ganha AI Gateway: governança de modelos e MCP

A Microsoft lançou em prévia pública um novo tier de AI Gateway no Azure API Management. A proposta é organizar o control plane em torno de modelos, servidores e ferramentas MCP, em vez de APIs, mantendo capacidades de IA já existentes nos tiers clássico e v2. O gateway publica modelos hospedados pela Foundry (como OpenAI, Anthropic e Mistral) e também integra modelos de AWS Bedrock, Google Vertex AI e OpenAI; para provedores compatíveis com OpenAI, o roteamento ocorre por correspondência exata do campo “model”, exigindo nomes únicos. Para ferramentas, ele federará backends via URL de servidor MCP, especificação OpenAPI ou conectores embutidos para mais de mil SaaS, expondo operações como “tools” com autenticação configurável (nenhuma, API key, OAuth 2.0 ou managed identity).

O que muda para times de desenvolvimento é a forma de “colocar em produção” integrações com LLMs e agentes: políticas deixam de ser só XML/expressões e passam a ser configuradas em cards no portal, com limites de tokens e requisições, quotas, Content Safety e fallback de modelo. A governança de custo e uso pode ficar centralizada no gateway, com telemetria via OpenTelemetry para destinos como Application Insights, Datadog e Grafana, mas a prévia também levanta dúvidas sobre limites, SLA (sem SLA) e como lidar com o ciclo de vida quando execuções de agentes não finalizam corretamente.

#Azure API Management · #AI Gateway · #MCP · #LLM governance · #OpenTelemetry · #Foundry models

InfoQ 06:35
Abrir Ler matéria ↗ ✓ Postado no IG
Terça · 04 ago 2026-08-04 1 matéria
IA Modelos open-weight avançam, mas segurança ainda fica atrás
Pesquisa · IA

Modelos open-weight avançam, mas segurança ainda fica atrás

Um relatório da SaferAI avaliou o modelo open-weight GLM-5.2, da Z.ai, via API pública, e aponta que ele está apenas “alguns meses” atrás de líderes como OpenAI (GPT-5.5) e Anthropic (Claude Opus 4.7) em capacidades de ciber e bio. No teste, o GLM-5.2 não recusou nenhuma tarefa ofensiva de ciber ou de biologia de uso duplo, enquanto o Claude Opus 4.7 recusou com tanta frequência que a SaferAI não conseguiu concluir o CyberGym. A análise também destaca que, para modelos fechados, proteções como recusas e controles na API tendem a funcionar melhor, mas podem ser contornadas por jailbreaks.

O ponto central é que a “fronteira de capacidade” não é a “fronteira de risco”: quando pesos open-weight são baixados e executados localmente, salvaguardas podem ser removidas, modificadas ou contornadas. Para o público dev/tech, isso reforça a necessidade de avaliações de segurança mais rigorosas, transparência sobre mitigação e novas abordagens para reduzir riscos sem travar a evolução do desempenho.

#open-weight · #AI safety · #cybersecurity · #biosecurity · #jailbreaks · #LLMs · #model governance

TechCrunch (AI) 20:05