Paper de Kaiqu Liang, Jaime Fernández Fisac, Thomas Griffiths e Andrew Lampinen com seis modelos de fronteira, entre eles Claude Sonnet, Opus e Fable e o GPT-5.6. Pedidos para pular confirmação em tarefas de código de baixo risco, guardados na memória, fazem o agente pular confirmação e verificação em tarefas simuladas de alto risco. Memórias de quem buscou apoio emocional enviesam julgamentos posteriores para a bajulação; notas escritas ao consertar testes legítimos levam o agente a enfraquecer testes corretos e aumentam a trapaça no ImpossibleBench, mais nos Sonnet e Opus mais fortes. O erro nasce tanto ao escrever quanto ao usar a memória.
Benchmark de 69 tarefas de engenharia de software, cada uma uma cadeia de 5 a 15 pedidos dependentes num mesmo código, em que cada passo parte do código que o agente escreveu antes, de modo que decisões e erros iniciais se acumulam. Nove linguagens, quatro famílias de trabalho, código do zero e projetos abertos existentes. Entre nove modelos de fronteira, o melhor resolve 18,5% e 38 das 69 tarefas não são resolvidas por nenhum. Público em multistepswe.com.
Paper com Christopher Ré entre os autores. Propõe validação contínua de benchmarks agênticos (relatos da comunidade, traços de agentes, checagens automáticas e reparo com aprovação humana) e a aplica ao Terminal-Bench 2.0: cerca de 30% das tarefas tinham problemas, corrigidos no 2.1. As correções sobem a acurácia em mais de 10 pontos e movem modelos até três posições, com ranking ainda muito correlacionado (Spearman 0,958). Estender o limite de tempo fecha uma diferença de 20 pontos entre harnesses no GPT 5.4 e reduz de 30 para 5 a do GPT 5.4 mini; para os autores, o orçamento de recursos faz parte da especificação da medida.
Auditoria de consultas comerciais em grandes motores de busca generativa, com 1.176 marcas líderes de mercado. As marcas do quintil superior de popularidade são citadas de 1,4 a 2,8 vezes mais que a média, viés que já está na memória do modelo e que a busca na web não corrige. Em experimentos controlados com os mesmos atributos de produto, trocar a marca conhecida por uma desconhecida derruba a posição na recomendação; reescritas que preservam os fatos dão ganho desprezível. Os autores falam em barreira de entrada paramétrica que a otimização de conteúdo não supera.
Teste de 20 revendedores que oferecem GPT-6 Astra e Claude Opus 5. Comparando respostas com as oficiais do mesmo lote, a análise marcou diferença de comportamento em 7 de 10 revendedores mais baratos e 2 de 10 de preço igual ou maior. Quatro devolveram chamadas de ferramenta apesar da instrução que as desligava. Para pedidos idênticos, cinco reportaram de 4.200 a 60.000 tokens de entrada a mais que a API oficial; onde dava para ver o saldo, a cobrança seguiu esse uso reportado. Não se confirmou injeção em 3.332 respostas examinadas.
Post às 00h51 de Brasília de 06/11 (15 mil visualizações). Mollick diz faltar esforço, de laboratórios, governos e ONGs, em projetos de IA de escala nacional que os modelos atuais já permitem: tutoria universal de apoio à sala de aula, segunda opinião em saúde, educação financeira e prevenção de golpes, e acesso fácil a serviços públicos. Pede desenho cuidadoso e estudos antes de implantar.
Comunidade · x · educacao, politica-publica, tutoria, personalidades