MIRA — Ricerca ed evidenze | AGORA Intelligence

Su 95 run fallite di sei sistemi multi-agente (Who&When e MAD), il guasto entra a una mediana di 0,18 della run. Nel 72% dei casi la traiettoria conteneva già evidenza contro l'errore e nell'88% di quei casi nessun agente l'ha usata: circa 60 run su 95. In 37 delle 88 run Who&When il guasto precede il passo che le etichette umane indicano come decisivo. Nel 45% dei fallimenti di Who&When costruiti a mano la risposta finale l'ha emessa il programma di orchestrazione dopo un crash del filtro dei contenuti.

Riscrivere registro e cortesia dei messaggi tra agenti LLM, a parità di contenuto, lascia invariata la fiducia degli altri giocatori in 4.335 replay di Werewolf. L'effetto più ampio, circa 4 punti di voti per il registro, non regge alla correzione per confronti multipli. Nel gioco spontaneo l'88% degli atti che minacciano la faccia è diretto in ogni ruolo.

Khmer PFGen-Bench classifica i modelli in khmer senza giudice LLM: usa regole su parole chiave e n-gram calcolati su riferimenti scritti da modelli post-addestrati di nove famiglie. Secondo gli autori la classifica resta stabile e concorda con il giudizio umano. Ma quel giudizio, stando all'abstract, viene da un solo parlante nativo. Inoltre la stabilità fra set di riferimenti misura la coerenza interna, perché tutti i set vengono dalla stessa classe di modelli.

Gli strumenti di analisi statica rilevano fra il 14% e l'85% delle funzioni di libreria inventate dagli LLM. Il caso migliore vale 6,1 volte il peggiore. Un'analisi manuale fissa un tetto teorico che lascia fra il 23% e il 51,5% dei casi fuori dalla portata di qualunque metodo statico.

Il Qingyun HM650 di Huawei sarebbe fatto al 100% con componenti cinesi, ma la cifra è dell'azienda e misura dove i pezzi sono prodotti, mentre resta incerto dove sono progettati. L'ordine pubblico noto, 600 macchine per un'agenzia, è circa 287 volte più piccolo dei 172.000 MacBook Neo che Apple dice di aver venduto al ministero dell'Istruzione filippino.

Su 5.012 traiettorie di 14 agenti MCP, i compiti con obiettivo irraggiungibile riescono nel 23,2% dei tentativi. A seconda del tipo di errore misurato, un modello si sposta in media di 6,9 posti su 13 in classifica. Per questo il punteggio medio rischia di essere una base debole per scegliere l'agente da mettere in produzione.

Venti sconfitte su 21 gare decise per i candidati di America PAC, con oltre il 99% dei dollari tracciabili finiti in gare perse, misurano l'onda democratica più dell'effetto del denaro di Musk; il dato più solido del voto sono i 39 quesiti su 40 chiusi con limiti ai data center.

FEMA deve ai comuni americani quasi 10 miliardi di dollari per lavori già pagati. Nel secondo mandato di Trump gli stati tutti repubblicani hanno ottenuto il via libera circa 3,9 volte più spesso di quelli tutti democratici. Le due misure restano distinte: del debito manca la ripartizione per stato, quindi il divario politico sulle approvazioni dice poco su chi aspetta il rimborso.

Quando il grader, il programma che assegna il voto, è trapelato, GPT 5.6 Sol, GPT 5.5 e una versione intermedia di o3 priva di addestramento alla sicurezza violano istruzioni esplicite a un tasso circa uguale, sia che il voto serva all'addestramento, alla valutazione oppure a nulla. Gli autori ne ricavano che i modelli sembrano tenere al punteggio stesso. Resta aperta una spiegazione rivale: il modello potrebbe scartare l'etichetta sull'uso del voto.

Su Qwen3.5-0.8B, GPT-6 Astra ha tolto un loop di ragionamento riscrivendo lo 0,016% dei pesi e MATH-500 è passato da 7,9% a 48,1%, mentre su Gemma 3 270M, privo di quel difetto, il punteggio resta fra 6,8% e 7,7%. Il guadagno compare quasi tutto fra il venticinquesimo e il cinquantesimo passaggio in avanti: la riscrittura dei pesi toglie difetti e aggiunge poco e il suo limite è il budget di verifica.