Pulire la storia del chat migliora le prestazioni degli agenti AI

Microsoft ha scoperto che pulire la storia del chat può migliorare significativamente le prestazioni degli agenti AI in compiti complessi. Nello studio, i ricercatori hanno osservato che la storia del chat accumulata può limitare la diversità delle soluzioni esplorate dagli agenti, mantenendoli concentrati su approcci simili invece di scoprire nuove opzioni. Il metodo proposto, chiamato “Fork-and-Flush”, combina la divisione del lavoro dell’agente in rami paralleli con la pulizia periodica della storia del chat, permettendo agli agenti di esplorare nuove soluzioni e ottenere risultati migliori.

Pulire la storia del chat ripristina la diversità nella ricerca

Gli agenti AI che mantengono la loro storia del chat tendono a rimanere all’interno di “bacini di idee”—aree dello spazio delle soluzioni dove raffinano idee esistenti senza esplorare nuove opzioni. Questo può portare a prestazioni subottimali, specialmente su compiti che richiedono una ricerca più ampia. Lo studio ha testato il metodo “Fork-and-Flush” su 13 compiti complessi, tra cui il packing di poliomini, la programmazione job-shop e la crittanalisi. I risultati hanno mostrato che pulire la storia del chat permette agli agenti di spostarsi in nuovi bacini di idee, portando a miglioramenti significativi.

Fork-and-Flush migliora le prestazioni con lo stesso budget di calcolo

Con lo stesso budget di calcolo, il metodo “Fork-and-Flush” ha raggiunto un punteggio medio normalizzato di 0.78, rispetto a 0.47 per singoli esecuti e 0.54 per i migliori quattro. Questo rappresenta un miglioramento del 66.0% rispetto ai baseline dei singoli esecuti e del 44.4% rispetto ai metodi best-of-4. Il metodo ha anche ridotto la deviazione standard normalizzata da 0.26 a 0.16, indicando risultati più coerenti. I ricercatori hanno notato che anche quando gli agenti comprimono periodicamente la loro storia del chat, il pattern di prestazioni plateau persiste, sottolineando l’importanza delle reset di contesto.

Lo studio ha anche testato se modelli più capaci potessero evitare i bacini di idee. Utilizzando problemi MAX-3-SAT su tre dimensioni di modelli—Qwen3.5-4B, 9B e 27B—i ricercatori hanno scoperto che la variazione tra esecuti segue una curva a U invertita, culminando sui compiti al limite delle capacità del modello. Questo suggerisce che anche modelli più avanzati beneficiano di reset periodici del contesto. Gli autori sostengono che i problemi di ricerca aperta, per definizione, si trovano al limite delle capacità dei modelli, e la variazione sfruttata da Fork-and-Flush è probabilmente destinata a persistere anche con modelli migliorati.

Le scoperte indicano che i reset regolari del contesto potrebbero rimanere utili anche per agenti AI avanzati. Lo studio è stato condotto utilizzando modelli GPT-5.6-terra e GPT-5.5 attraverso l’interfaccia CLI di GitHub Copilot, e i risultati sono stati coerenti in diversi esecuti indipendenti. I ricercatori sottolineano che anche semplici reset della storia del chat senza ramificazione hanno migliorato i risultati del 22%, indicando che anche misure semplici possono migliorare le prestazioni. Questi insight potrebbero informare lo sviluppo futuro degli agenti AI, specialmente in aree che richiedono sistemi di problem-solving adattivi e a lungo termine.

La pulizia della storia del chat è un passo chiave per migliorare le prestazioni degli agenti AI.
Il metodo Fork-and-Flush ha dimostrato un miglioramento significativo in diversi compiti complessi.