LLM ricordano il codice, non la tua vita: costruire un layer di contesto personale portabile

Un nuovo approccio sta emergendo per gestire il contesto personale con i modelli linguistici di grandi dimensioni (LLM), permettendo di mantenere informazioni rilevanti per l’utente in un formato accessibile e portabile. L’idea si basa su un protocollo aperto, il Model Context Protocol (MCP), che permette a diversi strumenti e dispositivi di leggere e scrivere le stesse note, indipendentemente dal provider. Questo modello si distingue per la sua capacità di separare il contesto personale dal sistema di elaborazione, garantendo un controllo totale da parte dell’utente. Il problema principale, tuttavia, risiede nel fatto che il contesto personale, per la maggior parte delle applicazioni quotidiane, non è gestito in modo adeguato, rimanendo bloccato nei servizi di un singolo provider o non esistendo affatto.

Il contesto personale deve essere un’infrastruttura aperta

Il contesto personale, in senso stretto, dovrebbe essere un’infrastruttura di storage, posseduta dall’utente, in un formato leggibile da qualsiasi strumento. Questo significa che le informazioni non sono più legate a un singolo provider, ma sono accessibili attraverso un protocollo aperto come MCP. L’implementazione di questa idea si basa su un repository Git, dove le note sono organizzate in formato Markdown, e sono accessibili da diversi dispositivi e applicazioni tramite un endpoint MCP. Questo modello permette di mantenere il contesto personale in modo portabile, senza dipendere da un singolo servizio o piattaforma.

Il controllo dell’utente sul contesto personale è la chiave per la portabilità.

Il sistema proposto, chiamato vault-mcp, è un esempio concreto di come questa separazione possa essere realizzata. Utilizzando un repository GitHub e un endpoint MCP, l’utente può mantenere le proprie note in un formato leggibile e accessibile da qualsiasi strumento. Questo approccio elimina la dipendenza da un singolo provider, permettendo di migrare il contesto in qualsiasi sistema che supporti MCP. La portabilità è garantita dal fatto che il contesto è semplicemente un insieme di file, che possono essere clonati e trasferiti senza bisogno di interventi complessi.

Le sfide della gestione del contesto in ambiente edge

Sebbene il modello di storage basato su Git e MCP sia promettente, presenta alcune sfide, soprattutto quando si utilizza l’infrastruttura edge. L’edge, infatti, impone restrizioni su generazione di codice in tempo reale, un aspetto critico per la velocità e l’efficienza del sistema. Questo problema si manifesta in particolare con librerie come Zod, che utilizzano un approccio “just-in-time” per la validazione dei dati. L’edge, però, non permette questa forma di generazione dinamica, costringendo a trovare alternative. La soluzione proposta è un compilatore di schema in tempo di build, che permette di generare codice statico e garantire la validazione senza dipendenze dall’ambiente di esecuzione.

La validazione in tempo di build risolve il problema dell’edge.

Questo approccio, chiamato Zod AOT, permette di compilare i schemi di validazione in modo statico, evitando la generazione di codice in tempo reale. Questo non solo risolve il problema dell’edge, ma migliora anche la velocità e la stabilità del sistema. I test dimostrano che i validatori precompilati sono fino a 60 volte più veloci rispetto al metodo tradizionale, soprattutto in ambienti con restrizioni. Questo risultato ha implicazioni più ampie, poiché si applica a qualsiasi sistema che richieda validazione in tempo reale, non solo a quelli basati su LLM.

Il futuro del contesto personale e del chat

Il modello di contesto personale basato su MCP sta prendendo piede non solo per l’uso quotidiano, ma anche per l’integrazione con servizi esterni. Con l’adozione crescente di MCP, il chat sta diventando un’interfaccia per l’interazione con servizi esterni, come ad esempio piattaforme e-commerce. Un assistant che può leggere le note dell’utente è in grado di fornire suggerimenti personalizzati, basati su dati storici e preferenze. Questo tipo di integrazione richiede un contesto personale accessibile e portabile, che non sia legato a un singolo provider. Il futuro del contesto personale si basa su un’infrastruttura aperta, che permetta l’integrazione con qualsiasi servizio o dispositivo. Questo modello non solo migliora l’esperienza dell’utente, ma anche la portabilità e la sicurezza del contesto. La separazione tra storage e provider è la chiave per un sistema che sia flessibile, sicuro e accessibile a tutti i dispositivi e strumenti.