Agentic AI nella validazione dei modelli

Introduzione

Diversi istituti finanziari usano l'IA generativa in maniera sporadica: un chatbot per fare ricerca tra i documenti dell'azienda, un tool per la revisione di un testo. In d-fine, crediamo che questo approccio limitato a singoli casi d'uso non sia ormai sufficiente: gran parte del potenziale e della rilevanza si realizzano quando l'IA, e soprattutto l'IA agentica, entrano direttamente nei processi operativi.

A testimonianza di questa tesi, abbiamo scelto un processo molto complesso ed esigente nel risk management: la convalida dei modelli di rischio di mercato, nel settore della gestione patrimoniale. Un proof of concept (PoC) con Ampega, l’asset manager del Gruppo Talanx, ci ha permesso di capire se un sistema multi-agent possa alleggerire il lavoro nei processi di convalida di modelli di rischio e di pricing. Validare un modello significa in questo caso esaminare in maniera sistematica dati, metodi e tecniche di implementazione, sotto requisiti stringenti di documentazione e di tracciabilità. Durante il PoC, le domande che ci siamo posti sono state: come possiamo conciliare l'uso dell'IA in questo settore, fermo restando la responsabilità del risultato entro la funzione di convalida? Come possiamo fare in modo che sia possibile controllare la risposta e la gestione dell'IA in un ecosistema così complesso? E infine, quanto costa rendere accessibili agli agenti di IA dati, documenti, script di convalida e descrizioni dei modelli?

Regolamentazione e governance

Per trovare una risposta a queste domande, partiamo dal punto cardine dell'aderenza a tre principi regolamentari e interni:

1. Lo status degli agenti. Di norma, i sistemi agentici adoperati per la convalida non sono essi stessi modelli ai sensi delle normative di riferimento (SR 26-2, SS 1/23, MaRisk AT 4.3.5, Derivatives Regulation con KAGB, vedi nota a), purché non producano stime quantitative proprie sulla base di ipotesi proprie.

2. La protezione dei dati. Nel PoC abbiamo usato soltanto servizi cloud e LLM approvati da una whitelist interna, garantendo che nessun dato uscisse dall'UE. Inoltre, i sistemi di IA sono stati inseriti nel framework di gestione del rischio ICT, come qualunque altro asset, seguendo l’impostazione dell’orientamento del BaFin (l’autorità federale tedesca di vigilanza sui servizi finanziari) sull’IA, anche alla luce della normativa DORA, vedi nota b.

3. Il principio Human in the Loop. Chi è coinvolto nella convalida è tenuto a dover e poter comprendere ogni passaggio di questo processo, e ad assumersi la responsabilità del suo esito. Per questo motivo, tutti i risultati intermedi (input e output delle funzioni eseguite, il codice generato, tutti gli step del 'ragionamento' dell'istanza di LLM – il cosiddetto agentic thinking) vengono salvati e resi visibili. La coerenza tra esecuzioni ripetute a parità di input e prompt viene misurata continuamente con appositi KPI, come la cosine similarity (vedi nota c), e sostenuta da system prompt progettati con cura. Chi convalida, può intervenire in qualsiasi momento, modificando sia i contenuti generati, sia i prompt.

La costruzione del sistema multi-agente

Ciascun agente è composto da un'istanza di LLM, un system prompt che ne definisce il ruolo e il contesto, ed un insieme di tool e funzioni. La rete presenta una struttura gerarchica, dove ciascun agente si rifà ad un agente supervisore unico, da cui riceve compiti e informazioni e a cui riporta. Lo scambio avviene soltanto in verticale tra supervisore e singolo agente, e i permessi (ovvero la lettura dei file, l'esecuzione di codice preesistente o di codice generato dagli agenti) sono tutti determinati in fase di configurazione. Il supervisor elabora un piano di lavoro in base alla richiesta via prompt dell'utente, sceglie e coordina gli agenti necessari e poi consolida i risultati. Gli agenti specializzati coprono, fra gli altri, i seguenti ruoli:

• Ricerca nei documenti indicizzati tramite RAG e ricerca web,
• Generazione ed esecuzione di query SQL, aggregazione di dati in un database SQLite,
• Generazione di codice, esecuzione di script definiti dall'utente,
• Interpretazione, commento e descrizione di testi, immagini, tabelle, con formattazione dell'output in HTML,
• Controllo della qualità dei risultati (da parte di un Quality Agent).

Un punto di forza è la flessibilità di questa architettura, che si presta a gestire sia workflow predefiniti (“esegui l'analisi descritta da questa funzione, valutane il risultato rispetto a soglie fissate”), sia analisi spontanee ad hoc (“interpreta e spiega gli outlier emersi dal passaggio precedente”). È a nostro parere nel secondo caso che l'autonomia degli agenti specializzati sfrutta al meglio le sue potenzialità, in quanto permette di ricombinare le analisi e i tool a disposizione del network agentico in base alla situazione che si presenta.

Un caso particolare, che è stato molto usato ed apprezzato durante il PoC, è la funzionalità di Talk to Your Data, che utilizza agenti specializzati per creare query atte ad interrogare vasti database, per poi aggregare adeguatamente i dati in uscita. Nel caso di Ampega, a causa della presenza di dataset grandi e complessi, il ruolo del Quality Agent è stato cruciale nel verificare la completezza e la coerenza dei risultati. Questo agente specializzato studia il contesto fornito (mediante metadati e schemi di dati) e valuta la qualità dei risultati sia in base ai prompt dell'utente, sia in base ai diversi step intermedi dell'elaborazione degli altri agenti. Inoltre, viene anche svolto un controllo di coerenza per verificare che parti diverse dello stesso documento di convalida non risultino in contraddizione. In ogni caso, la responsabilità resta dell'umano che sta compiendo il processo di convalida. Ad esempio, tramite la qualità del prompt in input: nessuna rete di agenti può compensare un prompt scadente, e per questo abbiamo affiancato al tool un catalogo di linee guida di prompting, per fornire dei principi utili ai responsabili di convalida.

Casi d'uso

Un primo caso di studio ha riguardato il metodo con cui Ampega valuta i callable floater. In particolare, questo modulo serve a determinare il fair value dei floater in assenza di un prezzo liquido di mercato, e viene usato in diversi calcoli di rischio e di pricing. La sensibilità al credit spread di questi titoli dipende infatti dalla loro vita residua attesa, per cui il modello scelto pesa molto sui risultati. Dal punto di vista qualitativo, gli agenti hanno lavorato tramite RAG alla documentazione del modello. A livello quantitativo invece, hanno implementato in Python un challenger model partendo dalla documentazione tecnica, usando i metadati per costruire delle query SQL sui dati di mercato e di prodotto. Lo script generato dagli agenti viene rivisto e approvato dai responsabili della convalida, sia da tecnici che da analisti, e soltanto dopo viene eseguito dalla rete agentica. 

Un secondo caso d'uso riguarda la documentazione di modelli di rischio di mercato. Qui, il lavoro si è svolto in particolare su tre aree: verifica dei parametri statistici dei modelli, adeguatezza e sufficiente granularità dei gruppi di fattori di rischio, valutazione degli spread di calibrazione osservati. In input, abbiamo fornito alla rete agentica un set di tool statistici in R e un database i serie storiche dei fattori di rischio. Poi, gli agenti hanno eseguito in autonomia gli script di analisi, hanno letto i dataset e preparato tabelle, grafici e relative interpretazioni nella struttura del report. Hanno poi utilizzato estrazioni di dati preesistenti e gli script a loro disposizione per rispondere a domande nuove e spontanee degli utenti, per individuare e classificare le cause di outlier statistici. L'agente RAG ha portato l'attenzione su pattern noti da esercizi di convalida precedenti, mentre l'agente di coding ha proposto miglioramenti tecnici del modello. Mediante prompt iterativi, analisi e interpretazioni si possono generare con pochi clic, e possono essere riutilizzati al ciclo di convalida successivo. 

Conclusione

Quattro attività di particolare successo per l'automatizzazione tramite IA agentica sono l'analisi dati mediante Talk to You Data, la gestione di questioni statistiche, l'analisi quantitativa dei risultati e la valutazione qualitativa con relativa documentazione. I punti di forza emersi da questo PoC sono l'interazione con i database, la generazione e l'uso degli script di analisi dati a partire dalla documentazione funzionale fornita in input, e la combinazione di fonti e tool diversi in un unico workflow. 

Le criticità osservate riguardano invece l'adeguazione al contesto e alla specificità dei contenuti del dominio, l'interpretazione autonoma di requisiti tecnici complessi e la risposta della rete a domande specialistiche di alto livello. Va notato che gli agenti erano basati su GPT-4.1: in coda al progetto, si sono visti miglioramenti grazie all'uso di modelli più recenti, che permettono di integrare maggiore contesto. Anche dove l'IA funziona bene, chi convalida resta comunque indispensabile per garantire la qualità dei risultati e firmare l'approvazione finale.

In conclusione, sia secondo Ampega che secondo d-fine, con un investimento iniziale ragionevole l'integrazione dell'IA agentica può aumentare significativamente l'efficienza, la scalabilità e la qualità dei processi di convalida.