Come si capisce se un progetto AI funziona, casi di prova, valutazioni e quando fermarsi
Criteri di successo scritti prima, casi di prova presi dal lavoro vero, valutazioni ripetibili, misure di qualità e di processo e la soglia per fermarsi.
· 5 min di lettura
Un progetto AI funziona quando, sugli stessi casi, fa meglio di quello che l'azienda faceva prima, con errori sotto una soglia decisa in anticipo e un costo che si giustifica. Per saperlo servono tre cose. Un criterio di successo scritto prima di cominciare, una serie di casi di prova presi dal lavoro vero e una valutazione ripetibile, quella che gli addetti ai lavori chiamano eval. OpenAI la definisce un test strutturato per misurare le prestazioni di un sistema che, a differenza del software tradizionale, non dà sempre la stessa risposta allo stesso input.
Perché «sembra che funzioni» non basta?
Perché un modello cambia risposta da una prova all'altra, e una dimostrazione riuscita dice poco su cento casi veri. OpenAI mette fra gli errori da evitare proprio le valutazioni a sensazione, cioè usare «sembra che funzioni» come metodo oppure aspettare il lancio per cominciare a misurare. Anthropic descrive cosa succede a chi non misura. Si aspettano i reclami, si riproduce il problema a mano, lo si corregge e si spera di non aver rotto altro.
Come si scrive un criterio di successo?
Anthropic chiede criteri specifici, misurabili, raggiungibili e pertinenti. «Risposte buone» non è un criterio. «Il sistema assegna ogni richiesta all'ufficio giusto», con la quota minima da raggiungere su un gruppo fisso di casi, lo è. In una PMI il criterio nasce da chi fa il lavoro oggi, che sa distinguere un errore grave da uno tollerabile e un risultato pieno da uno da ritoccare. La soglia si scrive prima di vedere i risultati, così non si sposta a metà strada.
Come si preparano i casi di prova?
Anthropic consiglia di partire presto e di prendere i casi dai controlli che già si fanno a mano e dagli errori reali segnalati da clienti e colleghi.
- Casi veri, presi da mail, pratiche e richieste degli ultimi mesi, compresi quelli difficili.
- Casi limite e casi ostili, come documenti incompleti, richieste ambigue o testi scritti apposta per ingannare il sistema, come raccomanda OpenAI.
- Casi in tutte e due le direzioni. Anthropic suggerisce di provare sia le situazioni in cui un comportamento deve avvenire sia quelle in cui non deve, altrimenti si ottiene un sistema che lo fa quasi sempre.
- Una risposta di riferimento per ogni caso. Un buon caso, scrive Anthropic, è quello su cui due esperti darebbero lo stesso verdetto senza consultarsi.
I casi si conservano in un formato dell'azienda e si riusano a ogni modifica. Gli strumenti cambiano. OpenAI ha annunciato la chiusura della sua piattaforma Evals per il 30 novembre 2026, mentre le sue indicazioni di metodo restano valide.
Chi giudica le risposte?
Anthropic descrive tre tipi di giudice, che di solito si combinano.
- Il controllo automatico, quando la risposta giusta è una sola, come un codice, una categoria o un importo. È veloce, economico e oggettivo, e anche rigido.
- Un altro modello con una griglia di criteri, utile per testi aperti come una risposta a un cliente. Va tarato confrontando i suoi voti con quelli di una persona, come chiedono sia Anthropic sia OpenAI.
- La persona esperta, che resta il riferimento migliore ed è anche la più lenta e costosa. Serve soprattutto all'inizio e per i controlli a campione.
Conta anche cosa si giudica. Anthropic distingue il racconto dell'agente dal risultato reale. Un agente può scrivere che la prenotazione è fatta, e il test vero è se la prenotazione esiste nel sistema. In azienda vuol dire andare a guardare il gestionale invece di fidarsi del messaggio di conferma.
Quali misure servono oltre alla qualità?
La qualità dice se il sistema risponde bene. Le misure di processo dicono se il lavoro dell'azienda migliora. Anthropic ricorda che, una volta costruita la serie di prove, si possono seguire anche tempi di risposta, consumo, costo per compito e frequenza degli errori. Per una PMI le misure più utili sono di solito queste.
- Quante pratiche il sistema chiude senza correzioni, quante con correzioni e quante passa a una persona.
- Gli errori gravi, contati a parte, perché uno solo può pesare più di molte risposte giuste.
- Il tempo per pratica e le rilavorazioni, confrontati con la misura di partenza.
- Il costo di esercizio, comprese le ore di chi controlla.
- Il giudizio di chi usa il sistema ogni giorno.
Come si tiene sotto controllo nel tempo?
Anthropic distingue due serie di prove. Quelle di capacità misurano cosa il sistema sa fare e partono con risultati bassi, per lasciare margine di crescita. Quelle di regressione controllano che continui a fare ciò che già faceva e devono restare vicine al pieno. Entrambe si ripetono a ogni cambio di istruzioni, di dati o di modello. Oltre ai punteggi si leggono i singoli casi. Anthropic scrive di non prendere per buono un punteggio finché qualcuno non ha letto il dettaglio delle prove, perché un risultato basso può dipendere da un test scritto male e un risultato alto da una prova che si supera senza risolvere davvero il compito.
Quando conviene fermarsi?
La soglia per fermarsi va scritta all'inizio, insieme al criterio di successo. I segnali più chiari sono questi.
- Gli errori gravi restano sopra la soglia decisa anche dopo aver corretto istruzioni e dati.
- Il confronto con la misura di partenza, sugli stessi casi, non mostra miglioramenti.
- Il tempo di chi controlla e corregge assorbe quello che il sistema fa risparmiare.
- I casi difficili, che sono quelli che contano, restano senza soluzione.
Fermarsi non butta via il lavoro. Le prove restano e si rilanciano quando esce un modello nuovo, per vedere se il quadro è cambiato. Anthropic racconta di costruire alcune funzioni come scommesse su ciò che i modelli sapranno fare e di usare le prove per capire quando la scommessa è vinta. Il percorso per scegliere e avviare il primo progetto è in Da dove partire con l'AI in una PMI, un percorso in cinque passi.
Il 2 dicembre a Caserta, a Days to Connect, parliamo di come far lavorare l'AI nei processi e di come capire se sta funzionando. Si entra su invito.
Domande frequenti
- Cos'è una eval?
- È un test ripetibile per un sistema di AI. Si dà al sistema un input preso da un caso reale e si giudica il risultato con criteri stabiliti, in modo automatico, con un altro modello o con una persona.
- Quanti casi di prova servono per cominciare?
- All'inizio pochi, purché veri. Anthropic indica che venti o cinquanta casi semplici presi da errori reali sono un buon punto di partenza, perché nelle prime fasi ogni modifica ha effetti evidenti. Con il tempo la serie cresce.
- Chi deve preparare i casi di prova?
- Chi conosce il processo. Anthropic osserva che le persone più vicine ai clienti e ai requisiti sono le più adatte a definire cosa sia un successo, anche senza competenze tecniche.
- Quando un progetto AI va fermato?
- Quando, dopo le correzioni, gli errori gravi restano sopra la soglia decisa all'inizio o il confronto con la situazione di partenza non mostra miglioramenti. Le prove restano utili e si possono ripetere con un modello nuovo.