Prima di comprare un software AI, la prova in piccolo degli studi americani

Il venditore apre la slide della classifica: nel test, il suo programma batte i contabili in carne e ossa. Tanto l'hanno provato in America, funziona.

Può darsi. Ma il test era il loro, sui loro casi. Prima di firmare conviene farne uno piccolo in casa, con regole decise da te. Non è complicato: servono dieci casi e un foglio.

Perché i test dei venditori non bastano?

Perché misurano un compito che non è per forza il tuo, con informazioni che il tuo studio non darebbe. Negli Stati Uniti due studi pubblici sull'AI nei lavori contabili hanno dato risultati molto diversi tra loro. La differenza dipendeva da tre cose: il compito misurato, le informazioni date all'AI e il modo di contare un risultato come riuscito.

Per questo tra gli studi americani si sta diffondendo un'abitudine: i test pubblici servono come spunto, poi si fa una prova propria, piccola, prima di decidere.

Cosa consigliano agli studi americani?

Tre domande, prima di cominciare:

• Quale compito? Uno solo, descritto con precisione.
• Con quali informazioni? Le stesse che daresti a un collaboratore, per confrontare alla pari.
• Cosa vuol dire riuscito? Deciso prima di guardare i risultati, non dopo.

E alcune regole che negli studi italiani si dimenticano spesso:

• per ogni risultato, l'AI deve dire da quale documento lo prende;
• l'AI deve dare un elenco a parte di cosa non è riuscita a risolvere;
• durante la prova non si tocca niente di vero: nessuna registrazione, nessun invio;
• se compare un errore che nessuno riesce a spiegare, la prova si ferma finché non si capisce il perché.

Vale anche per uno studio italiano?

Sì, con due attenzioni. La prima: i documenti della prova non devono contenere dati veri dei clienti, a meno che il software non sia già approvato dallo studio (la regola completa). Meglio una pratica di prova costruita apposta. La seconda: la prova si fa sulla versione che comprereste, non su quella dimostrativa del venditore.

La prova in piccolo: i passi

1. Scegli un compito preciso

Uno solo, che oggi fa un collaboratore. Per esempio: preparare la lista dei documenti mancanti per una pratica, partendo da quello che il cliente ha già mandato. Scrivi in due righe cosa deve uscire alla fine.

2. Prepara dieci casi, tre difficili

Sette casi normali e tre eccezioni: un documento che manca, una descrizione incompleta, due documenti che dicono cose diverse. È sulle eccezioni che si vede la differenza.

3. Decidi prima cosa vuol dire riuscito

Per ogni caso: il risultato è giusto? Ha la fonte? Ha segnalato quello che non sapeva? Decidi anche dove la risposta migliore è una domanda. Un'AI che chiede "manca il documento X, me lo mandi?" vale più di una che riempie il vuoto da sola.

4. Segna le correzioni e scrivi la decisione

Conserva la prima risposta dell'AI e annota ogni correzione fatta da voi, con il motivo. Alla fine scrivi la decisione in una riga: per quali casi il software va bene, per quali no. Il controllo resta sempre di una persona (come si controlla).