Come si valuta un modello per il lavoro vero

Perché le classifiche pubbliche dicono poco

Non sono inutili, sono fatte per un altro scopo. Servono a chi sviluppa modelli per capire se sta migliorando. Non servono a chi deve scegliere uno strumento per un lavoro specifico, per almeno quattro motivi.

• Misurano compiti generali. Ragionamento, matematica, codice, cultura generale. Il vostro lavoro non è un compito generale: è estrarre nove campi da un certo tipo di documento, o riscrivere una descrizione di prodotto secondo il vostro tono, o rispondere a domande su un vostro manuale. Nessuna classifica misura quello.
• Le differenze in cima sono piccole e instabili. Quando i primi cinque modelli sono separati da pochi punti percentuali su una prova, quella differenza non sopravvive al passaggio al vostro caso.
• Invecchiano in poche settimane. Un confronto pubblicato oggi descrive uno stato che fra un mese non esiste più. Chi prende decisioni di architettura guardando una tabella di due mesi fa sta decidendo sul passato.
• Sono contaminate. Le prove pubbliche circolano, finiscono nei dati, e un modello che ha già visto le domande le sa. Non c'è malafede necessaria: succede e basta.

C'è poi un motivo di merito. Un modello leggermente meno bravo ma molto più prevedibile, che sbaglia sempre nello stesso modo, in produzione vale più di uno brillante e incostante. La prevedibilità non compare in nessuna classifica e in un processo aziendale è quasi tutto.

Cosa misurare, sul serio

Cinque dimensioni, in ordine di quanto contano nella maggior parte dei casi che vediamo.

• Correttezza sul vostro compito. Il tasso di risposte che una persona competente accetterebbe senza modifiche. È l'unica misura che conta davvero, e richiede che qualcuno guardi le risposte.
• Forma degli errori. Due modelli con lo stesso tasso di errore possono essere incomparabili. Uno che sbaglia dichiarando di non essere sicuro è gestibile. Uno che sbaglia con lo stesso tono sicuro delle risposte giuste è pericoloso, perché sposta tutto il costo del controllo a valle.
• Stabilità. La stessa domanda, fatta dieci volte, quanto varia? Se un sistema deve produrre un campo che finisce in un database, la variabilità è un difetto anche quando tutte e dieci le risposte sono accettabili.
• Rispetto del formato. Se chiedete una struttura precisa, quante volte la rispetta senza che dobbiate ripulire? È la voce che pesa di più sul codice di integrazione e non compare mai nelle demo.
• Costo e tempo di risposta. Vanno misurati sul vostro traffico reale, con le vostre richieste, che di solito sono più lunghe di quelle degli esempi.

Come costruirsi una valutazione interna

La parte che sembra un progetto e non lo è. Si fa in un pomeriggio, e poi si allarga nel tempo.

1. Raccogliete da trenta a cinquanta casi veri. Presi dal lavoro effettivo, non inventati. Includete i casi difficili, quelli che mettono in crisi anche le persone, e almeno cinque casi in cui la risposta corretta è dire che non si può rispondere. La tentazione di raccogliere solo esempi puliti è la ragione per cui molte valutazioni interne non predicono niente.
2. Scrivete la risposta giusta accanto a ognuno. Questo è il lavoro vero, ed è lavoro umano. Chi conosce il dominio decide cosa è accettabile. È anche il passaggio che fa emergere il fatto, quasi sempre, che l'azienda non aveva mai messo per iscritto cosa considera una risposta buona.
3. Definite il criterio prima di guardare i risultati. Se il criterio si decide dopo, si finisce sempre per giustificare la scelta già presa.
4. Fate girare tutti i candidati sugli stessi casi. Stesse istruzioni, stessi parametri, più esecuzioni per vedere la variabilità.
5. Guardate gli errori uno per uno. Il numero finale serve a scartare, non a scegliere. Le decisioni si prendono leggendo dove e come sbagliano: spesso si scopre che due modelli con lo stesso punteggio hanno comportamenti che rendono uno adottabile e l'altro no.
6. Mettetela in automatico. Da qui in poi ogni cambio di modello, di versione, di istruzioni, passa da lì. È il momento in cui la valutazione smette di essere un esercizio e diventa un impianto.

Il valore nascosto della cosa

Chi fa questo lavoro scopre quasi sempre due cose che non stava cercando.

La prima è che una parte dei casi difficili non è difficile per il modello: è ambigua per l'azienda. Due persone del team danno risposte diverse allo stesso caso. Nessun modello risolve un requisito che non esiste.

La seconda è che spesso il modello non era il problema. Il collo di bottiglia stava nei documenti scritti male, nei dati incompleti, nel processo che non era chiaro nemmeno prima. In quel caso il confronto fra fornitori è tempo speso male, e la valutazione interna vale il suo costo solo per averlo mostrato.

Cosa resta quando i modelli cambiano

Questa è la ragione per cui vale la pena farla, e la ragione per cui non pubblichiamo confronti fra modelli commerciali.

Un confronto fra modelli è valido finché quei modelli sono quelli. Una valutazione interna è valida finché il vostro lavoro è quello, e il vostro lavoro cambia molto più lentamente. Quando esce una versione nuova, chi ha una valutazione interna la fa girare in un'ora e sa se conviene passare. Chi non ce l'ha legge le opinioni degli altri e decide a sensazione.

La prima azienda ha comprato indipendenza. La seconda ha comprato un'opinione.

Costruiamola insieme→