Pubblicare l'errore come fanno i valutatori: studi sui rapporti, suddivisioni temporali e verifiche di copertura per i modelli di valutazione

Nel giugno 2022 l'Ufficio per la valutazione degli immobili di Filadelfia ha pubblicato il suo studio sui rapporti per l'anno fiscale 2023. Su 27.382 compravendite residenziali ha riportato un coefficiente di dispersione (COD) del 13,1% e un differenziale legato al prezzo (PRD) di 1,024. Entrambi i valori rientrano nelle fasce dell'International Association of Assessing Officers (IAAO). I due numeri costituiscono un controllo del modello che chiunque può ricalcolare, e rappresentano il metro con cui un modello di valutazione basato sul machine learning dovrebbe essere giudicato prima che qualcuno conceda un finanziamento sulla sua base.

Gli assessori pubblicano due numeri che un unico indice di errore nasconde

Uno studio sui rapporti divide ogni valore stimato per il prezzo al quale l'immobile è stato successivamente venduto, poi riassume i rapporti. Il COD è la deviazione percentuale media di quei rapporti dalla mediana, quindi misura l'uniformità. Il PRD è il rapporto medio diviso per il rapporto medio ponderato, quindi misura se gli immobili cari e quelli economici sono valutati in modo uniforme.

Lo Standard IAAO sugli studi dei rapporti chiede un COD compreso tra 5,0 e 15,0 per case unifamiliari e condomini in aree più vecchie o eterogenee. Chiede un PRD tra 0,98 e 1,03 e avverte che il PRD ha un significato minore quando i campioni sono piccoli. Un PRD superiore a 1,03 indica che le abitazioni più care sono sottovalutate rispetto a quelle economiche. Un modello può sembrare valido in media e fallire comunque sugli immobili di maggior valore, quelli che interessano a un finanziatore.

Il documento stesso di Filadelfia è esplicito nel dire che si tratta di un controllo retrospettivo: confronta una data di valutazione con vendite già avvenute. È la cornice giusta anche per un modello. La domanda è come si sarebbe comportato su vendite che non ha mai visto.

Suddividere per tempo e per edificio, ed etichettare il significato di ogni prezzo

Una verifica casuale risponde a una domanda più facile di quella di un finanziatore. Due appartamenti nello stesso edificio, o un appartamento messo in vendita tre volte, finiscono da entrambi i lati di una suddivisione mescolata, quindi il modello ottiene un buon punteggio riconoscendo l'edificio. La stessa fuga attraversa il tempo: una vendita di marzo aiuta a prevedere una vendita di aprile. Le suddivisioni casuali sono l'impostazione predefinita negli strumenti più diffusi, perciò la prima domanda da porsi davanti a qualsiasi cifra di accuratezza è come è stato costruito il campione di verifica.

Un test a origine mobile è una soluzione diretta. Si addestra il modello su tutto ciò che precede una data di taglio, lo si verifica sul periodo successivo, si sposta in avanti la data di taglio e si tiene separato l'errore di ogni finestra. I dati vanno raggruppati per edificio o per particella, così che nessun gruppo finisca a cavallo della suddivisione. Altri disegni, come le verifiche a blocchi spaziali, affrontano fughe collegate, ma la finestra ordinata nel tempo è quella che imita l'uso reale del modello.

L'obiettivo richiede la stessa cura della suddivisione. A Torino, secondo la nostra lettura degli avvisi d'asta giudiziaria pubblicati per la città, i turni successivi sono offerti con uno sconto rispetto al primo prezzo richiesto. La mediana è pari all'80,9% del primo prezzo nel secondo turno, al 76,3% nel terzo, al 78,4% nel quarto e all'81,0% nel quinto. Un prezzo richiesto è la posizione di un venditore. Un modello addestrato su di esso come se fosse un prezzo di chiusura impara il modo in cui si scrivono gli avvisi. Ogni riga di addestramento va quindi etichettata con il tipo di prezzo (richiesto, di riserva, stimato, effettivamente pagato) e con la data in cui è stato fissato.

Verificare la copertura degli intervalli periodo per periodo, perché i mercati fanno salti

Un valore puntuale senza un intervallo invita a una precisione illusoria. La previsione conforme a suddivisione attribuisce un intervallo a qualsiasi modello già addestrato. Nell'impostazione di Angelopoulos e Bates, produce insiemi che contengono il valore vero con una probabilità scelta dall'utente, per esempio il 90%. Si trattiene un campione di calibrazione, si misurano lì gli errori assoluti e si usa circa il loro 90° percentile, con una piccola correzione per campioni finiti, come semiampiezza dell'intervallo.

La garanzia presuppone che i dati di calibrazione e i nuovi casi siano scambiabili, cioè in sostanza estratti dallo stesso processo. Un mercato che riprezza i beni tra la calibrazione e l'uso può rompere questa ipotesi. Barber e coautori, in "Conformal prediction beyond exchangeability", allentano l'assunzione con metodi ponderati. La difesa pratica è più semplice: calibrare sull'ultima finestra, poi misurare la copertura effettiva in ogni finestra successiva.

Torino offre una forma concreta di cambiamento su cui testare il modello. La nostra serie è la mediana dei punti medi delle zone nelle quotazioni semestrali ufficiali del valore degli immobili per abitazioni ordinarie pubblicate dalla città. Il valore era di 2.288 EUR al m2 nel primo semestre 2025 e di 2.312 nel secondo semestre 2025. Nel primo semestre 2026 ha raggiunto 2.425, sopra ogni semestre dal secondo semestre 2021, il cui precedente massimo era 2.350 nel secondo semestre 2023. Si tratta di valori di riferimento ufficiali, non di transazioni, e un passo di questa entità non dimostra che un qualsiasi intervallo fallirebbe. Non abbiamo eseguito quel test. È il tipo di movimento che una finestra di calibrazione terminante nel secondo semestre 2025 non contiene, ed è ciò per cui esiste una verifica di copertura periodo per periodo.

Anche gli input si muovono. I tassi d'interesse della BCE sulle statistiche per le banche italiane collocano il tasso sui nuovi mutui per l'acquisto di abitazioni a tasso fisso con durata da uno a cinque anni al 3,11% nel settembre 2025 e al 3,75% nel settembre 2026. Il tasso variabile era del 2,99% nel luglio 2026, del 3,37% in agosto e del 3,29% in settembre. Un salto in un solo mese è il tipo di andamento che un rapporto finestra per finestra mostra e che un punteggio aggregato fa invece sparire nella media.

Cosa osservare

Tre letture diranno se questo controllo conta in questo inverno.

Primo, la prossima pubblicazione mensile della BCE sui nuovi mutui per l'acquisto di abitazioni in Italia. Se il tasso variabile torna verso il 2,99% di luglio 2026, il 3,37% di agosto è stato un episodio isolato. Se resta sopra il 3,3%, l'input del finanziamento si è spostato e i modelli calibrati prima di agosto meritano una nuova verifica.

Secondo, le quotazioni semestrali delle zone di Torino per il secondo semestre 2026. Una mediana vicina a 2.425 EUR al m2 confermerebbe il salto. Un ritorno verso 2.312 suggerirebbe che la rilevazione del primo semestre 2026 era un valore anomalo.

Terzo, la propria verifica a origine mobile. Come regola empirica personale, non una soglia IAAO, riaddestrare il modello quando il PRD esce dalla fascia tra 0,98 e 1,03, oppure quando la copertura effettiva di un intervallo nominale del 90% scende sotto il 90% in due finestre consecutive. I valori di Filadelfia, COD del 13,1% e PRD di 1,024, sono un punto di riferimento equilibrato per capire come appare un controllo pubblicato.