L’errore e i limiti della verità

Ogni modellizzazione della realtà contiene una porzione di realtà più o meno grande. L'errore è il punto in cui la realtà eccede il modello.

Per questo una cultura che vuole eliminare l’errore rischia di perdere anche il principale meccanismo attraverso cui scopre i limiti delle proprie rappresentazioni.

Le rappresentazioni, i modelli, sono gli spazi in cui facciamo funzionare i nostri pensieri. Se non ne conosciamo i limiti rischiamo di credere di avere pensieri liberi e illimitati quando in realtà sono costretti dentro recinti cognitivi invisibili.

Ogni epoca ha coltivato il sogno di eliminare l’errore. Lo si ritrova nella filosofia, nella scienza, nella tecnica e oggi nelle promesse che accompagnano l’intelligenza artificiale.

L’idea è semplice: se disponessimo di dati sufficienti, di modelli adeguati e di capacità di calcolo abbastanza elevate, potremmo avvicinarci a decisioni sempre più corrette, fino a ridurre l’errore a una quantità trascurabile. In questa prospettiva, l’errore appare come un difetto della conoscenza, una mancanza destinata a diminuire con il progresso degli strumenti di supporto cognitivo.

Eppure questa visione contiene un problema più profondo. Presuppone che la conoscenza possa, almeno in linea di principio, coincidere con la realtà. Essere in rapporto 1:1 con la realtà. Presuppone che esista una rappresentazione praticamente completa del mondo e che il compito dell’intelligenza consista nell'avvicinarsi progressivamente a tale rappresentazione.

Ogni forma di conoscenza opera attraverso modelli. Un modello non è una copia della realtà. È una selezione. Evidenzia alcuni aspetti e ne trascura altri. Organizza l’esperienza secondo determinate categorie, stabilisce relazioni e introduce criteri di rilevanza. Senza questa riduzione la conoscenza sarebbe impossibile. Un sistema che cercasse di rappresentare ogni dettaglio del mondo finirebbe per coincidere con il mondo stesso e di questo acquisirebbe l’irrappresentabilità complessiva.

L’intelligenza esiste proprio perché semplifica, astrae, raggruppa. Ogni atto cognitivo implica una rinuncia. Comprendere qualcosa significa sempre ignorare qualcos’altro.

Questa osservazione modifica radicalmente il modo in cui interpretiamo la verità. Siamo abituati a considerarla come una proprietà assoluta degli enunciati: una frase sarebbe vera o falsa indipendentemente dal contesto in cui viene formulata. 

Tuttavia, quando osserviamo il funzionamento concreto della conoscenza, emerge un quadro più complesso. Le affermazioni non esistono nel vuoto. Dipendono da strumenti di osservazione, linguaggi, criteri inferenziali, ipotesi di partenza e pratiche condivise.

La meccanica newtoniana è vera per una vasta gamma di fenomeni. Continua a permettere di costruire ponti, automobili e satelliti. Tuttavia smette di essere adeguata quando ci si avvicina alle velocità relativistiche o alle scale quantistiche. Non diventa falsa. Semplicemente incontra un limite. La sua validità è legata a un dominio specifico. Faggin ci insegna che un postulato lo si tiene fino a che ci è utile per una dimostrazione coerente.

La stessa dinamica attraversa gran parte della storia della conoscenza. Le teorie non vengono necessariamente distrutte dai loro successori. Più spesso vengono circoscritte. Conservano una validità locale all’interno di determinate condizioni e perdono potere esplicativo quando il contesto cambia.

Kuhn avrebbe potututo parlare di circoscrizione più che di falsificazione.

In questa prospettiva la verità appare meno come un possesso definitivo e più come una relazione stabile tra un modello e un insieme di fenomeni. Una relazione che può funzionare molto bene senza essere universale.

Se questo è vero, allora anche l’errore assume un significato diverso.

Normalmente consideriamo l’errore come l’opposto della verità. Ma forse questa contrapposizione è troppo semplice. L’errore in molti casi segnala che il modello utilizzato non riesce più a contenere ciò che sta osservando.

Quando una teoria produce anomalie persistenti, quando un algoritmo smette di prevedere correttamente, quando una convinzione consolidata entra in conflitto con l’esperienza, ciò che emerge è il limite di una struttura interpretativa.

L’errore diventa allora un fenomeno epistemico estremamente prezioso. Mostra il punto in cui una rappresentazione incontra qualcosa che non riesce più a spiegare. Rivela una zona di eccedenza tra il mondo e il modello.

Per questa ragione le grandi trasformazioni della conoscenza sono quasi sempre precedute da errori, anomalie o contraddizioni. Non perché la conoscenza fallisca, ma perché il mondo continua a manifestare aspetti che le rappresentazioni esistenti non riescono più a integrare.

L’intelligenza artificiale rende questo problema particolarmente visibile.

Ogni sistema di AI opera all’interno di uno spazio di rappresentazione definito. I dati utilizzati per l’addestramento, le variabili considerate rilevanti, le modalità di inferenza e gli obiettivi assegnati costituiscono il suo orizzonte cognitivo. Tutto ciò che il sistema produce dipende da questa struttura.

Quando un modello funziona bene, siamo portati a dimenticare questa dipendenza. Le sue risposte appaiono neutre, oggettive, inevitabili. In realtà esse restano sempre legate alle condizioni che le hanno rese possibili.

Per questo motivo un sistema artificiale può continuare a fornire risposte coerenti anche quando il mondo che dovrebbe descrivere è cambiato. Dal punto di vista interno al modello, la risposta può essere perfettamente corretta. È il rapporto tra modello e realtà ad essersi modificato, e le strade ad essersi divise.

Molti fenomeni contemporanei possono essere letti in questo modo. Le organizzazioni continuano ad applicare procedure che hanno funzionato per anni. I mercati interpretano situazioni nuove attraverso categorie vecchie. Gli algoritmi mantengono criteri costruiti su dati che descrivono un contesto ormai superato.

Il rischio è quello di essere coerenti con un modello che non esiste più, con un mondo cioè che non esiste più.

Da questo punto di vista l’errore svolge una funzione insostituibile. Interrompe l’automatismo del modello. Costringe a interrogare le assunzioni implicite. Impedisce che la coerenza interna venga scambiata per adeguatezza.

Una cultura che considera l’errore esclusivamente come un difetto da eliminare finisce per indebolire la propria capacità di apprendimento. Se ogni anomalia viene assorbita come rumore statistico, se ogni deviazione viene corretta senza interrogare il quadro interpretativo che l’ha prodotta, il sistema può diventare estremamente efficiente all’interno del suo modello e allo stesso tempo progressivamente cieco all’interno degli altri modelli della realtà.

Per questo motivo una società che riduce la verità a continuità operativa corre un rischio particolare. Può diventare molto efficace nel mantenere i propri modelli e sempre meno capace di aggiornarli. Senza arrivare da nessuna parte visto che la conoscenza avanza perché alcuni errori ci constringono a costruire rappresentazioni migliori.

Riferimenti

Borges, Jorge Luis, “Del rigore della scienza”, in L’artefice, Buenos Aires, 1960.

Box, George E. P., “Science and Statistics”, in Journal of the American Statistical Association, vol. 71, Washington, 1976, pp. 791–799.

Kuhn, Thomas S., The Structure of Scientific Revolutions, Chicago, 1962.

Giere, Ronald N., Scientific Perspectivism, Chicago, 2006.

Quionero-Candela, Joaquín; Sugiyama, Masashi; Schwaighofer, Anton; Lawrence, Neil D. (a cura di), Dataset Shift in Machine Learning, Cambridge, 2009.