Le allucinazioni nei legal tools: cosa sono e cosa comportano

Di recente si è sentito molto parlare di allucinazioni in relazione all’utilizzo dell’intelligenza artificiale, ma cosa significa davvero questo termine, e cosa comporta?

Nel linguaggio medico, le allucinazioni indicano delle condizioni di dispercezione sensoriale, ovvero il fenomeno per cui si sentono o si vedono delle cose che non esistono nella realtà. Questa alterazione dei dati sensoriali ci porta a credere che quello che noi percepiamo sia reale. Pur essendo errate, queste sono così vivide e realistiche da indurre il soggetto a crederle reali. 
Applicato all’intelligenza artificiale, il termine allucinazione indica un output, un risultato del software, inventato e non veritiero. Nonostante li crediamo sistemi infallibili, le intelligenze artificiali possono dare risultati che non corrispondono alla realtà. Ciò può dipendere sia da una connessione errata dei dati su cui sono addestrate, o da altri intoppi di cui si sta ancora studiando. La fase di addestramento è delicata, e molte allucinazioni potrebbero derivare proprio da dataset di addestramento incompleti o sbagliati. Se deriva da informazioni false, troppo complesse o incomplete, l’output non può che essere sbagliato. 

Un’intelligenza artificiale può generare allucinazioni in vari modi: creando frasi sconnesse o grammaticalmente scorrette e prive di senso, fornendo informazioni errate o fuorvianti o scambiando persone o oggetti. Data la grande affidabilità che si sta diffondendo tra gli utenti riguardo a questi nuovi strumenti, è alto il rischio di gravi conseguenze. D’altra parte, un episodio di allucinazione potrebbe indurre le persone a riporre meno fiducia in queste tecnologie e mettere in discussione l’accuratezza delle loro risposte. Le allucinazioni possono contribuire alla diffusione di fake news e contenuti ambigui. Inoltre, se l’intelligenza artificiale viene utilizzata per confrontare dati e soluzioni prima di prendere una decisione in ambiti come la medicina, il diritto o la finanza, dati incompleti o errati possono portare a compiere scelte sbagliate.  

Proprio nell’ambito del diritto sono stati registrati svariati episodi di allucinazioni. Colpevoli di questi errori non sono solo i modelli generici, come ChatGPT, ma anche i legal tools che, come dimostra ​​questo studio dello Stanford Institute for Human-Centered AI, non sono immuni da allucinazioni. Sebbene gli strumenti di legal tech abbiano rivoluzionato il lavoro degli studi legali aumentando la produttività e sollevando i professionisti da determinate mansioni di routine, aiutandoli nella ricerca e nella stesura di contratti, gli LLM (Large Language Models) hanno la tendenza ad allucinare, creando non pochi problemi.  

Proprio nell’ambito del diritto sono stati registrati svariati episodi di allucinazioni. Colpevoli di questi errori non sono solo i modelli generici, come ChatGPT, ma anche i legal tools che, come dimostra ​​questo studio dello Stanford Institute for Human-Centered AI, non sono immuni da allucinazioni. Sebbene gli strumenti di legal tech abbiano rivoluzionato il lavoro degli studi legali aumentando la produttività e sollevando i professionisti da determinate mansioni di routine, aiutandoli nella ricerca e nella stesura di contratti, gli LLM (Large Language Models) hanno la tendenza ad allucinare, creando non pochi problemi

Le allucinazioni nel mondo legale possono dare come risultato un’interpretazione errata del caso o delle relative norme, citare casi fittizi, applicare norme sbagliate o inventare leggi inesistenti. Il motivo potrebbe essere una scarsa conoscenza, quindi di una scarsità di dati a disposizione, di una determinata materia del diritto. Anche la complessità e la fluidità di un caso specifico possono portare a risultati ambigui e poco chiari. La responsabilità del basarsi sull’output di un software non è da imputare allo strumento di intelligenza artificiale, perché ogni caso ha contorni e sfumature diverse da valutare ed interpretare in base alle circostanze e non è delimitabile in un’unica fattispecie. Utilizzare la tecnologia e i sistemi di consulenza legale automatizzata è certo di ausilio per l’avvocato, ma è opportuno verificare le risposte del software, perché un controllo umano è sempre necessario per non diffondere informazioni sbagliate o inaccurate. Chi utilizza strumenti di legal tech deve essere cauto nell’affidarsi alle informazioni che riceve, perché è fondamentale verificare le fonti. 

In generale, gli LLM non specifici vanno piuttosto in confusione con le questioni giuridiche. Sempre secondo lo ​​​​studio dello Stanford Institute, ChatGPT, se interrogato su quesiti legali, ha una percentuale di errore dell’82% se comparato agli strumenti di intelligenza artificiale generativa specifici per il diritto, che arrivano al 17% di allucinazioni.  

In generale, gli LLM non specifici vanno piuttosto in confusione con le questioni giuridiche. Sempre secondo lo ​​​​studio dello Stanford Institute, ChatGPT, se interrogato su quesiti legali, ha una percentuale di errore dell’82% se comparato agli strumenti di intelligenza artificiale generativa specifici per il diritto, che arrivano al 17% di allucinazioni.  

Lo studio mette in discussione, dato l’ancora alto numero di allucinazioni, i vantaggi che ne traggono gli avvocati. Se gli LLM vengono usati proprio per far risparmiare tempo e sforzi, se per ogni risultato del legal tool bisogna fare un’attenta verifica, forse l’efficienza di cui dovrebbero beneficiare i professionisti è in dubbio. Per limitare le allucinazioni e in futuro risolvere questo problema, è possibile intervenire con i modelli RAG ( Retrieval-Augmented Generation), un tipo di intelligenza artificiale che recupera informazioni da fonti esterne, come articoli o database, e le integra per creare testi più accurati. Le risposte dei modelli RAG, dunque, si basano su informazioni derivanti da fatti reali e li verificano, incrociando i dati ancorati a fatti reali. In questo modo, i sistemi producono risposte più pertinenti e supportate da fonti e prove non inventate. Dando meno spazio alla creatività dell’intelligenza artificiale, si ottiene un maggior controllo e una maggiore veridicità. I modelli RAG, inoltre, sono più trasparenti sui dataset su cui si basano e questo permette di individuare e correggere più facilmente errori e allucinazioni. La loro programmazione permette anche di adattare meglio l’intelligenza artificiale a campi e domini specifici.  

Anche nel campo del diritto, molte aziende stanno cercando di contenere il numero di allucinazioni usando i processi RAG e integrando il language model con documenti legali. Ma, anche con i RAG, le allucinazioni su leggi o citazioni non sono scongiurate. Secondo gli studiosi, infatti, nella scrittura giuridica è di critica importanza la ricerca di fonti autorevoli, per cui un’allucinazione può essere ancor più nociva di una vera e propria invenzione di casi giuridici. L’intelligenza artificiale giuridica e legale viene impiegata proprio per il suo potenziale nel semplificare il processo lungo e tedioso della ricerca di fonti giuridiche rilevanti. Se questo non avviene, se le fonti si rivelano irrilevanti o per giunta contraddittorie, la fiducia in questo strumento potrebbe venir meno e sfatare i potenziali benefici del suo utilizzo.  
I ricercatori di Stanford hanno messo alla prova l’efficacia dei legal tools sottoponendo ai software un set di 200 domande legali aperte, anche insidiose, per verificare se fosse in grado di riconoscere l’errore. I risultati hanno lasciato ancora molti dubbi e incertezze. C’è ancora molta strada da fare: nel frattempo, prima di affidarsi agli strumenti, avvocati e professionisti del diritto devono valutarli attentamente.  

Alcuni esempi positivi arrivano però da LexisNexis, azienda che ha sviluppato un’intelligenza artificiale specifica per il diritto e che ha dichiarato che il suo strumento avrebbe un tasso molto più basso di allucinazioni grazie alla tecnologia RAG. La risposta dello studio di Stanford, però, ha mostrato che sebbene fosse ridotta, la percentuale di allucinazioni non scenderebbe comunque al di sotto del 17%, mantenendo un tasso di risposta accurata del 65%. Il modello RAG si sta però sviluppando molto velocemente e mostra i miglioramenti apportati ai software di settimana in settimana. La soluzione per evitare allucinazioni sta infatti proprio nel migliorare la qualità dell’addestramento e dei dati che si utilizzano. Addestrare i software con dati accurati e completi, e soprattutto basati su fatti reali, permette allo strumento di comprendere meglio l’input e individuare le risposte giuste più facilmente. 

L’intelligenza artificiale non è perfetta, e probabilmente non lo sarà almeno in un prossimo futuro. Le macchine possono avere una visione distorta della realtà, inducendoci in errore, per questo non dovremmo affidarci in modo cieco a questi strumenti ma valutarne sempre l’affidabilità. Secondo l’American Bar Association, un avvocato su cinque utilizza l’intelligenza artificiale: è opportuno quindi adottare un approccio critico e al contempo lavorare sull’affidabilità e l’accuratezza dei legal tools. In alcuni contesti, come nel settore sanitario o legale, gli effetti di imprecisioni ed errori possono rivelarsi molto gravi e creare danni ingenti, con conseguenze anche legali.