Le ragioni di utilizzo dell’AI oggi sono diverse: comodità, velocità, supporto al lavoro o semplice curiosità. Di sicuro è ormai parte integrante della vita quotidiana.
Allo stesso tempo, è importante ricordare che l’intelligenza artificiale ha limiti concreti.
Può commettere errori, semplificare eccessivamente la realtà o fornire risposte apparentemente sicure ma imprecise. Ciò dipende dai dati e dalle regole con cui è stata progettata. Per questo, l’AI resta uno strumento potente, ma che deve essere usato con consapevolezza e spirito critico
Lo studio di Google: accuratezza non superiore al 70%
Il nuovo studio condotto da Google – riportato da ilsoftware.it – e presentato attraverso il FACTS Benchmark Suite rappresenta un passaggio chiave nella valutazione delle reali capacità dei principali chatbot basati su intelligenza artificiale. I risultati che emergono sono chiari e, per certi versi, allarmanti: nessuno dei modelli analizzati riesce a superare il 70% di accuratezza nelle risposte fornite.
Gemini 3 Pro in testa alla classifica
In testa alla classifica si colloca Gemini 3 Pro, con un punteggio del 68,8%, seguito da Gemini 2.5 Pro al 62,1% e da ChatGPT-5, che si ferma al 61,8%. Numeri che sollevano interrogativi concreti sull’affidabilità di questi sistemi, soprattutto quando vengono chiamati a interpretare dati visivi o documenti strutturati.
Le 4 dimensioni dell’analisi
L’analisi di Google si basa su quattro aspetti fondamentali, pensate per misurare in modo approfondito limiti e potenzialità dei modelli linguistici di grandi dimensioni. La prima è la conoscenza parametrica, ovvero l’insieme di informazioni assimilate durante la fase di addestramento. Seguono la capacità di utilizzare strumenti di ricerca online per aggiornare le risposte, il rispetto del grounding, inteso come adesione rigorosa alle fonti senza generare contenuti inventati, e infine la competenza multimodale, cioè l’abilità di comprendere e interpretare grafici, immagini, tabelle e schemi complessi.
Le criticità restano
Il confronto tra i modelli evidenzia differenze significative. Gemini 3 Pro risulta il più accurato nel complesso, mentre Claude 4.5 Opus chiude la graduatoria con un risultato decisamente più basso, pari al 51,3%. Particolarmente critica è la performance nelle prove multimodali: in questo ambito, quasi tutti i sistemi scendono sotto la soglia del 50% di accuratezza.
Cosa significa? Semplice: quando i chatbot devono confrontarsi con grafici, tabelle o rappresentazioni visive, il rischio di errori interpretativi cresce in modo significativo, con possibili conseguenze rilevanti nei settori in cui la precisione dei dati è essenziale.
La comunicazione tra umano e AI
Un altro elemento problematico messo in luce dal FACTS Benchmark Suite riguarda il tono comunicativo dei modelli. Spesso le risposte vengono formulate con grande sicurezza anche in presenza di errori, rendendo difficile per l’utente distinguere tra informazioni affidabili e errori dell’AI. Proprio per ridurre questo rischio, gli autori dello studio raccomandano l’introduzione di meccanismi obbligatori di verifica umana, affiancati da sistemi di controllo più solidi, soprattutto in ambiti regolamentati come finanza, sanità e diritto.
Un dibattito legittimo
All’interno della comunità scientifica il dibattito resta acceso e si sviluppa su due livelli principali. Da un lato emergono i limiti strutturali delle architetture dei modelli, dall’altro le difficoltà legate alle metodologie di valutazione. I test sulla conoscenza parametrica mostrano come gli LLM (cioè i modelli linguistici di grandi dimensioni progettati per comprendere, generare e rielaborare il linguaggio naturale) rimangano fortemente ancorati ai dati di addestramento, mentre l’accesso al web non garantisce automaticamente risposte corrette o verificate.
Il tema del grounding si conferma centrale: anche un modello capace di produrre testi coerenti e ben articolati può facilmente generare informazioni prive di fondamento, se non viene vincolato da controlli rigorosi sulle fonti utilizzate.
Le strategie da adottare
Per aziende e pubbliche amministrazioni che stanno integrando gli LLM nei propri processi, il rapporto suggerisce una serie di strategie operative: introdurre verifiche incrociate sistematiche, limitare l’autonomia decisionale dell’AI nelle attività più sensibili, rafforzare i sistemi di tracciabilità e audit e sviluppare metriche dedicate alla valutazione delle competenze multimodali. Diversi esperti propongono inoltre di ripensare il modo in cui i modelli comunicano il proprio livello di affidabilità, evitando che trasmettano un’eccessiva sicurezza quando il margine di errore resta elevato.
