Un team di ricercatori di Stanford e dell’Università di Washington ha dimostrato che è possibile sviluppare un modello AI avanzato senza un budget multimilionario. Il loro modello, denominato s1, è stato addestrato con un costo inferiore a 50 dollari in crediti cloud, avvicinandosi alle prestazioni di modelli all’avanguardia come OpenAI o1 e DeepSeek R1.
L’elemento più sorprendente è che l’addestramento di s1 è durato meno di 30 minuti su 16 GPU Nvidia H100, utilizzando un dataset di appena 1.000 domande con spiegazioni.
Distillazione dei modelli: il segreto dietro s1
Il team di ricerca ha impiegato un processo noto come distillazione, una tecnica che permette di estrarre la capacità di ragionamento da modelli preesistenti e applicarla a nuove reti neurali. In questo caso, il modello s1 è stato addestrato utilizzando Gemini 2.0 Flash Thinking Experimental di Google, un modello noto per le sue avanzate capacità di calcolo e ragionamento.
L’approccio adottato dai ricercatori di Stanford è simile a quello utilizzato recentemente dall’Università di Berkeley, che è riuscita a sviluppare un modello AI comparabile per circa 450 dollari. Tuttavia, il team di Stanford ha ulteriormente ridotto i costi, dimostrando che lo sviluppo di AI avanzata può essere alla portata di qualsiasi laboratorio di ricerca.
L’influenza di una singola parola sulle prestazioni dell’AI
Uno degli aspetti più curiosi emersi durante l’addestramento di s1 riguarda il linguaggio delle istruzioni. I ricercatori hanno scoperto che l’aggiunta della parola “wait” nelle istruzioni migliorava significativamente l’accuratezza delle risposte del modello.
Questa scoperta suggerisce che piccoli accorgimenti nella formulazione delle istruzioni possono influenzare profondamente il funzionamento di un’AI, aprendo nuove prospettive sull’ottimizzazione dei modelli attraverso semplici modifiche linguistiche.
Implicazioni per il futuro: l’AI diventa una tecnologia accessibile?
Lo sviluppo di s1 solleva una questione cruciale: se modelli avanzati possono essere replicati con costi minimi, quale sarà il futuro delle aziende che investono miliardi in AI?
L’accessibilità della distillazione dei modelli apre, infatti, nuove prospettive per startup e università, che potrebbero sviluppare intelligenze artificiali competitive senza dover disporre di enormi risorse finanziarie. Tuttavia, questo scenario preoccupa i colossi del settore.
Fonte: TechCrunch.
